Devin Dashboard → New Session → Repository 연결

또는 Slack 연동을 통한 세션 시작

Devin에게 전달한 프롬프트 예시:

""" Migrate all unittest-based test files in /tests/ directory from unittest/Django TestCase to pytest.

Requirements:

pyproject.toml

class ProductTestCase(TestCase): def setUp(self): self.category = Category.objects.create( name=“Electronics”, slug=“electronics” ) self.product = Product.objects.create( name=“Laptop”, price=1200000, category=self.category, stock=50 )

def test_product_str(self):
    self.assertEqual(str(self.product), "Laptop")

def test_product_discount(self):
    self.product.apply_discount(10)
    self.assertEqual(self.product.price, 1080000)

def tearDown(self):
    Product.objects.all().delete()
    Category.objects.all().delete()</code></pre>

변환 후 (pytest + factory_boy)

import pytest
from tests.factories import ProductFactory, CategoryFactory

@pytest.fixture
def category(db):
    return CategoryFactory(name="Electronics", slug="electronics")

@pytest.fixture
def product(db, category):
    return ProductFactory(
        name="Laptop", price=1200000,
        category=category, stock=50
    )

def test_product_str(product):
    assert str(product) == "Laptop"

def test_product_discount(product):
    product.apply_discount(10)
    assert product.price == 1080000

자동 생성된 Factory 예시

# tests/factories.py (Devin이 자동 생성)
import factory
from myapp.models import Product, Category

class CategoryFactory(factory.django.DjangoModelFactory):
    class Meta:
        model = Category

    name = factory.Sequence(lambda n: f"Category {n}")
    slug = factory.LazyAttribute(lambda o: o.name.lower().replace(" ", "-"))

class ProductFactory(factory.django.DjangoModelFactory):
    class Meta:
        model = Product

    name = factory.Sequence(lambda n: f"Product {n}")
    price = factory.Faker("pyint", min_value=10000, max_value=5000000)
    category = factory.SubFactory(CategoryFactory)
    stock = factory.Faker("pyint", min_value=0, max_value=1000)

4단계: CI 파이프라인 자동 업데이트

# .github/workflows/tests.yml (Devin이 자동 수정)
name: Test Suite
on: [push, pull_request]
jobs:
  test:
    runs-on: ubuntu-latest
    services:
      postgres:
        image: postgres:15
        env:
          POSTGRES_DB: test_db
          POSTGRES_PASSWORD: postgres
        ports: ["5432:5432"]
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with:
          python-version: "3.11"
      - run: pip install -r requirements/test.txt
      - run: pytest --cov=myapp --cov-report=xml -n auto
      - uses: codecov/codecov-action@v4
        with:
          token: ${{ secrets.CODECOV_TOKEN }}

결과 및 성과 지표

문제 1: Django DB 접근 오류

# 오류 메시지
E Failed: Database access not allowed, use the "django_db" mark,
or the "db" fixture to enable it.

# 해결: Devin 프롬프트에 다음을 추가
"Ensure all test functions that access the database
use @pytest.mark.django_db or receive db fixture"

문제 2: self.client 참조 변환 누락

# 오류 메시지
NameError: name 'self' is not defined

# 해결: client fixture 사용 명시
@pytest.fixture
def api_client():
    from django.test import Client
    return Client()

def test_homepage(api_client):
    response = api_client.get("/")
    assert response.status_code == 200

문제 3: fixture 순환 의존성

# 오류 메시지
RECURSIONERROR: fixture 'order' and 'product' have circular dependency

# 해결: Devin에게 의존성 그래프를 먼저 분석하도록 지시
"Before converting, analyze fixture dependencies and
resolve circular references by extracting shared state
into independent base fixtures"

핵심 교훈

• 자율적 의존성 해결 능력: Devin은 테스트 파일 간 의존 관계를 자체 분석하여 변환 순서를 최적화했습니다.- 인간은 리뷰에 집중: 엔지니어가 변환 작업 대신 코드 리뷰에 집중하면서 코드 품질이 오히려 향상되었습니다.- CI 통합의 중요성: 테스트 코드 변환과 CI 파이프라인 업데이트를 동시에 처리하여 배포 중단 없이 전환했습니다.

자주 묻는 질문 (FAQ)

Q1: Devin이 변환한 코드의 정확도는 어느 정도인가요?

본 사례에서 Devin의 초기 변환 정확도는 약 94%였습니다. 나머지 6%는 복잡한 mock 체인이나 커스텀 TestRunner를 사용한 테스트로, Devin이 1~2회 추가 반복(iteration)을 통해 자체 수정했습니다. 최종적으로 8,412개 전체 테스트가 100% 통과했으며, 시니어 엔지니어 1명이 리뷰를 수행하여 품질을 보증했습니다.

Q2: 커스텀 테스트 헬퍼나 복잡한 mixin이 있는 경우에도 자동 변환이 가능한가요?

가능합니다. 다만 복잡한 mixin이나 다중 상속 패턴이 적용된 테스트 클래스의 경우, Devin 세션 시작 시 해당 mixin의 역할과 변환 방향을 명시적으로 설명하는 것이 좋습니다. 예를 들어 “Convert AuthenticatedTestMixin to a pytest fixture named authenticated_client that returns a logged-in client instance”와 같이 구체적으로 지시하면 변환 정확도가 크게 향상됩니다.

Q3: 마이그레이션 중 기존 CI가 중단되지 않도록 하려면 어떻게 해야 하나요?

점진적 마이그레이션 전략을 권장합니다. pytest는 unittest 기반 테스트도 실행할 수 있으므로, CI를 먼저 pytest runner로 전환한 후 테스트 파일을 모듈 단위로 변환합니다. Devin에게 “Maintain backward compatibility: ensure both unittest and pytest styles can coexist during migration”을 지시하면 변환 중에도 CI가 정상 동작합니다. 본 사례에서도 10일간 모든 CI 빌드가 green 상태를 유지했습니다.