완전 자율 코딩 에이전트는 신화 — follow-up 지옥에서 찾은 현실
오늘 오전 9시, Claude Code가 "완료했습니다"라고 답했어요. API 응답 로직 수정이었는데요. 배포 30분 뒤 프로덕션에서 500 에러가 터졌습니다. 엣지케이스 하나를 놓쳤더라고요. 이게 이번 주만 세 번째예요. 저는 이제 확신해요. "완전 자율 코딩 에이전트"는 아직 신화입니다. 우리가 바꿔야 할 건 AI가 아니라 목표 그 자체라고 생각합니다.
왜 AI 코딩 에이전트는 계속 놓치는가?
제가 직접 겪은 사례부터 보여드릴게요.
2025년 11월, 결제 API를 리팩토링했어요. Claude에게 "REST 엔드포인트 5개를 GraphQL로 마이그레이션해줘"라고 요청했죠. 코드 520줄이 나왔고, 유닛 테스트도 통과했습니다. 그런데 프로덕션 배포 후 특정 국가 통화 코드에서 파싱 에러가 났어요. 테스트 데이터에 USD와 KRW만 있었거든요. EUR, JPY 케이스는 코드 어디에도 없었습니다. 수정 요청했죠. 두 번째 코드가 왔어요. 이번엔 null 값 처리가 빠졌더라고요. 세 번째에야 제대로 됐습니다.
지난 1월엔 더 황당했어요. 데이터베이스 마이그레이션 스크립트를 시켰거든요. "users 테이블에 last_login 컬럼 추가"라는 단순한 작업이었는데, 다섯 번을 고쳤습니다. 첫 번째는 타임존 설정을 빠뜨렸고, 두 번째는 기본값 처리가 없었어요. 세 번째는 인덱스를 안 만들었죠. 네 번째는 rollback 스크립트가 불완전했고요. 다섯 번째 체크에서야 "이제 완벽하네"라고 생각했습니다.
지난 3주간 제가 맡긴 AI 코딩 작업 15건을 세어봤어요. 12건에서 최소 한 번씩 follow-up이 필요했습니다. 80%예요. Reddit ClaudeAI 커뮤니티를 보니 비슷한 경험이 수두룩하더라고요. 출처: Does anyone actually have a fully autonomous coding agent that doesn't need constant follow-ups? 스레드를 보면, 구조화된 워크플로우를 쓰는 개발자들도 같은 문제를 겪고 있어요. "이해 → 영향범위 산정 → 구현 → 감사" 단계를 명시해도 놓치는 버그가 반복된다는 거죠.
완전 자율이 불가능한 이유는 LLM 한계인가요?
반론이 세 가지 정도 들어올 것 같네요. 공정하게 다뤄볼게요.
첫째, "프롬프트를 더 정교하게 하면 되지 않나요?" 맞아요. 어느 정도는요. 제 경우엔 프롬프트에 "모든 엣지케이스를 나열하고, 각 케이스별 테스트 코드를 포함해줘"라고 명시하니 follow-up 비율이 80%에서 50%로 줄었습니다. 하지만 50%는 여전히 남았어요. 왜냐면 LLM은 제 프로젝트 전체 컨텍스트를 못 보거든요. 레거시 코드 의존성, 운영 환경 설정, 팀 코딩 컨벤션까지 다 알려줄 순 없잖아요. 200k 토큰 컨텍스트 윈도우로도 부족합니다.
둘째, "완전 자율이 불가능하다면 AI 코딩 에이전트의 의미가 뭔가요?" 이건 전제를 바꿔야 해요. "자율"의 정의를 다시 쓰는 거죠. 제 생각엔 자율 실행 + 인간 검증 게이트가 현실적인 완성형이에요. AI가 코드를 짜고, 사람이 최종 안전망 역할을 하는 거예요. 이게 신뢰할 수 있는 자동화의 끝입니다. 완벽한 무인 자율을 목표로 삼으면 영원히 실망만 반복해요.
셋째, "저는 Claude Code로 잘 쓰는데요?" 프로젝트 규모 차이일 가능성이 높아요. 파일 3개짜리 토이 프로젝트와 20만 줄 프로덕션 코드베이스는 다릅니다. 의존성 그래프가 복잡해질수록 AI가 놓치는 지점은 기하급수로 늘어나거든요. 제가 관리하는 프로젝트는 마이크로서비스 6개에 외부 API 연동 12곳이에요. 이 정도 되면 AI 혼자선 안 됩니다.
그렇다면 우리는 무엇을 바꿔야 하나요?
제 6개월 경험은 사실 업계 전체가 겪는 시그널이에요. 우리가 "완전 자율"을 외칠수록 실망은 커집니다. 대신 이렇게 접근해보세요.
검증 게이트를 워크플로우에 명시적으로 설계하세요. AI가 코드를 짜면, 사람이 체크리스트 기반으로 검증합니다. 엣지케이스 커버리지, null 처리, 에러 핸들링, 롤백 시나리오를 10분 안에 점검하는 거예요. 이게 제가 지난달부터 쓰는 방식인데, follow-up 횟수가 절반으로 줄었습니다. AI 자동화의 가치는 "사람을 완전히 배제"하는 게 아니라 "사람의 시간을 80% 아끼는" 거예요.
여러분의 프로젝트에서 AI 코딩 에이전트가 "완료" 했다고 할 때, 그걸 곧바로 믿으시나요? 아니면 한 번 더 보시나요? 댓글로 경험 나눠주시면 좋겠어요.
자주 묻는 질문
Q. Claude Code 외에 다른 자율 에이전트도 비슷한 문제가 있나요?
A. GitHub Copilot Workspace, Cursor의 Agent 모드, Replit Agent 전부 같은 패턴입니다. 제가 직접 써본 결과 follow-up 비율은 60~85% 범위였어요. 모델 차이보다는 작업 복잡도가 더 큰 변수더라고요.
Q. 프로덕션 배포 전 자동 테스트로 커버 안 되나요?
A. 유닛 테스트 커버리지 90%여도 엣지케이스는 빠집니다. 테스트 코드 자체를 AI가 짜면 같은 사각지대를 공유하거든요. 사람이 "이 부분 빠진 거 아니야?" 질문을 던져야 찾아집니다.
Q. 자율성 수준을 측정하는 지표가 있나요?
A. 제가 쓰는 건 1회 완료율(첫 번째 결과물로 배포 가능한 비율)이에요. 제 경우 현재 20%입니다. 이게 50% 넘어가면 실용적 자율이라고 보고 있어요.
Q. 검증 게이트를 AI에게 맡기면 어떨까요?
A. 시도해봤는데 자기 코드를 자기가 검증하면 같은 논리 구멍을 못 찾더라고요. 다른 모델(예: Claude가 짠 코드를 GPT가 검증)로 교차 검증하면 약간 나아지지만, 사람 검증만큼은 안 됩니다.
Q. 언젠가 완전 자율이 가능해질까요?
A. 가능하다고 봅니다. 다만 지금 LLM 구조론 5년 안엔 어렵고, 코드베이스 전체를 실시간으로 이해하는 추론 엔진이 나와야 해요. 그 전까진 하이브리드가 최선입니다.