Deepseek R1 vs Claude Sonnet 5 — 추론 성능·비용 실측 벤치마크
토큰 가격이 1/5인데도 나는 Claude Sonnet 5를 주력으로 남기고 Deepseek R1 구독을 취소했습니다. 3주간 두 모델을 번갈아 실무에 투입하면서 내린 결론이에요. 비용 절감을 기대했지만, 디버깅 작업에서 R1이 세 번 재시도할 때 Claude는 한 번에 끝냈거든요. 나는 3주 테스트 후 Claude Sonnet 5를 주력으로 남기고, Deepseek R1은 단순 코드 생성 보조 작업 전용으로 범위를 좁혔습니다. 그 이유를 실제 경험으로 풀어볼게요.
전환점이 된 40분짜리 디버깅
결정적 순간은 FastAPI 프로젝트에서 발생한 커넥션 풀 고갈 문제였어요. 간헐적으로 타임아웃이 발생했고, 에러 로그만으로는 원인을 특정하기 어려웠습니다. 당시 저는 "싼 모델부터 써보자"는 전략을 쓰고 있었어요. R1에 코드와 로그를 제출했죠.
첫 답변은 "커넥션 풀 크기를 늘리세요"였습니다. 적용했더니 문제가 재발했어요. 두 번째 시도에서 "await 누락 가능성"을 언급했지만 어디를 고쳐야 할지 명확하지 않았습니다. 세 번째에 가서야 "트랜잭션 컨텍스트 매니저가 제대로 닫히지 않는다"는 핵심을 찾았어요. 총 40분이 걸렸습니다.
똑같은 문제를 Claude Sonnet 5에 넣었더니 첫 답변부터 달랐어요. "async with 블록 중첩에서 예외 발생 시 커넥션 반환이 누락됩니다"라고 정확히 지적하며 수정 코드까지 제시했습니다. 5분 만에 끝났죠. 이 경험이 제 전략을 바꿨어요.
비교 기준과 3주간 실측 결과
제 개발 환경은 FastAPI 백엔드 + React 프론트엔드 프로젝트예요. AI 모델에 주로 맡기는 작업은 비동기 로직 디버깅, API 엔드포인트 설계, 테스트 코드 생성입니다. 2월 말 Claude Sonnet 3.5에서 Sonnet 5로 업그레이드했고, Deepseek R1 공개 소식을 듣고 실무 비교를 시작했습니다.
비교 기준은 두 가지였어요. 추론 정확도(몇 번 만에 올바른 답을 내는가), 비용 효율(한 달 작업량 기준 실제 지출). 아래 표는 제가 3주간 체감한 차이입니다.
| 비교 항목 | Deepseek R1 | Claude Sonnet 5 |
|---|---|---|
| 추론 정확도 (제 경험 기준) | 복잡한 디버깅에서 재시도 2~3회 | 첫 시도에서 정확한 답변 |
| 응답 속도 (체감) | 스트리밍 응답 빠름 | 비슷한 수준 |
| 가격 (제가 확인한 시점 기준) | Claude 대비 약 1/5 수준 | 기준점 |
| 적합 작업 | 반복 코드 생성, 문서 작성 | 디버깅, 아키텍처 설계 |
공개 벤치마크에서는 수학·논리 문제 정확도가 비슷하게 나오지만, 실무에서 맥락을 길게 유지해야 하는 디버깅 작업에선 Claude가 압도적이었어요.
R1이 선방한 케이스도 있었습니다
공정하게 말하면 R1이 나았던 경우도 있었어요. REST API CRUD 엔드포인트 5개를 생성하는 작업이었습니다. 요구사항이 명확했고 반복 패턴이었죠.
R1은 한 번에 5개 엔드포인트를 모두 생성했고, 라우터 등록·스키마 정의·테스트 샘플까지 포함했어요. 코드 품질은 충분했습니다. 제가 확인한 시점 기준 API 요금이 Claude 대비 약 1/5 수준이라 이런 단순 작업엔 부담 없이 쓸 수 있었어요. Claude Sonnet 5도 똑같은 결과를 냈지만 비용만 더 들었습니다.
이 지점에서 저는 작업을 분리하기로 했어요. 디버깅·설계는 Claude, 반복 코드 생성·문서는 R1로요. 한 달 동안 이렇게 써보니 Claude만 쓸 때보다 비용은 30% 줄었고, 작업 완료율은 비슷했습니다.
왜 결국 R1 구독을 취소했나
비용이 30% 줄었는데도 두 달째 접어들며 R1 구독을 취소했어요. 이유는 세 가지였습니다.
첫째, 재시도 비용이 단가 절감을 상쇄했습니다. R1이 토큰당 가격은 싸지만 복잡한 작업에서 3~4번 재시도하면 결국 Claude 한 번 쓴 것과 비슷해져요. 시간 손실까지 감안하면 오히려 손해였습니다.
둘째, 작업 분류가 피곤했어요. "이 작업은 R1에 맡길까 Claude에 맡길까?" 매번 판단하는 게 인지 부하였습니다. 디버깅을 R1에 먼저 맡기고 안 되면 Claude로 넘기는 식으로 했는데, 같은 문제를 두 번 설명하는 낭비가 발생했어요.
셋째, 디버깅 빈도가 압도적으로 높았습니다. 제 작업 패턴을 분석해보니 디버깅·설계 검토가 전체의 70%였고, 단순 코드 생성은 30%였어요. 주력 작업엔 Claude가 필요했던 겁니다. R1이 잘하는 단순 생성은 GitHub Copilot 같은 IDE 통합 도구로도 충분했고요.
결국 저는 Claude Sonnet 5 단독으로 돌아갔습니다. 대신 단순 반복 작업은 최대한 템플릿화하거나 Copilot에 맡기는 식으로 워크플로우를 조정했어요. 한 달간 써보니 이게 가장 심플했습니다.
자주 묻는 질문
Q. Deepseek R1이 오픈소스라던데 로컬에서 돌릴 수 있나요?
A. 가중치는 공개됐지만 실무 수준으로 돌리려면 GPU 메모리가 공개 벤치마크 기준 최소 40GB는 필요해요. A100 환경이 필요하고, 일반 노트북으론 불가능합니다. API 쓰는 게 현실적이에요.
Q. 추론 속도 차이는 어느 정도인가요?
A. 체감상 비슷했어요. 둘 다 스트리밍 응답이라 실시간 결과를 보는 속도는 거의 동일합니다. 다만 R1이 재시도가 잦아서 결과적으론 Claude가 더 빨리 끝나는 경우가 많았어요.
Q. Claude Sonnet 3.5와 5는 얼마나 차이 나나요?
A. 디버깅 정확도에서 체감 차이가 컸습니다. 3.5는 가끔 맥락을 놓쳤는데 5는 긴 코드도 끝까지 추적했어요. 제가 확인한 시점 기준 요금은 비슷한 수준이라 3.5를 고집할 이유는 없었습니다.
Q. 두 모델 모두 한국어 지원은 어떤가요?
A. 코드 작업이라 영어 프롬프트를 주로 썼지만, 한국어 주석 생성이나 문서 번역도 테스트해봤어요. Claude가 조사 사용이 자연스러웠고, R1은 가끔 어색한 번역이 나왔습니다. 한국어 중심 작업이면 Claude가 안전해요.
Q. 비용 절감이 목표라면 무조건 R1인가요?
A. 아니요. 재시도까지 포함한 실제 비용을 봐야 해요. 단순 작업은 R1이 유리하지만, 복잡한 작업은 Claude 한 번이 R1 세 번보다 쌉니다. 제 경험상 작업 분류 부담까지 생각하면 주력 하나로 가는 게 나았어요.