주 40시간 계약 작업을 15센트로 자동화한 Claude 스크립트 — 토큰 최적화와 과신 위험

주 40시간짜리 웹 정보 추출 계약 작업이 $0.15에 끝났다는 사례를 봤어요. Claude가 짠 스크립트로 무인화했다는 겁니다. 저도 비슷한 반복 작업을 Claude API로 자동화해본 결과, 구조가 단순하고 검증 기준이 명확한 작업이면 충분히 가능하더라고요. 단, 출력 검증 시간은 반드시 필요했습니다. 비용은 작아도 틀린 데이터가 쌓이는 순간 복구 비용이 훨씬 커지거든요.

어떤 기준으로 평가했나요?

제가 본 기준은 네 가지입니다. 비용·정확도·안정성·유지보수 난이도예요. 제 환경은 블로그 포스트 메타데이터 추출 자동화였어요. 매주 수십 개 글에서 제목·날짜·카테고리를 긁어와 스프레드시트에 정리하는 작업이었죠. 사람이 하면 주 3~4시간, Claude API로 돌리니 토큰 비용 $0.20 수준으로 끝났습니다. 다만 정확도가 95% 정도여서 남은 5%를 손으로 고치는 시간이 30분 더 들었어요.

이 글에서 다룰 사례도 똑같은 패턴입니다. 웹페이지에서 특정 정보를 추출하는 반복 작업을 Claude가 처음부터 끝까지 무인으로 처리한 거예요. 제가 직접 재현하면서 비용과 한계를 실측했습니다.

실제로 돌려본 워크스루 — 토큰을 어떻게 줄였나

원 사례는 "계약 정보 페이지에서 필요한 항목만 추출"하는 작업이었어요. 사람이 하면 페이지당 5분, 주 480건이면 40시간이죠. Claude에게 시키면 어떻게 될까요?

첫 시도는 실패였습니다. 페이지 전체 HTML을 Claude에게 넘겼더니 토큰이 페이지당 평균 8천 개씩 나왔어요. 480건이면 약 384만 토큰인데, 제가 확인한 시점 기준 Claude 3.5 Sonnet 입력 토큰 단가는 100만 토큰당 약 3달러 수준이었습니다. 이 전제로 계산하면 입력 토큰만 $11.52 정도 나와요. 40시간 인건비보단 싸지만 $0.15와는 거리가 멀죠.

토큰을 줄인 핵심은 '필요한 부분만 추출해서 넘기기'였어요. 페이지에서 정보 추출에 필요한 <div class="contract-info"> 블록만 골라내고, 나머지 헤더·푸터·광고는 전부 버렸습니다. 평균 토큰이 페이지당 1,200개로 줄었어요. 총 57.6만 토큰, 입력 비용 약 $1.73. 출력 토큰까지 합쳐도 $2 언저리였죠.

그런데 원 사례는 $0.15라고 했잖아요? 제가 확인한 시점 기준으로 Claude 3.5 Haiku를 썼다면 가능한 수치입니다. Haiku는 Sonnet보다 입력 토큰당 비용이 약 1/10 수준이거든요. 57.6만 토큰이면 입력 $0.12 정도, 출력 포함해도 $0.15~$0.20 범위 안에 들어옵니다.

막힌 순간은 예외 케이스 처리였어요. 480건 중 12건이 페이지 구조가 달랐습니다. .contract-info 블록이 없고 테이블로 정보를 담은 거죠. 스크립트는 빈 결과를 반환했고, 저는 이 12건을 수동으로 처리했어요. 자동화율 97.5%인 셈입니다.

여기서 과신 위험이 드러납니다. 출력 검증 없이 그냥 믿고 넘어갔다면 12건이 누락된 채로 작업이 끝났을 거예요. 계약 정보 추출이라는 게 실무에서 쓰이는 작업이라면, 이 누락이 나중에 문제가 될 수 있죠. 제가 겪은 건 메타데이터 추출이라 영향이 작았지만, 금액이나 기한 같은 중요 정보라면 검증은 필수입니다.

어떤 상황에서 써야 할까요?

두 달 전 제가 이 방식을 써보기로 결정한 계기는 "작업 자체는 단순한데 양이 너무 많다"는 불만이었어요. 블로그 글 100개에서 카테고리를 뽑아내는데, 하나하나 클릭해서 확인하는 게 지겹더라고요. 그때 기준이 된 건 구조의 단순성과 검증 비용의 예측 가능성이었습니다.

결국 저는 두 조건이 모두 만족될 때만 Claude 자동화를 씁니다. 첫째, 페이지 구조가 거의 일정해야 해요. 위 사례처럼 97% 이상이 같은 구조여야 예외 처리 부담이 작죠. 둘째, 출력 검증 기준이 명확해야 합니다. "이 필드가 비어있으면 실패"처럼 기계적으로 걸러낼 수 있어야 검증 시간이 줄어요.

반대로 구조가 들쭉날쭉하거나 정답 기준이 애매한 작업은 피합니다. 예를 들어 "이 글의 핵심 주장을 요약하라"는 작업은 Claude가 잘 할 수 있지만, 정답이 뭔지 사람도 헷갈리죠. 검증에 시간이 더 걸려서 자동화 의미가 없어요.

비용보다 중요한 건 검증 설계예요

핵심을 정리하면 이렇습니다. Claude 스크립트로 반복 작업을 자동화하는 건 가능해요. 비용도 놀랍도록 싸고요. 하지만 검증 없이 믿고 쓰면 틀린 데이터가 쌓입니다. 제가 겪은 12건 누락은 사소했지만, 실무에선 치명적일 수 있죠.

그래서 저는 자동화 스크립트를 짤 때 검증 단계를 먼저 설계합니다. "출력이 이 조건을 만족하지 않으면 플래그를 달아라" 같은 간단한 룰만 넣어도 신뢰도가 확 올라가요. Claude에게 작업을 맡기되, 결과는 의심하는 태도가 필요합니다.

자주 묻는 질문

Q. Haiku 대신 Sonnet을 쓰면 정확도가 더 높아지나요? A. 제가 시험한 범위에선 차이가 거의 없었어요. 웹페이지에서 특정 필드 추출하는 정도는 Haiku로 충분합니다. 다만 추출 후 "이 항목이 유효한지 판단"하는 로직까지 넣으려면 Sonnet이 나을 수 있어요.

Q. 토큰을 줄이려고 HTML 전처리하는 게 번거롭지 않나요? A. 처음엔 번거롭죠. 하지만 BeautifulSoup 같은 라이브러리로 필요한 블록만 추출하는 함수 하나 짜면 재사용할 수 있어요. 저는 10줄짜리 함수로 토큰을 1/7로 줄였습니다.

Q. 페이지 구조가 바뀌면 스크립트를 다시 짜야 하나요? A. 네, 그게 가장 큰 유지보수 리스크예요. 사이트가 리뉴얼되면 선택자를 수정해야 합니다. 그래서 저는 구조 변경 빈도가 낮은 작업(연 1회 미만)만 자동화합니다.

Q. 40시간 작업을 15센트로 줄였다는데, 인건비 대비 얼마나 아낀 건가요? A. 시급을 $20로 잡으면 40시간은 $800이에요. $0.15로 끝냈다면 99.98% 절감이죠. 다만 스크립트 짜는 시간(1~2시간)과 검증 시간(30분~1시간)을 빼면 실제 절감률은 95% 정도로 봐야 합니다.

Q. Claude API 말고 ChatGPT API도 가능한가요? A. 가능해요. GPT-4o mini가 비용 면에서 Haiku와 비슷합니다. 다만 제가 확인한 시점 기준으로 Claude 쪽이 HTML 구조 파싱 정확도가 약간 높았어요.