Claude Vision으로 한글 영수증 자동 인식 — 월 300장 처리한 실전 가이드
매달 말이 되면 책상 한쪽에 영수증이 쌓입니다. 택시비, 커피값, 주유비까지 일일이 엑셀에 옮기는 작업은 늘 미루게 되죠. 그러다 3월에 Claude Vision을 처음 써봤는데, 놀랍게도 한글 영수증을 거의 완벽하게 읽어냈어요. 그 후 4개월간 월평균 300장의 영수증을 자동 분류했고, 수작업 시간을 주당 3시간에서 20분으로 줄였습니다.
이 글에서는 Claude Vision으로 한글 영수증을 인식하고, 경비 항목별로 자동 분류하는 전체 과정을 다룹니다. API 호출부터 프롬프트 최적화, 실제 분류 로직까지 직접 테스트한 코드와 함께 설명할게요.
준비물
시작하기 전에 다음 항목을 준비해주세요.
- Claude API 키 (Anthropic Console에서 발급, 요금 및 플랜은 공식 페이지에서 확인하세요)
- Python 3.8 이상 환경
- 샘플 영수증 이미지 파일 (JPG, PNG 형식)
anthropic파이썬 라이브러리 (pip install anthropic)
저는 claude-3-opus 모델을 썼는데, 한글 인식률이 제일 높았어요. sonnet도 괜찮지만 긴 영수증에서 가끔 누락이 있더라고요.
영수증 이미지를 Claude Vision에 보내기
먼저 영수증 이미지를 base64로 인코딩해서 Claude API에 전송하는 코드를 작성합니다.
import anthropic
import base64
def encode_image(image_path):
with open(image_path, "rb") as f:
return base64.b64encode(f.read()).decode("utf-8")
client = anthropic.Anthropic(api_key="YOUR_API_KEY")
image_data = encode_image("receipt.jpg")
message = client.messages.create(
model="claude-3-opus-20240229",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/jpeg",
"data": image_data,
},
},
{
"type": "text",
"text": "이 영수증에서 상호명, 금액, 날짜를 추출하세요."
}
],
}
],
)
print(message.content)이 코드를 실행하면 Claude가 영수증 내용을 텍스트로 반환합니다. 예를 들어 스타벅스 영수증을 넣으면 이런 식으로 나와요.
입력: 스타벅스 영수증 이미지 (상호: 스타벅스 강남점, 금액: 4500원, 날짜: 2026-03-15)
출력:
상호명: 스타벅스 강남점
금액: 4,500원
날짜: 2026년 3월 15일처음 테스트했을 때 한글 인식률이 90% 이상이어서 깜짝 놀랐습니다. OCR 서비스를 따로 쓸 필요가 없더라고요.
한글 인식 정확도를 높이는 프롬프트 전략은?
기본 프롬프트만 써도 괜찮지만, 구조화된 JSON 형식을 요청하면 후처리가 훨씬 쉬워집니다. 저는 50장 정도 테스트하면서 이런 프롬프트를 정리했어요.
prompt = """
이 이미지는 한글 영수증입니다. 다음 정보를 JSON 형식으로 추출해주세요.
- store_name: 상호명
- amount: 금액 (숫자만, 쉼표 제거)
- date: 날짜 (YYYY-MM-DD 형식)
- category: 경비 항목 (식비, 교통비, 사무용품, 기타 중 하나로 자동 분류)
영수증이 흐리거나 일부가 가려져 있으면 "unknown"으로 표시하세요.
JSON만 출력하고 다른 설명은 생략하세요.
"""이 프롬프트를 쓴 후 정확도가 95%까지 올랐습니다 (제가 직접 테스트한 100장 기준). 특히 "JSON만 출력" 지시가 중요한데, 이게 없으면 Claude가 친절하게 설명을 덧붙여서 파싱이 어려워지거든요.
입력: GS25 편의점 영수증 (금액: 12,300원, 날짜: 2026-04-22)
출력:
{
"store_name": "GS25 역삼점",
"amount": 12300,
"date": "2026-04-22",
"category": "식비"
}경비 항목 자동 분류 로직 만들기
Claude가 반환한 JSON을 파싱해서 CSV 파일로 저장하는 코드입니다. 여기서는 상호명 키워드를 기준으로 카테고리를 재분류했어요.
import json
import csv
def classify_receipt(response_text):
data = json.loads(response_text)
# 상호명 기반 카테고리 재분류
store_name = data.get("store_name", "").lower()
if any(keyword in store_name for keyword in ["스타벅스", "카페", "gs25", "cu"]):
category = "식비"
elif any(keyword in store_name for keyword in ["주유", "주차", "택시"]):
category = "교통비"
elif any(keyword in store_name for keyword in ["다이소", "문구"]):
category = "사무용품"
else:
category = data.get("category", "기타")
return {
"store_name": data["store_name"],
"amount": data["amount"],
"date": data["date"],
"category": category
}
# CSV 저장
with open("expenses.csv", "a", newline="", encoding="utf-8-sig") as f:
writer = csv.DictWriter(f, fieldnames=["store_name", "amount", "date", "category"])
writer.writerow(classify_receipt(message.content[0].text))이 로직으로 4월 한 달 동안 312장을 처리했는데, 수동 수정은 15건뿐이었어요. 대부분 필기체 메모나 구겨진 영수증이었습니다.
흔한 실수와 해결법
실수 1: 해상도가 낮아서 금액이 엉뚱하게 인식됨
처음에 스마트폰 카메라 기본 설정으로 찍었더니, 1280x720 정도의 저해상도 이미지가 나왔어요. 이 상태로 API에 보내니 "4,500원"이 "4,5OO원" (O가 숫자 0)으로 인식되더라고요. 해상도를 1920x1080 이상으로 높이니 오인식이 90% 줄었습니다.
실수 2: 프롬프트가 모호해서 불필요한 정보까지 추출
"영수증 내용을 알려주세요"라고만 썼더니 Claude가 품목 리스트, 부가세, 할인 내역까지 전부 뽑아냈어요. 토큰 소비가 2배로 늘어서 비용이 생각보다 많이 나왔습니다. 앞에서 보여드린 것처럼 "JSON만 출력" 조건을 명시하니 토큰이 절반으로 줄었어요.
실수 3: API 비용을 계산 안 하고 썼다가 첫 달에 60달러 나옴
3월에 처음 써보면서 테스트 삼아 500장을 한 번에 돌렸는데, opus 모델 비용이 생각보다 높았습니다. 제 사용 패턴(고해상도 이미지·상세 프롬프트) 기준 대략 0.1달러 안팎이었고, 이미지 크기와 프롬프트 길이에 따라 크게 달라집니다. 결국 sonnet으로 바꿔서 비용을 1/3로 줄였고, 정확도는 92% 정도로 약간만 떨어졌어요 (opus 95% 대비).
다음 단계
여기까지 따라오셨다면 이제 본인의 영수증 5~10장으로 실험해볼 차례입니다. 첫 시도에서 한글이 잘 안 읽힐 수도 있어요. 이미지를 더 선명하게 찍거나, 프롬프트에서 "한글 영수증"임을 명시하면 개선됩니다. 저는 처음 10장 테스트 때 7장만 성공했는데, 해상도 조정 후 9장으로 올라갔거든요.
다음엔 월별 통계 리포트를 자동 생성하는 방법을 다뤄볼 예정이에요.
자주 묻는 질문
Q. Claude Vision은 손글씨 영수증도 인식하나요?
A. 정자체에 가까운 손글씨는 70% 정도 인식되지만, 흘려쓴 필기체는 거의 인식 못 합니다. 제 테스트에서는 손글씨 20장 중 14장만 정확했어요. 인쇄된 영수증을 권장합니다.
Q. 한 번에 여러 장의 영수증을 처리할 수 있나요?
A. API는 한 번에 하나의 이미지만 받습니다. 여러 장을 처리하려면 Python 반복문으로 순차 호출하거나, 비동기 라이브러리 (asyncio)를 써서 병렬 처리할 수 있어요. 저는 asyncio로 10장씩 묶어서 보냈는데, 속도가 3배 빨라졌습니다.
Q. 영수증이 구겨졌거나 일부가 찢어진 경우는 어떻게 하나요?
A. 프롬프트에 "unknown으로 표시" 조건을 넣었기 때문에, Claude가 읽을 수 없는 부분은 자동으로 unknown을 반환합니다. 이런 영수증은 나중에 수동으로 확인해서 보정하면 됩니다. 제 경험상 전체의 5% 정도가 이 케이스였어요.
Q. 다른 OCR 서비스 대신 Claude Vision을 쓰는 이유는 뭔가요?
A. 기존 OCR은 텍스트만 추출하지만, Claude Vision은 문맥을 이해해서 "이게 금액이고, 이게 날짜"라고 분류까지 해줍니다. 별도 후처리 로직이 필요 없어서 개발 시간이 1/3로 줄었어요. 특히 한글 맥락 이해가 뛰어나서, "합계"와 "부가세"를 구분하는 정확도가 95% 이상입니다 (출처: 제가 100장 테스트한 결과 기준).