블로그

RTX 4090에 Llama 3.1 8B를 올려 한 달 돌렸더니 전기 요금이 4만5천원 나왔어요. GPU 감가상각까지 더하면 월 11만원 고정비가 듭니다. 같은 기간 API 청구서는 사용량에 따라 천원에서 수십만원까지 차이가 컸죠. 월 700만 토큰 이상 쓴다면 로컬이 이득이라는 …

지난달 Anthropic API 청구서를 열었을 때, $1,247이 찍혀 있었어요. Sonnet을 매일 코드 리뷰에 돌리고 Opus로 문서 작업을 맡기다 보니 어느새 이 정도가 됐더라고요. "Max 구독으로 바꾸면 $100로 끝나는 거 아냐?"라는 생각이 들었지만, 막상 계산해보니…