로컬 LLM과 클라우드 API, 월 700만 토큰이 손익분기점이었습니다
RTX 4090에 Llama 3.1 8B를 올려 한 달 돌렸더니 전기 요금이 4만5천원 나왔어요. GPU 감가상각까지 더하면 월 11만원 고정비가 듭니다. 같은 기간 API 청구서는 사용량에 따라 천원에서 수십만원까지 차이가 컸죠. 월 700만 토큰 이상 쓴다면 로컬이 이득이라는 계산이 나왔고, 그 아래에선 API가 쌌습니다.
전기료와 감가상각, 어떻게 계산했나요?
제 작업 환경은 RTX 4090 한 장에 Ollama를 올린 우분투 서버입니다. Llama 3.1 8B를 24시간 띄워두고 한 달간 전기 계량기를 봤어요. GPU TDP가 450W인데 실제론 평균 70% 정도 돌아 시간당 약 315Wh를 먹더라고요. 한 달이면 226.8 kWh.
제가 사는 곳 전기 요금이 kWh당 약 200원(주택용 중간 구간 기준)이라 월 전기료는 약 4만5천원이 나왔습니다. 여기에 GPU 감가상각을 더해야 해요. RTX 4090을 250만원에 샀고 3년 쓴다 치면 월 약 6만9천원. 합치면 월 11만4천원이 로컬 LLM의 고정비입니다.
API는 이와 달리 쓴 만큼만 냅니다. 제가 확인한 시점 기준 GPT-4o는 input 토큰 100만개당 약 $2.5, output은 $10 정도였어요(요금제는 수시로 바뀌니 쓰기 전에 직접 확인하세요). 한 달에 100만 토큰을 쓰면 약 6,500원에서 1만3천원 사이. 로컬의 11만원과 비교하면 월 사용량이 700만~800만 토큰을 넘어야 로컬이 싸집니다.
품질 차이는 비용으로 환산할 수 있을까요?
숫자만 보면 손익분기가 명확한데, 실제론 품질 손실분을 어떻게 계산하느냐에 따라 결론이 달라져요. Llama 3.1 8B는 GPT-4o보다 한국어 이해력과 추론 깊이가 떨어집니다. 같은 번역 작업을 시켰을 때 조사 오류가 3배 많았고, 맥락을 놓치는 빈도도 높았어요.
이 품질 차이를 비용으로 바꿔보면 이렇습니다. API로 한 번에 끝날 작업이 로컬에선 재시도 2번이 필요했어요. 토큰 소비가 3배 늘어난 셈이죠. 그럼 실효 비용은 로컬도 토큰당 비용 × 3으로 봐야 공정합니다. 그렇게 따지면 손익분기점이 월 2천만 토큰 이상으로 올라가요.
반대로 품질이 중요하지 않은 작업(키워드 추출, 간단한 분류)이라면 Llama 8B로도 충분했습니다. 이런 작업만 몰아서 로컬로 돌리면 재시도 손실 없이 고정비만 내면 되니 월 100만 토큰만 써도 본전이에요. 무슨 작업을 주로 하느냐에 따라 기준이 완전히 바뀝니다.
제가 로컬을 접은 이유는 운영 시간이었어요
계산상으론 월 800만 토큰 이상 쓰니까 로컬이 이득이었는데, 2개월 쓰고 API로 돌아왔습니다. GPU가 이틀에 한 번 멈춰서 SSH로 들어가 재시작해야 했거든요. CUDA 메모리 누수인지 Ollama 버그인지 못 찾았어요. 새벽 3시에 작업이 멈춰 있으면 아침까지 손실이 쌓이는데, 그 시간을 시급으로 환산하니 고정비 절감분이 다 날아갔습니다.
API는 장애가 생겨도 제 책임이 아니에요. 재시도 로직만 짜두면 알아서 복구되고, 모니터링에 쓰는 시간이 제로입니다. 로컬은 GPU 온도 체크, 디스크 용량 관리, 드라이버 업데이트까지 제가 다 해야 해요. 운영 공수를 월 10시간, 시급 3만원으로 잡으면 30만원인데 이건 고정비 11만원보다 훨씬 큽니다.
결국 저는 "품질이 덜 중요하고 사용량이 많은 작업(키워드 태깅, 요약)"만 로컬로 남기고 나머지는 API로 돌리는 하이브리드로 정리했어요. 월 비용이 로컬 고정비 + API 종량 합쳐서 약 15만원 나오는데, 순수 API만 쓸 때(월 25만원)보다 10만원 아끼면서 운영 부담은 절반으로 줄었습니다.
자주 묻는 질문
Q. 로컬 LLM은 무조건 API보다 비싼가요? A. 월 사용량이 700만~800만 토큰 미만이면 API가 쌉니다. 그 이상 쓰고 품질 손실을 감수할 수 있으면 로컬이 이득이에요. 단, 운영 시간까지 비용으로 치면 기준이 또 달라집니다.
Q. GPU는 어느 정도 사양이 필요한가요? A. Llama 3.1 8B 기준으로 VRAM 12GB면 돌아갑니다. RTX 4070 Ti 이상이면 무난해요. 70B 모델을 쓰려면 A100 같은 서버급 GPU가 필요하고, 그럼 초기 투자가 천만원 단위로 올라가 손익분기 자체가 성립 안 할 수 있어요.
Q. 전기료가 지역마다 다른데 어떻게 계산하나요? A. 제 계산은 kWh당 200원 기준입니다. 여러분이 사는 곳 요금을 전력거래소나 한전 고지서에서 확인하고, GPU 소비 전력(TDP × 평균 가동률)에 곱하면 됩니다. 산업용 전기는 kWh당 100원대라 훨씬 싸질 수 있어요.
Q. 품질 차이는 어느 정도인가요? A. 제 테스트에선 Llama 3.1 8B가 GPT-4o 대비 한국어 조사 오류가 3배, 맥락 놓침이 2배 많았습니다. 번역·요약은 재시도가 필요했고, 단순 분류는 차이가 거의 없었어요. 작업 특성에 따라 체감이 크게 달라집니다.
Q. 하이브리드 구성은 어떻게 하나요? A. 라우팅 로직을 짜서 "키워드 추출, 감정 분석 같은 단순 작업"은 로컬 Ollama로, "긴 글 작성, 복잡한 추론"은 API로 보냅니다. 제 경우 FastAPI로 간단한 게이트웨이를 만들어 작업 타입별로 분기했어요.
정리하면
로컬 LLM은 월 고정비(전기료 + 감가상각)가 들지만 토큰당 비용은 제로입니다. API는 고정비 없이 쓴 만큼만 냅니다. 월 700만 토큰이 제 환경 기준 손익분기점이었고, 품질 손실과 운영 공수까지 따지면 기준이 2~3배 올라갔어요.
제가 내린 결론은 "하이브리드가 답"이었습니다. 단순 작업은 로컬로 몰아서 고정비를 채우고, 품질이 중요한 작업은 API로 던지는 거죠. 여러분도 한 달 사용 패턴을 토큰 단위로 집계해보시면 어느 쪽이 맞는지 계산이 나올 겁니다.