블로그

RTX 4090에 Llama 3.1 8B를 올려 한 달 돌렸더니 전기 요금이 4만5천원 나왔어요. GPU 감가상각까지 더하면 월 11만원 고정비가 듭니다. 같은 기간 API 청구서는 사용량에 따라 천원에서 수십만원까지 차이가 컸죠. 월 700만 토큰 이상 쓴다면 로컬이 이득이라는 …

Ollama로 로컬 모델을 돌렸더니 응답이 1.2초 만에 왔습니다. API는 2.8초였어요. "역시 로컬이 빠르네"라고 생각했는데, 같은 스크립트를 10분 돌렸더니 브라우저가 멈춰 있더군요. 추론 시간만 재면 이기지만, 엔드-투-엔드 체감과 다른 작업 블로킹까지 보면 이야기가 달라…