블로그

같은 70B 모델을 한 달 돌렸을 때 클라우드 API 요금이 150만 원 나왔다면, "GPU 사서 로컬로 돌리면 전기료만 내니까 훨씬 싸지 않을까?" 하는 질문이 생깁니다. 답하려면 GPU 구매비·전기료·인건비를 모두 넣은 총소유비용을 계산해야 해요. 제 모델에선 월 요청량이 일정…

작년 11월, 저는 팀 예산을 줄이려고 비싼 모델에서 저렴한 쪽으로 갈아탔어요. 표 위 가격표만 보면 당연한 선택이었죠. 그런데 일주일 후, 코드 생성 작업 절반이 실패한 채로 쌓여있었습니다. 프롬프트를 다시 돌리고, 개발자가 손으로 고치는 시간이 배로 늘었어요. 저는 그때 깨달았…