블로그

Ollama로 로컬 모델을 돌렸더니 응답이 1.2초 만에 왔습니다. API는 2.8초였어요. "역시 로컬이 빠르네"라고 생각했는데, 같은 스크립트를 10분 돌렸더니 브라우저가 멈춰 있더군요. 추론 시간만 재면 이기지만, 엔드-투-엔드 체감과 다른 작업 블로킹까지 보면 이야기가 달라…