불러오는 중…
AI 도구 · 자동화 · 생산성
2개의 글 · #LLM API
새벽 2시 7분, 자동 발행 파이프라인이 초안 3편 중 2편을 빈 파일로 남기고 끝나 있었습니다. 로그를 열어 보니 LLM API 응답이 전부 429였고, 재시도 코드는 3번 모두 0.5초 간격으로 두드리다 포기했더군요. 레이트리밋은 서버가 잠깐 쉬라고 말하는 신호인데, 제 코드는…
#LLM API #웹검색 #토큰 비용 #자동화 #비용 최적화웹검색 내장 LLM API, 토큰 87%가 버려진다는 실측 — 직접 조립과 비용 비교r/OpenAI에 올라온 한 개발자 측정 보고가 눈길을 끌었어요. OpenAI의 웹검색 내장 API가 주입한 컨텍스트 토큰 중 약 87%가 최종 답변에 쓰이지 않았다는 겁니다. 제가 직접 써본 경험으로도 내장 웹검색은 편하지만 비용 투명성이 떨어진다는 느낌이 있었는데, 이 수치를 …