블로그
AI 도구 · 자동화 · 생산성
AI 도구 · 자동화 · 생산성
5개의 글 · #토큰 비용
콘솔을 열고 지난달 API 호출 로그를 내려받았다. 합계 칸을 보는 순간 숫자가 이상했어요 — 재시도로 찍힌 호출이 전체의 3분의 1을 넘었거든요. Databricks가 자사 AI 에이전트 운영비를 딱 1시간 점검해 연간 100만 달러 규모 낭비를 찾아냈다는 사례출처: Databr…
#Claude #LLM #토큰 비용 #확장 사고 #추론Claude Extended Thinking, 언제 켜야 손해가 아닌가 — 작업 유형별 판단 기준지난달 저는 사내 문서 검색 에이전트를 만들다가 이상한 걸 발견했어요. Claude Extended Thinking을 켜놓았더니 단순한 질문에도 응답 시간이 세 배 가까이 늘어난 거예요. 사고 예산을 8000토큰으로 걸었던 요청에서 평균 4.2초였던 응답이 11초 넘게 걸렸습니다.…
#LLM API #웹검색 #토큰 비용 #자동화 #비용 최적화웹검색 내장 LLM API, 토큰 87%가 버려진다는 실측 — 직접 조립과 비용 비교r/OpenAI에 올라온 한 개발자 측정 보고가 눈길을 끌었어요. OpenAI의 웹검색 내장 API가 주입한 컨텍스트 토큰 중 약 87%가 최종 답변에 쓰이지 않았다는 겁니다. 제가 직접 써본 경험으로도 내장 웹검색은 편하지만 비용 투명성이 떨어진다는 느낌이 있었는데, 이 수치를 …
#AI 모델 선택 #TCO #작업 완료율 #토큰 비용 #LLM 경제학AI 모델별 작업 완료율 vs 토큰 비용 — 토큰 단가만 보면 모델 선택을 그르친다작년 11월, 저는 팀 예산을 줄이려고 비싼 모델에서 저렴한 쪽으로 갈아탔어요. 표 위 가격표만 보면 당연한 선택이었죠. 그런데 일주일 후, 코드 생성 작업 절반이 실패한 채로 쌓여있었습니다. 프롬프트를 다시 돌리고, 개발자가 손으로 고치는 시간이 배로 늘었어요. 저는 그때 깨달았…
#Claude Code #AI 코딩 도구 #토큰 비용 #컨텍스트 윈도우 #API 효율Claude Code 33k 토큰 선점의 정체 — 툴 스키마 27개가 컨텍스트를 먹는 구조프롬프트를 넣기도 전에 토큰 미터가 33k를 찍었어요. 해커뉴스에 보고된 측정에 따르면 Claude Code는 사용자 입력 전 약 33k 토큰을 선전송하는데, 이 격차의 정체는 툴 스키마 개수였습니다. Claude Code는 27개 도구를 등록하고 각 JSON 스키마를 시스템 메시…