불러오는 중…
AI 도구 · 자동화 · 생산성
3개의 글 · #로컬 LLM
같은 70B 모델을 한 달 돌렸을 때 클라우드 API 요금이 150만 원 나왔다면, "GPU 사서 로컬로 돌리면 전기료만 내니까 훨씬 싸지 않을까?" 하는 질문이 생깁니다. 답하려면 GPU 구매비·전기료·인건비를 모두 넣은 총소유비용을 계산해야 해요. 제 모델에선 월 요청량이 일정…
#RAG #로컬 LLM #프라이버시 #자동화 #Ollama로컬 LLM 게이팅 — RAG 보안의 진짜 리스크는 나가는 개인정보다지난 4월, 내부 문서 검색 RAG 시스템을 배포하기 직전에 클라우드 API 로그를 점검하다가 식은땀이 났습니다. 프롬프트에 고객 전화번호와 이메일 주소가 그대로 실려 외부 서버로 올라가고 있었거든요. RAG 보안을 검색 정확도와 환각 방지 중심으로만 생각했는데, 실무에서 진짜 무…
#AI 도구 #로컬 LLM #자동화 #Python #Ollama로컬 LLM으로 프라이빗 AI 코딩 에이전트 구축하기 — Ollama + Python 완전 가이드저희 팀은 금융권 고객사 프로젝트를 맡으면서 난관에 부딪혔어요. 보안정책상 코드를 외부로 전송할 수 없는데, 레거시 리팩토링 작업량이 3개월치로 쌓여 있었거든요. Claude API를 쓰고 싶었지만 사내망 밖으로 코드 한 줄도 못 내보내는 상황. 그때 Ollama로 로컬 에이전트를…