불러오는 중…
AI 도구 · 자동화 · 생산성
3개의 글 · #Ollama
Ollama로 로컬 모델을 돌렸더니 응답이 1.2초 만에 왔습니다. API는 2.8초였어요. "역시 로컬이 빠르네"라고 생각했는데, 같은 스크립트를 10분 돌렸더니 브라우저가 멈춰 있더군요. 추론 시간만 재면 이기지만, 엔드-투-엔드 체감과 다른 작업 블로킹까지 보면 이야기가 달라…
#RAG #로컬 LLM #프라이버시 #자동화 #Ollama로컬 LLM 게이팅 — RAG 보안의 진짜 리스크는 나가는 개인정보다지난 4월, 내부 문서 검색 RAG 시스템을 배포하기 직전에 클라우드 API 로그를 점검하다가 식은땀이 났습니다. 프롬프트에 고객 전화번호와 이메일 주소가 그대로 실려 외부 서버로 올라가고 있었거든요. RAG 보안을 검색 정확도와 환각 방지 중심으로만 생각했는데, 실무에서 진짜 무…
#AI 도구 #로컬 LLM #자동화 #Python #Ollama로컬 LLM으로 프라이빗 AI 코딩 에이전트 구축하기 — Ollama + Python 완전 가이드저희 팀은 금융권 고객사 프로젝트를 맡으면서 난관에 부딪혔어요. 보안정책상 코드를 외부로 전송할 수 없는데, 레거시 리팩토링 작업량이 3개월치로 쌓여 있었거든요. Claude API를 쓰고 싶었지만 사내망 밖으로 코드 한 줄도 못 내보내는 상황. 그때 Ollama로 로컬 에이전트를…