불러오는 중…
AI 도구 · 자동화 · 생산성
5개의 글 · #RAG
관리형 벡터 데이터베이스 월 구독료가 부담스러웠습니다. 무료 티어 한도를 넘기면 유료 구간으로 전환되는데, 제 개인 프로젝트에 매달 고정비가 나가는 게 아까워서 로컬 방식을 찾기 시작했어요.
#벡터DB #RAG #Pinecone #Qdrant #MilvusPinecone·Qdrant·Milvus 중 뭐 쓸까 — RAG 구축 실전 선택 기준Pinecone으로 프로토타입을 만들었다가 청구서를 보고 Qdrant로 갈아탔습니다. 같은 문서 검색 RAG였는데 월 비용이 5분의 1로 줄었어요. 하지만 그 대신 제가 직접 감당해야 할 것들이 생겼죠. 이 글은 설정 시간·비용 투명성·운영 부담을 기준으로 각각이 최선인 상황을 정…
#RAG #로컬 LLM #프라이버시 #자동화 #Ollama로컬 LLM 게이팅 — RAG 보안의 진짜 리스크는 나가는 개인정보다지난 4월, 내부 문서 검색 RAG 시스템을 배포하기 직전에 클라우드 API 로그를 점검하다가 식은땀이 났습니다. 프롬프트에 고객 전화번호와 이메일 주소가 그대로 실려 외부 서버로 올라가고 있었거든요. RAG 보안을 검색 정확도와 환각 방지 중심으로만 생각했는데, 실무에서 진짜 무…
#Long-Context #RAG #Claude #LLM 비용 #컨텍스트 창Long-Context 모델은 정말 나을까 — 언제 큰 컨텍스트가 RAG를 이기는가300페이지짜리 계약서 PDF를 Claude에 통으로 넣었더니 답은 빨랐지만, 월말 청구서를 보고 전략을 바꿨어요. 일회성 문서 분석이면 200K 컨텍스트 창이 편하지만, 반복 참조가 필요한 작업이라면 RAG가 훨씬 경제적입니다. 컨텍스트 창이 크다고 무조건 좋은 게 아니더라고요 …
#RAG #환각 #RAGAS #LLM #검색RAG 검색은 완벽한데 답변이 틀렸다 — 환각률 측정으로 본 생성 단계 함정내부 문서 검색 시스템을 RAG로 전환한 뒤, 사용자가 "이거 완전히 반대 의미잖아요"라며 들고 온 답변을 보고 얼어붙었습니다. 검색된 문서엔 정확한 내용이 있었는데, LLM이 생성 단계에서 정반대로 요약했더군요. 검색 품질이 높아도 답변은 틀릴 수 있다는 걸 그때 처음 체감했어요…