Claude로 사내 문서 검색 붙여본 후기 (RAG 반나절 삽질)

사내 위키랑 회의록 검색을 GPT 말고 Claude로 붙여봤다. 결과부터 말하면 만족.

기존에 임베딩은 OpenAI text-embedding-3-small 쓰고 있었는데, 생성 모델만 Claude Sonnet으로 바꿨다. 같은 청크 넣어도 답변이 훨씬 덜 성의없게 나온다. "문서에 따르면~" 하고 근거 붙이는 습관이 좋음.

삽질한 부분 정리:

• 청크 크기 800토큰, 오버랩 150으로 잡으니까 답변 품질 확 올라감. 처음엔 1500으로 했다가 문맥 섞여서 개판이었음
• 메타데이터에 문서 작성일, 부서 넣고 필터 걸어주는 게 체감 제일 큼
• top_k 5개는 너무 적었고 8개 정도가 밸런스 좋았음
• 시스템 프롬프트에 "모르면 모른다고 답하라" 한 줄 넣는 게 진짜 중요

비용은 월 20달러 정도 나옴. 팀 12명이 쓰는데 이 정도면 커피값이지.

다만 Claude API는 rate limit이 좀 빡빡해서 배치 돌릴 때 큐 관리 필수. 이거 때문에 하루 날렸다ㅠ

혹시 LangChain 말고 LlamaIndex로 가신 분 있으면 후기 좀. 요즘 고민 중.