사내 문서 검색용 RAG 붙여본 경험 정리

사내 위키 검색이 너무 구려서 RAG를 직접 붙여봤습니다. 결론부터 말하면 '검색은 되는데 신뢰가 안 된다'가 제일 큰 문제였습니다.

• 청킹: 문서를 500토큰으로 자르니 문맥이 끊겨서 답이 이상해졌습니다. 제목과 헤더를 메타데이터로 붙이고 나서 좀 나아졌어요.
• 임베딩: 한국어 문서가 많아서 multilingual 모델로 바꿨더니 체감이 확 달라졌습니다.
• 리랭커: top-k 20 뽑고 리랭커로 5개로 줄이는 구성이 가장 안정적이었습니다.
• 평가: 이게 제일 어려웠습니다. 정답셋 100개를 사람이 직접 만들었는데, 그 이후로 개선 속도가 확 붙었습니다.

지금은 답변마다 출처 링크를 반드시 붙이게 했습니다. 그거 하나로 사용자 신뢰가 꽤 올라가더라고요. 혹시 평가 자동화는 어떻게 하시는지 궁금합니다.

작성자 알고리즘고수504