LLM으로 사내 문서 검색 붙여본 3주간 기록
사내 위키랑 PDF 매뉴얼이 너무 많아서 그냥 벡터 검색 붙여보자 하고 시작했는데, 생각보다 삽질을 많이 했습니다. 나중에 하실 분들을 위해 정리해둡니다.
1. 청킹이 8할이다
문단 단위로 자르는 게 제일 무난했습니다. 고정 500자로 자르니까 표나 절차 설명이 중간에 끊겨서 답변 품질이 확 떨어지더라고요. 헤딩 기준으로 자르고, 너무 길면 다시 나누는 방식으로 바꿨습니다.
2. 리랭커는 거의 필수
벡터 검색만 쓰면 그럴듯하지만 틀린 문서를 자주 물어옵니다. 리랭커 하나 붙였더니 체감 정확도가 확실히 올라갔습니다.
3. 출처 표시는 무조건 넣어라
이게 제일 중요했습니다. 출처가 없으면 아무도 안 믿어요. 문서명이랑 페이지 번호까지 붙여주니까 사용 패턴 자체가 달라졌습니다.
4. 평가셋을 만들어라
"느낌상 좋아졌다"로는 개선이 안 됩니다. 질문 50개 정도만 만들어도 A/B 비교가 가능해집니다.
결론적으로 임베딩 모델보다 파이프라인 설계가 훨씬 중요했습니다. 모델 갈아끼우는 건 마지막 단계였어요.
7 개의 답변
출처 표시 진짜 이거 하나로 반응이 완전 달라짐ㅇㅈ. 문서명·페이지까지 찍어주면 신뢰도가 다르더라
청킹 8할이라는 말 좀 과한 듯. 도메인마다 다르고 임베딩 모델 따라 체감 차이 큰데, 고정 500자로 자르는 게 문제였던 거지 청킹 자체가 8할은 아닌 것 같음
질문 50개 평가셋 만드는 거 진짜 핵심입니다. 저희도 그거 없이 "좀 나아진 것 같다"만 2주 날렸어요... ㅋㅋ
리랭커는 어떤 걸로 쓰셨나요? bge-reranker 쓰고 있는데 한국어 문서에서는 좀 애매해서 다른 거 고민 중입니다
오 이건 몰랐네
공감합니다. 저는 PDF 표 때문에 거의 한 달 삽질했는데, 결국 파싱 단계에서 레이아웃 유지하는 게 제일 중요하더라고요. 청킹은 그 다음 문제였습니다. 혹시 PDF는 어떤 라이브러리 쓰셨는지 궁금하네요.
글쎄 그거 옛날 얘기 아님? 요즘 나오는 긴 컨텍스트 모델 쓰면 굳이 리랭커까지 필요한가 싶은데. 비용 계산은 해보셨나요