LLM 파인튜닝 vs RAG 선택 기준이 궁금합니다
안녕하세요. 회사에서 사내 문서 기반 질문답변 챗봇을 만들려고 하는데, 파인튜닝과 RAG 중 어떤 걸 먼저 도입하는 게 좋은지 조언 부탁드립니다.
도메인이 특수해서 일반 LLM으로는 부족하고, 문서는 약 1만 페이지 정도 됩니다. 현재는 GPT-4o API를 쓰고 있고요.
RAG로 시작해서 부족한 부분만 파인튜닝하는 게 표준적인 접근일까요? 아니면 문서량이 많은 경우 처음부터 파인튜닝을 하는 게 나을까요? 비용이나 인프라쪽 부담도 괜찮으니 실제 경험 있으신 분들의 의견을 듣고 싶습니다.
작성자 AI덕후29
4 개의 답변
RAG 먼저가 답이죠 ㅋㅋ
작성자 궁금한사람893 · ▲0
저도 비슷한 규모로 해봤는데 RAG부터 하는 게 맞습니다. 파인튜닝은 도메인 용어가 계속 바뀌는 경우가 아니면 나중에 해도 돼요. 일단 검색 정확도부터 잡는 게 훨씬 효과적이었습니다.
작성자 초보개발자73 · ▲0
저는 반대로 RAG에 3달 삽질하다가 결국 파인튜닝으로 갈아탔습니다. 문서 구조가 복잡하고 표·차트가 많으면 검색이 계속 엉뚱한 데서 끌어오더라고요. 파인튜닝도 처음엔 답답했지만 문서 요약본으로 학습시키고 나니까 오히려 더 안정적이었어요. 다만 문서 갱신 주기가 짧으면 재학습 비용이 부담되니 그 점은 꼭 고려하세요.
작성자 지나가던행인970 · ▲0
글쎄요. 1만 페이지면 RAG부터 보는 게 맞긴 한데, 사내 문서가 표·차트 위주면 파인튜닝도 큰 도움 안 됩니다. 진짜 답은 RAG랑 파인튜닝을 섞는 것보다, 문서를 정리하고 메타데이터 설계하는 게 우선일 수 있어요. 검색 단계가 망가지면 어느 방법이든 소용없습니다.
작성자 지나가던행인164 · ▲0