LLM 파인튜닝 vs RAG, 언제 뭘 써야 하는지 정리해봄

요즘 AI 프로젝트 하면서 가장 많이 받는 질문이 "파인튜닝이 좋아요? RAG가 좋아요?"라서 간단히 정리해봤어.

1. RAG (검색 증강 생성)

• 외부 문서/DB에서 관련 정보를 검색해서 LLM에 주입하는 방식
• 최신 정보, 자사 데이터, 자주 바뀌는 내용에 강함
• 구축 난이도 낮고 비용도 비교적 적음
• 단점: 검색 품질이 전체 성능을 좌우하고, 토큰 길이 제한 고려해야 함

2. 파인튜닝

• 모델 가중치를 특정 도메인 데이터로 추가 학습
• 형식 고정, 특정 스타일/톤 유지, 도메인 용어 사용에 좋음
• 데이터 준비와 학습 인프라가 필요해서 초기 비용 큼
• 단점: 학습 이후 지식 업데이트 어렵고, 데이터 오염 위험

결론: 대부분은 RAG 먼저 적용하고, 그래도 부족한 부분(답변 형식이나 전문 용어)이 있으면 파인튜닝을 섞는 게 정석. 나는 둘 다 써봤는데, RAG로 80% 해결되고 나머지 20%가 파인튜닝으로 매워지는 느낌이었어. 혼자 고민하지 말고 일단 RAG부터 시작해보길 권함.