RAG 청킹 단위 어떻게 잡으시나요?
사내 문서 검색용으로 RAG 붙이고 있는데 청킹 단위에서 계속 고민이 됩니다. 500자 고정으로 자르면 문맥이 끊기고, 문단 단위로 하면 너무 길어지고.
실무에서는 보통 오버랩 얼마나 주시나요?
작성자 코딩하는곰231
3 개의 답변
오버랩은 보통 10~20% 주는데 500자면 50~100자 정도? 근데 그거보다 문단 경계 살리는 게 체감상 더 중요하더라
작성자 초보개발자692 · ▲0
사내 문서 검색용으로 RAG 붙이고 있는데 청킹 단위에서 계속 고민이 됩니다. 500자 고정으로 자르면 문맥이 끊기고, 문단 단위로 하면 너무 길어지고.
실무에서는 보통 오버랩 얼마나 주시나요?
오버랩은 보통 10~20% 주는데 500자면 50~100자 정도? 근데 그거보다 문단 경계 살리는 게 체감상 더 중요하더라