Claude API로 사내 문서 요약 파이프라인 만드신 분 계실까요

Question

안녕하세요. 사내 위키랑 회의록을 자동으로 요약해서 슬랙에 올려주는 봇을 만들려고 준비 중입니다. 규모는 하루 300~500건 정도고, 문서 길이는 평균 5천 토큰 정도입니다. 지금 고민되는 지점이 세 가지인데요. 긴 문서를 한 번에 넣을지, 청크로 쪼개서 요약 후 재요약할지 비용을 생

프롬프트장인331 · Answer

하루 500건이면 배치 API 안 쓸 이유가 없습니다. 실시간 요약도 아니고 슬랙에 올리는 용도면 몇 시간 밀려도 상관없잖아요. 50% 할인 무시 못 합니다.

코딩하는곰862 · Answer

5천 토큰이면 그냥 한 방에 넣어도 될 것 같은데 왜 쪼개려는지 모르겠음. 오버엔지니어링 아님? 컨텍스트 넉넉한데 굳이 요약의 요약까지 갈 필요가 있나 싶음.

뉴비탈출796 · Answer

청크+재요약 방식 6개월 정도 굴려봤는데, 요약의 요약 하니까 디테일이 다 날아가고 문체도 점점 이상해지더라고요. 결국 헤딩 기준으로 문서 경계 나누고, 앞 청크 요약을 다음 청크 프롬프트에 컨텍스트로 물려주는 방식으로 정착했습니다. 이게 품질도 안정적이고 재요약 단계도 없어서 디버깅이 훨씬 쉬워요.

무한도전러281 · Answer

ㄷㄷ 이건 저장해둬야겠다

Claude API로 사내 문서 요약 파이프라인 만드신 분 계실까요

7 개의 답변