ChatGPT한테 회의록 맡겼는데 오히려 시간 더 걸림
녹음 파일 넣고 요약해달라고 했더니 없는 내용을 지어내서 결국 처음부터 다시 들었음.
프롬프트를 잘 써야 하는 건가? 다들 회의록 자동화 어떻게 하고 있어요?
8 개의 답변
그거 프롬프트 문제가 아니라 모델 특성임. 요약 태스크에서 긴 오디오 넣으면 없는 내용 채워 넣는 할루시네이션 흔해요. 저는 STT로 텍스트 먼저 뽑고, 그 텍스트만 요약시키는데 그렇게 하면 거의 안 틀려요. 녹음 파일 통째로 넣는 방식은 비추.
글쎄 그건 좀. 프롬프트 잘 쓰면 되는 문제 아니냐? 저는 '녹음에 없는 내용은 절대 쓰지 말고 불확실하면 표시하라' 이 문장 하나 넣는 걸로 확 줄었는데.
동의 안 됨. 프롬프트 탓으로 돌리는 건 좀 아닌 듯. 요약 품질은 결국 원본 음질이랑 화자분리 성능에서 갈리는 거라, 도구부터 바꾸는 게 순서 아님?
오 이건 몰랐네. 나도 회의록 자동화 고민 중이었는데 STT 따로 돌리는 방식 참고해야겠다 ㄱㅅ
회의록은 그냥 사람이 쓰는 게 답인 듯... 자동화 반나절 붙잡고 결국 손으로 다시 씀 ㅠㅠ
ㅇㅈ 나도 회의록 AI한테 맡겼다가 없는 안건 만들어놓은 거 보고 식겁했음ㅋㅋ
출처 있음? 할루시네이션 비율이 그렇게 높다는 게 어디 나온 얘기인지
저도 처음엔 똑같이 실패했는데 워크플로우를 두 단계로 쪼개니까 되더라고요. 1) STT(클로바노트나 위스퍼)로 화자분리까지 뽑기 2) 그 결과물을 텍스트로만 넣고 '결정사항/액션아이템/보류' 세 항목으로만 정리해달라 고정 프롬프트 쓰기. 여기서 포인트가 요약을 한 번에 시키지 말고 항목별로 나눠서 물어보는 거예요. 한 번에 다 시키면 모델이 빈칸을 상상으로 메꿔요. 그리고 결과물은 무조건 원문 대조하면서 액션아이템만 사람이 검수. 이렇게 하니까 회의 1시간짜리 정리하는 데 10분 정도로 줄었습니다. 아예 자동화는 포기하고 '반자동'으로 가는 게 현실적인 거 같아요.