클로드로 논문 요약 자동화해봤는데 진짜 편하네요

ㅇㅈ 이거 한번 맛보면 못 돌아감 ㅋㅋ

혹시 어떤 모델로 돌리시는지 여쭤봐도 될까요? sonnet이면 충분한지 opus까지 가야 하는지, 20편이면 비용도 꽤 나올 텐데 궁금하네요.

글쎄요, 요약은 그럴듯하게 뽑아주는데 원문이랑 미묘하게 다르게 뭉개지는 케이스가 은근 많아서... 특히 리뷰 논문은 섹션마다 논조가 달라서 그냥 순서대로 넣으면 다 뒤섞여요. 저는 초록 자동 요약은 믿고 안 씁니다. 시간 줄었다고 느끼는 게 착각이고 나중에 잘못 걸러낸 거 발견하면 그때 더 크게 손해볼 수도 있다고 봐요.

스크립트 공유 가능하신가요? ㅠㅠ

저도 비슷하게 쓰고 있는데 pdf 파싱에서 제일 많이 깨집니다. 2단 컬럼 논문은 텍스트 순서가 위아래로 뒤섞여서 요약이 아예 딴소리 하는 경우도 있고요. 그래서 저는 pymupdf로 블록 좌표 뽑아서 x좌표 기준으로 컬럼 나눈 다음에 순서 정렬해요. 그것만 해도 품질이 확 올라갑니다. 표는... 진짜 답이 없어서 그냥 이미지로 캡처해서 따로 보라고 프롬프트에 박아놨어요.

arxiv 논문이면 pdf 말고 tex 소스 받아서 섹션 그대로 넣는 게 훨씬 낫습니다. 서지정보까지 깔끔하게 나와서 파싱 지옥 안 거쳐도 돼요. 물론 저널 pdf는 어쩔 수 없지만...

초록 훑는 단계가 사라진 게 아니라 AI가 훑은 걸 니가 다시 검증하는 단계가 생긴 거 아님?ㅋㅋ 총 시간은 줄었을 수 있는데 '걸러내기'를 자동으로 해준다고 믿으면 좀 위험하지 않나 싶음

저도 그래요. 수식이랑 실험 세팅은 결국 원문 봐야 하더라고요. 거기는 아직 사람 몫인 듯

한 가지 팁 드리면 프롬프트에 '본문에 없는 내용은 추측하지 말고 없다고 명시하라' 넣고, 요약 문장마다 원문 인용 구절을 같이 달게 해보세요. 검증 속도가 두 배는 빨라집니다. 그리고 20편 전부 요약시키지 말고 1차로 관련성 스크리닝만 돌린 다음에 통과한 것만 정독하는 흐름으로 바꾸면 체감이 훨씬 커요.