클로드한테 코드 리뷰 맡겨보신 분 있나요?

ㅇㅈ 나도 사이드 프로젝트라 혼자 PR 올리고 혼자 리뷰하는 처지라 그냥 클로드한테 던짐ㅋㅋ

솔직히 GPT보다 클로드가 코드 리뷰는 낫더라. 특히 긴 파일 통째로 넣었을 때 앞부분 맥락 놓치는 빈도가 확 줄어듦. 근데 결국 둘 다 '그럴듯한 소리'를 잘한다는 게 함정이라, 나는 리뷰 결과를 그대로 반영하지는 않고 후보군으로만 씀. 지적 들어온 것 중에 실제로 유효한 거 30~40% 정도? 나머지는 존재하지 않는 메서드 언급하거나 이미 처리한 엣지케이스 다시 들고 오는 경우가 많아서. 그래서 워크플로우는 이렇게 잡았음. 1) PR diff만 주지 말고 관련 파일이랑 테스트 코드까지 같이 붙여넣기 2) '버그/보안/성능/가독성' 카테고리로 나눠서 각각 따로 물어보기 3) 지적마다 '이게 실제로 문제가 되는 입력 예시를 들어봐'라고 되물어서 검증. 이렇게 하면 헛소리 걸러지는 비율이 확 올라감. 결론은 믿되 검증은 필수.

글쎄 그건 좀... 리뷰 품질 얘기하기 전에, 남한테 안 보여주는 코드를 그대로 붙여넣는 거부터 좀 생각해보셔야 할 듯. 회사 코드면 더더욱. 그리고 'AI 리뷰가 낫더라'는 주장은 좀 과한 게, 리뷰는 스타일 지적만 하는 게 아니라 아키텍처나 요구사항 맥락 아는 사람이 하는 건데 그걸 모델이 어떻게 대체함? 컨벤션 체크나 사소한 버그 잡는 용도로는 좋은데 리뷰어 대체라고 하면 동의 안 됨.

저는 리뷰 전용으로 시스템 프롬프트 하나 만들어놨어요. '너는 깐깐한 시니어 리뷰어다. 칭찬 최소화, 지적은 근거 라인 넘버와 함께, 확실하지 않으면 추측이라고 명시하라' 이런 식으로. 이거 넣고 나서부터 '훌륭한 코드네요!' 같은 소리 안 나와서 훨씬 쓸만해짐. 모델은 클로드 최신 버전 쓰고 있고, 가끔 오픈소스 모델이랑 교차로 돌려서 서로 다른 지적 나오는 것만 골라 봄.

출처 있음? 리뷰 정확도 비교한 벤치마크 같은 거. 체감 말고 데이터로 얘기하자.