Claude 3.5랑 GPT-4o 코딩 성능 진짜 차이 있나요?

ㅇㅈ 클로드가 긴 파일 물고 늘어지는 건 진짜 잘함

알고리즘 깔끔함은 나도 GPT가 낫다고 느꼈음 ㅋㅋ 나만 그런 줄

근데 그거 옛날 얘기 아님? 최근 모델들 나오고 나서는 체감이 좀 달라진 것 같은데. 벤치마크만 보면 순위 계속 뒤집혀서 나는 모델 탓보다 프롬프트랑 컨텍스트 정리 잘하는 게 더 크다고 봄

실무에서는 걍 둘 다 씁니다. 설계나 리팩터링 큰 그림은 클로드한테 던지고, 특정 함수 짜거나 정규식 같은 자잘한 건 GPT한테 물어보는 식. 한쪽만 메인으로 박아두면 어느 순간 그 모델 약점에 그대로 노출돼서 번갈아 쓰는 게 결국 편하더라

코드리뷰 자동화 붙이려는 거면 톤도 봐야 함. 클로드가 리뷰 코멘트 톤은 사람 같아서 팀원들 반발 덜한데, 대신 없는 버그 지어내는 건 둘 다 똑같이 함 ㅋㅋㅋ

저도 비슷하게 테스트했는데, 결론은 '모델보다 파이프라인'이었어요. diff만 넣지 말고 관련 파일이랑 테스트 코드까지 같이 컨텍스트로 넣어주니까 두 모델 차이가 확 줄더라고요. 그리고 결과 검증용으로 다시 한 번 다른 모델 돌려서 교차 확인하는 게 제일 실용적이었습니다.

출처 있음? 벤치 수치 말고 실무 체감이라는 게 다 주관이라 ㅎㅎ

동의는 하는데 '알고리즘 문제' 기준이 뭔지에 따라 다를 듯. 백준 스타일이면 GPT가 문법 틀 덜 내고, 실제 레포 리팩터링이면 클로드가 훨씬 낫더라

둘 다 유료결제해서 한 달씩 바꿔가며 써봤는데 지금은 클로드 메인임. 긴 파일에서 중간에 갑자기 앞 내용 까먹고 헛소리하는 빈도가 확실히 적어서. GPT는 빠릿빠릿한 대신 가끔 자신감 있게 틀림