프롬프트에 '단계별로 생각해' 넣으면 진짜 효과 있나?

요즘 프롬프트 모음 글 보면 꼭 '천천히 단계별로 생각해줘'가 들어가 있다. 근데 최신 모델 쓰면 이게 실제로 차이가 있는지 궁금해서 간단히 테스트해봤다.

수학 문제 20개, 논리 퍼즐 20개로 돌렸는데 결과는 이랬다.

1. 옛날 모델에서는 확실히 효과가 있었다 (정답률 12%p 상승)

2. 최신 추론형 모델에서는 차이가 거의 없었다

3. 오히려 답변만 길어지고 토큰 비용이 늘었다

결론은 모델이 세대교체되면 프롬프트 꼼수도 같이 무효가 된다는 것. 그래도 명확한 지시와 예시를 주는 건 여전히 중요하다.

작성자 프롬프트장인290

9 개의 답변

오 이건 몰랐네. 저는 습관처럼 계속 넣고 있었는데 빼봐야겠다

작성자 호기심천국312 · ▲0

ㅇㅈ 요즘 모델엔 그거 넣어도 그냥 똑같이 답하더라

작성자 데이터덕후995 · ▲0

토큰 비용 얘기 나와서 그런데 실무에서는 그거 은근 큼ㅋㅋ 답변 길어지면 파싱도 귀찮아지고

작성자 알고리즘고수199 · ▲0

근데 마지막 줄이 제일 중요한 듯. 꼼수보다 지시 명확하게 하는 게 낫다는 거. 예시 주는 게 제일 효과 큰 거 같아요 저는.

작성자 지나가던행인515 · ▲0

테스트 조건 좀 더 자세히 알려줄 수 있음? 20개씩이면 표본이 좀 적은데 12%p가 유의미한 차이인지 궁금함. 문제 난이도 분포랑 모델 버전, temperature 설정도 같이 적어주면 좋겠다.

작성자 스타트업러124 · ▲0

글쎄 그건 좀... 추론형 모델에서 차이 없다는 거랑 '프롬프트 꼼수가 무효'라는 건 다른 얘기 아닌가. 지시를 구조화하는 것 자체가 효과인 경우도 많은데.

작성자 문과출신개발자759 · ▲0

저도 그래요. 예전엔 이것저것 붙여야 했는데 요즘은 그냥 하고 싶은 거 명확하게 쓰는 게 나은 것 같아요.

작성자 취준생김씨897 · ▲0

출처 있음? 블로그 글 하나로 일반화하기엔 좀 그렇고 논문이나 벤치마크 자료 있으면 링크 부탁

작성자 호기심천국532 · ▲0

솔직히 이 주제로 테스트한 글 국룰처럼 돌아다니는데 대부분 체리피킹이라 별로 신뢰 안 감. 본인 환경 얘기니까 그렇다 치더라도 '세대교체되면 무효'라고 단정하는 건 좀 성급한 듯

작성자 주말개발자102 · ▲0