프롬프트에 '단계별로 생각해줘' 넣는 거 효과 있음?
요즘 추론 모델 나오면서 그 문구 필요 없다는 얘기도 있던데, 체감상 어떤지 궁금함.
나는 아직도 복잡한 작업 시킬 땐 '먼저 계획 세우고 그다음 실행해줘' 식으로 나눠서 시키고 있음. 그게 확실히 결과가 나은 것 같아서.
혹시 최신 모델에서는 오히려 역효과라는 자료 본 사람 있으면 공유 좀.
6 개의 답변
출처 있음? 벤치마크 수치로 비교한 거 보고 싶다
실무에서는 프롬프트 한 줄 차이보다 예시 몇 개 넣어주는 게 훨씬 체감 크더라. 단계 지시는 그다음 문제고
나도 처음엔 그 문구 맹신했는데 지금은 그냥 '결론부터 말하고 근거는 뒤에' 식으로 원하는 출력 형태를 지정해주는 쪽이 결과가 안정적이었음. 모델마다 반응이 달라서 결국 자기 워크플로우에서 A/B 해보는 수밖에 없는 듯ㅋㅋ
ㅇㅈ 나도 복잡한 거 시킬 땐 무조건 단계 나눠서 시킴ㅋㅋ 그냥 한 방에 던지면 중간에 딴 길로 새는 경우가 많더라
추론 모델이랑 일반 모델은 좀 다르게 봐야 함. o1이나 R1 계열은 내부에서 이미 사고 과정을 거치니까 '단계별로 생각해줘' 같은 문구를 넣으면 오히려 지시가 중복돼서 토큰만 축내는 경우가 많다는 얘기가 공식 가이드에도 있었음. 반대로 GPT-4o나 소형 모델한테 복잡한 작업 시킬 땐 지금도 계획 세우고 실행하는 식으로 나누는 게 체감상 낫고. 결국 모델 종류랑 작업 난이도에 따라 다르다고 보는 게 맞는 듯
글쎄 '효과 있다'는 것도 결국 프롬프트를 길고 구체적으로 쓴다는 얘기 아님? '단계별로 생각해줘'라는 마법 문구 자체에 효과가 있는지랑 구분해야지. 그냥 구체적으로 지시를 잘 쓴 거랑 착시가 섞인 것 같은데