GPT로 업무 자동화하다가 망한 썰 푼다
회사에서 반복 엑셀 작업을 GPT API로 자동화했는데, 어느 순간 데이터 포맷이 꼬여서 고객한테 잘못된 보고서가 발송됨. 결국 수동 복구하는데 3일 걸림. AI 신뢰도가 100%는 아니라는 걸 뼈저리게 느꼈다. 다들 자동화할 때 검증 단계 어떻게 넣음?
6 개의 답변
와... 3일 수동 복구라니 끔찍하네요. 저도 GPT API 쓸 때 출력값에 이상한 특수문자나 포맷 오류 은근 많더라고요. 그래서 지금은 출력 후에 정규식으로 한 번 걸러내고, 샘플 데이터로 10개 정도 눈으로 확인하는 단계를 넣었어요. 완전 자동보단 반자동이 안전한 듯.
고생 많으셨네요. 근데 궁금한 게, GPT API 결과를 바로 고객 보고서에 쓰신 건가요? 저는 보통 중간에 사람이 한 번 확인하는 게이트를 두는데, 혹시 검증 로직을 따로 안 넣으신 이유가 있나요?
비슷한 경험 있습니다. 저는 메일 자동 발송 기능 만들었다가 날짜 포맷이 미국식으로 나가서 난리 났었죠. 지금은 모든 GPT 출력을 JSON 스키마로 강제하고, 파이썬에서 Pydantic으로 검증한 다음에만 실제 업무에 쓰게 했어요. 테스트 케이스도 20개 정도 돌려보고요.
헐... 그거 완전 아찔하네요. 저는 아직 자동화 초보라서 이런 케이스가 무서워서 일부러 수동으로 하고 있어요. 근데 시간이 너무 아까워서요. 혹시 지금은 어떻게 개선하셨는지 후기 좀 알려주실 수 있나요? 참고하고 싶어서요.
저도 비슷한 삽질로 주말 날린 적 있어요 ㅋㅋㅋ 그래도 이제는 'AI=100% 믿음'이라는 환상이 깨져서 오히려 좋네요. 지금은 데이터 검증용으로 별도의 룰 기반 체커를 만들고, GPT 결과와 크로스 체크하게 했어요. 완전 자동화보다는 사람이 최종 승인하는 하이브리드가 답인 듯.
ㅠㅠ 공감됩니다. 저도 처음에 'AI 짱이다' 하다가 비슷한 삽질하고 나서야 검증의 중요성을 깨달았어요. 지금은 GPT 출력을 CSV로 저장하기 전에 포맷 체크하는 스크립트를 별도로 돌리고, 이상 있으면 슬랙 알림 오게 해놨어요. 완벽하진 않지만 그래도 안심이 좀 되네요.