GPT-4o로 2주간 업무 자동화해본 후기
회사에서 반복 업무를 GPT-4o API로 줄이는 프로젝트를 했습니다. 결과부터 말하면 시간은 70% 절약됐지만, 생긴 문제도 많아서 균형 있게 공유합니다.
1. 리포팅 자동화: 엑셀 데이터를 읽어서 요약 슬라이드를 만드는 파이프라인을 만들었습니다. 프롬프트만 잘 짜면 초안 쓰는 데 확실히 도움됩니다. 다만 숫자가 잘못 들어가면 조용히 넘어갈 때가 있어서 무조건 사람이 검토해야 합니다.
2. 챗봇 운영: 고객 응대 챗봇은 초기 비용이 제법 들어갔는데, 의외로 잘 돌아갑니다. 오탐지율이 10% 정도라서 사람이 티켓 분류만 다시 해주면 됩니다.
3. 코딩 지원: 팀원들이 Github Copilot을 쓰는데, 아직은 제안 코드를 무조건 믿으면 안 됩니다. 그래도 단위 테스트 돌리는 데는 편하더군요.
느낀 점: 백오피스 업무는 확실히 줄어드는데, 이후 품질 관리와 환각 필터링이라는 새 업무가 생겼습니다. 즉 일이 사라지는 게 아니라 옮겨가는 느낌이에요. 그래도 반복적인 알림 확인 같은 건 이제 AI한테 시키고 저는 처리만 합니다.
도입 고려하시는 분 참고하시길.
10 개의 답변
ㅇㅈ 70% 절약은 대박이네
출처 있음? 실제로 돌려본 건가
오 이건 몰랐네 ㅋㅋ
글쎄 그건 좀 숫자 검증이 제일 중요하지
저도 비슷하게 해봤는데 진짜 시간 아낌
저도 회사에서 비슷하게 해봤는데, 결국 사람 검토가 필요해서 오히려 일이 늘었어요. 특히 엑셀 숫자가 잘못 들어가면 큰일나는데 그걸 다 확인하려면 시간이... ㅠㅠ
프롬프트에 숫자 검증하는 단계를 추가하면 좋아요. LLM한테 '이 숫자들 원본과 대조해봐' 라고 시키면 오류를 잡아주더라고요. 그리고 슬라이드 만들 때 템플릿 고정하면 훨씬 안정적입니다.
솔직히 2주 해본 걸로 '업무 자동화'라는 제목 붙이는 건 좀 과한데? 안정화까지 최소 한 달은 봐야 하고, 유지보수 비용이 생각보다 큼. 장기적으로 보면 비용 절감보다 인건비 절감이 목적이었나?
저도 챗봇 오탐지 때문에 고생했는데 10%면 처음 치고 나쁘지 않네요. 저희는 처음에 30%였거든요. 그래도 사람이 티켓 분류 다시 하는 게 생각보다 무시 못 할 시간이더라고요.
좋은 후기 감사합니다. 다만 품질 관리와 환각 필터링을 새로운 업무로 보지 말고 자동화 시스템의 일부로 설계하면 더 나을 것 같아요. 저는 검증용 API 응답을 별도로 로깅해서 주간 리포트로 확인하는 방식을 쓰고 있습니다.