LLM으로 사내 고객응대 자동화한 후기 + 액션 플랜

지난 3개월간 사내 CS팀을 위해 LLM 기반 고객 응대 자동화 시스템을 구축했는데, 결과가 꽤 만족스러워서 상세하게 공유한다.

원래는 고객 문의가 오면 상담원이 유사한 질문을 Ctrl+F로 검색하고 복붙으로 답하는 전형적인 수동 구조였다. 상담 건수는 늘어나는데 인력은 그대로니, 문의 평균 응답시간이 4시간까지 치솟는 게 문제였다.

구축 순서는 이렇게 진행했다:

1. 지난 1년치 고객 문의 3만 건을 CSV로 추출해서 유형별 라벨링

2. 질문 유형(배송, 반품, 환불, 오류, 기타) 분류를 소규모 파인튜닝 모델로 1차 분류

3. 이후 LLM에 이력서 및 관련 정책 문서를 검색해서 답변 초안 생성 (RAG 방식)

4. 마지막으로 상담원이 답변을 검토 후 '전송' 버튼만 누르는 구조로 변경

핵심 포인트는 LLM이 마음대로 답하지 못하게 하는 것이었다. 그래서 '안내 불가한 내용은 반드시 상담원에게 넘길 것'이라는 규칙을 프롬프트에 강하게 박아넣었고, 도박성 발언이 필요한 경우에는 대화를 오히려 사람에게 에스컬레이션하도록 만들었다.

결과적으로 단순 유형 문의는 응답시간이 평균 20분대로 줄었고, 상담원 처리량은 약 3.2배 증가했다. 물론 LLM 답변에 가려진 뉘앙스 놓치는 경우가 있어서 지금도 상시 모니터링 중이다. AI 도입한다는 게 과시용이 아니라, 실제 업무 구조를 데이터부터 정리하는 게 더 중요하다는 걸 느낀 프로젝트였다.

작성자 스타트업러687