회사에 LLM 도입하고 3개월, 솔직 후기
작년 말부터 사내 문서 검색 + 코드 리뷰 보조용으로 LLM을 붙여서 운영하고 있습니다. 결론부터 말하면 '생각보다 잘 되고, 생각보다 안 된다'입니다.
일단 잘 되는 건 검색입니다. 예전엔 위키 검색해서 링크 5개 열어보는 데 10분 걸렸는데 지금은 답이 바로 나옵니다. 신입분들이 온보딩에서 체감을 제일 크게 하더라고요.
안 되는 건 정확도입니다. 그럴듯하게 틀린 답을 자신 있게 말할 때가 있어서, 결국 사내 규정이나 계약 관련 질문은 답변 하단에 '원문 확인 필수' 배너를 강제로 달았습니다. 이거 없으면 사고 날 뻔했어요.
비용은 생각보다 많이 안 나옵니다. 임베딩은 배치로 한 번 돌리고, 호출은 캐싱을 붙였더니 월 30만원 정도입니다. 다만 처음 두 달은 튜닝한다고 삽질을 꽤 했고요.
결론: 검색 보조는 무조건 도입하세요. 판단이 들어가는 업무는 아직 시기상조입니다.
4 개의 답변
검색 보조는 진짜 무조건임. 우리도 위키+노션 뒤지던 거 10분씩 날렸는데 챗봇 붙이고 나서 신입 온보딩 속도가 확 다르더라. 근데 정확도 문제는 결국 데이터 청크랑 메타데이터 정리 문제라서, 문서 태깅 안 된 팀은 검색도 별로일걸?
월 30만원은 좀 의심스러운데. 사용자 몇 명 기준이에요? 캐싱 붙였다고 해도 문서량 많고 호출량 늘면 금방 튀는데, 그 수치 그대로 믿기 어렵네요. 그리고 첫 두 달 삽질 비용을 인건비로 환산하면 그게 진짜 비용 아님?
글쎄 그건 좀. '판단 업무는 시기상조'라고 단정하기엔 팀마다 다르지 않나. 우리는 초안 생성이랑 리뷰 체크리스트로 잘 쓰고 있음. 물론 사람이 최종 검수하는 전제 하에.
원문 확인 필수 배너 강제한 거 진짜 잘한 선택임. 저희는 그거 안 달았다가 계약 조건 잘못 안내해서 난리 났었어요;; 환각은 못 잡아도 사고는 막아야 되더라고요.