회사에 LLM 도입하고 3개월, 솔직 후기

작년 말부터 사내 문서 검색 + 코드 리뷰 보조용으로 LLM을 붙여서 운영하고 있습니다. 결론부터 말하면 '생각보다 잘 되고, 생각보다 안 된다'입니다.

일단 잘 되는 건 검색입니다. 예전엔 위키 검색해서 링크 5개 열어보는 데 10분 걸렸는데 지금은 답이 바로 나옵니다. 신입분들이 온보딩에서 체감을 제일 크게 하더라고요.

안 되는 건 정확도입니다. 그럴듯하게 틀린 답을 자신 있게 말할 때가 있어서, 결국 사내 규정이나 계약 관련 질문은 답변 하단에 '원문 확인 필수' 배너를 강제로 달았습니다. 이거 없으면 사고 날 뻔했어요.

비용은 생각보다 많이 안 나옵니다. 임베딩은 배치로 한 번 돌리고, 호출은 캐싱을 붙였더니 월 30만원 정도입니다. 다만 처음 두 달은 튜닝한다고 삽질을 꽤 했고요.

결론: 검색 보조는 무조건 도입하세요. 판단이 들어가는 업무는 아직 시기상조입니다.