로컬 LLM 3주 돌려본 기록
회사에서 외부 API 못 쓰는 프로젝트가 있어서 로컬 모델을 3주 정도 굴려봤습니다. 결론은 '쓸 만하지만 만능은 아니다'입니다.
처음엔 7B급으로 시작했는데 한국어 품질이 영 아쉬워서 13B, 결국 30B대까지 올렸습니다. 모델 키울수록 답변은 좋아지는데, 그만큼 GPU 메모리랑 전기 요금이 같이 올라가더라고요. 양자화해서 돌리면 메모리는 확 줄지만 긴 문맥에서 좀 흐려지는 느낌이 있었습니다.
가장 체감 컸던 건 추론 속도였어요. 토큰이 초당 몇 개 안 나오면 사용자들이 금방 이탈합니다. 정확도 조금 포기하더라도 속도를 우선하는 게 실사용에서는 나았습니다.
지금은 요약·분류 같은 단순 작업은 로컬, 복잡한 생성은 클라우드로 나눠 쓰고 있습니다. 하이브리드가 현실적인 답인 것 같네요.
6 개의 답변
양자화 얘기 궁금한데 어떤 방식으로 돌리셨나요? 저는 4bit로 내리니까 긴 문맥에서 앞부분을 자꾸 흘려서 결국 8bit로 다시 올렸습니다. 메모리는 아끼는데 대화 이어갈 때 앞 맥락 놓치는 게 은근 스트레스더라고요. 혹시 프롬프트 압축이나 요약 체이닝 같은 걸로 보완하셨는지 궁금합니다.
전기 요금 ㅋㅋㅋ 진짜 이거 무시 못 함. 회사 전기로 돌려도 여름에 에어컨까지 같이 켜면... 결국 클라우드가 싼 이유를 몸으로 배움
ㅇㅈ 하이브리드가 현실적인 답이더라. 나도 똑같이 정착함
토큰 몇 개 안 나오면 이탈한다는 거 진짜 공감... 속도 체감이 정확도보다 훨씬 크더라
글쎄 그건 좀... 7B로도 요약·분류는 충분히 뽑히는데 30B까지 올린 게 모델 탓인지 프롬프트 탓인지 먼저 따져봐야 하는 거 아님? 프롬프트 다듬는 게 GPU 늘리는 것보다 싸게 먹히는 경우 많음. 근거 없이 '키울수록 좋다'로 결론 내리는 건 좀 아쉽네요.
배칭 안 하면 속도 절망적인데 vLLM이나 llama.cpp 서버모드로 continuation batching 켜니까 체감 확 달라지더라. 혹시 이거 적용해보셨는지. 안 했으면 한 번 해보시길, 같은 하드웨어로 처리량 몇 배 차이 남