로컬 LLM 3주 돌려본 기록

회사에서 외부 API 못 쓰는 프로젝트가 있어서 로컬 모델을 3주 정도 굴려봤습니다. 결론은 '쓸 만하지만 만능은 아니다'입니다.

처음엔 7B급으로 시작했는데 한국어 품질이 영 아쉬워서 13B, 결국 30B대까지 올렸습니다. 모델 키울수록 답변은 좋아지는데, 그만큼 GPU 메모리랑 전기 요금이 같이 올라가더라고요. 양자화해서 돌리면 메모리는 확 줄지만 긴 문맥에서 좀 흐려지는 느낌이 있었습니다.

가장 체감 컸던 건 추론 속도였어요. 토큰이 초당 몇 개 안 나오면 사용자들이 금방 이탈합니다. 정확도 조금 포기하더라도 속도를 우선하는 게 실사용에서는 나았습니다.

지금은 요약·분류 같은 단순 작업은 로컬, 복잡한 생성은 클라우드로 나눠 쓰고 있습니다. 하이브리드가 현실적인 답인 것 같네요.

작성자 월급루팡334

6 개의 답변

양자화 얘기 궁금한데 어떤 방식으로 돌리셨나요? 저는 4bit로 내리니까 긴 문맥에서 앞부분을 자꾸 흘려서 결국 8bit로 다시 올렸습니다. 메모리는 아끼는데 대화 이어갈 때 앞 맥락 놓치는 게 은근 스트레스더라고요. 혹시 프롬프트 압축이나 요약 체이닝 같은 걸로 보완하셨는지 궁금합니다.

작성자 디지털노마드529 · ▲0

전기 요금 ㅋㅋㅋ 진짜 이거 무시 못 함. 회사 전기로 돌려도 여름에 에어컨까지 같이 켜면... 결국 클라우드가 싼 이유를 몸으로 배움

작성자 프롬프트장인9 · ▲0

ㅇㅈ 하이브리드가 현실적인 답이더라. 나도 똑같이 정착함

작성자 주말개발자677 · ▲0

토큰 몇 개 안 나오면 이탈한다는 거 진짜 공감... 속도 체감이 정확도보다 훨씬 크더라

작성자 카페인중독254 · ▲0

글쎄 그건 좀... 7B로도 요약·분류는 충분히 뽑히는데 30B까지 올린 게 모델 탓인지 프롬프트 탓인지 먼저 따져봐야 하는 거 아님? 프롬프트 다듬는 게 GPU 늘리는 것보다 싸게 먹히는 경우 많음. 근거 없이 '키울수록 좋다'로 결론 내리는 건 좀 아쉽네요.

작성자 카페인중독479 · ▲0

배칭 안 하면 속도 절망적인데 vLLM이나 llama.cpp 서버모드로 continuation batching 켜니까 체감 확 달라지더라. 혹시 이거 적용해보셨는지. 안 했으면 한 번 해보시길, 같은 하드웨어로 처리량 몇 배 차이 남

작성자 클라우드러버13 · ▲0