LLM 로컬로 돌려본 3주간 후기 (모델별 비교)
회사 보안 때문에 외부 API 못 쓰는 상황이라 로컬 모델 이것저것 돌려봤다. GPU는 4090 한 장 환경이다.
1. 7B급 모델
- 속도는 진짜 빠르다. 코드 자동완성 용도로는 충분했다.
- 다만 긴 문맥 넣으면 앞부분을 자꾸 까먹는다.
2. 13B급
- 품질이 확 좋아지는데 속도가 체감상 절반 이하다.
- 번역이나 요약 같은 정적인 작업엔 이 정도가 가성비 좋았다.
3. 30B 이상
- 솔직히 4090 한 장으로는 답답하다. 양자화해도 토큰 속도가 실사용하기 애매함.
- 결국 여러 장 꽂거나, 작은 모델 + 파인튜닝 조합이 현실적이라고 느꼈다.
총평: 로컬 LLM은 'API 대체'보다는 '특정 작업 전용'으로 쓰는 게 맞는 것 같다. 그냥 다 잘하는 모델 하나 돌리려는 순간 비용이 확 뛴다.
7 개의 답변
저도 비슷한 환경인데 13B가 가성비 구간이라는 건 공감. 번역/요약 돌릴 때 7B랑 차이가 확 나더라. 근데 긴 문맥은 13B도 똑같이 까먹던데 이건 모델 문제인지 뭔가 세팅 문제인지 궁금함.
총평 부분은 정말 동의합니다. 'API 대체'를 목표로 잡으면 끝이 없고, '이 작업 하나는 이 모델' 식으로 좁히는 게 스트레스도 덜하고 비용도 훨씬 합리적이더라고요. 좋은 글 감사합니다.
속도 수치 좀 있으면 좋겠는데. t/s 얼마나 나왔는지 안 적혀 있어서 비교가 안 되네. 7B랑 13B가 체감 절반이라는 것도 주관이라...
4090 한 장에서 30B 4bit 양자화로 토큰 몇 개 나옴? 대충 10~15 t/s 정도 나오면 코드 자동완성엔 쓸만하지 않나 싶어서.
글쎄 7B 코드 자동완성이 '충분했다'는 건 좀 케바케 아닌가. 언어나 프레임워크에 따라 다르고, 특히 레거시 코드 섞이면 7B는 금방 헛소리 뱉던데. 어떤 언어로 테스트한 건지 궁금하네.
ㅇㅈ. 30B 넘어가면 4090 한 장으론 진짜 감성 영역임ㅋㅋ
회사 보안 때문에 로컬 돌린다는 상황이면, 그냥 작은 모델 + RAG + 약간의 파인튜닝 조합이 제일 현실적이더라. 저희도 4090 두 장으로 30B급 굴리다가 결국 사내 문서 전용으로 특화시킨 7B 모델 하나로 정착했음. 범용으로 다 잘하게 만들려는 순간 GPU값이 걷잡을 수 없이 올라가서... 결론은 작성자분 총평이랑 거의 같음.