LLM 로컬로 돌려본 3주간 후기 (모델별 비교)

회사 보안 때문에 외부 API 못 쓰는 상황이라 로컬 모델 이것저것 돌려봤다. GPU는 4090 한 장 환경이다.

1. 7B급 모델

• 속도는 진짜 빠르다. 코드 자동완성 용도로는 충분했다.
• 다만 긴 문맥 넣으면 앞부분을 자꾸 까먹는다.

2. 13B급

• 품질이 확 좋아지는데 속도가 체감상 절반 이하다.
• 번역이나 요약 같은 정적인 작업엔 이 정도가 가성비 좋았다.

3. 30B 이상

• 솔직히 4090 한 장으로는 답답하다. 양자화해도 토큰 속도가 실사용하기 애매함.
• 결국 여러 장 꽂거나, 작은 모델 + 파인튜닝 조합이 현실적이라고 느꼈다.

총평: 로컬 LLM은 'API 대체'보다는 '특정 작업 전용'으로 쓰는 게 맞는 것 같다. 그냥 다 잘하는 모델 하나 돌리려는 순간 비용이 확 뛴다.