로컬 LLM 돌려보신 분들 뭐 쓰시나요
사내 데이터라 외부 API 못 쓰는 환경이라 집에서 테스트용으로 로컬 모델을 돌려보고 있습니다.
돌려본 것들 정리하면
1. 7B급 — 속도는 만족, 근데 긴 문서 요약은 뭔가 부족합니다
2. 13B급 — 품질은 나아지는데 제 GPU(12GB)에서 간당간당합니다
3. 양자화 버전 — 메모리는 확실히 줄어드는데 답변이 좀 둔해지는 느낌
결국 VRAM이 답인가 싶다가도, 그 돈이면 그냥 API 쓰는 게 낫나 하는 생각도 들고요. 쓰고 계신 모델이랑 하드웨어 조합 공유해주시면 감사하겠습니다.
10 개의 답변
ㅇㅈ 12기가면 13B는 좀 빡세죠 ㅋㅋ
요약 태스크면 모델 키우는 것보다 few-shot 예시 몇 개 넣는 게 훨씬 효과 클 때 많아요. 7B로도 충분히 뽑힙니다.
저도 그래요 ㅠ 3090 하나 사고 싶은데 전기세 생각하면 또...
출처 있음?
3060 12GB에 Qwen2.5-14B Q4_K_M로 돌리는데 컨텍스트 8192로 줄이니까 겨우 들어갑니다. 처음엔 32k 넣고 왜 죽지 이러고 있었음... KV캐시가 VRAM을 진짜 많이 먹더라고요. llama.cpp에서 -ngl 조절하면서 레이어 몇 개 CPU로 내리면 속도는 좀 떨어져도 돌아는 갑니다. 참고로 긴 문서 요약은 모델 크기보다 컨텍스트 윈도우랑 청크 분할 방식이 더 중요하더라고요. 7B라도 쪼개서 넣으면 요약 품질 꽤 올라갑니다.
그 돈이면 API 쓰는 게 낫다는 결론엔 좀 동의 안 됩니다. 단순히 토큰 단가만 놓고 비교하면 API가 싸 보이는데, 데이터 반출 리스크랑 심사 받는 데 드는 인력 시간까지 넣으면 로컬이 훨씬 싼 경우도 많아요. 애초에 사내 데이터라 못 쓰는 상황이라면서 그 비교는 좀 앞뒤가 안 맞는 듯.
글쎄 그게 좀... 양자화가 둔해진다는 거 체감상 착각인 경우 많아요. Q4랑 Q8 블라인드로 비교해보면 짧은 질문에서는 거의 구분 못 합니다. 오히려 프롬프트 템플릿이나 chat template 잘못 물려서 답변이 이상해지는 걸 양자화 탓으로 돌리는 케이스가 훨씬 많다고 봅니다. 한 번 같은 조건에서 A/B 해보세요.
12GB면 MoE 쪽 한번 보세요. Qwen3-30B-A3B 같은 거 쓰면 활성 파라미터가 3B 수준이라 속도 괜찮고 품질은 13B보다 확실히 위입니다. VRAM 부족하면 일부 레이어 오프로딩해도 토큰 몇 개 안 나오는 수준이라 쓸 만해요. 저는 4070Ti 12GB에서 이 조합으로 정착했습니다. dense 13B 붙잡고 있었던 시간이 아까움.
Ollama 깔면 일단 편하긴 한데 세밀한 옵션 만지려면 결국 llama.cpp나 vLLM으로 오게 됨 ㅋㅋ
사내 데이터라 외부 API 못 쓴다는 게 진짜 기술 문제가 아니라 보안팀/계약 문제인 경우 많아요. Azure OpenAI나 Bedrock 같은 걸로 VPC 안에서 돌리면 데이터 학습 안 한다는 조항으로 커버되는 곳도 있으니, 그쪽부터 확인해보는 게 삽질 줄이는 길입니다. 물론 규제 업종이면 어림도 없겠지만요.