집에서 돌릴 로컬 LLM, 3060 12GB면 뭐가 현실적인가요?
회사 자료를 외부 API에 못 올리는 상황이라 로컬로 돌려보려고 합니다. GPU는 3060 12GB 하나뿐이고 램은 32GB입니다.
7B~8B 양자화 모델이면 쓸 만하다는 글은 많이 봤는데, 실제로 한국어 요약 용도로 써보신 분 있으면 어떤 모델 조합이 괜찮았는지 알려주시면 감사하겠습니다.
5 개의 답변
3060 12GB면 Q4 양자화 8B는 그냥 돌아감ㅇㅈ 램 32면 컨텍스트 좀 늘려도 버팀
회사에서 비슷한 이유로 로컬 돌려본 입장에서, 요약 용도면 exaone 3.5 7.8B나 gemma2 9B Q4_K_M 조합이 무난했어요. llama.cpp로 굴리면 VRAM 12기가에서 컨텍스트 8k 정도까지는 실사용 가능했고, 더 늘리면 오프로딩 걸려서 체감 속도가 확 떨어집니다. 다만 한국어 요약 품질은 프롬프트에 많이 타서, '원문에 없는 내용 추가 금지' 같은 제약을 꼭 넣으세요. 안 그러면 없는 내용 지어내는 경우 은근 많아요.
글쎄 그건 좀... 7~8B로 '쓸 만하다'는 글들이 대부분 영어 벤치 기준이라 한국어 요약 실사용은 기대만큼 안 나옵니다. 긴 문서 넣으면 앞부분 날리고 뒤에서 헤매는 일도 많고요. 회사 자료면 오탐/환각 리스크 생각해서 결과를 그대로 믿지 마시고 사람이 검수하는 전제로 쓰시는 게 맞아요. 12GB 하나로 '업무 자동화'는 좀 과한 기대라고 봅니다.
출처 있음? 어떤 벤치로 비교한 건지 궁금하네
윗분이 비관적이긴 한데 저는 반대예요. 요약이면 모델 크기보다 파이프라인이 더 중요합니다. 문서 쪼개서 청크별 요약 → 다시 합치는 방식으로 하면 8B로도 충분히 뽑혀요. 저는 qwen2.5 7B instr + exaone 번갈아 쓰는데, exaone이 한국어 문체는 더 자연스럽고 qwen이 지시 따르기는 더 잘 따라요. ollama로 빠르게 테스트해보고 괜찮으면 vllm으로 넘어가는 걸 추천. 3060 하나면 배치 1로만 돌리세요.