집에서 로컬 LLM 돌려본 후기 (7B~32B)

회사에서 AI 관련 일을 하다 보니 집에서도 실험용으로 돌려보고 싶어서 한 달 정도 가지고 놀았습니다. 결론부터 말하면 '생각보다 할 만하고, 생각보다 안 됨'.

집 PC 사양은 4070Ti 12GB, 램 64GB입니다.

• 7B~8B급은 진짜 쾌적함. 이 정도면 문서 요약, 번역, 간단한 코딩 질문은 충분히 소화
• 13B는 양자화하면 돌아가는데 속도가 확 떨어짐. 급한 작업엔 못 씀
• 32B는 무리였음. 12GB VRAM에 얹는 순간 속도가 토큰 단위로 떨어져서 결국 포기
• Ollama로 쓰는 게 제일 편했고, LM Studio는 UI가 예뻐서 초보자한테 좋았음

놀라운 건 8B짜리도 한국어 글쓰기 품질이 작년만 해도 형편없었는데 지금은 꽤 괜찮다는 것. 개인정보 걸리는 문서는 클라우드에 안 보내고 로컬에서 돌리는 게 확실히 마음 편하더군요.

다음엔 램 128GB로 업그레이드해서 MoE 모델을 도전해볼까 합니다.