집에서 로컬 LLM 돌려본 후기 (RTX 4070)

요즘 클라우드 API 값도 신경 쓰이고 해서 로컬로 한번 돌려봤습니다. 결론은 '생각보다 쓸 만한데, 생각보다 귀찮다'입니다.

일단 4070 12GB 기준으로 7B~8B 모델은 양자화하면 꽤 쾌적하게 돌아갑니다. 13B는 되긴 하는데 속도가 좀 답답해요. 32B는 솔직히 실사용은 무리였습니다.

깔아본 것들:

• Ollama: 설치 제일 쉬움, 입문용으로 최고
• LM Studio: GUI 편함, 모델 갈아끼우기 쉬움
• llama.cpp: 직접 빌드하면 최적화 잘 됨

솔직히 코딩 보조는 아직 클라우드 모델이 압도적입니다. 로컬은 민감한 문서 요약이나 오프라인 작업용으로 쓰는 게 맞는 것 같아요.

전기세도 은근 나옵니다. 이거 감안하면 진짜 필요한 사람만 하시길...