집에서 로컬 LLM 돌려본 삽질 기록 (GPU 하나로)

재미로 집에서 오픈소스 모델 돌려보고 있는데, 삽질한 게 많아서 기록 남김. 결론은 '돌아는 가는데 쓸 만하게 만드는 게 진짜 어렵다'임.

처음엔 그냥 Ollama 깔고 7B 모델 돌렸는데 속도는 나쁘지 않았음. 문제는 품질이었는데, 한국어로 물어보면 대답이 미묘하게 어색해서 실사용은 힘들더라.

그다음 GPU 메모리랑 씨름했음. 14B나 32B 모델을 양자화해서 올리면 확실히 품질이 살아나는데, VRAM이 모자라서 레이어 일부를 CPU로 넘기는 순간 속도가 확 떨어짐. 이 지점에서 진짜 재미없어짐ㅋㅋ

그래도 배운 건:

• 품질은 모델 크기가 거의 다 한다 (양자화는 4비트까지가 한계 같음)
• 한국어는 애초에 한국어 데이터 잘 먹은 모델 골라야 함
• 속도는 메모리 대역폭이 결정함, 코어 수 아님
• 서버 띄워서 API로 쓰는 게 그냥 제일 편함

결국 지금은 작은 모델 하나 띄워서 요약용으로만 씀. 사양 좋은 분들은 어떤 모델 쓰는지 궁금함.