집에 LLM 로컬로 돌려본 후기 (40대 아재의 삽질기)

회사에서 나가는 데이터가 걱정돼서 집 PC에 로컬 모델 깔아봤다. 결론부터 말하면 취미로는 재밌고 실무용으로는 갈 길 멀다.

내 사양은 4070 12GB, 램 32GB. 이 정도면 7~8B급 모델은 그럭저럭 돌아간다. 14B는 양자화하면 되긴 하는데 체감 속도가 확 떨어짐.

해본 것들:

• 챗 인터페이스: Open WebUI가 제일 편했다. 세팅 난이도도 낮음.
• 문서 요약: PDF 30장 정도는 나쁘지 않게 뽑아줌. 다만 긴 문서는 컨텍스트에서 잘림.
• 코딩 보조: 솔직히 클라우드 모델이 훨씬 낫다. 로컬은 문법은 맞는데 설계가 얕음.

2주 쓰면서 느낀 점:

1. GPU 메모리가 전부다. 램으로 넘어가면 그냥 기다림의 시간.

2. 발열/소음이 생각보다 심하다. 밤에 돌려놓으면 시끄러움.

3. 결국 데이터 민감도랑 성능 사이 트레이드오프다.

집에서 장난감 삼아 돌려보는 건 진짜 재밌다. 다만 이걸로 뭔가 서비스 만들겠다는 생각은 잠시 접었다.