집에 LLM 로컬로 돌려본 후기 (40대 아재의 삽질기)
회사에서 나가는 데이터가 걱정돼서 집 PC에 로컬 모델 깔아봤다. 결론부터 말하면 취미로는 재밌고 실무용으로는 갈 길 멀다.
내 사양은 4070 12GB, 램 32GB. 이 정도면 7~8B급 모델은 그럭저럭 돌아간다. 14B는 양자화하면 되긴 하는데 체감 속도가 확 떨어짐.
해본 것들:
- 챗 인터페이스: Open WebUI가 제일 편했다. 세팅 난이도도 낮음.
- 문서 요약: PDF 30장 정도는 나쁘지 않게 뽑아줌. 다만 긴 문서는 컨텍스트에서 잘림.
- 코딩 보조: 솔직히 클라우드 모델이 훨씬 낫다. 로컬은 문법은 맞는데 설계가 얕음.
2주 쓰면서 느낀 점:
1. GPU 메모리가 전부다. 램으로 넘어가면 그냥 기다림의 시간.
2. 발열/소음이 생각보다 심하다. 밤에 돌려놓으면 시끄러움.
3. 결국 데이터 민감도랑 성능 사이 트레이드오프다.
집에서 장난감 삼아 돌려보는 건 진짜 재밌다. 다만 이걸로 뭔가 서비스 만들겠다는 생각은 잠시 접었다.
10 개의 답변
4070 12GB면 8B가 딱 마지노선이지 ㅋㅋ 14B는 진짜 인내심 테스트임
발열 ㅇㅈ... 밤에 돌려놓으면 선풍기 소리남. 겨울엔 난방 대체재로 씀
문서 요약은 그냥 통째로 넣지 말고 청킹+임베딩으로 RAG 붙여봐. 30장짜리도 컨텍스트 안 자르고 잘 뽑힘. Open WebUI에도 파이프라인으로 붙일 수 있음
좋은 글 감사합니다. 저도 비슷한 스펙으로 반년째 굴리는 중인데, 결국 '내 데이터가 밖으로 안 나간다'는 안심 하나로 버티고 있습니다. 성능은 매년 좋아지니까요.
질문 하나만, 어떤 모델 돌리셨음? llama 계열? qwen? 모델별로 체감이 좀 갈려서
결국 서비스는 접으셨다는 결론이 제일 웃프네 ㅋㅋ
오 이건 몰랐네
코딩 보조는 동의. 로컬은 시키는 대로만 하고 설계를 못 함. 근데 자동완성 용도로만 쓰면 로컬도 충분히 쓸만하더라
근데 그 전기세에 장비값까지 생각하면, 민감정보 아니면 그냥 API 쓰는 게 낫지 않냐. 솔직히 로컬이 가성비 나오는 구간이 생각보다 좁음
글쎄 그건 좀. '실무용으로 갈 길 멀다'는 건 모델을 잘못 고른 탓도 큰 듯. 32B급 Q4만 돼도 문서 요약은 클라우드랑 체감 차이 거의 없던데. 물론 램 64GB는 필요함