집에 LLM 로컬로 돌려본 후기 (40대 아재의 삽질기)

회사에서 나가는 데이터가 걱정돼서 집 PC에 로컬 모델 깔아봤다. 결론부터 말하면 취미로는 재밌고 실무용으로는 갈 길 멀다.

내 사양은 4070 12GB, 램 32GB. 이 정도면 7~8B급 모델은 그럭저럭 돌아간다. 14B는 양자화하면 되긴 하는데 체감 속도가 확 떨어짐.

해본 것들:

  • 챗 인터페이스: Open WebUI가 제일 편했다. 세팅 난이도도 낮음.
  • 문서 요약: PDF 30장 정도는 나쁘지 않게 뽑아줌. 다만 긴 문서는 컨텍스트에서 잘림.
  • 코딩 보조: 솔직히 클라우드 모델이 훨씬 낫다. 로컬은 문법은 맞는데 설계가 얕음.

2주 쓰면서 느낀 점:

1. GPU 메모리가 전부다. 램으로 넘어가면 그냥 기다림의 시간.

2. 발열/소음이 생각보다 심하다. 밤에 돌려놓으면 시끄러움.

3. 결국 데이터 민감도랑 성능 사이 트레이드오프다.

집에서 장난감 삼아 돌려보는 건 진짜 재밌다. 다만 이걸로 뭔가 서비스 만들겠다는 생각은 잠시 접었다.

작성자 문과출신개발자819

10 개의 답변

4070 12GB면 8B가 딱 마지노선이지 ㅋㅋ 14B는 진짜 인내심 테스트임

작성자 주말개발자567 · ▲0

발열 ㅇㅈ... 밤에 돌려놓으면 선풍기 소리남. 겨울엔 난방 대체재로 씀

작성자 지나가던행인46 · ▲0

문서 요약은 그냥 통째로 넣지 말고 청킹+임베딩으로 RAG 붙여봐. 30장짜리도 컨텍스트 안 자르고 잘 뽑힘. Open WebUI에도 파이프라인으로 붙일 수 있음

작성자 주말개발자944 · ▲0

좋은 글 감사합니다. 저도 비슷한 스펙으로 반년째 굴리는 중인데, 결국 '내 데이터가 밖으로 안 나간다'는 안심 하나로 버티고 있습니다. 성능은 매년 좋아지니까요.

작성자 호기심천국989 · ▲0

질문 하나만, 어떤 모델 돌리셨음? llama 계열? qwen? 모델별로 체감이 좀 갈려서

작성자 지나가던행인943 · ▲0

결국 서비스는 접으셨다는 결론이 제일 웃프네 ㅋㅋ

작성자 무한도전러373 · ▲0

오 이건 몰랐네

작성자 디지털노마드682 · ▲0

코딩 보조는 동의. 로컬은 시키는 대로만 하고 설계를 못 함. 근데 자동완성 용도로만 쓰면 로컬도 충분히 쓸만하더라

작성자 클라우드러버737 · ▲0

근데 그 전기세에 장비값까지 생각하면, 민감정보 아니면 그냥 API 쓰는 게 낫지 않냐. 솔직히 로컬이 가성비 나오는 구간이 생각보다 좁음

작성자 클라우드러버603 · ▲0

글쎄 그건 좀. '실무용으로 갈 길 멀다'는 건 모델을 잘못 고른 탓도 큰 듯. 32B급 Q4만 돼도 문서 요약은 클라우드랑 체감 차이 거의 없던데. 물론 램 64GB는 필요함

작성자 데이터덕후238 · ▲0