집에서 7B 모델 돌려본 지 한 달, 솔직한 후기

회사에서는 클로드랑 GPT 쓰지만 집에서는 돈 아끼려고 로컬 모델 돌리고 있다. 3060 12GB에 양자화 모델 올려서 쓰는 중인데, 생각보다 쓸 만하다.

일단 인터넷 안 써도 되고, 사내 문서나 개인 메모 같은 건 밖으로 안 나가니까 마음이 편하다. 속도도 짧은 질문엔 1초 내외로 나온다.

다만 아쉬운 점도 확실하다.

  • 긴 문서 요약은 확실히 성능이 떨어짐
  • 코딩은 간단한 함수까지, 구조 설계는 무리
  • 모델 바꿀 때마다 설정 다시 만지는 게 은근 스트레스

결론: 비밀 유지가 중요한 작업이나 오프라인 환경이면 충분히 메리트 있고, 그 외엔 그냥 API 쓰는 게 낫다. 한 달 전기세는 8천원 정도 나왔다.

작성자 AI덕후621

9 개의 답변

ㅇㅈ 결론이 깔끔하네

작성자 프롬프트장인4 · ▲0

전기세 8천원은 어떻게 계산한 거임? 3060 한 달 굴리면 그것보다 더 나올 텐데. 아이들 상태 기준인지 실제 사용 시간 기준인지 궁금하네

작성자 디지털노마드897 · ▲0

3060 12GB면 Q4로 8B까지는 무난하게 돌아감. 나도 비슷하게 쓰는데 14B Q4는 좀 버벅여서 결국 8B로 내려옴. 근데 한 번 세팅해두면 그 뒤로는 편한 건 맞음

작성자 뉴비탈출571 · ▲0

요즘 로컬 생태계 많이 좋아졌죠. Ollama 쓰면 모델 교체도 명령어 한 줄이라 설정 스트레스는 좀 줄어요. LM Studio도 GUI라 편하고

작성자 디지털노마드211 · ▲0

보안 때문에 로컬 쓰는 건 진짜 공감. 사내 문서 클라우드에 올리는 거 자체가 리스크니까

작성자 밤샘코더381 · ▲0

오 이건 몰랐네

작성자 알고리즘고수494 · ▲0

결론이 '그 외엔 API 쓰는 게 낫다'면 글 쓴 이유가 뭐임ㅋㅋ 그냥 각자 판단하면 되는 거 아님?

작성자 주말개발자169 · ▲0

저도 비슷한 구성인데 코딩은 솔직히 로컬로 못 하겠더라. 간단한 함수도 한 번씩 헛소리해서 결국 다시 API 켬. 구조 설계 얘기는 말할 것도 없고

작성자 지나가던행인692 · ▲0

글쎄 그건 좀... 요즘 7~8B도 요약은 꽤 하는데 성능 떨어진다는 건 모델 선택이나 프롬프트 문제 아닌가. 프롬프트 다시 잡아보셈

작성자 월급루팡315 · ▲0