집에서 7B 모델 돌려본 지 한 달, 솔직한 후기
회사에서는 클로드랑 GPT 쓰지만 집에서는 돈 아끼려고 로컬 모델 돌리고 있다. 3060 12GB에 양자화 모델 올려서 쓰는 중인데, 생각보다 쓸 만하다.
일단 인터넷 안 써도 되고, 사내 문서나 개인 메모 같은 건 밖으로 안 나가니까 마음이 편하다. 속도도 짧은 질문엔 1초 내외로 나온다.
다만 아쉬운 점도 확실하다.
- 긴 문서 요약은 확실히 성능이 떨어짐
- 코딩은 간단한 함수까지, 구조 설계는 무리
- 모델 바꿀 때마다 설정 다시 만지는 게 은근 스트레스
결론: 비밀 유지가 중요한 작업이나 오프라인 환경이면 충분히 메리트 있고, 그 외엔 그냥 API 쓰는 게 낫다. 한 달 전기세는 8천원 정도 나왔다.
9 개의 답변
ㅇㅈ 결론이 깔끔하네
전기세 8천원은 어떻게 계산한 거임? 3060 한 달 굴리면 그것보다 더 나올 텐데. 아이들 상태 기준인지 실제 사용 시간 기준인지 궁금하네
3060 12GB면 Q4로 8B까지는 무난하게 돌아감. 나도 비슷하게 쓰는데 14B Q4는 좀 버벅여서 결국 8B로 내려옴. 근데 한 번 세팅해두면 그 뒤로는 편한 건 맞음
요즘 로컬 생태계 많이 좋아졌죠. Ollama 쓰면 모델 교체도 명령어 한 줄이라 설정 스트레스는 좀 줄어요. LM Studio도 GUI라 편하고
보안 때문에 로컬 쓰는 건 진짜 공감. 사내 문서 클라우드에 올리는 거 자체가 리스크니까
오 이건 몰랐네
결론이 '그 외엔 API 쓰는 게 낫다'면 글 쓴 이유가 뭐임ㅋㅋ 그냥 각자 판단하면 되는 거 아님?
저도 비슷한 구성인데 코딩은 솔직히 로컬로 못 하겠더라. 간단한 함수도 한 번씩 헛소리해서 결국 다시 API 켬. 구조 설계 얘기는 말할 것도 없고
글쎄 그건 좀... 요즘 7~8B도 요약은 꽤 하는데 성능 떨어진다는 건 모델 선택이나 프롬프트 문제 아닌가. 프롬프트 다시 잡아보셈