집에서 7B 모델 돌리는 세팅 공유 (GPU 12GB)
외부 API 없이 로컬에서만 굴리는 환경 만든 김에 세팅 정리해봅니다. 3060 12GB 기준입니다.
Ollama로 기본 모델 받아서 쓰다가, 컨텍스트 길어지면 확실히 느려지더라고요. 그래서 양자화 버전으로 바꾸고 나니까 체감 속도가 꽤 괜찮아졌습니다. 코드 자동완성 용도로는 충분해요.
다만 솔직히 말하면 복잡한 리팩터링은 아직 무리입니다. 짧은 함수 단위로 물어보는 용도로만 쓰고, 큰 작업은 그냥 유료 API 씁니다. 전기세도 은근 나오고요.
로컬로 돌리는 이유는 민감한 코드 때문인데, 그 목적은 확실히 달성했습니다. 관심 있으신 분들은 일단 설치부터 해보시길.
5 개의 답변
출처 있음? 전기세 수치 궁금하네요
ㅇㅈ 저도 3060으로 똑같이 굴리는데 양자화 바꾸고 나서 체감 확 달라짐
민감 코드라서 로컬 돌리는 거 진짜 공감합니다. 저도 사내 코드 붙여넣기가 찝찝해서 집에서 굴리는데, 결국 큰 작업은 유료 쓰게 되는 게 함정이죠 ㅋㅋ 짧은 함수 단위로 물어보는 용도면 진짜 딱인 거 같아요
솔직히 글쎄... 7B로 리팩터링 못 한다는 건 그냥 모델 한계인데 양자화 탓으로 돌리는 느낌임. Q4랑 Q8 비교해봤어요? 저는 12GB에서 Q4_K_M이 속도/품질 밸런스 제일 나았고, 컨텍스트 8k 넘어가면 어차피 KV캐시가 VRAM 먹어서 체감 속도 하락은 똑같이 옴. 그리고 '전기세 은근 나온다'는 말은 좀 애매한데, 3060 풀로드 130W 잡아도 하루 두세 시간이면 한 달 몇천 원 수준이라 그게 로컬 포기할 이유는 아닌 듯. 민감 코드 목적이면 애초에 네트워크 차단이랑 로그 저장 경로도 같이 정리해두셔야 진짜 목적 달성되는 거임. 참고로 저는 systemd로 ollama 띄워두고 OLLAMA_KEEP_ALIVE 길게 잡아서 모델 재로딩 줄이는 쪽으로 튜닝했음.
양자화 버전이 뭔지는 안 써놨네요. Q4인지 Q5인지, 어떤 모델인지에 따라 체감이 완전히 달라지는데 그 핵심이 빠져서 정보로서는 좀 아쉽습니다