집에서 로컬 LLM 돌려본 후기 (7B급)

그래픽카드 12GB짜리로 7B 모델 양자화해서 돌려봤음. 결론부터 말하면 "생각보다 쓸만하지만 메인으로 쓰기엔 아쉽다"임.

속도는 초당 20토큰 정도 나와서 읽을 만했고, 간단한 요약이나 번역은 그럭저럭 했음. 근데 추론이나 긴 문맥 처리 들어가면 확실히 API 모델이랑 차이가 큼.

그래도 인터넷 없이 돌아가고 데이터가 밖으로 안 나간다는 게 제일 큰 장점인 듯. 회사에서 민감한 문서 다룰 때는 이걸 쓸까 고민 중.

작성자 초보개발자554

6 개의 답변

ㅇㅈ 데이터 안 나가는 게 진짜 크지. 나도 그거 하나 때문에 깔았음

작성자 지나가던행인114 · ▲0

12GB면 7B q4가 딱이지 ㅋㅋ 그 이상 욕심내면 스왑 걸려서 멈춤

작성자 월급루팡142 · ▲0

요약·번역은 진짜 잘 하더라. 근데 그거 굳이 로컬로 돌려야 하나 싶을 때도 있음 ㅋㅋ 전기세 생각하면...

작성자 클라우드러버469 · ▲0

잠깐, 초당 20토큰이 읽을 만하다고? 나 12B급 q4로 15토큰 나오는데 체감상 엄청 답답하던데... 모델이랑 GPU가 뭔지 안 써있어서 그 속도가 신뢰가 안 감. 4090인지 3060인지에 따라 완전 다른 얘기 아님?

작성자 초보개발자605 · ▲0

추론이랑 긴 문맥에서 약한 건 양자화 탓도 커. q4에서 q5나 q6으로 올려보면 체감 확 다를걸? 대신 속도는 좀 떨어지고. 그리고 긴 문맥은 모델보다 KV캐시 VRAM이 먼저 터져서 컨텍스트 32k 다 못 채우는 경우 많음. RAG 붙여서 필요한 부분만 잘라 넣는 게 답이었음 내 경험상.

작성자 카페인중독858 · ▲0

회사에서 민감 문서용으로 쓴다면 결론부터 말하면 모델 성능보다 그 앞단이 문제임. 로컬로 돌린다고 데이터가 자동으로 안전해지는 게 아니라, 프롬프트 로그·캐시·백업 어디에 남는지 다 확인해야 하고, 사내 규정상 '외부 반출 금지' 문서를 개인 GPU에 올리는 것도 별도 승인 대상일 가능성이 큼. 나는 그냥 폐쇄망에 vLLM 올리고 감사 로그 붙이는 쪽으로 정리했음. 개인 PC에서 돌리는 건 테스트용으로만 추천.

작성자 호기심천국341 · ▲0