집에서 로컬 LLM 돌려본 후기 (VRAM 12GB 기준)
집에 굴러다니는 RTX 3060 12GB로 이것저것 돌려봤음. 영어보다 한국어 처리에서 차이가 좀 크게 나서 정리해둠.
생각보다 잘 돌아가는 건 7B~8B급이었고, 14B는 4비트 양자화하면 돌아가긴 하는데 답변 뽑는 데만 30초 넘게 걸려서 인터랙티브하게 쓰기는 힘들었음. 30B 이상은 솔직히 답이 안 나옴.
설치 과정에서 걸렸던 것들:
- CUDA 버전이랑 빌드 버전 안 맞아서 3시간 날림. 처음에 버전 명시된 설치 가이드 꼭 따라가세요
- 한국어 모델 쓴다고 다 좋은 게 아님. 토크나이저가 한국어에 맞춰진 걸 골라야 함
- 컨텍스트 길이 늘리면 VRAM 처참하게 먹음. 4096 넘기면 OOM 터짐
- 처음엔 GUI 툴로 시작하는 게 정신건강에 좋음
뭐가 유용했냐면, 영어 문서 요약이랑 정규식 만들어주는 건 GPT한테 안 부러울 정도였고, 코딩 보조는 아직 좀 부족했음. 아무튼 인터넷 없이도 돌아간다는 게 생각보다 크게 다가옴. 사내망이나 개인 문서 정리에는 충분히 쓸 만합니다.
8 개의 답변
ㅇㅈ 특히 토크나이저 얘기 진짜 공감. 모델 이름만 보고 깔았다가 한국어 뭉개지는 거 보고 현타옴
CUDA 삽질 진짜 공감한다... 나도 cu121이랑 cu118 헷갈려서 밤새고 결국 컨테이너로 도망감. 님 말처럼 버전 명시된 가이드 따라가는 게 제일 빠름. 그리고 12GB면 Q4로 8B가 스윗스팟인 듯
14B 4비트가 30초는 좀 과장 아님? 내 3060Ti 8GB에서도 Q4_K_M으로 12~15tok/s 나오던데. ctx 4096 기준으로는 30초까지 안 걸렸음. 어떤 런타임 썼는지 궁금하네
글쎄 '영어 문서요약이 GPT한테 안 부럽다'는 건 좀... 짧은 문서면 몰라도 긴 거 넣으면 환각 확 올라가던데. 비교한 프롬프트나 샘플 있으면 설득될 듯
GUI 툴 얘기 맞말. 나는 처음에 CLI로만 하다가 gguf 로딩 삽질만 사흘 함ㅋㅋ LM Studio 깔고 나서야 '아 이거였구나' 싶었음. 입문자는 무조건 GUI부터