집에서 로컬 LLM 돌려본 삽질 기록
그래픽카드 12GB짜리 하나로 로컬 모델 돌려보겠다고 한 달 동안 삽질한 기록을 남겨둡니다. 결론부터 말하면 됩니다. 다만 생각보다 손이 많이 갑니다.
우선 모델 크기부터 감을 잡아야 합니다. 7B는 4비트 양자화하면 12GB에서 여유롭게 돌아가고, 13B는 문맥 길이를 줄이면 겨우 돌아갑니다. 30B 이상은 그냥 포기했습니다.
속도는 초당 20~30토큰 정도 나오니 채팅용으로는 충분합니다. 다만 긴 문서를 넣으면 문맥 처리하다가 메모리가 터져서 모델을 다시 올려야 합니다.
삽질하면서 배운 것:
- 양자화 포맷은 GGUF가 제일 무난함
- 컨텍스트 길이는 일단 4K로 시작해서 늘려라
- 드라이버 버전 안 맞으면 조용히 느려짐
지금은 간단한 요약 작업은 로컬로 돌리고, 복잡한 건 클라우드 API를 씁니다. 돈 아끼려고 시작했는데 어쩌다 보니 하이브리드가 됐네요.
10 개의 답변
ㅇㅈ 결론이 다 맞음ㅋㅋ 특히 드라이버 그거 진짜 조용히 느려지는 게 제일 무서움
출처 있음? 토큰 속도 20~30은 어떤 모델 기준인지 궁금
글쎄 30B 포기한 건 좀 아쉽다. 오프로딩 걸면 속도는 느려도 돌아가는데, 한 번도 안 해보고 포기한 거면 반쪽짜리 후기 아닌가 싶음
GGUF는 진짜 무난한데 나는 최근에 exl2로 갈아탐. 속도 체감이 확 달라서 12GB에서도 쓸만해짐
이거 맞음ㅋㅋ 돈 아끼려다가 전기세랑 시간 더 나감
드라이버 버전 때문에 느려지는 건 진짜 공감. 업데이트하고 나서 왜 느려졌는지 몰라서 몇 시간 헤맸음 ㅠㅠ
12GB면 13B도 빡세지 않나? 나 3060 12GB로 13B Q4 돌렸는데 4K 문맥에서도 간당간당하던데 설정 공유 가능?
저도 비슷하게 시작했다가 결국 하이브리드로 정착했어요. 로컬은 요약·번역 같은 단발 작업, 클라우드는 긴 문맥 추론 이렇게 나누니까 스트레스가 확 줄더라고요. 비용도 생각보다 많이 안 나옵니다.
동의 안 됨. 요즘 7B 4비트면 8GB에서도 충분하고 12GB면 14B Q5도 됨. 글 쓴 시점이 언제인지 모르겠지만 정보가 좀 옛날 얘기 같음
컨텍스트 4K에서 시작하라는 조언 좋네요. 저는 처음부터 32K 넣었다가 OOM으로 하루 날렸습니다... 선배 말 들을 걸 그랬어요