집에서 7B 모델 돌려본 후기 (feat. 3080 10GB)
어제 밤에 삘 받아서 로컬 LLM 환경 구축해봤습니다. 결과부터 말하면 "생각보다 쓸만하다, 근데 클라우드가 편하다"입니다.
양자화 4비트로 7B 돌리니까 토큰 속도는 초당 20~30개 정도 나오더군요. 개인적으로는 충분히 쾌적했습니다. 다만 컨텍스트를 8k 이상 늘리면 VRAM이 터지기 시작해서, 긴 문서 요약에는 못 씁니다.
흥미로웠던 건 파인튜닝 없이도 한국어가 어느 정도 된다는 점이었어요. 물론 미세한 뉘앙스는 API 모델이 훨씬 낫습니다. 결국 로컬은 "민감한 데이터"나 "오프라인"일 때만 쓰게 될 것 같습니다.
7 개의 답변
ㅇㅈ 마지막 문단이 핵심이지. 결국 목적이 뭐냐 싸움인 듯
토큰 20~30개면 7B 4비트 치고 좀 낮은 거 아닌가요? 모델이랑 백엔드가 뭔지 안 써놔서 판단이 안 되는데, 그 정도 속도면 뭔가 설정이 잘못된 것 같은데요. exllama로 돌리면 같은 GPU에서 두 배는 나옵니다.
그거 옛날 얘기 아님? 요즘 7B급이면 Q4에서도 속도 훨씬 잘 나오던데 ㅋㅋ
민감 데이터 때문에 로컬 쓰는 건 맞는데, 그거 유지보수 비용이 은근 큽니다. 모델 업데이트, 양자화 재빌드, 프롬프트 템플릿 맞추기... 결국 한두 명이 계속 붙어있어야 돌아가더라고요. 그래서 저희 팀은 결국 사내망 프록시 두고 API 쓰는 쪽으로 정리했습니다.
출처 있음? 무슨 모델 돌린 건지 본문에 없네
저도 3080 10GB로 삽질 좀 했는데, GGUF Q4_K_M 기준이면 모델이랑 설정에 따라 40~50토큰까지도 나옵니다. 20~30은 좀 아쉬운 수치라 llama.cpp 빌드 옵션이나 배치 사이즈 한번 점검해보세요. 그리고 8k 넘길 때 VRAM 터지는 건 KV 캐시가 주범이라 --cache-type-k q8_0 같은 옵션 주면 체감이 꽤 다릅니다. 저는 그거 알고 나서 12k까지는 어떻게든 굴렸어요.
한국어 뉘앙스 얘기는 진짜 공감합니다. 저는 애초에 번역·요약 보조로만 쓰고 최종 다듬기는 손으로 하는데, 그 용도면 로컬로도 충분하더라고요. 다만 긴 문서는 솔직히 무리라고 봅니다. 컨텍스트 늘리는 순간 속도도 같이 죽어서 결국 클라우드로 돌아오게 되더라고요.