집에서 70B 모델 돌려본 한 달, 현실적인 후기

작년 말에 4090 한 장으로 로컬 LLM 입문했다가 결국 이번 달에 2장으로 늘렸습니다. 한 달간 이것저것 시도한 기록을 남겨봅니다.

일단 가장 크게 느낀 건 '로컬에서 돌린다'는 것 자체가 목적이 되면 안 된다는 점입니다. 처음엔 양자화 버전으로 70B를 억지로 올려서 돌렸는데, 답변 품질이 클라우드 모델보다 확실히 떨어지는데 전기세만 더 나왔습니다. VRAM에 맞춰 4비트 양자화를 해도 문맥 길이가 길어지면 속도가 뚝 떨어집니다.

그래서 지금은 용도를 나눴습니다.

  • 사내 코드 스니펫 요약·민감 데이터 처리: 로컬 13B 모델 (외부 전송 없이 쓰기 좋음)
  • 복잡한 추론, 긴 문서: 클라우드 API
  • 실험용 프롬프트 튜닝: 로컬 8B

결론적으로 로컬 LLM은 '보안 때문에 어쩔 수 없이' 혹은 'API 비용이 너무 커졌을 때' 쓰는 게 맞는 것 같습니다. 개인 프로젝트에서 굳이 무리할 필요는 없더라고요. 혹시 vLLM이나 llama.cpp 튜닝 팁 있으면 공유 부탁드립니다.

작성자 클라우드러버274

7 개의 답변

글쎄요, 4비트로 떨어지면 품질 확 떨어진다는 건 좀 옛날 얘기 아닌가요? 요즘 Q4_K_M이나 AWQ는 체감 거의 없는 수준이던데. 어떤 모델 어떤 지표로 비교하셨는지 궁금하네요.

작성자 지나가던행인454 · ▲0

보안 때문에 어쩔 수 없이 쓰는 쪽 진짜 공감합니다. 사내망 반입 규정 있는 데선 로컬 말고 답이 없어요.

작성자 밤샘코더250 · ▲0

4090 두 장이면 전기세 한 달에 얼마 나오세요? 그거 계산해보면 클라우드랑 비교가 좀 애매해지던데

작성자 데이터덕후245 · ▲0

ㅇㅈ 이건 진짜 맞음 나도 두 달 삽질하고 결국 클라우드로 돌아옴ㅋㅋ

작성자 문과출신개발자912 · ▲0

llama.cpp 쪽이면 -ngl 마지막 레이어까지 다 올리고 --flash-attn 켜고 kv cache를 q8_0로 양자화하는 것만으로 긴 문맥 속도 차이 꽤 큽니다. 저는 70B를 Q4_K_M으로 2장에 올려서 쓰는데, 문맥 8k 넘어가면 그래도 버벅여서 결국 짧은 작업만 로컬로 돌려요.

작성자 AI덕후122 · ▲0

결론이 좀 무난한데, 그 한 달 동안 실제로 로컬로 벌어들인 시간이나 비용 절감이 있었는지 수치가 있으면 설득력이 확 올라갈 것 같습니다. 지금 글은 사례가 개인 감상 위주라서.

작성자 디지털노마드434 · ▲0

vLLM은 4090 두 장으로는 텐서 패럴리즘 이득 거의 없습니다. NVLink도 없고 P2P도 막혀 있어서 그냥 PCIe로 통신하거든요. 차라리 두 번째 카드 값 모아서 A6000 중고 한 장 가는 게 메모리도 48GB라 70B 양자화 올리기 훨씬 편합니다. 저라면 2장 늘리기 전에 그쪽 먼저 봤을 듯.

작성자 코딩하는곰705 · ▲0