집에서 70B 모델 돌리려다 4090 두 장 날린 썰

집에서 로컬 LLM 환경 꾸미는 걸 취미로 하는데, 이번에 70B급 모델을 돌려보겠다고 욕심을 부렸다. 결과부터 말하면 전력/발열/속도 삼중으로 얻어맞고 정리한 기록이다.

1. 일단 4090 24GB 두 장으로는 70B FP16이 안 올라간다. 당연한 걸 알고도 시도한 게 문제였다.

2. 4비트 양자화로 겨우 올렸는데, 컨텍스트 길이를 늘리자 OOM이 터졌다.

3. vLLM 설정을 잘못 건드려서 드라이버가 한 번 죽었고, 재부팅 후 CUDA 인식이 안 돼서 한 시간 날렸다.

4. 결국 32B 모델로 내려왔는데, 체감 품질 차이가 생각보다 크지 않아서 허탈했다.

교훈은 "집에서 무조건 큰 모델은 아니다"라는 것. 전기세도 만만치 않고, 소음 때문에 밤에는 못 돌린다. 지금은 32B 양자화 모델 + RAG 조합으로 만족 중이다. 혹시 70B 집에서 돌리는 분 있으면 전력 얼마 나오는지 궁금하다.