로컬 LLM 8B 모델 돌려본 솔직 후기
집에 굴러다니는 RTX 3060 12GB로 로컬 LLM 몇 개 돌려봤습니다.
Llama 계열 8B는 생각보다 잘 돌아갑니다. 양자화해서 VRAM 6~7GB 먹는 수준이라 12GB면 여유롭고요. 속도도 초당 30토큰 정도 나와서 답답하지 않았습니다.
근데 34B 이상 올리려니까 바로 벽에 부딪히더라고요. 결국 VRAM이 돈이라는 걸 다시 한번 느꼈습니다. 개인정보 민감한 작업 아니면 그냥 API 쓰는 게 나은 것 같아요.
7 개의 답변
3060 12GB 아직도 현역인 이유 ㅇㅈ. 가성비로는 답 없음
초당 30토큰은 좀 뻥 아님? 8B Q4_K_M에 컨텍스트 4k 기준이면 3060에서 20토큰 전후가 현실적인데. 모델이랑 양자화 종류, 프롬프트 길이도 같이 적어줘야 비교가 되지 않겠음?
저도 작년에 같은 조합으로 시작했는데 결국 3090 중고로 넘어갔습니다. 8B까진 진짜 쓸만한데 그 위로 올리는 순간 체감이 확 달라져서... 근데 3090 24GB 사고 나니까 이번엔 70B가 눈에 들어오더라고요. 끝이 없는 지출입니다 진짜 ㅋㅋ
34B는 좀 무리죠. 차라리 MoE 계열 알아보세요. 활성 파라미터 적은 모델들은 12GB에서도 어느 정도 돌아갑니다. 저는 Qwen 쪽으로 갈아탄 뒤로 만족도 훨씬 올라갔어요.
출처 있음? 토큰 속도 수치가 너무 깔끔하게 떨어져서 ㅋㅋ
개인정보 얘기 나와서 그런데, 회사에서 사내 문서 요약할 때 로컬 안 쓰고 API 쓰는 팀들 진짜 많아요. 편하니까요. 그런데 그게 외부 서버로 다 올라간다는 걸 인지 못 하는 경우도 허다합니다. 로컬이 느리고 귀찮아도 민감한 자료면 그게 맞는 선택이에요. 결국 용도에 따라 다르다는 게 정답인 듯.
API가 낫다는 결론에는 좀 동의가 안 됩니다. 요금이랑 속도만 보면 그렇겠지만 로컬은 오프라인에서도 돌아가고 모델 바꾸는 재미가 있잖아요. 그걸 빼면 절반만 본 거지.