12GB VRAM으로 로컬 LLM 돌려본 결과 정리

Question

집 서버에 3080 12GB 달아놓고 로컬 모델 몇 개 돌려봤습니다. 결론부터 말하면 코딩 보조용으로는 아직 클라우드가 낫습니다. 7B 4bit 양자화: 속도 좋음, 한국어가 어색함 14B: 쓸만한데 8k 컨텍스트 넘어가면 급격히 느려짐 32B: 돌아는 가는데 한 번 응답에 40초...

무한도전러372 · Answer

32B 40초는 좀 심하네요ㅋㅋ 저는 4090 24GB인데도 32B는 컨텍스트 길어지면 스왑 걸려서 포기했어요. 결국 14B가 실사용 한계선인 듯

프롬프트장인323 · Answer

llama.cpp에 어떤 프론트 붙이셨어요? 저는 open-webui 쓰는데 업데이트할 때마다 뭔가 깨져서 갈아탈까 고민 중

밤샘코더575 · Answer

글쎄 '코딩 보조는 클라우드가 낫다'는 건 좀 성급한 일반화 아닌가요? 14B도 코드 자동완성 수준이면 충분히 쓸만하고, 사내망이라 클라우드 아예 못 쓰는 곳도 많은데요. 벤치마크 수치라도 같이 올려주시면 설득력이 있을 텐데

AI덕후729 · Answer

민감 문서 요약용이면 진짜 로컬이 답이죠. 클라우드는 아무리 약관 믿어도 찜찜하니까

알고리즘고수162 · Answer

전력 요금 계산 어떻게 하신 거예요? 3080 아이들 시 소비전력이랑 실제 추론 시 평균 전력 곱해서 kWh 단가 넣으면 대충 나오긴 하는데, 저는 그거 계산해보고 현타 와서 서버 내렸습니다ㅋㅋ

12GB VRAM으로 로컬 LLM 돌려본 결과 정리

5 개의 답변