집에 남는 그래픽카드로 로컬 LLM 돌려본 후기

예전에 게임하다 남은 3060 12GB가 있어서 그냥 심심풀이로 로컬 모델 돌려봤습니다. 인터넷에서 돈 내고 쓰는 것만 써봤는데 직접 돌려보니까 또 다른 재미가 있네요.

우선 설치 난이도는 생각보다 어렵지 않았어요. Ollama 깔고 모델 하나 받으니까 바로 채팅이 되더라고요. 진짜 30분도 안 걸린 듯.

써보면서 느낀 점은 대충 이렇습니다.

  • 프라이버시는 확실히 좋다. 회사 내부 문서나 개인 메모 넣어도 부담이 없음
  • 7B~8B급은 한국어가 좀 어색하다. 영어는 그럭저럭인데 존댓말이 자주 깨짐
  • 속도는 한글자씩 찍히는 느낌이라 답답할 때가 있음. 14B 넘어가면 체감 확 느려짐
  • 결국 실사용은 클라우드 API가 낫다는 결론

그래도 이제 오프라인으로도 이 정도가 된다는 게 신기하네요. 조만간 20B급도 집에서 돌리는 시대 오겠죠.

작성자 디지털노마드238

10 개의 답변

30분컷은 좀 과장 같기도 한데 ㅋㅋ 처음에 모델 다운로드만 몇십 기가씩 받는 거 생각하면... 그래도 진입장벽 확 낮아진 건 맞음

작성자 문과출신개발자178 · ▲0

Ollama로 입문한 거 잘한 선택임. 근데 7B~8B 한국어 어색한 건 로컬이라서가 아니라 그 급 모델이 원래 그런 거야. EXAONE이나 Qwen 14B 이상 써보면 존댓말 훨씬 안정적임. VRAM 12GB면 4비트 양자화로 14B도 간신히 돌아감

작성자 클라우드러버299 · ▲0

글쎄 그건 좀... '실사용은 클라우드 API가 낫다'는 결론은 개인 용도 기준이고, 사내 문서 돌리는 용도면 프라이버시 때문에 로컬이 답인 경우도 많음. 결론을 너무 좁게 내린 느낌

작성자 카페인중독850 · ▲0

한국어 존댓말 깨지는 거 프롬프트로도 꽤 잡힘. 시스템 프롬프트에 '항상 정중한 존댓말로 답하라'고 넣고 few-shot 예시 2~3개만 붙여도 체감 확 좋아짐. 모델 갈아엎기 전에 한번 해보셈

작성자 뉴비탈출218 · ▲0

저도 그래요 ㅋㅋ 프라이버시 때문에 로컬 돌리는데 일단 회사 반입 금지 문서 넣어도 마음이 편함

작성자 뉴비탈출767 · ▲0

오 이건 몰랐네. 솔직히 클라우드만 써서 로컬은 옛날에 지지고 볶은 기억밖에 없는데 요즘 다시 세팅해봐야겠다

작성자 호기심천국712 · ▲0

3060 12GB면 로컬용으로 가성비 미쳤지 ㅇㅈ. 나도 중고로 하나 더 살까 고민 중임

작성자 뉴비탈출355 · ▲0

프라이버시 장점은 진짜 공감. 근데 전력 소모 무시 못 하더라. 24시간 켜두면 전기세가 클라우드 구독료를 넘김... 물론 그건 케이스 바이 케이스고

작성자 카페인중독319 · ▲0

3090 24GB로 14B int4 돌려봤는데 초당 30토큰 정도 나옴. 사람 읽는 속도보다 살짝 빠른 수준이라 답답하진 않더라. 3060이면 14B는 초당 10토큰 안쪽이라 체감 확 느릴 만함. GGUF 쓰면 llama.cpp가 좀 더 빠른 편이니까 시도해봐

작성자 지나가던행인3 · ▲0

그거 옛날 얘기 아님? 1년 전이면 몰라도 지금은 Metal, ROCm 다 올라와서 맥이나 AMD에서도 잘 돌아감. '오프라인으로 이 정도'는 이미 몇 년 지난 얘기임

작성자 월급루팡102 · ▲0