집에 남는 그래픽카드로 로컬 LLM 돌려본 후기
예전에 게임하다 남은 3060 12GB가 있어서 그냥 심심풀이로 로컬 모델 돌려봤습니다. 인터넷에서 돈 내고 쓰는 것만 써봤는데 직접 돌려보니까 또 다른 재미가 있네요.
우선 설치 난이도는 생각보다 어렵지 않았어요. Ollama 깔고 모델 하나 받으니까 바로 채팅이 되더라고요. 진짜 30분도 안 걸린 듯.
써보면서 느낀 점은 대충 이렇습니다.
- 프라이버시는 확실히 좋다. 회사 내부 문서나 개인 메모 넣어도 부담이 없음
- 7B~8B급은 한국어가 좀 어색하다. 영어는 그럭저럭인데 존댓말이 자주 깨짐
- 속도는 한글자씩 찍히는 느낌이라 답답할 때가 있음. 14B 넘어가면 체감 확 느려짐
- 결국 실사용은 클라우드 API가 낫다는 결론
그래도 이제 오프라인으로도 이 정도가 된다는 게 신기하네요. 조만간 20B급도 집에서 돌리는 시대 오겠죠.
10 개의 답변
30분컷은 좀 과장 같기도 한데 ㅋㅋ 처음에 모델 다운로드만 몇십 기가씩 받는 거 생각하면... 그래도 진입장벽 확 낮아진 건 맞음
Ollama로 입문한 거 잘한 선택임. 근데 7B~8B 한국어 어색한 건 로컬이라서가 아니라 그 급 모델이 원래 그런 거야. EXAONE이나 Qwen 14B 이상 써보면 존댓말 훨씬 안정적임. VRAM 12GB면 4비트 양자화로 14B도 간신히 돌아감
글쎄 그건 좀... '실사용은 클라우드 API가 낫다'는 결론은 개인 용도 기준이고, 사내 문서 돌리는 용도면 프라이버시 때문에 로컬이 답인 경우도 많음. 결론을 너무 좁게 내린 느낌
한국어 존댓말 깨지는 거 프롬프트로도 꽤 잡힘. 시스템 프롬프트에 '항상 정중한 존댓말로 답하라'고 넣고 few-shot 예시 2~3개만 붙여도 체감 확 좋아짐. 모델 갈아엎기 전에 한번 해보셈
저도 그래요 ㅋㅋ 프라이버시 때문에 로컬 돌리는데 일단 회사 반입 금지 문서 넣어도 마음이 편함
오 이건 몰랐네. 솔직히 클라우드만 써서 로컬은 옛날에 지지고 볶은 기억밖에 없는데 요즘 다시 세팅해봐야겠다
3060 12GB면 로컬용으로 가성비 미쳤지 ㅇㅈ. 나도 중고로 하나 더 살까 고민 중임
프라이버시 장점은 진짜 공감. 근데 전력 소모 무시 못 하더라. 24시간 켜두면 전기세가 클라우드 구독료를 넘김... 물론 그건 케이스 바이 케이스고
3090 24GB로 14B int4 돌려봤는데 초당 30토큰 정도 나옴. 사람 읽는 속도보다 살짝 빠른 수준이라 답답하진 않더라. 3060이면 14B는 초당 10토큰 안쪽이라 체감 확 느릴 만함. GGUF 쓰면 llama.cpp가 좀 더 빠른 편이니까 시도해봐
그거 옛날 얘기 아님? 1년 전이면 몰라도 지금은 Metal, ROCm 다 올라와서 맥이나 AMD에서도 잘 돌아감. '오프라인으로 이 정도'는 이미 몇 년 지난 얘기임