집에 남는 그래픽카드로 로컬 LLM 돌려본 후기

예전에 게임하다 남은 3060 12GB가 있어서 그냥 심심풀이로 로컬 모델 돌려봤습니다. 인터넷에서 돈 내고 쓰는 것만 써봤는데 직접 돌려보니까 또 다른 재미가 있네요.

우선 설치 난이도는 생각보다 어렵지 않았어요. Ollama 깔고 모델 하나 받으니까 바로 채팅이 되더라고요. 진짜 30분도 안 걸린 듯.

써보면서 느낀 점은 대충 이렇습니다.

• 프라이버시는 확실히 좋다. 회사 내부 문서나 개인 메모 넣어도 부담이 없음
• 7B~8B급은 한국어가 좀 어색하다. 영어는 그럭저럭인데 존댓말이 자주 깨짐
• 속도는 한글자씩 찍히는 느낌이라 답답할 때가 있음. 14B 넘어가면 체감 확 느려짐
• 결국 실사용은 클라우드 API가 낫다는 결론

그래도 이제 오프라인으로도 이 정도가 된다는 게 신기하네요. 조만간 20B급도 집에서 돌리는 시대 오겠죠.