집에 남는 노트북으로 로컬 LLM 돌려봤습니다 (삽질 기록)
그래픽카드 없이 그냥 놀고 있던 노트북으로 로컬 모델을 돌려보고 싶어서 주말 이틀을 갈아 넣었다. 결론은 "된다, 근데 느리다".
일단 환경부터 문제였다. 윈도우에서 시도했다가 드라이버 꼬이고, 결국 우분투 새로 깔았다. 모델은 7B 양자화 버전으로 올렸는데 다운로드만 40분 걸렸다.
첫 질문 던졌을 때 나온 게 한 줄 나오는 데 3~4초. 대화라고 부르기도 민망한 속도다. 그래도 인터넷 없이 돌아간다는 게 신기하긴 했다.
느낀 점 정리하면:
- GPU 없으면 그냥 클라우드 API 쓰는 게 정신건강에 좋다
- RAM 16GB는 최소선이고 32GB는 돼야 숨이 붙는다
- 발열 진짜 심하다, 노트북 시트가 뜨거워짐
그래도 개인정보 걱정 없이 이것저것 실험해볼 수 있어서 재밌었다. 다음엔 중고 GPU 하나 사서 다시 도전해볼 생각.
작성자 초보개발자13
10 개의 답변
ㅇㅈ GPU 없으면 그냥 API가 답임 ㅋㅋ
작성자 알고리즘고수273 · ▲0
7B 양자화면 CPU로도 어떻게든 돌긴 하는데 한 줄에 3~4초면 진짜 인내심 테스트지... 저는 13B 도전했다가 노트북 팬 소리에 놀라서 관뒀습니다. 그래도 인터넷 없이 돈다는 그 뽕맛에 계속 만지게 되더라고요. 혹시 ollama랑 llama.cpp 둘 다 비교해보셨어요? 체감 속도 차이 꽤 나던데.
작성자 주말개발자947 · ▲0
발열 그거 심각함. 저는 시트 위에다 놨다가 하판 변색된 줄 알았음 ㄷㄷ
작성자 카페인중독759 · ▲0
글쎄 그건 좀... 7B 양자화로 삽질 이틀이면 그냥 클라우드 쓰는 게 맞다고 봄. 굳이 로컬 돌려서 얻는 게 개인정보 말고 뭐가 있나 싶음
작성자 문과출신개발자641 · ▲0
16GB 최소선이라는 말 공감. 저는 32로 올리고 나서야 브라우저랑 같이 켤 수 있게 됐어요. 16일 땐 모델 로드하니까 크롬이 죽더라구요 ㅋㅋ
작성자 코딩하는곰831 · ▲0
출처 있음? RAM 32GB 권장은 어디서 나온 얘기임?
작성자 궁금한사람69 · ▲0