GPU 없이 로컬 LLM 돌려본 결과 공유합니다

오 이건 몰랐네

프라이버시 때문에 로컬 쓰는 사람 입장에서는 이 글이 딱 맞는 조언임. 민감한 문서 돌릴 때 클라우드 못 쓰니까. 소형 모델부터 시작하라는 것도 공감.

Ollama 진짜 편하죠 ㅋㅋ 저도 처음엔 llama.cpp로 삽질하다가 옮겼는데 설치 난이도가 차원이 다름. 참고로 OLLAMA_NUM_PARALLEL이나 컨텍스트 설정 건드리면 체감 속도 좀 달라집니다. 한번 찾아보세요.

30B는 진짜 인내심 테스트 맞음 ㅋㅋㅋ 저는 20분 걸려서 답 나온 거 보고 현타와서 그냥 껐습니다. 램 32기가로 30B는 솔직히 무리수죠. 스왑 걸리면 속도가 아니라 하드가 웁니다.

출처 있음? 3~5초 수치는 어떤 모델 어떤 프롬프트 기준인지 궁금하네요

7B 4비트면 3~5초면 준수한 편이죠. 근데 컨텍스트 길어질 때 느려지는 건 KV 캐시랑 램 대역폭 때문이라 어쩔 수 없는 부분이라 ㅇㅈ. 저는 5600X에 64기가로 14B q4 돌리는 데 만족하고 씁니다. 어차피 코드 자동완성이나 요약 용도라 짧은 컨텍스트만 쓰거든요.

글쎄요. '돈 아끼려고 로컬 돌리는 건 비추'라는 결론은 좀 성급한 듯. API 비용 월 몇만원씩 나오는 사람한테는 3060 12기가 중고 하나 사는 게 두세 달이면 본전인데요. 전기세 계산해도 그렇고. 무조건 비추로 묶는 건 과한 일반화 아닌가 싶습니다.

저도 그래요. 결국 로컬은 취미 영역이고 실사용은 클라우드로 돌아오게 되더라구요.

양자화 모델 종류별로 벤치 표로 정리해주시면 좋았을 텐데 아쉽네요. 그래도 경험 공유 감사합니다.