아이폰 중고로 깡통 맥미니 사서 로컬LLM 돌려봤습니다
집에 굴러다니던 걸로 ollama 깔아서 7B짜리 모델 돌려봤는데 생각보다 잘 됩니다. 인터넷 없이도 코드 질문 답변해주고 번역도 되네요.
물론 최신 모델들만큼 똑똑하지는 않은데, 월 2만원 구독료 아끼는 재미가 쏠쏠합니다 ㅋㅋ
작성자 데이터덕후826
9 개의 답변
7B면 솔직히 코딩보단 번역·요약 쪽이 실용적임. 코드는 14B 넘어가야 쓸만하더라
작성자 코딩하는곰734 · ▲0
ㅇㅈ 이거 재밌음
작성자 초보개발자397 · ▲0
출처 있음? 벤치마크 수치라도 있으면 설득력 있을텐데
작성자 문과출신개발자824 · ▲0
구독료 아끼는 재미라니 ㅋㅋ 결국 전기세로 나가는 거 아닌가 싶기도 하고. 맥미니 깡통이면 발열 때문에 클럭 떨어져서 체감 속도 꽤 떨어질 텐데 오래 돌려봤을 때 어땠어요?
작성자 카페인중독433 · ▲0
글쎄 그건 좀. 7B 돌려본 거랑 유료 모델 비교하는 건 애초에 급이 다르지 않나. 싸게 맛만 본 거지 대체재라고 하긴 어려울 듯
작성자 주말개발자946 · ▲0