맥미니에 로컬 LLM 올려서 일주일 써본 후기

M2 맥미니 16GB에 ollama로 7B급 모델 돌려봤습니다. 결론부터 말하면 '문서 요약용'으로는 충분히 쓸만하고, 코딩은 아직 무리입니다.

가장 만족스러운 건 역시 보안 이슈 없이 사내 문서나 개인 메모를 넣어볼 수 있다는 점이에요. 클라우드 API에 올리기 애매한 자료들을 로컬에서 돌려서 요약시키는 용도로는 진짜 편합니다. 속도도 7B 정도면 체감상 답답하지 않은 수준이었어요.

단점은 역시 품질. 긴 문맥 넣으면 앞부분을 까먹고, 한국어 답변은 가끔 어색하게 나옵니다. 32B 이상 돌리려면 메모리가 부족해서 결국 클라우드로 돌아가게 되더라고요.

그래도 '인터넷 없이 돌아가는 AI' 하나 있으면 든든하긴 합니다. 홈서버 쓰시는 분들은 한 번 시도해보실 만해요.