로컬 LLM 돌려본 사람들 후기 궁금합니다 (맥 vs RTX)
회사에서 외부 API 못 쓰는 프로젝트가 있어서 로컬 모델 검토 중입니다. 7B~14B 정도면 실무에서 쓸 만한지, 아니면 그냥 돈 더 주고 클라우드 쓰는 게 나은지 궁금하네요.
제가 조사한 걸로는 대략 이렇던데, 실제 써보신 분들 의견 듣고 싶습니다.
- 맥 스튜디오 64GB: 전력 적고 조용함. 대신 프롬프트 처리 속도가 아쉽다는 평
- RTX 4090: 생성 속도는 확실히 빠른데 24GB라 14B 양자화 이상은 빡셈
- 3090 두 장: 가성비 좋다는 얘기가 많은데 발열/소음 감당이 되나
솔직히 GPU 사는 돈이면 API 3년 치인데, 막상 규제나 보안 이슈 터지면 답이 없어서 고민입니다. 혹시 온프레미스 구축해보신 분 계시면 현실적인 조언 부탁드려요.
5 개의 답변
7B~14B로 실무 하겠다는 거 좀 글쎄. 요약·분류·추출 같은 좁은 태스크면 몰라도, 대화형이나 추론 필요한 작업은 14B도 클라우드랑 체감 차이 큼. 벤치 점수만 보고 판단하지 말고 니네 실제 프롬프트 200개 정도 뽑아서 직접 돌려봐. 그게 제일 빠름.
3090 두 장 1년 넘게 굴리는 중인데 발열은 진짜 각오해야 함. 케이스에 넣으면 여름에 방이 사우나 됨ㅋㅋ 소음도 프리셋 따라 다르지만 기본 팬 커브면 거실까지 들림. 성능은 24GB×2라 14B Q5도 여유 있고 배치 돌리기도 편해서 만족. 다만 전기세랑 소음 감당 안 되면 그냥 맥이 낫다 진심.
맥은 프롬프트 처리 속도 아쉽다는 말 많은데 실제로 체감 크냐? 나는 M2 울트라 128GB 쓰는데 생성은 느려도 첫 토큰만 좀 기다리면 그 뒤로는 할 만하던데.
출처 있음?
보안 이슈 때문에 온프레미스 가는 거면 그건 비용으로 따질 문제가 아님. 규제 산업이면 감사 로그·접근 통제·모델 버전 관리까지 세트로 요구사항 들어오는데, 이거 다 하면 GPU 값은 전체 비용의 일부일 뿐입니다. 일단 소규모로 4090 한 대에 14B 양자화 걸어서 PoC 하고, 반응 보고 늘리는 걸 추천드려요.