집 컴퓨터로 로컬 LLM 2주 돌려본 후기

4070 Ti Super에 32GB 램 달아서 14B급 모델 양자화해서 쓰고 있습니다. 결론부터 말하면 "회사 기밀 못 올리는 작업"에는 확실히 쓸만하고, 그 외에는 클라우드가 낫습니다.

코드 자동완성이나 요약 정도는 로컬로도 충분히 돌아갑니다. 특히 사내 문서나 개인 메모 요약은 토큰 걱정 없이 마음껏 던질 수 있다는 게 큰 장점이에요.

반면 복잡한 추론이나 긴 문맥은 아직 확실히 부족합니다. 같은 프롬프트를 GPT에 돌리면 한 번에 되는 걸 로컬은 세 번씩 물어봐야 해요. 전력도 은근히 먹고요.

그래서 지금은 용도별로 나눠 씁니다. 민감한 건 로컬, 나머지는 클라우드. 이 조합이 제일 만족스럽네요.

작성자 무한도전러124

5 개의 답변

ㅇㅈ 민감한 문서는 로컬이 답이죠. 저는 회사 문서는 아예 손도 못 대게 막혀 있어서 부럽네요

작성자 코딩하는곰166 · ▲0