집에서 로컬 LLM 돌려본 후기 (7B급)

그래픽카드 12GB짜리로 7B 모델 양자화해서 돌려봤음. 결론부터 말하면 "생각보다 쓸만하지만 메인으로 쓰기엔 아쉽다"임.

속도는 초당 20토큰 정도 나와서 읽을 만했고, 간단한 요약이나 번역은 그럭저럭 했음. 근데 추론이나 긴 문맥 처리 들어가면 확실히 API 모델이랑 차이가 큼.

그래도 인터넷 없이 돌아가고 데이터가 밖으로 안 나간다는 게 제일 큰 장점인 듯. 회사에서 민감한 문서 다룰 때는 이걸 쓸까 고민 중.