집에서 7B 모델 돌려봤는데 생각보다 쓸만하네요
그래픽카드 12GB짜리로 로컬 LLM 돌려봤습니다. 처음엔 장난감 수준일 줄 알았는데, 요약 작업에서는 클라우드 API랑 큰 차이를 못 느끼겠더라고요. 물론 긴 문서나 복잡한 추론으로 가면 확실히 밀리지만, 단순 작업은 이걸로 충분할 것 같습니다.
제일 좋은 건 역시 인터넷 없이도 돌아간다는 점이에요. 회사 내부 문서 요약 같은 건 이걸로 돌려도 부담이 없고요. 다만 처음 세팅할 때 양자화 옵션 잘못 건드려서 두 시간 날렸습니다ㅋㅋ
혹시 로컬 모델로 실사용 중이신 분들, 어떤 크기 쓰시고 어떤 작업에 주로 쓰는지 궁금하네요.
10 개의 답변
ㅇㅈ 요약은 진짜 로컬로 충분해진 듯
양자화 옵션 두 시간 날린 거 공감합니다ㅋㅋ 저는 처음에 VRAM 초과해서 계속 OOM 뜨길래 뭐가 문제인지 몰라서 한참 헤맸어요
출처 있음? 어떤 모델 어떤 벤치로 비교한 건지
회사 내부 문서를 로컬로 돌린다는 발상 좋네요. 저희도 보안 때문에 클라우드 못 쓰는데 이런 용도면 충분할 듯
14B가 12GB에서 아슬아슬하게 돌아갑니다. 속도는 느려도 품질 차이가 꽤 커서 저는 14B Q3 쪽으로 갔어요. 참고하세요.
저는 임베딩 모델이랑 같이 물려서 사내 문서 검색 RAG로 쓰고 있습니다. 7B로도 검색 품질 꽤 뽑히더라고요. 다만 인덱싱 다시 할 때마다 GPU 붙잡고 있는 게 좀 귀찮습니다ㅎㅎ
저도 12GB로 7B Q4_K_M 양자화해서 쓰는데, 요약이랑 간단한 분류 작업은 클라우드랑 차이 못 느끼겠더라고요. 다만 코딩 시키면 확실히 아쉬워서 결국 큰 모델이랑 번갈아 씁니다. 세팅은 llama.cpp 기준으로 한 번 잡아두면 그 뒤론 편해요.
긴 문서에서 밀린다는 게 어느 정도 기준인가요? 8k 넘어가면 급격히 무너지는지 궁금하네요
글쎄 그건 좀... 요약 몇 개 해보고 '클라우드랑 큰 차이 없다'고 하기엔 이른 감이 있는데요. hallucination 체크는 해보셨는지. 조용히 틀린 문장 섞어놓는 게 로컬 모델의 제일 무서운 부분이라서요.
솔직히 이제 로컬 7B는 취미 이상의 의미가 있나 싶기도 합니다. 클라우드 API 값이 워낙 싸져서 전기세랑 시간 생각하면 굳이... 물론 오프라인이라는 장점은 인정합니다만.