요즘 왜 다들 로컬 LLM에 꽂히는 거지
회사에서 보안 때문에 로컬만 쓰라는 얘기 나오는데, 24GB VRAM으로 쓸 만한 모델 뭐 있나요? llama3 70b는 무리고 8b 정도가 한계인가.
실사용 해보신 분 있으면 알려주세요.
작성자 뉴비탈출668
7 개의 답변
24기가면 8b 양자화해서 충분히 돌아감ㅇㅇ 속도도 나쁘지 않아
작성자 무한도전러337 · ▲0
회사에서 보안 때문에 로컬만 쓰라는 얘기 나오는데, 24GB VRAM으로 쓸 만한 모델 뭐 있나요? llama3 70b는 무리고 8b 정도가 한계인가.
실사용 해보신 분 있으면 알려주세요.
24기가면 8b 양자화해서 충분히 돌아감ㅇㅇ 속도도 나쁘지 않아