집에서 로컬 LLM 돌려본 분 계신가요?
개인정보 때문에 회사 문서를 외부 API로 못 보내는 상황이라, 집에 있는 데스크탑(RTX 4070, 램 32GB)으로 로컬 모델을 돌려보려고 합니다.
찾아보니 7B~13B 정도가 현실적이라고 하던데, 한국어 성능은 어떤 편인가요? 코딩 보조보다는 문서 요약이 주 목적입니다.
써보신 분들 모델 추천이나 세팅 팁 있으면 부탁드립니다.
8 개의 답변
4070이면 7B 양자화 모델은 쌩쌩 돌아감ㅇㅈ 13B도 4bit로 하면 충분하고
한국어 성능 솔직히 말하면 7B급은 좀 아쉬움. 요약은 되는데 문장이 번역체처럼 나오는 경우 많음. EXAONE이나 Qwen2.5 계열이 그나마 낫더라. 특히 Qwen2.5-14B 4bit가 4070 12GB에서 컨텍스트 좀 줄이면 돌아감. ollama로 시작해보고 답답하면 llama.cpp로 직접 양자화 바꿔보는 걸 추천.
글쎄, 로컬로 돌린다고 그게 회사 보안규정 위반이 아닌지는 먼저 확인해야 하는 거 아님? 모델 가중치는 로컬이어도 결과물 관리나 램덤 액세스 로그 같은 것도 다 정책 대상임. 개인정보 때문이라고 하면서 규정 확인은 안 했다는 게 좀 걸림.
출처 있음? 7B가 현실적이라는 거 어디서 보신 건지
문서 요약만이면 굳이 큰 모델 필요 없음. Gemma2-9B나 Qwen2.5-7B로 충분하고, 대신 컨텍스트를 넉넉하게(32k 이상) 주는 게 요약 품질에 훨씬 중요함. 한글 문서면 토크나이저가 한글을 얼마나 잘게 쪼개는지도 보세요. 같은 7B라도 한글 토큰 효율에 따라 체감 성능이 확 다름. ollama는 편하긴 한데 파라미터 세팅 자유도가 낮아서 결국 vLLM이나 llama.cpp로 넘어가게 됨ㅋㅋ
저도 그래요. 회사에서 못 쓰는 거 집에서 하려다가 결국 그냥 로컬로 정착함
솔직히 7B로 요약 뽑으면 할루시네이션 감당 안 되는 경우 많음ㅋㅋ 숫자나 고유명사 슬쩍 바꿔놓는 거 보고 신뢰 깨짐. 문서 요약이 목적이면 13B 이상 가거나, 7B 쓰더라도 원문 대조 검수 과정을 반드시 넣어야 함. '로컬이라 안전하다'는 것만 믿고 결과를 그대로 쓰면 더 위험할 수도 있음.
윈도우면 WSL2 말고 그냥 리눅스 듀얼부팅 추천. VRAM 12GB면 13B 4bit가 딱 마지노선인데, 윈도우에서 드라이버 + 백그라운드 프로세스가 VRAM 잡아먹어서 OOM 자주 남. 그리고 처음부터 양자화 종류(Q4_K_M, Q5_K_M) 별로 다 돌려보면서 요약 품질 비교해보세요. 모델 이름보다 양자화가 체감 차이 훨씬 큼.