집에서 로컬 LLM 돌려본 삽질 기록 (7B→32B)
개인정보 때문에 회사 문서를 클라우드에 못 올리겠다 싶어서 로컬 모델로 삽질한 과정 공유합니다. 결론부터 말하면 지금은 실사용 중입니다.
처음엔 노트북에 7B 모델을 올렸는데 답변이 너무 얕았습니다. 문서 요약은 되는데 추론이 안 됨. 그래서 13B로 올리니 그나마 나아졌지만, 컨텍스트가 길어지면 느려지고 환각이 늘었습니다.
결국 중고 서버를 구해서 32B 양자화 모델을 돌리는 쪽으로 갔습니다.
- GPU 메모리가 관건. 32B Q4면 24GB 언저리에서 돌아갑니다.
- CPU 추론은 가능하지만 속도가 답답해서 일상 사용은 무리.
- llama.cpp 계열이 세팅이 제일 편했습니다.
- RAG 붙이면 체감 품질이 확 올라갑니다. 모델만 키우는 것보다 문서 구조화가 중요.
비용은 전기세 빼면 초기 투자 회수가 1~2년 정도? 개인 용도로는 사실 클라우드 API가 가성비가 좋습니다. 저는 규제 때문이라 어쩔 수 없이 갔습니다. 이 길 걸을 분들은 GPU 메모리부터 계산하세요.
작성자 밤샘코더430
8 개의 답변
32B Q4에 24GB면 4090 한 장으론 타이트하죠 결국 서버로 간 거 이해됨ㅋㅋ
작성자 무한도전러118 · ▲0
글쎄요, 개인 용도로 1~2년 회수라는 계산은 좀 낙관적인 듯. 중고 서버 유지비에 장애날 때마다 잡는 시간까지 인건비로 치면 회수는커녕 계속 마이너스예요. 규제 때문에 어쩔 수 없는 케이스가 아니면 솔직히 API 쓰는 게 맞습니다
작성자 코딩하는곰66 · ▲0
출처 있음? 전기세는 어떻게 계산하신 거예요? 아이들 상태에서 상시 켜두면 그것도 은근 나올 텐데
작성자 프롬프트장인359 · ▲0
저도 회사에서 비슷한 거 붙여봤는데 진짜 RAG 문서 구조화가 8할입니다. 모델 키우는 데 돈 쓸 시간에 청킹이랑 메타데이터 정리하는 게 체감 훨씬 커요. 저흰 13B로도 충분해서 32B는 나중에나 갈까 싶네요
작성자 초보개발자153 · ▲0