집 컴퓨터로 로컬 LLM 돌려본 2주 기록

RTX 4070 Ti Super 16GB로 20B급 모델들 돌려봤습니다. 결론부터 말하면 '쓸 만하다'와 '아직 부족하다' 사이 어딘가입니다.

양자화 4비트로 30B 모델까지는 어떻게 돌아갑니다. 속도는 초당 15토큰 정도라서 읽는 데 지장은 없어요. 다만 긴 문서 요약을 시키면 앞부분을 잊어버리는 게 확실히 느껴집니다. API 모델과의 차이가 여기서 갈리는 것 같아요.

가장 만족스러운 용도는 역시 민감한 코드나 회사 문서를 넣고 물어보는 것입니다. 외부로 안 나가니까 마음이 편합니다. 반대로 창의적인 글쓰기나 복잡한 추론은 아직 API 모델이 압도적입니다.

전기세는 생각보다 많이 나옵니다. 한 달 내내 돌렸더니 2만원 정도 추가됐어요.