집에서 7B 모델 돌려보려다 삽질만 한 기록

회사 GPU는 못 쓰니까 집에서 로컬 LLM 한번 돌려보자 싶어서 주말 이틀을 갈아 넣었습니다. 결과부터 말하면 돌아는 가는데, 쓰고 싶은 마음이 사라졌습니다. ㅋㅋ

제 환경은 RTX 3060 12GB에 램 32GB입니다. 처음엔 ollama로 시작했는데 설치 자체는 10분이면 끝나더군요. 문제는 그다음이었습니다.

1. 7B 4비트 양자화 모델은 확실히 쾌적하게 돌아갑니다. 토큰 속도도 볼만합니다.

2. 근데 13B 넘어가면 체감이 확 느려집니다. 답변 하나 기다리는 동안 커피 타러 갈 수 있는 수준.

3. 컨텍스트를 길게 잡으면 속도가 더 떨어지고 메모리도 순식간에 찹니다.

4. RAG 붙이려고 임베딩 모델까지 올리니까 그래픽카드가 비명을 지르더라고요.

결국 API 쓰는 게 낫다는 결론이 났습니다. 다만 로컬로 돌리면서 '아 이게 이렇게 동작하는구나'를 몸으로 익힌 건 나름 값진 경험이었습니다. 특히 양자화 단계별로 품질이 어떻게 깨지는지 직접 본 게 컸습니다.

혹시 3060 12GB로 실사용 중인 분 계시면 모델이랑 설정 공유 좀 해주세요. 저는 아직도 미련이 남네요.