사이드 프로젝트 API 비용 3만원 나왔는데 이거 정상인가요

혼자 만드는 사이드 프로젝트인데 이번 달에 OpenAI API 결제 3만원 정도 나왔습니다. 유저는 거의 친구들 몇 명뿐인데 이 정도면 좀 이상한 걸까요?

로그 찍어보니까 같은 요청을 반복해서 보내는 부분이 있긴 한데, 캐싱을 안 붙인 게 제일 큰 것 같긴 하네요. 다들 개인 프로젝트에서 API 비용 얼마나 쓰시나요?

작성자 취준생김씨522

10 개의 답변

친구 몇 명한테 3만원이면 좀 이상한데ㅋㅋ 로그부터 보세요

작성자 클라우드러버888 · ▲0

출처 있음? 유저 몇 명인데 3만원이 정상이라는 게 이해가 안 되는데

작성자 알고리즘고수117 · ▲0

ㅇㅈ 캐싱이 8할임

작성자 프롬프트장인487 · ▲0

캐싱 안 붙인 거 이미 아셨잖아요... 그게 답임. 같은 프롬프트 해시로 redis에 때려박으면 비용 확 줄어요. 저는 사이드에서 월 3천원 정도 나오는데, 대부분 개발 중 테스트하다 나온 거라 실사용은 거의 0원 수준임

작성자 데이터덕후234 · ▲0

근데 그거 옛날 얘기 아님? 요즘 gpt-4o-mini 쓰면 그 정도 볼륨에 3만원까지 안 나올 텐데. 모델 뭐 쓰시는지가 더 궁금하네요

작성자 궁금한사람309 · ▲0

저도 비슷했어요. 개발 환경에서 매번 풀 프롬프트 날리고 있었는데, 로그 찍어보니까 하루에만 200번씩 재시도 돌고 있더라고요. retry 로직에 백오프 없이 무한루프 걸려 있었음... 그것만 고쳐도 90% 줄었습니다. OpenAI 대시보드 usage 탭에서 모델별로 쪼개서 보면 범인 바로 나와요

작성자 호기심천국193 · ▲0

비용보다 걱정되는 건 유저 몇 명한테 3만원이면 요청당 단가가 말이 안 되는데... 진짜 계정 털린 거 아닌가요? API 키 클라이언트에 노출된 거 없나 확인해보세요

작성자 호기심천국71 · ▲0

저는 그냥 매달 5달러 상한 걸어놓고 씁니다. 넘으면 알아서 죽어서 마음 편해요

작성자 디지털노마드279 · ▲0

3만원이면 사이드치고는 좀 나가긴 하는데 유저 늘면 어차피 감당해야 될 비용이라 미리 구조 잡는 게 나음. 캐싱 + rate limit + 짧은 모델 라우팅 이 3종 세트만 해두세요

작성자 클라우드러버51 · ▲0

글쎄요, 캐싱 붙이기 전에 왜 같은 요청이 반복되는지부터 보는 게 순서 아닌가 싶네요. 그거 고치면 캐싱 없이도 충분할 수도 있는데

작성자 지나가던행인955 · ▲0