GPU 가격이 미친 듯이 오르고 있다: 3개월 동안 관찰한 패턴

한 줄 요약: 가격이 regularly 50-100% 변동해요. 평일 아침에 renting 하고, 저녁은 피하세요. 큰 AI 출시 = 가격 급등. 컨퍼런스 주간 = GPU shortage.

왜 추적을 시작했는지

frustration에서 시작했어요. 화요일 오후에 H100이 필요한데, Lambda Labs가 시간당 $0.99를 요구하는 거예요. 그럭저럭 괜찮다 싶었죠. 같은 job, 같은 조건으로 목요일 오후 6시: $1.40/hour.

이게 2일 만에 36% 상승이래요. 같은 hardware인데!

버그인 줄 알았어요. 그래서 pricing을 기록하기 시작했어요. 매시간. 모든 주요 provider에서. 3개월 동안 쉬지 않고. 데이터가故事를 말해요—그리고 그故事로 돈을 절약할 수 있어요.

가격 변동 현실

아무도 안 알려주는 것: 클라우드 GPU 가격은 정적이 아니에요. 동적이고, supply-demand driven이고, 생각보다 훨씬 변동성이 크죠.

에러 아니에요.眼睁睁 봤거든요. Anthropic이 새 모델을 announce하자 everyone이 replicate하려고 달려들었고, GPU supply가 순식간에 사라졌어요.

패턴 #1: 일일 리듬

가격이 일정한 daily pattern을 따라요. 이제 뭐를 봐야 하는 알겠어요. 발견한 거예요:

저녁 미국 가격 상승이无情해요. San Francisco가 일어나는 걸랑 20-40% 가격이 올라요. Off-hour에 job을 돌릴 수 있다면 그렇게 하세요.

실제 예시: 월요일 가격 곡선

1월某个 월요일 Vast.ai의 실제 H100 가격이에요:

• UTC 오전 6시: $0.72/hour — 이것 좀 잡았음
• UTC 오후 12시: $0.85/hour — 아직 그럭저럭
• UTC 오후 6시: $1.15/hour — 아ouch
• UTC 오후 10시: $1.28/hour — 더 아프다
• UTC 오전 2시 (다음 날): $0.79/hour — 다시 정상

같은 provider. 같은 GPU 모델. 20시간 만에 77% 가격 변동.

패턴 #2: 주간 사이클

주말이 저렴해요. 그냥 약간이 아니라—많이요.

12주 데이터의 평균 가격:

• 월-목: 기준선 (100%)
• 금요일: 105% (주간 job 마무려려는 사람들)
• 토요일: 82% (가장 저렴한 날)
• 일요일: 85% (여전히 쌈)

토요일 밤이 딱이에요. UTC 토요일 오후 10시부터 일요일 오전 4시 사이에 제일 저렴한 가격을 consistently 발견했어요. 주말은 그냥 수요가 죽는 거예요.

"금요일 저녁에서 토요일 아침으로 training job을 옮기니까 한 달에 $340 절약했어요. 같은 compute, 같은 결과, 30% 저렴."

패턴 #3: 이벤트 충격

이건 진짜 재미있어요. 외부 이벤트가 massive price spikes를 야기해요—예측도 가능하죠.

AI 모델 출시

Meta가 12월에 Llama 3 낸 날? GPU 가격이 미쳐버렸어요. 기록한 거예요:

• 발표 전 날: H100 평균 $0.89/hour
• 발표当天: H100 평균 $1.12/hour (+26%)
• 발표 다음 날: H100 평균 $1.38/hour (+55%)
• 3일 후: 가격이 여전히 40% 위 정상

everyone이 즉시 Llama 3을 fine-tune하려고 했어요. Supply가 따라가지 못했어요. 그 desperation이 가격에 반영되었죠.

컨퍼런스 주간

NeurIPS 주간이 정말 좋지 않았어요. CVPR도 그닥 않았고요. 주요 AI 컨퍼런스 동안:

• 가격이 30-50% 상승
• 가용성 감소 (H100 찾기 어려워)
• Spot instance가 거의 사용 불가

연구자들이最后时刻 experiments를submit해요. Demo videos가 rendering되죠. 모두가 한 번에 compute가 필요해요.

암호화폐 펌프

2024년 말에 Bitcoin이 $100k를 돌파했을 때, GPU 가격이 48시간 내 따라왔어요. AI 모델 급등만큼 dramatic하진 않았지만—전반적으로 15-20% 상승이 있었어요.

correlation이 완벽하진 않지만 있어요. 암호화폐 채굴자들이 일반적으로 클라우드 GPU를 쓰진 않지만,投機적 수요가 전체 GPU supply chain에 ripple effect를 줘요.

패턴 #4: 제공자 차이

모든 제공자가 같이 움직이지 않아요. 일부는 훨씬 더 변동성이 있어요:

예측 가능성이 필요하면 Lambda Labs가 친구예요. 시장에서 놀고 dip을 잡고 싶으면 Vast.ai가 제일 큰 절약 가능성을 제공해요—근데 인내심과 flexibility가 필요해요.

이 패턴들을 활용하는 방법

이론은 충분해요. 실제로 돈을 절약하는 방법:

1. 얼리 버드 전략

Job이 UTC 오전 6시에 시작하도록 설정하세요. Cron이나 scheduled job을 사용하세요. 오전 6시와 오후 6시의 가격 차이가 30-40% 될 수 있어요.

2. 위키엔드 워리어

긴급하지 않은 job들을 주말로 묶으세요. 토요일 아침이 제가 발견한 제일 저렴한 창이에요. 24시간 기다릴 수 있다면, 절약은 실제로 있어요.

3. 이벤트 회피

AI 뉴스를 확인하세요. 주요 모델 출시 = 2-3일 동안 가격 상승. Either:

• 발표 전에 미리 provision (올 거 알면)
• 4-5일 기다려 (가격 정상화됨)
• 상승 기간엔 고정 가격 제공자 (Lambda) 사용

4. 멀티 제공자 댄스

한 제공자에 갇히지 마세요. Vast.ai 가격이 상승할 때, Lambda는 아직 합리적일 수 있어요. 모두 비싸면 Nebius나 FluidStack 같은 작은 제공자를 확인하세요.

5개 제공자에 계정을 유지해요. 셋업에 한 시간 걸렸어요. 매달 수백 달러 절약해줘요.

데이터: 90일 가격 기록

수집한 거예요. 이것은 cherry-picked 아니라—기록한 모든 H100 가격이에요:

• 최저 기록: $0.68/hour (Vast.ai, 12월 3일, UTC 오전 2시)
• 최고 기록: $1.89/hour (RunPod spot, Llama 3 런칭 중)
• 평균: $1.04/hour
• 표준 편차: $0.28 (27% 변동!)

생각해봐요. 27% 표준 편차가 있으면 가격이 여기저기 떠돌아요. 타이밍이 매우 중요해요.

내 실제 절약

2026년 1월에 이 패턴들을 실제 work에 적용했어요:

• 기본 비용: $1,240 (필요할 때마다 renting)
• 최적화 비용: $847 (위 패턴 사용)
• 절약: $393 (31.7%)

이것이 진짜 돈이에요. 같은 compute. 타이밍만 좋으면.

내가 사용하는 도구

매시간 수동으로 가격 확인 안 해요. 그건 미친 짓이겠죠. 내 stack:

1. CloudGPUTracker (당연히) — 자동 가격 추적 위해 만듦
2. Simple cron script — 가격 확인하고 내 목표 GPU가 threshold 아래로 떨어지면 문자옴
3. 가격 알림 기록 — 주간 검토해서 목표 조정

Cron 스크립트는 작성하는 데 20분 걸렸어요. 수동 확인 시간 절약해줬고, 아마 $500 이상의 과지불을 예방했을 거예요.

장기 추세는?

3개월로는 장기 추세라 말하기엔 부족하지만, 제가 의심하는 거:

• H100 가격은缓慢하게 하락 중 — 더 많은 supply coming online, 경쟁 심화
• A100 가격은安정
— 성숙한 시장, 예측 가능한 수요
• 소비자 GPU (4090)가 저렴해지고 있음
— 암호화폐 쇠퇴带来的 oversupply
• 차세대 (B100)가 모든 것을 끌어올릴 것
— 출시되면 혼돈 예상