AI 算力大廠剖析推理熱潮與產能瓶頸
原始標題 · How CoreWeave Sees the Market for Compute Right Now
他在討論自研晶片與第三方晶片的競爭時,將輝達視為絕對的護城河標的。他指出,儘管市場盛行「非輝達陣營」或自研晶片(ASIC)的討論,但從第一線客戶的實際動作來看,不管是訓練還是推理,客戶簽署五年的長期巨額合約時,指名度最高、最信賴的依然是輝達的生態系(CUDA)與硬體架構。值得對照:雖然微軟近期發表了搭配 MAI Thinking 1 的 Maya 200 自研晶片,但他認為這很難在商業市場撼動輝達的壟斷優勢。
他藉由微軟最新發表的「MAI Thinking 1」推理模型與其自研晶片 Maya 200,來帶出科技巨頭嘗試降低對外部晶片依賴的策略。他對此採取客觀中立的觀察視角,認為微軟此舉是為自身特定應用進行優化,但並非代表市場會大舉轉向非輝達架構。這項策略的成效,值得對照未來大客戶是否會繞過雲端巨頭,直接向專業 AI 雲端服務商採購原生輝達算力。
透過「模型路由」技術,簡單查詢可交由中低階模型處理,使 A100 與 H100 等前代晶片能發揮剩餘價值,預計壽命可達六至八年。
顯示大廠擔心供應鏈中斷,透過鎖定產能建立競爭壁壘。這種長期且照付不議的合約,為算力營運商提供了穩定的營收能見度與融資背書。
算力具有「非同質性」,不同平台的軟體棧、維運能力與負載優化效率差異巨大,導致即便硬體相同,實際產出效能也完全不同。