打破 GPU 數量迷思:AI 算力利用率優化與協同設計新局
原始標題 · Anjney Midha's Plan to Radically Lower the Price of Compute
主持人這次在討論 AI 基礎建設 R&D 費用流向的脈絡下提到這支晶片龍頭。來賓指出目前 AI 實驗室大約有「八成研發資金流向晶片商」,暗示其超額利潤的現狀。對照近期微軟等大廠加速開發客製化晶片的動作,核心逻辑就是為了從其手中奪回單位經濟的主導權,並緩解對單一硬體供應商的極度依賴。這段討論並未涉及短期買賣動作,而是從供應鏈和技術協同設計的角度解構其長期利潤率是否會面臨稀釋威脅。
目前頂尖實驗室晶片節點利用率常低於60%,模型浮點運算利用率僅約11%。企業因應尖峰需求過度採購,導致硬體閒置與浪費,單靠囤貨難以轉化為實質生產力。
市場獲利中樞將轉向「算力優化調度軟體」與「多模型動態路由」。未來評估指標不再是持有的晶片數量,而是軟體架構能將晶片利用率提升至多高。
為了爭取供應鏈自主權,並在推論階段實現模型與晶片的軟硬體協同設計(Co-design),以解決算力分配難題並減輕對輝達專利生態系的依賴。