阿法觀點

後 GPU 時代的硬體分層:ASIC 專用化如何重構 AI 推理的經濟模型與能源瓶頸

發佈於 2026.07.01
資料來源 · 30 集 podcast、0 則網路來源
參考 Podcast

隨著生成式 AI 快速從「預訓練時代」邁向「大模型推理時代」,全球資料中心的算力需求正經歷結構性轉移。通用 GPU 的高功耗、熱限流與低算力利用率,正逐漸逼近物理與經濟學極限。在此背景下,專用晶片(ASIC)憑藉對特定算法結構的極致優化與超低功耗,正在重構代幣(Token)生產的規模經濟,並成為緩解電網瓶頸、降低企業推理開銷的關鍵硬體分層。

捨棄通用冗餘,低電壓專用架構突破物理熱限流

在 AI 推理的 Prefill 階段,傳統通用 GPU 雖然標榜極高的峰值算力,但在執行實際任務時,由於大量電晶體同時高速開關產生巨大熱能,晶片會自動降頻以防過熱,導致實際模型算力利用率(MFU)通常僅有 20% 至 50%。相比之下,新興 ASIC 設計陣營如 Etched 推出的 Sohu 晶片,借鑑了比特幣礦機低電壓運作的物理可能性,開發出「低電壓推理」技術,將運作電壓降至常規 GPU 的一半以下。由於功耗與電壓呈二次方正比關係,電壓減半意味著功耗下降四分之三,這讓晶片能在不觸發熱限流的前提下,在單位面積內塞入更多算力。這種捨棄通用性、專門針對 Transformer 結構進行硬體硬編碼的策略,徹底釋放了 Prefill 階段的算力密度。

集群尺度共享記憶體打破晶片互連延遲瓶頸

在 Decode(解碼生成代幣)階段,限制推理系統效能的核心瓶頸在於記憶體頻寬。目前的 GPU 集群中,不同晶片之間的資料傳輸延遲極高。以晶片巨頭輝達(Nvidia, NVDA)最新的 Blackwell 晶片為例,點對點的傳輸延遲高達 4000 奈秒,這導致擴大集群規模時,代幣生成速度無法獲得線性提升。為了解決這一「物理邊界」,新一代專用推理系統捨棄了標準的乙太網路通訊協定,從底層自研整套客製化互連堆疊,成功將晶片間的傳輸延遲縮短 5 倍以上。這種極低延遲的互連能力,使得整個機架內的晶片能將各自的 SRAM 和 HBM 融合成一個單一、無縫的「集群尺度共享記憶體池」,確保未來運行數兆參數的專家混合模型(MoE)時,代幣生成速度隨著晶片數量的增加而近乎線性增長。

混合算力與端側推理舒緩企業 token 開銷焦慮

隨著大模型被廣泛導入業務流程,企業內部對於「Token 開銷」的掌控正成為財務主管的新挑戰。在訂閱制時代,軟體支出是可預測的固定成本;但在大模型時代,基於使用量的變動 token 費用往往會對傳統企業的財務預算體系帶來巨大衝擊。為了解決這項痛點,聯想(Lenovo)等硬體巨頭提出將大語言模型進行壓縮、並部署在 PC 或手機等本地硬體設備上的「pocket to cloud」混合算力架構。這能讓大部分例行性推理任務在地端直接運作,只有在面臨高度複雜的查詢時才導向雲端。這種混合運算地端分流不僅保護了資料隱私,更能大幅優化企業的運算成本,協助財務主管精準篩選出真正能帶來實質回報的專案。

中國低成本模型崛起倒逼全球 AI 資本支出回歸理性

在美中科技競爭與 AI 算力軍備競賽的宏大敘事下,科技巨頭每年投入數千億美元建置 AI 資料中心,導致其自由現金流遭到侵蝕。如 Meta (META) 等雲端巨頭的資本支出與研發費用甚至預計將消耗極高比例的營收,引發市場對其進行去估值修正。然而,中國 AI 生態在晶片供應受限的殘酷環境下,正透過大規模蒸餾與工程優化,以 DeepSeek、智譜 GLM 5.2 及字節跳動「豆包」為代表,走出一條「低成本普及化」的破壞性創新路線。當中國平價開源模型能以西方大廠十分之一的超低 Token 成本提供相近的推理能力時,這將迫使全球 AI 產業思維發生轉變。企業無須再無限制地蓋建大型資料中心即可獲取同等算力,這將成為引導全球 AI 資本支出降溫、重回經濟性與回報率理性評估的關鍵催化劑。

本期精選
看多信念

AI 推理時代開啟專用晶片(ASIC)新賽道,台積電作為全球先進製程與先進封裝獨家代工龍頭,是硬體分層結構下最穩健的贏家。

6/18 入選 $432現價 $434 · +0.5%
來源 · 3 集 podcast
觀察

HBM 需求極度稀缺推升財報暴利與長期能見度,惟美股巨頭資本支出若因去估值降溫恐導向短期震盪,宜待融資洗盤告一段落後再行佈局。

7/1 入選 $1,154現價 $979 · -15.2%
來源 · 3 集 podcast
觀察

雖然通用 GPU 仍受惠於大量基礎建設建置,但後 GPU 時代的物理熱限流瓶頸與 ASIC 專用化競爭正重構推理市場,短期需面臨巨頭 Capex 檢討壓力。

6/16 入選 $212現價 $211 · -0.7%
來源 · 2 集 podcast
往期阿法觀點