背景 Agent 觸發算力革命:低成本 Token 生產鏈解析
原始標題 · Neil Movva - Making AI 10x Cheaper - [Invest Like the Best, EP.488]
輝達在極致低延遲推理與 NVLink 晶片間互聯領域擁有無可比擬的技術壟斷地位,架構完整度極高。然而,隨著背景 Agent 普及與吞吐量優先的推理模式崛起,市場對極致互聯頻寬的需求邊際效益遞減,非 NVIDIA 晶片在單位算力成本上的優勢將逐步侵蝕其在推理市場的獨佔溢價。
AMD 晶片在純粹的浮點運算性價比(Flops per Dollar)上具備優異潛力,僅因軟體生態與 Kernel 優化門檻較高而長期被市場忽視。對於具備自主優化底層軟體能力的基礎設施業者而言,AMD 的晶片供應與價格結構提供了極佳的套利空間,隨著多晶片調度軟體的成熟,其市場採用率預期將持續提升。
高頻寬記憶體(HBM)與高密度 DRAM 依舊是限制大語言模型長上下文推理能力的最核心瓶頸。由於記憶體原廠對擴充產能資本支出持謹慎態度,導致 HBM 供給持續吃緊。只要 KV Cache 與模型參數對高密度記憶體的需求居高不下,美光等記憶體巨頭將持續享有強勁的定價紅利與週期支撐。
台積電在先進製程與先進封裝(CoWoS)上的技術優勢極為穩固,是所有 AI 晶片創新不可或缺的基石。儘管晶片設計業者嘗試透過良率控制與舊製程優化來降低成本,但在高算力密度的先進邏輯晶片製造上,台積電依然掌握著整個 AI 產業鏈中最不可替代的價值節點。
因應用場景轉向自主運行的背景 Agent,不再需要即時回應,改用大批次處理可提升 GPU 利用率,壓低 Token 生產成本。
利用傳統雲端大廠因可用性需求而捨棄的小型或間歇性電力數據中心,透過非同步容錯技術,以低廉成本執行大規模推理任務。
針對模型運算密集與記憶體密集的不同特性,將計算與儲存需求拆分,搭配不同硬體與軟體編程,以達到最佳的成本與效能平衡。