中國 AI 模型崛起:Kimi K3 降本效應與企業排程任務應用
- —企業在 AI 支出高企背景下積極尋求降本方案,歐美企業(如 Coinbase、DoorDash、Airbnb、Notion)已在背景排程與非即時任務中大量採用 GLM 或 Kimi 等中國模型。
- —Kimi K3 在處理中型任務時雖需要較多 Token 與較長運算時間,但因單位 Token 價格極低,整體任務成本仍節省約 2.3 倍。
- —採用開放 MXFP4 規格進行訓練,降低對特定昂貴晶片生態的單一依賴。
記憶體優化與以存代算:NVIDIA CMX 與 Enterprise SSD 需求爆發
- —由於 HBM 與 DRAM 產能受限且價格昂貴,業界積極發展 KV Cache 卸載策略(如 NVIDIA CMX),將長上下文與不常調用的 Key-Value 存放在快閃記憶體(SSD)。
- —Kioxia (鎧俠)、Phison (群聯)、SanDisk 等模組與主控廠推出超高速 High IOPS Enterprise SSD,以因應以存代算的龐大 NAND 需求。
- —長上下文(Long Context)模型普及推動伺服器儲存架構升級,NAND Flash 在 AI 伺服器中的角色大幅提升。
CSP 資本支出上修與 AI 硬體供應鏈熱度持續
- —Supermicro (SMCI) 財報毛利率大幅超預估(從 8.2-8.4% 上升至 15-17%),顯示 AI 伺服器組裝溢價能力與學習曲線帶來的獲利改善,帶動 Dell、HPE 等同業走揚。
- —Google 上修 2026/2027 資本支出至 2000 億美金以上,且 TPU 正式對外提供商業化服務(如 Anthropic 採用),API 使用 Token 數季增逾 35%。
- —AI 基礎設施建設並未停滯,算力與高速網路(Networking/Switch/Scale-up)投資持續維持高強度。