Cerebras CS-4 架構:同晶圓主頻倍增與 43 PB/s SRAM 頻寬提升互動性
- —Cerebras 發表第四代系統 CS-4,採用與上一代相同的 5nm WSE-3 晶圓,透過大幅增強供電與 散熱 設計使主頻倍增,將每晶圓 記憶體 頻寬推升至 43 PB/s,離晶片 I/O 頻寬同步升至 2.4 Tb/s。
- —雖然晶圓 SRAM 容量維持 44GB 不變,但每用戶推論速度倍增至接近 4,000 tok/s/user,且製造與組裝簡化使 TCO 與前代持平,大幅提升客戶的 Token 收益與投資報酬率。
CS-4 背包式機櫃設計與網路拓撲:135kW 高功率與異質解耦推論佈局
- —CS-4 機櫃採用前供電、後運算的模組化背包(Backpack)設計,單機櫃容納 3 塊晶圓,功耗升至 125-135kW TDP,並全面配合資料中心水冷架構。
- —新一代可現場升級的 FPGA 晶圓 I/O 模組將晶圓間延遲降至 2 微秒,旨在結合 $AMD 與 $AMZN Trainium 等 HBM 系統實現預先填補與解碼解耦(PDD)及注意力解耦(AFD)。
晶圓級平行策略與記憶體容量限制:流水線平行與長上下文 KV Cache 挑戰
- —由於單塊晶圓僅有 44GB SRAM,無法在單晶圓存放完整前沿模型(如 DeepSeek V4 Pro 1.6T)的權重與 KV Cache,因此必須採用流水線平行(Pipeline Parallelism)策略。
- —在 1M 長上下文與高併發需求下,單純依靠 SRAM 的硬體 CapEx 成本將高達數千萬美元,促使客戶將長上下文限制在 256k 或轉向 HBM 異質解耦架構。