チップは作り直していない Cerebras CS-4が性能を2倍にした方法

3行まとめ

• Cerebrasが新型チップWSE-3TとラックCS-4を発表。1枚の性能は2倍
• シリコンの設計は前世代と同じ。電源を強化して2倍の電力を流し込んだ
• 1ラックに3枚積み、チップ間のスイッチを取り払って直結した

何が起きたか

Cerebrasが次世代のウェハスケールウェハスケール1枚のウェハから多数のチップを切り出すのが普通のところ、切らずに丸ごと1個のチップとして使う作り方です。チップ「WSE-3T」を火曜に発表しました。これを収めるラックシステムが「CS-4」です。TはTurboの頭文字を指します。

前世代のWSE-3と比べ、演算性能・メモリ帯域・I/O帯域がそろって2倍になりました。ただし新しいシリコンを起こしたわけではありません。

製造プロセスはTSMCの5nmのままです。ウェハ面積46,225平方ミリメートル、トランジスタ4兆個、90万コア、SRAMSRAMチップに内蔵する高速メモリです。容量は小さいものの、外付けメモリより桁違いに速く読み書きできます。 44GBも据え置き。同じチップをより強く回しているだけだとCerebrasは説明しています。

CS-4は「バックパック」と呼ぶモジュールを最大3つ搭載します。最初のシステムは今四半期中に稼働する見込みです。

なぜ難しい・何がすごいか

速度の壁になるのはメモリ帯域です。生成AIが1トークンずつ答えを吐き出すとき、計算量よりも重みを読み出す速さが上限を決めます。

Cerebrasは皿ほどの大きさのチップ全面にSRAMを敷き詰めました。読み出しは毎秒21.6ペタバイトに達します。NvidiaやAMDの最速GPUの1000倍にあたる数字です。

WSE-3Tはこれを毎秒43.2ペタバイトにしました。増分は電源回りの改良から来ています。効率を上げて2倍の電力を流し込み、動作周波数を引き上げました。

ウェハ単体の消費電力は15kWから33kW程度に上がる見積もりです。

見出しの250ペタフロップスには注釈が要ります。ゼロを飛ばすスパース性スパース性計算に出てくるゼロを飛ばして性能を稼ぐ手法です。カタログ値は伸びますが、LLMの推論には効きにくい手法です。を前提にした値で、LLMの推論では効きにくいためです。密なFP16なら25ペタフロップス前後にとどまります。

たとえ話

古い工場を思い浮かべてください。ラインの機械は去年と同じ型で、台数も増えていません。変えたのは受電設備だけです。

太い電線を引いて2倍の電気を送れるようにしたら、同じ機械をより速く回せます。生産量は増えますが、熱がこもるので冷却が新しい悩みになります。WSE-3Tが性能を2倍にした筋道も、ここと重なります。

用語ミニ辞典

• ウェハスケール: 1枚のウェハから多数のチップを切り出すのが普通のところ、切らずに丸ごと1個のチップとして使う作り方です。
• SRAM: チップに内蔵する高速メモリです。容量は小さいものの、外付けメモリより桁違いに速く読み書きできます。
• スパース性: 計算に出てくるゼロを飛ばして性能を稼ぐ手法です。カタログ値は伸びますが、LLMの推論には効きにくい手法です。
• プリフィルとデコード: プロンプトを読み込む段階がプリフィル、1トークンずつ生成する段階がデコードです。前者は計算力、後者はメモリ帯域が効きます。
• パイプライン並列: モデルの重みを複数のチップに分けて置き、順番に処理を手渡していく方式です。

技術者向けの深掘り

チップ間からスイッチが消えました。CS-4はチップ同士を直接つなぎ、格子の端が反対側へ回り込む2Dトーラスで全体を結びます。レイテンシは5マイクロ秒から2マイクロ秒に縮みました。

GPUはテンソル並列やエキスパート並列で帯域を食い合います。Cerebrasは単純なパイプライン並列パイプライン並列モデルの重みを複数のチップに分けて置き、順番に処理を手渡していく方式です。で足ります。帯域より低レイテンシが効く方式です。

役割分担も変わりました。プロンプトを読み込むプリフィルはAWSのTrainiumとAMDのInstinctに渡します。Cerebras側はデコード専任です。

1兆パラメータのモデルにLPUなら2,000台要るところ、SRAMの厚いCerebrasは数十台で済む勘定です。ただしSRAM容量はWSE-2からほぼ横ばいです。分離型の推論を前提にするなら容量を優先しても良かったはず、とThe Registerは指摘しています。

これは自分に関係ある？

• AIを使う側: 変わるのは待ち時間です。Artificial Analysisの計測では、gpt-oss-120bで1ユーザーあたり最大4,400トークン毎秒。GPUベースの最速サービスは約350トークン毎秒です。
• 設備を見る側: 1ラックあたり120〜140kWという推定です。今年後半に出るAMD・Nvidiaの240〜250kW級と比べれば軽い部類に入ります。
• どちらでもない人: 推論の作りが、1社のチップで完結する形から役割を分けて持ち寄る形へ動いています。