200億ドルで買った速さが量産に NvidiaがGroq 3 LPXを年内稼働

3行まとめ

• NvidiaがGroq 3 LPXラックの量産を発表し、Nebiusで年内に動かします
• SRAMSRAM読み書きが速いメモリです。Groq 3はチップのダイ上に500MBを載せます。用語集でこの語を見る 500MBを載せたチップ256個のラックが毎秒3,400トークンを出します
• GPUの置き換えではなく、応答を作るdecodedecodeモデルが応答のトークンを1つずつ作る工程です。低遅延チップが主に受け持ちます。用語集でこの語を見る工程だけを受け持つ分業です

何が起きたか

NvidiaはAIチップのラック「Groq 3 LPX」が量産段階に入ったと8月24日に発表しました。ラックはCPUのVera、GPUのRubinと並べてクラウド事業者Nebiusに設置され、年内に稼働します。シニアディレクターのDion Harris氏が記者団に説明しました。

Nvidiaは12月、新興チップ企業Groqの資産を200億ドルで買収しました。同社の買収として史上最大です。

Groqは推論（学習済みAIに答えを出させる処理）の待ち時間を削るチップを作ってきた企業です。その技術が今回、売り物のラックになりました。

なぜ難しい・何がすごいか

速さの源は、チップに直接載せた500MBのSRAMです。SRAMは読み書きの速いメモリで、チップの土台（ダイ）の上に置くことでメモリまわりの詰まりを減らします。Nvidiaはこのチップを256個束ねて1本のLPXラックに仕立てました。

性能は計測企業Artificial Analysisのベンチマークで毎秒3,400トークンです。OpenAIの高速モードUltrafastはCerebras製チップで毎秒750トークンをうたいます。Groq 3 LPXはその4倍を超えます。

勝負どころは待ち時間です。低遅延の推論はAIエージェントの応答を待たせないために要る、とNvidiaは位置づけます。中でも効くのはコーディング用途です。

Harris氏は「遅延に最も敏感な顧客へ、割高な上位サービスを提供できるようになる」と述べています。

たとえ話

配送にたとえると、GPUは長距離トラックです。学習にも推論にも回せて、新しい技術やモデルにも合わせられる万能選手です。

一方のGroqは市内配達のバイクです。目の前の1個を最短で届けることだけを引き受けます。Nvidiaはトラックを減らさず、急ぎの配達をバイクに割り振る使い分けを選びました。

用語ミニ辞典

• 推論（inference）: 学習を終えたAIモデルに入力を渡し、答えを出させる処理です。
• SRAM: 読み書きが速いメモリです。Groq 3はチップのダイ上に500MBを載せます。
• decode: モデルが応答のトークンを1つずつ作る工程です。低遅延チップが主に受け持ちます。
• ネオクラウド: AI向け計算資源の貸し出しに特化した新しいクラウド事業者です。Nebiusが当てはまります。

技術者向けの深掘り

分業は製造にも及びます。GroqチップはSamsungが作り、NvidiaのGPUはTSMCが作ります。

競合もラック規模の低遅延推論へ動いています。AMDは今年、Cerebrasのチップを自社のラック規模システムに組み込むと発表しました。

Cerebrasは先ごろ株式を公開しました。OpenAIのUltrafastモードも同社のチップで動いています。

Nvidia社内での配分はCEOのJensen Huang氏が3月に示しました。データセンターのコーディング用途向け面積は、4分の1をGroqに割きます。残りは全てVera Rubinにすると語っています。

Huang氏はBlackwellとVera Rubinの累計売上を2027年までに1兆ドルと見込みます。買収額200億ドルの50倍です。Vera Rubinは今年生産が始まり、出荷を増やしている段階です。

これは自分に関係ある？

• コーディングAIを使う人: AIの返事を待つ時間が、チップの設計で競われる領域になりました。Nvidiaは遅延が最も効く用途にコーディングを挙げています。
• AIサービスを作るエンジニア: 遅延の要件でプランを分ける売り方をHarris氏は示しました。decode工程だけ低遅延チップに寄せる構成が、Nebiusで年内に立ち上がります。
• AI業界を追う人: Harris氏はGPUの置き換えを否定しています。「ワークロードの部位ごとに、適した価格の適したプロセッサを使う」分業だと説明しました。