1か月で評価額が2倍 AIチップのEtchedが賭けたのは推論の分業

3行まとめ

• Etchedが7億ドルを調達し、評価額は210億ドルになりました
• 12月の50億ドル、7月の103億ドルから1か月で倍増しました
• 主導したJane Streetは実機を試し、自社ラックを稼働中です

何が起きたか

AIチップの新興企業Etchedが、火曜日に7億ドルの調達を発表しました。評価額は210億ドルです。主導したのはクオンツファンドのJane Streetでした。

Jane StreetはEtchedのAIハードウェアをテストし、購入したうえで出資しています。

評価額の上がり方は急です。12月の時点では50億ドル、7月のシリーズC（3億ドル）で103億ドルでした。そこから1か月で、約110億ドル上乗せされた形です。

Etchedが売るのはチップ単体ではありません。「frontier inference clusterfrontier inference clusterEtchedがシステム一式に付けた製品の呼び名。Nvidiaは同種の製品をAIファクトリーと呼びます。s」と呼ぶシステム一式で提供します。競合のNvidiaは、同種のシステム製品をAIファクトリーと呼んでいます。

なぜ難しい・何がすごいか

投資家が沸いたのは、Etchedが新しい部品を2つゼロから設計したからです。共同創業者でCOOのRobert Wachen氏がそう説明しています。狙いは推論推論利用者がプロンプトを送ったあとに走る計算のこと。学習済みのモデルを使って答えを作る工程です。の高速化にあります。

推論とは、利用者がプロンプトを送ったあとに走る計算のことです。Wachen氏はこれを2段階に分けます。プロンプトと文脈を読み解く「prefillprefill推論の前半。プロンプトと文脈を理解する段階で、計算量が重くなります。」と、答えのトークンを出力する「decodedecode推論の後半。答えとなるトークンを生成する段階で、メモリの負荷が重くなります。」です。

prefillは計算が重く、decodeはメモリが重い。効かせどころが違う工程なので、必要な部品も違ってきます。Etchedはこの2つに、別々に作った新部品をあてました。

Jane Streetはブログでこう述べています。

チップをテストし、初期の結果に満足しています。

同社はいま、自社のデータセンターで自前のラックを動かしています。

たとえ話

厨房を思い浮かべてください。注文票を読んで段取りを決める作業と、できた皿を次々に出す作業では、要る道具が違います。前者は頭を使い、後者は動線と置き場がものを言います。

同じ人が両方を担当すると、どちらかに寄せた台所になります。Etchedは工程ごとに専用の台所を用意しました。推論のprefillとdecodeを、別の部品に割り振ったわけです。

用語ミニ辞典

• 推論: 利用者がプロンプトを送ったあとに走る計算のこと。学習済みのモデルを使って答えを作る工程です。
• prefill: 推論の前半。プロンプトと文脈を理解する段階で、計算量が重くなります。
• decode: 推論の後半。答えとなるトークンを生成する段階で、メモリの負荷が重くなります。
• cluster-scale memory: Etchedがdecode向けに作った、新方式のメモリと相互接続の呼び名です。
• frontier inference cluster: Etchedがシステム一式に付けた製品の呼び名。Nvidiaは同種の製品をAIファクトリーと呼びます。

技術者向けの深掘り

prefillチップの肝は低電圧で動くことです。高性能なAIチップにつきまとう発熱を抑えられるため、トランジスタをより多く詰め込めます。その分だけ、同じ時間で流せるトークンが増えます。

decode側にはcluster-scale memorycluster-scale memoryEtchedがdecode向けに作った、新方式のメモリと相互接続の呼び名です。を新設しました。Wachen氏は「多数のチップをつなぎ、共有のメモリプールを非常に低い遅延で使える」と述べています。Etchedが掲げる成果は、速度の向上とコストの低下です。

社名の由来だった「モデルをチップに焼き込む」路線は、すでに過去のものです。当初はその意図でしたが、現在のシステムはどのフロンティアモデルでも動きます。Etchedは今も、初期のイメージの払拭に手こずっています。

これは自分に関係ある？

• AIを使うだけの立場: 推論の速さと安さは、応答の待ち時間と利用料に直結します。Etchedが狙っているのは、そこを削ることです。
• アプリを作るエンジニア: 推論を一枚岩で捉えず、prefillとdecodeに分けて眺める見方が使えます。遅いのがどちらかで、手当ての場所が変わります。
• 機材を選ぶ立場: Jane Streetは自社で試し、買ったうえで出資しました。カタログの数字より先に実機、という順番でした。