かみくだきむずかしいニュースを、わかるまで噛み砕く

推論とは

3本の記事で説明した語です。文脈ごとに言い方が変わるので、記事ごとにそのまま並べます。

  1. 利用者がプロンプトを送ったあとに走る計算のこと。学習済みのモデルを使って答えを作る工程です。

    1か月で評価額が2倍 AIチップのEtchedが賭けたのは推論の分業

  2. 学習済みのAIモデルを実際に使って答えを出す処理。学習と対になる工程です

    毎秒3,000トークンは手持ちのGPUで出る Kogの「30倍」がまだ約束な理由

  3. 学習済みのモデルを実際に動かして答えを出す処理。速さの話はここにかかります。

    速さは小さいモデルの特権だった 14倍速で動くOpenAIの最上位モデル

用語集へ戻る