decodeとは
2本の記事で説明した語です。文脈ごとに言い方が変わるので、記事ごとにそのまま並べます。
モデルが応答のトークンを1つずつ作る工程です。低遅延チップが主に受け持ちます。
推論の後半。答えとなるトークンを生成する段階で、メモリの負荷が重くなります。
2本の記事で説明した語です。文脈ごとに言い方が変わるので、記事ごとにそのまま並べます。
モデルが応答のトークンを1つずつ作る工程です。低遅延チップが主に受け持ちます。
推論の後半。答えとなるトークンを生成する段階で、メモリの負荷が重くなります。