量子化とは
2本の記事で説明した語です。文脈ごとに言い方が変わるので、記事ごとにそのまま並べます。
モデル内部の数値を粗くしてファイルを小さくする処理。今回の配布版は Q4KM 形式で17GB
数値を粗い精度で持ち直してモデルを縮める手法。約4bitなら1つの数値を4ビットで表す。
2本の記事で説明した語です。文脈ごとに言い方が変わるので、記事ごとにそのまま並べます。
モデル内部の数値を粗くしてファイルを小さくする処理。今回の配布版は Q4KM 形式で17GB
数値を粗い精度で持ち直してモデルを縮める手法。約4bitなら1つの数値を4ビットで表す。