手話が文字になって電話に入る 200言語が取り残されていた理由

3行まとめ

• 手話を文字にするAI「SL2T」がGboardとLive TranscribeLive Transcribe周囲の音声を文字にして画面に出すAndroidアプリ。に載る
• まずアメリカ手話から英語へ。Pixel 11で先行提供
• 手話を使うろう者・難聴者は世界で7,000万人と推定

何が起きたか

Google DeepMindが2026年8月12日、手話を文字に変換するAIモデル「SL2TSL2Tsign-language-to-textの略。手話を文字に翻訳するモデル。」を発表しました。キーボードアプリのGboardと、文字起こしアプリのLive Transcribeに組み込まれています。使えるのはPixel 11から、追加料金なしです。

対応する組み合わせはアメリカ手話（ASLASLアメリカ手話。今回対応した手話言語で、出力は英語。）から英語です。ほかの端末や手話言語は順次広げるとしています。

できるのは、ふだん文字を打つ場面の置き換えです。手話でウェブを検索する、メッセージや文書を下書きする、Geminiに指示を出す。Live Transcribeでは、会話の返事を手話で返せます。

世界には200を超える手話があります。Googleによれば、それを使うろう者・難聴者は推定7,000万人。音声AIが伸びた数十年、この規模が外に置かれてきました。

なぜ難しい・何がすごいか

音声の文字起こしと手話の文字化は、作業の中身が違います。話し言葉の文字起こしは、同じ言語の中で音を文字に写す処理です。手話は独自の文法と語彙を持つ独立した言語なので、翻訳そのものが要ります。

壁はもうひとつあります。手話は手・腕・上半身・頭・顔の動きを同時に使って意味を運びます。これを高いフレームレートで正確に追うのは、計算の重い画像処理です。

手話グローブのような初期の試みが行き詰まったのはここです。手話は英語を手に置き換えたものではありません。指の形を拾うだけでは足りず、全身の細かい動きの読み取りと、言語としての翻訳が同時に要ります。

たとえ話

音声入力の手話版だと考えると、置かれた位置がつかめます。聞こえる人はマイクのボタンを押して話せば、文字が出てきます。その同じ場所に手話が入りました。

難しさの中身は同じではありません。音声入力が同じ言語の中の変換であるのに対し、SL2Tは言語をまたぐ翻訳です。

用語ミニ辞典

• SL2T: sign-language-to-textの略。手話を文字に翻訳するモデル。
• ASL: アメリカ手話。今回対応した手話言語で、出力は英語。
• Live Transcribe: 周囲の音声を文字にして画面に出すAndroidアプリ。
• ポーズランドマーク: 体や顔の特徴点を座標で表したもの。映像そのものより軽い。
• グロス: 手話を単語ラベルの列で書き起こす中間表記。従来の研究で広く使われてきた。

技術者向けの深掘り

学習データは50を超える手話言語で10万時間以上、うち約4分の1がASLです。Googleは、言語や方言や習熟度を混ぜて学習させると共通の構造を学ぶと説明しています。単一言語のモデルを上回ったとしています。

プライバシーは端末側で切っています。MediaPipe Holisticが体のランドマークを追い、サーバーへ送るのは座標の並びだけです。元の映像はその場で破棄されます。

グロスグロス手話を単語ラベルの列で書き起こす中間表記。従来の研究で広く使われてきた。を経由しない点も設計の分かれ目です。座標列から直接テキストへ訳すため、語彙の上限が消え、品質がデータ量に応じて伸びます。

GoogleはFLEURS-ASL（sd-test）でゼロショット70 BLEURTを記録したとしています。過去に報告された値を大きく上回る数字です。

実運用側の調整も公表しています。逐次出力の遅延を縮め、手話をしていない映像で誤って文字を出さないようにする。左利きは手話を使う人の10%を占めるため、公平性と片手手話への対応にも手を入れたとしています。

残る誤りも自ら示しています。まれな手話、速い指文字、受け身の構文、手の形で物や動きを描く表現、文脈のない時制。翻訳例では指文字の prey が grey になっています。

これは自分に関係ある？

• 手話を使う人: 対象はASLから英語で、まずPixel 11から。ほかの手話への拡大はこれからです。
• 聞こえる人: 相手が手話で返した内容がその場で文字になります。筆談やタイピングを挟む場面が減ります。
• エンジニア: 動きの認識と機械翻訳を1本につないだ構成と、映像を座標に落としてから送る割り切りが参考になります。