「これ」と言われても分からない GoogleがAIに手を生やして指させる

3行まとめ

• Googleが、XRXR現実の空間に映像を重ねたり作り替えたりする表示技術の総称。頭に付ける装置で使います。用語集でこの語を見るの中で話すAIに手ぶりをさせて物を指させました。
• 12人の実験で、位置と動作の理解が有意に上がりました（p<0.05）。
• 熱いノズルの警告は、赤く光る効果と手の動きで気づかせました。

何が起きたか

Google XR のチームは、XRの中で話すAIに手ぶりを付けた試作機 AgentHands を公開しました。論文は CHI 2026 に採録済みで、査読前のプレプリントではありません。

AgentHands は、しゃべる言葉に合わせて手を動かします。ユーザーが蘭の育て方を尋ねると、AIは株元まで手を運びます。空中に気根の形をなぞりながら、その働きを説明します。

3Dプリンタの操作では、AIがつまみを回して押す順番を手で見せます。物の位置は、ユーザーが視線で目印を付けて登録します。システムは視線と空間の再構成から、蘭やノートPCに3Dの箱を割り当てます。

なぜ難しい・何がすごいか

言葉だけの案内は、聞き手に頭の中で位置を組み立てさせます。Project Astra や Gemini 3.1 Flash Live は、映像に四角い枠を重ねて物を示します。

この枠は平らな画面では通じます。奥行きのあるXRに移ると、平らなUIだけでは物のどこを指しているのかが伝わりません。

人の会話では、手が形を描き、動作を真似し、話の要点を強めます。AgentHands は、この声と手の同期をXRの中で作り直しました。単語ごとの時刻で合わせるので、AIが「これ」と言った瞬間に指先が対象へ着きます。

論文は、この着地が言葉だけの指示に付きものだった当て推量を消したと書いています。参加者は、AIの手を「導いてくれる相棒」のように感じたと答えました。

たとえ話

電話で道を教わる場面を思い出してください。相手は「その角を曲がって」と言います。どの角なのかは分かりません。

隣に立った人が指を差せば、迷いは一瞬で消えます。手が動いた先が答えになるので、頭の中で地図を組み立てる手間が要りません。AgentHands は、XRの中でその指の役目を引き受けます。

用語ミニ辞典

• XR: 現実の空間に映像を重ねたり作り替えたりする表示技術の総称。頭に付ける装置で使います。
• co-speech gesture: 話す言葉と同時に出る手の動き。指さしや、形を空中でなぞる動作を指します。
• deictic / iconic / expression: AgentHands が手ぶりを分けた3区分。順に、指さし、形や動作の再現、感情の伝達を受け持ちます。
• GestureEvent: LLM の返答テキストに埋め込まれる手の動きの指示。トリガー語と手の形や位置を結び付けます。

技術者向けの深掘り

AgentHands は、LLM に手の軌道を直接描かせません。バックエンドの LLM は返答テキストを生成し、その中にトリガー語と結んだ GestureEventGestureEventLLM の返答テキストに埋め込まれる手の動きの指示。トリガー語と手の形や位置を結び付けます。用語集でこの語を見る を差し込みます。イベントは、手の数・形・空間の置き方・時間変化・双方向性・視覚効果の6次元を持ちます。

チームはこの6次元を、Google の XR と HCI（人とコンピュータの対話）の専門家への予備調査から決めました。手ぶりの部品は、指さし・形や動作の再現・感情の伝達の3種に分けて用意しました。

同期はヘッドセット側が受け持ちます。ローカルのパーサーが音声合成の再生とアニメーションエンジンをつなぎ、単語ごとの時刻で手の動きを言葉に合わせます。

評価は、同じ12人が両方を試す被験者内比較です。話す内容は両条件とも研究者が書いた同一の台本で、差は手ぶりの有無だけになります。

これは自分に関係ある？

• 手順を人に教える立場の人: 危険の伝え方が変わります。3Dプリンタの課題では、赤く光る効果と手の動きを添えた警告で、参加者が熱いノズルの危険に確かに気づいたと論文は報告しています。
• AIを組み込む開発者の人: 返答テキストに手の動きの指示を埋め込み、再生側で時刻を合わせる作りが参考になります。LLM の側に絵を描く力は要りません。
• XR機器を持っていない人: いまは Google の試作機で、売っている製品ではありません。チームは Android XR に向けて、利き手や空間の使い方に合わせる個人化を検討しています。