会話の48%は集計前に捨てられる AI利用実態レポートの死角

3行まとめ

• AI各社の利用実態レポートは、各社が見せたい部分だけだという指摘。
• 独立チームが同じ基準を当てると、会話の48%が集計から外れた。
• 外れたのは健康や人間関係、ハラスメントなど仕事以外の使われ方。

何が起きたか

AIの使われ方を独立に調べるプロジェクト「AI ObservatoryAI Observatory実際のAI会話を集めて分析する公開プラットフォーム。企業の発表とは独立した情報源を目指しています。」が公開されました。率いるのはスタンフォードのAnka Reuel氏です。MITメディアラボのShayne Longpre氏と共同で進めました。

研究にはMIT・スタンフォード・Data Provenance InitiativeData Provenance Initiative今回の集約に加わった研究グループのひとつ。などが加わっています。材料は、過去の研究で本人の同意を得て集められた7つのデータセットです。2023年から2025年に、5,000人が52種類のモデルと交わした24,521件の会話を束ねました。

会話ターン会話ターンユーザーの入力と、それに対するAIの応答をひと組で数えた単位。の数では85,633件になります。対象にはChatGPT、Gemini、Claude、Grokが含まれます。狙いは、企業の発表以外に参照できる情報源を作ることです。

なぜ難しい・何がすごいか

難しさは、突き合わせる相手がいないことにあります。企業のレポートは、社内にしかないチャットログを社内の基準で数えたものです。Reuel氏はこう述べています。

裏付けを取れる独立した情報源が存在しない。

数え方にも癖があります。よく引用されるAnthropic Economic IndexAnthropic Economic IndexAnthropicが公開するClaudeの利用実態レポート。仕事や生産性に関わる使い方を対象にしています。は、仕事や生産性に関わる使い方を対象にします。それ以外の会話は集計前に除外されます。

研究チームが同じ手順を自分たちのデータに当てはめると、48%が除外対象になりました。除外された側には健康や人間関係の相談が44.2%、ハラスメントや差別が27.5%含まれます。Anthropicの分析ではそれぞれ31.2%と5.66%でした。

OpenAIが2025年に出したChatGPTのレポートでも、消費者利用のうち仕事関連は30%です。Anthropicの担当者は、公開している研究は自社チームの関心を反映したものだと答えました。OpenAIは取材に応じていません。

たとえ話

レストランが自前でアンケートを集め、結果を公表する場面を思い浮かべてください。集計するのは「ランチに来た客」の回答だけと決めてあります。数字そのものに嘘はありません。

ただし、夜に来た客が何を頼み、何に不満を持ったかは表に出ません。読む側は店の外に別のアンケートを持っていないので、外れた分の中身を確かめられません。

用語ミニ辞典

• AI Observatory: 実際のAI会話を集めて分析する公開プラットフォーム。企業の発表とは独立した情報源を目指しています。
• Anthropic Economic Index: Anthropicが公開するClaudeの利用実態レポート。仕事や生産性に関わる使い方を対象にしています。
• WildChat: 今回使われたデータセットのひとつ。規模が大きく、記録が細かいものです。
• 会話ターン: ユーザーの入力と、それに対するAIの応答をひと組で数えた単位。
• Data Provenance Initiative: 今回の集約に加わった研究グループのひとつ。

技術者向けの深掘り

粒度を上げると、モデルごとの差が出てきます。GrokとGeminiは情報検索に使われる頻度が高く、Grokはニュースと政治で特に多く使われていました。誤情報が集まっていたのもGrokです。

用途の偏りも分かれます。Anthropicはコーディング、Geminiは雑談やロールプレイ、ChatGPTは宿題の手伝いに寄っていました。

同じ製品でもバージョンで差が出ます。GPT-3.5のころのChatGPTは会話が短く、GPT-4oでは長く反復的になりました。

時間方向の変化も見えます。WildChatWildChat今回使われたデータセットのひとつ。規模が大きく、記録が細かいものです。では、プロンプトのトークン数、応答のトークン数、会話ターン数がいずれも増えました。雑談も増えています。

一方でAI側が自分はチャットボットだと明かす頻度は下がりました。ハラスメントや差別を含む会話は減っており、対策が効いた可能性があります。企業のレポートは、こうした自社モデル内部の差までは拾っていません。

これは自分に関係ある？

数字の出どころを確かめる材料が、ひとつ増えました。

• ニュースで利用率を見る人: 「何%が仕事に使っている」という数字は、集計から何を外したかで動きます。誰が集めたデータかを先に見てください。
• AIを業務に入れる人: 企業のレポートは仕事向けの使い方に寄っています。社内で実際に起きる使われ方を見積もる材料としては足りません。
• 研究や政策に関わる人: AI Observatoryのデータは研究者に公開されます。ただし提供は任意なので、際どい使い方は少なめに出ます。