実在しない論文が39件の意見書に ChatGPTの幻覚がオーストラリア議会に届く

3行まとめ

• Guardian の調査が、豪州議会への意見書39件に実在しない出典を見つけました。
• Google の AI 要約は、架空の文献を実在するかのように要約して返します。
• 検出できるのは出典付きの文書だけで、39件は下限の数字です。

何が起きたか

オーストラリア議会の調査委員会に届く意見書に、実在しない研究の引用が混ざっています。Guardian Australia は、現在の議会に出された意見書から出典を機械的に抜き出しました。引用先が見つからない意見書は、少なくとも39件ありました。

委員会の報告書が、出典の大半に実在しないものを含む意見書を引用していた例もあります。

家庭内暴力と自殺に関する調査に、存在しない文献を挙げた文書が出されました。引用元にされたのは、クイーンズランド大学准教授で臨床心理士の Divna Haslam 氏です。

文書は、研究チームの結論も書き換えていました。Haslam 氏は、ざっと見た人なら信じてしまうほど本物らしく、怖いと話しています。

意見書を出した Drilldown Reports は、調査の過程で AI を使ったと Guardian に答えました。誤りには後続の意見書で気づいています。訂正の締め切りは、その時点で過ぎていました。

なぜ難しい・何がすごいか

AI 検索が、誤りを見つける側の手がかりを消しています。以前は存在しない文献名を検索すれば、何も出てこないこと自体が答えになりました。いまは Google の AI 要約が、架空の文献を実在する論文のように要約して返します。

Google の AI 要約と ChatGPT は、偽の出典を載せた意見書そのものを根拠として示すこともあります。誤情報が引用を生み、その引用が誤情報の裏づけに使われます。輪が閉じます。

実在しない内容をもっともらしく書く幻覚は、不具合ではありません。大規模言語モデル（LLM）は、学習した文章から次に来る言葉を統計で選びます。LLM は、正しい内容と誤った内容を見分ける力を持ちません。

学習データに乏しい話題ほど、幻覚は増えます。

たとえ話

読書感想文に、実在する作家の名前と、それらしい書名が並んでいる場面を思い浮かべてください。書名だけが架空です。図書館の検索窓にその書名を打てば、以前は「該当なし」が返り、そこで嘘に気づけました。

いまの検索窓は、あらすじを作って返します。感想文の書き手も、読んだ人も、本が存在しないことに気づけません。

用語ミニ辞典

• 幻覚（ハルシネーション）: LLM が、もっともらしく見えて実在しない内容を出力することです。
• LLM（大規模言語モデル）: 学習した文章から次の言葉を確率で選んで文を作る仕組みです。ChatGPT や Claude がこれにあたります。
• AI 要約（AI Overviews）: Google が検索結果の先頭に出す、生成AIによる要約です。
• CrossRef: 学術論文や書籍の書誌情報を集めたデータベースです。Guardian が引用先の照合に使いました。
• DOI（デジタルオブジェクト識別子）: 論文1本ごとに割り当てられる識別子です。URL として開けるかを機械で確かめられます。

技術者向けの深掘り

Guardian は市販の AI 検出サービスを使わず、出典の照合で判定しました。検出サービスは誤判定を起こし、AI を使っていない書き手を使ったと名指ししてしまいます。

判定は4段階です。Guardian は文書から参照を抽出し、CrossRefCrossRef学術論文や書籍の書誌情報を集めたデータベースです。Guardian が引用先の照合に使いました。用語集でこの語を見る と Google Scholar で検索します。DOI があれば、到達できる URL に解決するかも確認します。

照合できない参照が20%以上の文書は、人が読み直しました。Guardian は引用された当人に問い合わせて、手法の妥当性を確かめています。

この判定は出典を持つ文書にしか届きません。出典を書かずに本文だけ生成した文書は網に掛かりません。Guardian は ChatGPT がリンクに付けるメタデータタグも探し、100本を超える文書で見つけました。

タグは、書き手が ChatGPT を直接使った証拠になりません。タグ付きのリンクを含む第三者の記事から文章をコピーしても、タグは残ります。

これは自分に関係ある？

出典を付けた資料を出す人は、引用先が実在するかを自分で確かめる立場に置かれます。オーストラリア上院の案内は、AI の利用が情報の質を損なうおそれに触れています。正確さの責任は提出者にある、と同じ案内が書いています。

OpenAI は Guardian に、ChatGPT を最終的な出典ではなく下書きとして使ってほしいと答えました。利用者が引用やデータ、外部文書への参照を検証することも求めました。

研究や執筆で名前が知られている人は、書いた覚えのない論文を自分の名義で引用される側に回ります。住宅の不公平を扱う調査でも、同じことが起きました。意見書の一つが、シドニー大学教授の Nicole Gurran 氏の存在しない業績を引用しました。

ジャーナリストで研究者の Margaret Simons 氏は、自分の名前で作られた出典についてこう述べています。

自分が書いていないと分かっていても、一瞬だけ自問する時間がありました