正答率89%・記憶41% ChatGPTで解いた学生は自分のコードを思い出せない

3行まとめ

• ChatGPT-4.5 を使った学生のコード得点は89%、使わない群は69%でした
• 48時間後の記憶テストは39%対52%で、成績と逆の順になりました
• 提出したコードを自分のものだと答えた割合は45%対81%です

何が起きたか

ニューサウスウェールズ大学の研究チームが、学部生にC言語の課題を解かせました。参加者は59人で、分析に残ったのは55人です。29人は ChatGPT-4.5 だけを、26人は Google 検索だけを使えました。

課題は難易度が上がる3問で、制限時間は30分です。採点は15点満点の自動テストです。ChatGPT 群は89%、検索群は69%を取っています。

提出直後に10問の記述式クイズを出すと、ChatGPT 群は41%、検索群は53%でした。48時間後に同じクイズをもう一度出すと、39%と52%です。

研究チームは、提出したコードのうち何%が自分のものかも聞きました。ChatGPT 群は45%、検索群は81%と答えています。

なぜ難しい・何がすごいか

論文が新しく測ったのは、成績と記憶がずれる幅です。生成AI が課題の出来を良くすることは、先行研究がすでに報告してきました。論文は同じ実験の中で、成績・認知負荷認知負荷課題を解くあいだに作業記憶へかかる負担です。9段階の自己申告と瞳孔径・心拍変動で測りました。用語集でこの語を見る・48時間後の記憶・所有感の4つを測っています。

著者らは、この4つを初学者のプログラマで同時に測った研究を知らないと書いています。48時間のあいだの目減りの速さには、両群で差が出ませんでした。ChatGPT 群は提出直後から12ポイント低く、その差を保ったまま48時間後を迎えます。

差がついたのは忘れ方ではなく、覚え方の側です。課題は3問かけて難しくなります。それでも ChatGPT 群の精神的努力は、検索群ほど上がりませんでした（Holm 補正Holm 補正検定を何本もまとめて走らせたときに、偶然の有意を減らすための調整です。用語集でこの語を見る後 p = .047）。

たとえ話

カーナビを頼りに初めての街を走ると、目的地には着きます。ただし道は残りません。次に同じ道を自力で走れるかは別の話です。

曲がる場所を指示されているあいだ、運転者は道順を自分で組み立てていません。ChatGPT 群の学生も、動くコードを提出したうえで、48時間後にその中身を答えられませんでした。

用語ミニ辞典

• 手がかり再生（cued recall）: 質問を手がかりに記憶を引き出させるテストです。この実験では課題の内容を10問の記述式で聞きました。
• 認知負荷: 課題を解くあいだに作業記憶へかかる負担です。9段階の自己申告と瞳孔径・心拍変動で測りました。
• 心理的所有感: 対象を自分の延長として感じる度合いです。4項目の尺度と100点のスライダーで測りました。
• Holm 補正: 検定を何本もまとめて走らせたときに、偶然の有意を減らすための調整です。

技術者向けの深掘り

論文は生理指標を確認用に回し、主要な結論を行動データから出しています。瞳孔径と心拍変動（HRV）は、品質ゲートを通った区間だけを線形混合モデルに入れました。ツールと課題の交互作用を尤度比検定で見て、4指標とも有意差は出ていません。

残った区間の数が足りていません。HRV は課題1で19区間（36%）、課題3で16区間（31%）しか残りませんでした。瞳孔は課題1で43区間（80%）残り、著者らは欠損の大きさが解釈を制限すると書いています。

所要時間は条件で分かれました。課題1は検索群3.9分・ChatGPT 群4.0分でほぼ同じです。課題3では検索群が11.4分、ChatGPT 群が5.9分でした。

著者らは所要時間を共変量に入れず、記述統計として報告しています。割り付けの後に決まり、ツールそのものに左右される値だからです。

この原稿は arXiv に投稿された査読前のプレプリントで、採録先の記載はありません。

これは自分に関係ある？

• プログラミングを学んでいる人: 課題が通ることと中身を覚えていることを、この実験は別々に測りました。提出直後のクイズで、すでに12ポイントの差がついています。
• 教える側の人: 提出物だけを見る採点では、この差は見えません。論文は、説明させる・思い出させる・自分で書き足させる課題を評価に組み込むよう求めています。
• 仕事で AI を使うエンジニア: 参加者はC言語の経験が2年以下の55人です。熟練者で同じ結果になるかを、この実験は測っていません。