合成音声の9割を当てた技術者82人が ElevenLabsでは半分も見抜けない

3行まとめ

• 2019年・2022年・2024年の合成音声をIT技術者82人が聞き比べました
• 全文合成のF1は、古い2つの約90%からElevenLabsの48%に落ちました
• 1文だけ差し替えた録音では4文全問正解が9%、合成文を本物と答えた割合が77%

何が起きたか

チェコのブルノ工科大学の研究チームが、合成音声を人が聞き分けられるかを測りました。使ったツールは2019年のReal-Time Voice Cloning（RTVC）と2022年のYourTTSです。3つ目は2024年のElevenLabsで、選んだ中で唯一の商用サービスです。

聞き手はIT技術者82人でした。素材は英語を話す有名人9人のYouTubeインタビューです。参加者は録音を4つの文に区切り、1文ずつ本物か合成かを答えました。

回答は3日間で集め、1人あたり平均8.6セット、35分ほどかかりました。研究チームは偽物が混じっていることを事前に伝えていました。それでもElevenLabsの全文合成では、F1が48%どまりでした。

なぜ難しい・何がすごいか

本物の文に囲まれた1文が、聞き手の警戒を解きます。研究チームは、4文のうち1文だけをElevenLabsで差し替えた録音も聞かせました。参加者が合成文を当てられたのは22.65%でした。

同じ録音の本物の3文は、88.59%の精度で当てています。課題そのものは理解できていました。差し替えられた1文だけが見えていません。

以前の研究は、人の正答率を70〜80%と報告してきました。その数字は古い合成ツールで測ったものです。今回もRTVCとYourTTSの全文合成ではF1が約90%に届き、ElevenLabsだけが48%に落ちました。

誤答の向きも変わりました。参加者は本物の録音を偽物と答える誤りを、17.5%の割合で出しています。論文は、本物の音声への信頼が削れていると書いています。

用語ミニ辞典

• 部分的な偽造（partial spoof）: 本物の録音のうち1文だけを合成音声で差し替えたもの。今回いちばん見抜けなかった条件です。
• F1スコア: 見逃しと誤検出をまとめて1つの数字にした指標。1に近いほど正しく当てられています。
• ゼロショット音声クローン: 追加の学習なしで、手元の音声からその人の声を真似る作り方。今回は3分の音声を渡しました。
• プレプリント: 査読を受ける前に公開された論文。第三者の検証はまだ済んでいません。

技術者向けの深掘り

研究チームは、学習済みの検出器6つを同じ録音にかけました。構成はフロントエンドがXLS-R 300MとWavLM Base+、バックエンドがAASISTとMHFAです。学習データはASVspoof 2019 LAが2つ、ASVspoof 5が4つです。

6つの検出器はしきい値0.5で本物か合成かに切りました。論文は、人と検出器が別の場所で失敗すると報告しています。どちらも短い改変箇所を特定できていません。

感度d′の落ち方が、聞き分けの限界を数字にしています。RTVCで2.75、YourTTSで2.88だったd′が、ElevenLabsでは0.73です。全文合成のElevenLabsでは1文あたりの正答率が0.43で、当て推量の0.5を下回りました。

研究チームは偽物が混じると事前に伝えており、伝えない対照群は置いていません。警告そのものの効果は、この実験から出せません。

対象は3ツールと技術者82人に限られます。論文は、年ごとの一般的な傾向ではなくツールごとの差だと書いています。

これは自分に関係ある？

電話や音声メッセージを使う人には、耳だけの確認が効かない条件が出てきました。82人のIT技術者でも、ElevenLabsの全文合成はF1 48%でした。論文は、聞いて判断する以外の手段が必要だと書いています。

音声を扱うエンジニアには、1文ごとに判定する検出が要ります。論文が挙げた対策は、手順による本人確認、来歴の記録、電子透かし、区間単位の検出です。

この論文は査読前のプレプリントプレプリント査読を受ける前に公開された論文。第三者の検証はまだ済んでいません。用語集でこの語を見るです。第三者の追試はまだありません。