AI検出ツールは信じられるか｜精度と限界を検証

「クライアントに納品した文章が、AI検出ツールで『AI生成』と判定されてしまった」「採用選考の作文を検出ツールにかけたら、真面目に書いた学生の作文が高スコアで引っかかった」——AI検出ツールを使う場面が増えるにつれて、こうした戸惑いの声が増えています。

結論から言うと、AI検出ツールの精度は一律に信頼できるものではありません。OpenAIは自社の検出ツールを「正解率の低さ」を理由に撤回し、非ネイティブ英語話者の文章は最大で6割以上が誤って「AI生成」と判定された実験結果もあります。一方で、学術研究の世界では機械的な判別が99%を超える精度を出す例も報告されており、両者は矛盾しているように見えます。

株式会社Fyveは中小企業のAI活用を月額で伴走支援しています。この記事では、検出ツールが実際に何を測っているのか、なぜ精度をめぐる報告がここまで食い違うのかを、公式発表・査読論文・公的機関の注意喚起という一次情報から整理します。特定のツールを推奨したり、複数のツールを比較してランキングづけたりすることが目的の記事ではありません。

AI検出ツールは何を見て「AIらしさ」を判定しているのか

多くのAI検出ツールが土台にしてきた考え方に、perplexity（困惑度）とburstiness（ばらつき）という2つの指標があります。AI検出サービスのGPTZeroは、perplexityを「文ごとの困惑度は、AIモデルが文書中とまったく同じ語の並びを選んだであろう度合いの尺度と解釈できる」と説明しています。数値が低いほど「AIが選びそうな語順」に近く、AIが書いた可能性が高いと判定される仕組みです。

burstinessは、そのperplexityが文書全体でどれだけ変動するかを見る指標です。人間は文の長さや語彙を大きく揺らして書くためburstinessが高くなり、AIは一定のリズムで書き続けるため低くなる、という理屈です。たとえば同じ内容を説明する文章でも、短い断定と長い補足を交互に重ねる書き方と、常に同じ長さ・同じ調子で説明を積み重ねる書き方とでは、後者のほうが「AIらしい」と判定されやすくなります。

ただし注意が必要な点があります。GPTZero自身が、2023年秋以降はディープラーニングベースのアーキテクチャに移行したため、perplexityとburstinessを主要な判定手法としては使っていないと明記しています。つまり「AI検出ツールはperplexityとburstinessを見ている」と現在形で言い切るのは正確ではなく、統計的な考え方は判定材料のひとつという位置づけに変わっています。判定の裏側の仕組みが数年のあいだに入れ替わっているという事実自体が、検出ツールを唯一絶対の基準として扱うべきではない理由のひとつです。GPTZeroの公式解説でもこの経緯が説明されています。

OpenAIが自社の検出ツールを撤回した理由

AI検出ツールの信頼性を考えるうえで、最も象徴的な出来事がOpenAI自身の判断です。OpenAIは2023年1月31日に「AI Text Classifier」を公開しましたが、公開からわずか半年後の2023年7月20日に提供を終了しました。開発したツールを、開発元自身がここまで短期間で取り下げた例は珍しく、AI検出という技術領域そのものの難しさを物語っています。

公式ページの冒頭には、次の注記が今も残っています（アーカイブで確認済み）。

「As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy. We are working to incorporate feedback and are currently researching more effective provenance techniques for text...」（2023年7月20日をもって、AI classifierは正解率の低さを理由に提供を終了しました。フィードバックを反映しつつ、より効果的な来歴技術の研究を続けています、の意）

自社で開発・公開したツールを、開発元自身が「正解率が低い」という理由で取り下げた事実は重いものです。AI技術の開発を主導する企業自身が「今の技術では判定できない」と結論づけたということでもあります。公式ページ（アーカイブ）で当時の注記を確認できます。

非ネイティブ英語話者を狙い撃ちにする誤検出

OpenAIの撤回が「たまたま」ではないことを裏づける研究があります。Liang, Yuksekgonul, Mao, Wu, Zouによる論文「GPT detectors are biased against non-native English writers」（学術誌Patterns、2023年）は、7つのAI検出ツールでTOEFLエッセイ91本を判定させた実験です。

指標	結果
7つの検出器すべてが「AI作」と判定	91本中18本（19.78%）
少なくとも1つの検出器がフラグ	91本中89本（97.80%）
非ネイティブ英語話者エッセイの平均誤検出率	61.22%
米国8年生（ネイティブ）エッセイの平均誤検出率	5.19%
「もっとネイティブらしい語彙で」と指示して書き直した後の誤検出率	11.77%（-49.45ポイント）

原因として論文が挙げているのはperplexityの低さです。語彙の選択肢が少なく、予測しやすい語順で書く人ほど「AIらしい」と判定されやすい、という構造です。非ネイティブ話者は、限られた語彙の中から最も無難で使い慣れた単語を選ぶ傾向があるため、結果として「予測しやすい文章」になりやすく、これがそのままAIらしさの指標と重なってしまいます。

日本語話者が書く英語や、平易な言葉を選んで書かれた文章も、同じ構造的リスクを抱えることになります。この論文が示しているのは、検出器の欠陥が特定の人種や国籍を狙い撃ちにしているという話ではなく、「語彙の予測しやすさ」を測る手法そのものが、書き手の言語背景によって不公平な結果を生むという構造上の問題です。論文（arXiv）で詳細を確認できます。

「機械なら高精度」という研究もある——矛盾をどう見るか

一方で、AI生成文の判別そのものを高精度で行えるとする研究も存在します。財津亘氏（目白大学）らが2025年10月27日にPLOS ONEで発表した論文では、日本人403名にAI文章と人間文章を判定させる実験とあわせて、機械（ランダムフォレストによる統計的分類器）による判別も行っており、精度99.8%、AI生成文の再現率100.0%という結果が出ています。

OpenAIの検出器が撤回され、非ネイティブ話者が6割以上誤検出される一方で、なぜ研究では99.8%という数字が出るのか。ここは条件の違いとして正直に説明する必要があります。

財津らの研究は、どちらが人間でどちらがAIかがあらかじめ分かっている、閉じた比較用のコーパスを対象にした統計分析です。同じテーマ・同じジャンルで人間とAI（GPT-3.5、GPT-4など）に文章を書かせ、機能語の使用割合や読点の位置といった言語学的な特徴量で分類器を訓練し、その分類器の中での精度を測っています。いわば「あらかじめ答えが分かっている試験問題を、専用に訓練したモデルで解かせている」状態です。

これに対して、OpenAIの検出器やLiangらが検証した商用ツールが直面するのは、誰が書いたか分からない、あらゆる書き手・あらゆるジャンルの文章です。ネイティブ話者もいれば非ネイティブ話者もいる、平易な文章も学術的な文章もある、という開かれた条件のもとで判定しなければなりません。加えて、後述するように言い換え（パラフレーズ）ひとつで判定を覆せることも分かっています。言うなれば、専用に整えられたテスト環境での正答率と、あらゆる相手を想定しなければならない実戦での的中率は、同じ「精度」という言葉で語られていても中身がまったく違う数字です。

つまり「機械的な判別精度」と「実際の検出ツールの信頼性」は、同じ言葉で語られていても測っている条件がまったく違うのです。研究室の中で高精度が出ることと、現場で信頼して使えることは別の話だと理解しておく必要があります。この記事で「検出ツールは信頼できない」と「機械的な判別は高精度」という一見矛盾した2つの事実を両方紹介しているのは、どちらか一方だけを取り上げると実態を見誤るためです。

言い換えひとつで精度が崩れる

検出ツールの脆さを示すもう一つの研究があります。Krishna, Song, Karpinska, Wieting, Iyyerによる論文（NeurIPS 2023）は、言い換えモデル「DIPPER」を使って生成文を言い換えた場合に検出ツールがどこまで機能するかを検証しました。

結果、DetectGPTの検出精度は70.3%から4.6%まで低下しました（偽陽性率1%固定の条件）。ウォーターマーク方式、GPTZero、OpenAIのclassifierも同様に回避されています。論文（arXiv）で確認できます。

この研究が示しているのは、検出を意図的に回避しようとする書き手には検出ツールがほぼ機能しない一方で、回避を意図していない非ネイティブ話者や簡潔な文章を書く人ほど誤って検出されやすい、というねじれた構造です。悪意を持って検出を逃れようとする人は逃れられ、素直に書いているだけの人が誤って疑われる——この非対称性こそが、検出ツールをそのまま人の評価に使うことの危うさの核心です。

文部科学省も「結果を過信しないこと」と明記している

日本の公的機関でも、AI判定ツールの扱いについて注意喚起が出されています。文部科学省が2023年7月13日付で発出した事務連絡「大学・高専における生成AIの教学面の取扱いについて（周知）」には、次の一文があります。

「AI が生成した文章かを判定するツールを学修成果の評価等に活用する場合でも、その結果を過信しないことが重要であること。」

同じ文書は、生成AIの仕組みについても「大規模言語モデルを活用した生成AIは、基本的に、ある語句の次に用いられる可能性が確率的に最も高い語句を出力することで、文章を作成していくものであり」と説明しています。判定ツールを学修評価に使うこと自体を否定してはいませんが、結果だけで判断しないようにという一文がわざわざ加えられている点は重く受け止めるべきです。

この事務連絡が発出されたのは2023年7月13日で、OpenAIが自社の検出器を撤回した2023年7月20日とほぼ同じ時期です。偶然の一致ではあるものの、教育の現場を所管する省庁と、検出技術を開発した当事者の両方が、ほぼ同時期に同じ結論——「判定結果を鵜呑みにしない」——に至っている点は記憶しておく価値があります。

この事務連絡はあくまで大学・高専向けの周知文書ですが、「確率的に最も高い語句を出力する」という生成AIの仕組みそのものの説明は、教育以外の場面にもそのまま当てはまります。判定ツールが見ているのは、その文章が「もっともらしい」かどうかであって、実際に誰が書いたかという事実そのものではありません。文部科学省の事務連絡で全文を確認できます。

国内の判定ツール自身も「目安」と断っている

日本語向けのAI文章判定ツールも複数公開されていますが、提供元自身が精度の限界を明示しているケースがあります。株式会社ユーザーローカルが2024年1月17日に無償公開した「生成AIチェッカー」は、日本語専用・500字以上のテキストが必要という条件付きのツールですが、提供元自身が「結果は目安にとどめ、最終的な判断は必ず人の目で」と案内しています。

SAVEE, INC.の「AIチェッカー」（LUFTTOOLS）は15項目以上を組み合わせて0〜100点でスコア化するツールで、公開されている評価項目には「文長の均一性（変動係数）」「接続詞・定型表現の頻度」「敬体の完璧な一貫性」「語彙の多様性の低さ」「段落構造の規則性」「句読点の規則性」「まとめの定型パターン」が含まれています。特定の単語リストではなく文章全体の統計的な均一さを見ている点は、先に紹介した財津らの学術研究の方向性と近く、興味深い一致です。

「webサクッとツールズ」が提供する「AIっぽい文章チェッカー」も0〜100点でスコアを出しますが、こちらは判定基準そのものが公開されていません。判定の根拠が分からないツールのスコアを、そのまま人の評価に使うことのリスクは、他のツール以上に大きいと言えます。

いずれのツールも、特定の製品を推奨する目的で紹介しているわけではありません。むしろツールの提供元自身が「目安」と位置づけているという事実に注目してほしい部分です。開発者自身が限界を認めているツールを、利用する側だけが「絶対的な判定」として扱ってしまうと、そこに大きなずれが生まれます。

それでも検出ツールで人を裁くとどうなるか

ここまでの事実を踏まえると、AI検出ツールの判定結果だけで人の文章を評価する場面には、具体的なリスクが見えてきます。

教育現場では、平易な言葉で書く学生や、日本語を母語としない留学生の文章が、Liangらの研究と同じ理屈で誤って「AI作」と判定されるおそれがあります。文部科学省が「結果を過信しないこと」とわざわざ明記した背景には、この種のリスクへの配慮があると考えられます。仮に、まじめに自分の言葉で書いたレポートが検出ツールで高スコアを示し、それだけを根拠に不正の疑いをかけられたとしたら、書き手が受ける不利益は小さくありません。

採用の書類選考では、限られた時間の中で応募書類を検出ツールにかけ、スコアだけで足切りをする運用が起こり得ます。しかし言い換えひとつで検出をすり抜けられる一方、素直に自分の言葉で書いた文章ほど誤検出されやすいというねじれを踏まえると、この運用は本当に見たいもの（応募者の実力や意欲）を見誤らせる可能性があります。検出をかいくぐる書き方を知っている人ほど通過しやすく、正直に書いた人ほど疑われるという逆転が起きかねません。

業務委託・発注の場面でも同様です。納品された記事や資料を検出ツールにかけて「AIっぽいスコアが高いから受け取れない」と判断することは、条件次第で誤判定を引き当てる賭けに近く、成果物の中身そのものを評価する機会を失わせます。発注側・受注側のどちらにとっても、検出スコアをめぐる水掛け論は生産的ではありません。

中小企業のAI活用を伴走支援していると、「納品物にAIを使ったかどうかをどう確認すればいいか」という相談を受けることがあります。そのたびに伝えているのは、検出ツールのスコアを基準にするのではなく、求めていた成果（正確さ、読みやすさ、目的に対する適合度）を満たしているかどうかで判断してほしいということです。生成方法を詮索するより、成果物そのものの品質を見るほうが、結局は建設的な確認になります。

この記事はAI検出ツールの使用そのものを否定するものではありません。ただし、唯一の証拠として人を裁く道具ではないということは、ここまでの一次情報から言えることです。検出ツールのスコアは「参考情報のひとつ」であって、「判決」ではありません。

共通しているのは、いずれの場面でも検出ツールが「結論」を出しているように見えてしまうという危うさです。パーセンテージやスコアという数字は一見客観的に見えるため、判断する側も「機械が言うのだから」と責任の所在を手放しやすくなります。しかしここまで見てきた通り、その数字自体が非ネイティブ話者や平易な文章を書く人を不利に扱う構造を抱えている以上、数字をそのまま結論として採用することはできません。

この記事の立場：使うな、ではない

ここまで検出ツールの限界ばかりを紹介してきましたが、この記事は「AI検出ツールを一切使うべきではない」と主張するものではありません。文部科学省の事務連絡も、判定ツールの学修評価への活用そのものは否定していません。問題にしているのは、あくまで結果を過信することです。

また、この記事が特定のツール名を一つも「おすすめ」として挙げていないことにも理由があります。OpenAIのように開発元自身が撤回した例があり、非ネイティブ話者への誤検出という構造的な欠陥が査読論文で報告され、言い換えひとつで精度が崩れることも実証されている以上、どのツールが優れているかを比較すること自体に、あまり意味がないと考えるためです。この記事で紹介した国内ツールも、良し悪しを判定するためではなく、提供元自身が限界を認めているという事実を伝えるために触れています。