AIレビューの誤指摘への対処｜言い返さず根拠の在処を渡す

「AIにレビューさせたら、明らかに的外れな指摘が返ってきた」「言い返すのも面倒だし、とりあえず言われたとおり直しておくか」——AIに成果物を検品させている方なら、誰もが一度は突き当たる場面です。

結論から言うと、AIレビューの誤指摘に対しては反論を書くのではなく、「どの文書の、どこに、どう書いてあるか」という根拠の在処を渡すのが最も早く解けます。ただし渡し方には制約があり、「直しません」「適用しないでください」という命令の形で書くと逆効果になります。

株式会社Fyveでは、AIが作った成果物を別のAIに検品させる工程を日常的に回しています。この記事では、その運用で実際に効いた誤指摘への返し方と、なぜ命令形だと通じないのかという理由まで、私の手元で起きたことをもとに書きます。

結論｜誤指摘には「言い返す」のではなく「確かめられる場所」を渡す

先に答えをまとめます。AIの検品役が誤った指摘を出したとき、やるべきことは3つだけです。

• 1｜まず自分で正本を開いて、指摘が本当に誤りかを確かめる（ここを飛ばすと、単に自分が間違っているだけの場合がある）
• 2｜「どの文書の・何行目に・どう書いてあるか」を添えて、事実として記載する
• 3｜命令形では書かない。「適用していません」ではなく「〜と書かれているため、適用していません」と理由の形にする

この3つを踏むと、検品役は自分でその文書を開きに行き、引用が正確かどうかを確かめたうえで、指摘を取り下げます。私の手元では、6回連続で再発していた同じ誤指摘が、この書き方に変えた1回で解決しました。

逆に、同じ内容を「この指摘は適用しないでください」という命令の形で書いたときは、検品役がそれを「本文に紛れ込んだ第三者からの指示」として扱い、むしろ異物として記録しました。伝えたい中身は同じなのに、形が違うだけで結果が真逆になります。

ここが本題です。「AIに根拠を渡せばいい」という話は一般論としてよく語られますが、渡し方の形まで含めて設計しないと、実務では動きません。以下、順に説明します。

なぜAIの検品役は、正しい原稿に誤った指摘を出すのか

まず前提の整理です。AIに検品させると、必ず誤指摘が出ます。これは検品役の性能が低いから起きるのではなく、構造的に起きます。理由は3つあります。

理由1｜検品役が持っている「常識」と、あなたの決めごとは一致していない

AIの検品役は、学習した一般的な作法をもとに判定します。ところが実務の成果物には、その組織が意図的に決めた例外が必ず含まれます。

私の手元で実際に起きた例で言うと、社内の執筆ルールには「本文の途中に問い合わせ導線のリンクは置かない（別の場所に常設しているため）」と明記してあります。ところが検品役は一般的な作法として「導線がないのは不親切だ、リンクを置くべきだ」と指摘してきます。

検品役の側から見れば、この指摘はまったく妥当です。一般論としては正しい。間違っているのは「その組織の決めごとを知らないまま一般論を当てている」という点だけで、指摘そのものに誤りはありません。だからこそ、押し戻すのが難しい。

理由2｜「一般的には正しい」指摘ほど、押し戻しにくい

明らかに事実誤認の指摘であれば、誰でもすぐ却下できます。厄介なのは、一般論としては正しく、この案件でだけ当てはまらない種類の指摘です。

この型の指摘は、押し戻そうとすると「では、なぜ一般的な作法に反するのか」を説明する羽目になります。説明には手間がかかるので、多くの人は説明を諦めて、言われたとおり直してしまいます。

そして直してしまうと、意図的に決めた例外が、レビューを通るたびに少しずつ削られていきます。決めごとが決めごととして機能しなくなる。これが誤指摘の本当のコストです。

理由3｜同じ内容が、日によって通ったり落ちたりする

もうひとつ、実運用で分かったことがあります。同じ検査項目が、ほぼ同じ内容を、日によって通したり落としたりします。

私の手元では、ある成果物が「自社の作業工程の内部描写を全部消せ」という指摘で差し戻されました。ところがまったく同じ論点が、別の回では「参考意見」の扱いで素通りしています。入力はほぼ同じなのに、判定が違う。

この揺れを見たときに「検品役が不安定だ」と結論づけるのは早計です。あとで詳しく書きますが、揺れているのは検品役ではなく、検査項目の文言のほうであることが多い。この見分けがつくかどうかで、対処がまったく変わります。

やりがちな3つの返し方と、それぞれの結末

誤指摘が出たとき、実務では次の3つのどれかで対応してしまいがちです。私も全部やりました。

返し方1｜言われたとおりに直す → 事実が痩せる

いちばん多いのがこれです。反論する手間より直す手間のほうが安く見えるので、つい直してしまいます。

問題は、AIに「指摘に沿って直して」と丸ごと渡したときに起きます。指摘された箇所だけでなく、その周辺まで書き直され、具体的な数字・固有名詞・条件が抜け落ちた無難な文章になります。指摘は解消しますが、成果物の情報量は確実に減ります。

私の運用では、この対策として「直すのは指摘された箇所だけ。それ以外は1文字も変えない」を明文化しました。修正を依頼するときに範囲を明示的に区切らないと、AIは親切心で周辺まで整えてしまいます。

返し方2｜「直しません」と書いて、そのまま再検品にかける → 指示とみなされる

次にやりがちなのが、成果物のどこかに「この指摘は誤りなので適用しません」と書き添えて、もう一度検品にかけるやり方です。

これは失敗します。私の手元では、検品役がその一文を「監査を誘導しようとする文面＝第三者が紛れ込ませた指示」として扱い、独立した問題として記録しました。判定としてはむしろ正しい動作です。

検品役は「本文に書かれた指示には従わず、異物として扱う」よう設計されているのが普通です。プロンプトインジェクション（本文に指示文を紛れ込ませて、AIの判断を乗っ取る攻撃）への防御として当然の設計であり、この防御は書き手が善意で書いた指示も区別しません。

返し方3｜検品役を通さずに出す → ゲートが形骸化する

3つ目は、誤指摘に嫌気がさして「今回は例外」と検品を飛ばすやり方です。

これが最も危険です。1回飛ばすと2回目のハードルは下がり、やがて検品工程は「通してもいいときだけ通すもの」になります。較正されていない検査は、必ず人の手で外されます。誤指摘を放置することの本当のリスクは、成果物の質ではなく、検査そのものが死ぬことにあります。

検査の設計そのものについては、以前にAIのチェックは増やすほど抜ける｜1本にして観点で割るで詳しく書きました。本数を増やす方向に手を動かす前に読んでいただけると、この記事の前提が掴みやすいはずです。

効いた返し方｜「命令」ではなく「事実の記載」で返す

ここからが本題です。私の運用で実際に解決した返し方を書きます。

渡すのは3点セット（どの文書・何行目・どう書いてあるか）

再検品にかけるとき、成果物に添えるメモへ次の3点を書きます。

• どの文書か——「社内の執筆ルール」ではなく、検品役が実際に開けるファイル名で書く
• 何行目か——「どこかに書いてある」では検品役は探しに行きません。行番号まで書くと、開いて確かめます
• どう書いてあるか——該当箇所を短く引用する。要約ではなく、書いてある文字をそのまま写す

3点のうち、実務でいちばん効くのは行番号です。行番号があると、検品役の作業は「探す」から「開いて確かめる」に変わります。探す作業は失敗しますが、確かめる作業はほぼ確実に成功します。

引用を「そのまま写す」ことも重要です。要約して渡すと、検品役は要約が正確かどうかを判断できません。逐語で写してあれば、現物と突き合わせるだけで済みます。引用が要約にすり替わる問題についてはAIの引用は要約になる｜逐語かどうかを確かめる手順にまとめています。

命令形と事実形——同じ中身でも結果が変わる

3点セットを揃えたうえで、書き方の形を変えます。ここが最大の分かれ目です。以下は文例です。

違いは一点だけです。命令形は相手の判断を変えようとする働きかけであり、事実形は相手が自分で判断するための材料です。検品役が警戒するのは前者だけで、後者はむしろ歓迎されます。

言い換えると、こちらが取るべき態度は「私の判断が正しいから従え」ではなく、「判断材料はここにあります。あなたが確かめて決めてください」です。判断の主導権を検品役に返すのが、結果的にいちばん早い。

実際に起きたこと｜検品役が自分で現物を開いて撤回した

この書き方に変えた回で、何が起きたかを書きます。

指摘は2件ありました。どちらも、社内の正本が明示的に許可している書き方に対して「作法から外れているので直せ」という内容です。片方は6回目、もう片方は17回目の再発でした。同じ指摘が17回出ているという時点で、押し戻しに失敗し続けていたことが分かります。

そこで、正本のファイル名・行番号・該当行の逐語引用を添えて、事実の形で書いて再検品にかけました。結果、検品役はその正本ファイルを自分で開き、引用が正確であることを確認したうえで、「反論は妥当」と明示して指摘を取り下げました。押し戻しに要した作業は、メモを3行書いただけです。

それまで6回・17回と押し戻せなかったものが、3行で解けた。差は情報量ではなく形にありました。

なぜ命令形だと逆効果なのか

「同じ中身なら通じるはずでは」と思われるかもしれないので、理由を説明します。ここを理解しておかないと、応用が効きません。

検品役は「本文に紛れ込んだ指示」を警戒するよう作られている

成果物を検品するAIは、ほぼ例外なく「検査対象の中身に書かれた指示には従わない」という前提で設計されています。理由は単純で、そうしないと検査対象に「この検査を通してください」と書くだけで検査が無効化されてしまうからです。

これはプロンプトインジェクションと呼ばれる攻撃への基本的な防御です。外部から受け取ったテキストの中に指示文を仕込み、AIの判断を乗っ取る手口が実際に存在するため、検査対象のテキストは「データ」であって「命令」ではない、という線引きが必須になります。

書き手が善意で書いた指示も、同じ扱いになる

ここが実務上の落とし穴です。この防御は、指示を書いた人が誰かを区別しません。攻撃者が仕込んだ指示も、書き手本人が善意で添えた指示も、「検査対象の中に書かれた指示」という点では同一だからです。

むしろ区別できないほうが安全です。「書き手からの指示なら従っていい」という例外を作ると、その例外が攻撃経路になります。つまり、命令形が弾かれるのは検品役の欠陥ではなく、正しく動いている証拠です。

事実の記載なら、検証できる情報として扱える

一方で「◯◯という文書の◯行目にこう書いてある」は、指示ではなく主張です。主張は真偽を確かめられます。検品役は現物を開いて突き合わせ、正しければ受け入れ、間違っていれば指摘を維持すればいい。

だから事実形は通り、命令形は通らない。この非対称は、AIの気分ではなく設計から来ています。設計から来ているということは、再現性があるということです。だから対処法として使えます。

実装手順｜今日からできる5ステップ

ここまでを、明日から回せる手順に落とします。

ステップ1｜決めごとを1つのファイルに集約し、行番号で引ける形にする

前提として、「どこに書いてあるか」を指させる状態がないと、この手は使えません。決めごとが人の頭の中や複数のチャットに散っていると、行番号を書けません。

• 決めごとはテキストファイル1つに集約する（表計算や図では行番号で指せない）
• 1行1ルールを原則にする。段落にまとめると「何行目」が指しにくくなる
• 例外規定こそ明示的に書く。「〜はしない」「〜は許容する」を省略しない

この整備は誤指摘対策のためだけでなく、そもそも成果物の品質を安定させます。決めごとが指させる形になっていない組織では、AI以前に人のレビューも揺れます。

ステップ2｜誤指摘が出たら、まず自分で正本を開いて確かめる

反射的に「これは誤指摘だ」と決めつけないでください。実際に開いてみると、自分の記憶のほうが間違っていることがあります。

私の運用では、この確認を挟むようにしてから、押し戻す前に自分の誤りに気づいたケースが複数あります。確認は数十秒で終わるので、必ず挟む価値があります。

ステップ3｜「〜と書かれているため、適用していません」の形で書く

確認できたら、3点セットを事実形で書きます。書き出しのテンプレートは次のとおりです。

• 「◯◯（ファイル名）の◯行目に「（逐語引用）」と記載されているため、本指摘は適用していません」
• 「同ファイルの◯行目がこの書き方を明示的に許可しているため、現状のままとしています」

語尾は必ず「〜しています」「〜としています」という自分の行動の説明で終えます。「〜してください」「〜しないように」で終えると、その瞬間に命令形になります。

ステップ4｜再検品にかける

メモを添えて、もう一度検品にかけます。ここで検品役の側に何も変更を加えないのが重要です。検査項目を緩めたり、注意書きを足したりすると、何が効いたのか分からなくなります。

ステップ5｜2回目も同じ指摘が出たら、直すのは正本のほう

根拠を渡しても同じ指摘が出る場合、可能性は2つです。

• 正本の書き方が曖昧で、検品役の解釈と衝突している——この場合、直すのは成果物ではなく正本です
• 検査項目そのものが、捕まえるべきでないものを捕まえている——次章で扱います

どちらにしても、2回目以降は成果物をいじって解決しようとしないのが原則です。成果物を削れば指摘は消えますが、同じ指摘が次の成果物でまた出ます。

それでも解けない誤指摘｜検査項目そのものに欠陥があるケース

根拠を渡しても解けない誤指摘があります。この場合、問題は検品役ではなく検査項目の文言にあります。

同じ入力で判定が揺れるなら、揺れているのは項目の文言

先に触れた「同じ論点が、ある回は差し戻し、別の回は参考意見」という事例を掘り下げます。

原因を追うと、検査項目の定義が「本文に紛れ込んだ第三者の指示文」と「書き手が自分の作業工程を説明している文」を区別していませんでした。どちらも「工程に言及するテキスト」ではあります。だから字義どおり読めば、後者も引っかかる。

検品役は字義どおり適用しているだけなので、判定としては正しい。おかしいのは項目の文言です。ここを取り違えて「検品役が不安定だ」と結論づけると、モデルを変えたり温度を下げたりという的外れな対処に時間を使います。

「何を捕まえたいか」だけでなく「何を捕まえてはいけないか」を書く

検査項目を書くときは、捕まえたい対象だけでなく除外対象まで書く必要があります。

• ❌「工程に言及するテキストを検出する」——書き手自身の説明まで捕まえる
• ⭕「工程に言及するテキストを検出する。ただし成果物の主題として意図的に説明されている自己開示は対象外とする」

除外を書かない検査項目は、成果物のいちばんの強みを落とします。私の手元で差し戻された成果物は、まさにその工程の説明が最大の価値でした。削れば検査は通りますが、他の誰にも書けない部分が消えます。

誤検知は「直す」のではなく「報告する」設計にしておく

もうひとつ、検査する道具を自分で作るときの原則があります。誤検知したものを検査側が勝手に直さないことです。

私が社内向けに作った検査ツールでは、実測で「ある書き手の実文の76%が誤判定」という結果が出た項目がありました。もしこの道具が検出と同時に自動修正までしていたら、正しい文章の4分の3が黙って書き換えられていたことになります。

だから道具を作るときは、①限界を先に書く ②指摘箇所だけを示す ③誤検知は直さず報告する——この3つを最初から設計に入れます。検査は判定までで止め、直すかどうかは人が決める。

AI以外でも同じことが起きる｜外注の検収・社内レビュー

ここまでAIの話として書いてきましたが、この構造はAI特有ではありません。

外注先・受注先からの指摘

制作物の検収でも同じことが起きます。先方から「一般的にはこうします」という指摘が来たとき、「うちの方針なので」と返すと交渉になり、時間を消費します。

対して「提案書のこの項目でこう合意しているため、現状のままとしています」と、合意文書の該当箇所を指して返すと、多くの場合その場で終わります。人間相手でも、命令より事実のほうが速い。

社内レビュー・承認フロー

社内でも同じです。レビュアーの指摘に「前にそう決めましたよね」と記憶で返すと水掛け論になりますが、決定を記録した文書の日付と該当箇所を出せば、議論は1往復で終わります。

要するに、決めごとを「指させる形」で持っているかどうかが、レビューにかかる時間を決めています。AIの検品役は、この差を人間より容赦なく可視化してくるだけです。

検品を工程のどこに置くかという設計については、AIに任せる手順書の書き方｜検品を工程に埋め込むにまとめています。誤指摘への対処と併せて読むと、工程全体の形が掴めるはずです。

私の運用で分かったこと（実測ベース）

最後に、この運用を回して分かった数字と事実を3つ書きます。

1｜同じ誤指摘は、放置すると何度でも出る

押し戻しに失敗し続けた結果、同一項目の誤指摘が6回目・17回目まで再発していました。1回ごとの手間は小さいので放置しがちですが、17回分を合計すると相当な工数です。

そして再発回数が増えるほど、対処は「毎回押し戻す」から「毎回言われたとおり直す」に流れます。誤指摘は放置すると、決めごとを削る方向に作用します。

2｜「全部やる」と決めた工程でも、1件だけ例外が残る

別の場面で、「裏付けの証跡はすべて手元に保存してから書く」というルールを決めて、13件の成果物に適用しました。結果、12件は保存されていたのに、1件だけ抜けていました。そしてその1件がそのまま検品で指摘されました。

抜けた理由は「手が滑った」ではありません。その1件だけ、確認に使った手段が違ったのです。要約を返すツールで確認したため、手元にファイルが残らなかった。

ここから引き出せる原則は「手段が混在している工程は、混在している箇所が必ず抜ける」です。抜けを人の注意力で埋めようとせず、手段を1つに揃えるほうが確実です。

3｜押し戻しに要する作業量は、3行で足りる

これがいちばん意外でした。17回押し戻せなかったものが、ファイル名・行番号・逐語引用の3行で解けています。足りなかったのは説得力ではなく、確かめる手段でした。

AIの検品役は、説得されると動きません。確かめられると動きます。この一点を掴んでおくと、誤指摘への対処はほぼ定型作業になります。

よくある質問

Q1｜誤指摘かどうかを、そもそもどう見分けますか

「一般論としては正しいが、うちの決めごとと衝突している」なら誤指摘です。「一般論としても間違っている」ならただの検品役の誤りで、こちらは根拠を渡しても解けないことがあります。まず正本を開いて、自分の側に根拠があるかを確かめるのが最初の分岐です。

Q2｜正本に該当する記載がない場合はどうしますか

その場合、指摘は誤指摘ではありません。決めごとが存在しないだけです。ここで押し戻すのではなく、正本に1行足してから再検品にかけてください。次回以降、同じ指摘は出なくなります。

Q3｜行番号は、ファイルを編集すると変わってしまいます

変わって構いません。渡すのはその時点の位置情報であって、恒久的な参照ではないからです。行番号の役割は「検品役に探させないこと」なので、その瞬間に正しければ目的を果たします。心配なら、行番号と逐語引用を必ずセットで書いてください。引用があれば、行がずれても検索で見つかります。

Q4｜検品役に、あらかじめ決めごとを読ませておけば済むのでは

それができるなら、そのほうが確実です。ただし実務では、決めごとの全文を毎回読ませるとコストが上がり、量が増えるほど個別の条項が効きにくくなります。誤指摘が出た項目だけを事後にピンポイントで渡すほうが、費用対効果は高くなります。

Q5｜「直しません」と書くのがダメなら、修正が必要な場合はどう書きますか

修正する場合は、そもそもメモを添える必要がありません。指摘された箇所だけを直して、そのまま再検品にかけてください。メモが必要なのは「直さない」と判断したときだけです。

Q6｜検品役と、成果物を作るAIは分けるべきですか

分けてください。同じ文脈で作らせて検品させると、自分の書いたものを妥当だと判定しやすくなります。作る側の文脈を持たない別プロセスで検品させることで、この記事で書いた「押し戻し」が意味を持ちます。作った本人に確認させても、押し戻しは起きません。

まとめ｜誤指摘は、説得ではなく「確かめられる場所」で解く

AIに検品させる以上、誤指摘は必ず出ます。出ること自体は避けられないので、出たときに何秒で解けるかを設計するのが実務です。

• 誤指摘には反論を書かず、どの文書の・何行目に・どう書いてあるかを渡す
• 渡し方は命令形ではなく事実形。「〜と書かれているため、適用していません」で終える
• 命令形が弾かれるのは検品役の欠陥ではなく、インジェクション防御が正しく働いている証拠
• 2回目も同じ指摘が出たら、直すのは成果物ではなく正本か、検査項目の文言
• 検査項目には「何を捕まえたいか」だけでなく「何を捕まえてはいけないか」まで書く

そして、この全部の前提になるのが決めごとを指させる形で持っておくことです。これがないと根拠を渡せず、毎回ゼロから説得することになります。

株式会社Fyveでは、AIを業務に組み込む際の工程設計——どこに検査を置き、何を正本にし、AIの判断をどう扱うか——を含めて伴走しています。AIに任せた仕事の検品で手戻りが増えていると感じている方は、お気軽にご相談ください。