AIが作った一覧は間違いではなく古い｜検証の4工程
「AIに一覧表を作らせたら、それらしいものが出てきた」「でも、これをそのまま使っていいのか判断がつかない」——調査や情報整理をAIに任せ始めた人が、必ず一度は立ち止まる場所です。
結論から言うと、AIが作った一覧でいちばん危ないのは「間違っている」ことではなく「古い」ことです。そして古さは、見た目にはまったく出ません。確かめる方法は、10件だけ選んで出典を開き、業界語を一度だけ疑い、確認できなかった行を消さずに残す——この4工程だけです。
株式会社Fyveは、中小企業のAI業務効率化を支援しながら、自社の調査業務もAIに任せて回しています。この記事では、私が実際にAIに作らせた一覧を12件だけ手作業で突き合わせたときに何が出てきたのかを、数字ごとそのまま書きます。
結論｜AIが作った一覧は「資料」ではなく「下見」
先に答えを置いておきます。AIに調べ物をさせて出てきた一覧表は、そのままでは資料になりません。下見です。
下見を資料に変えるのは、開いて確かめた回数だけです。1件も開いていない一覧は、どれだけ体裁が整っていても、まだ下見のままだと考えたほうが安全です。
そして確かめるときに見るべきポイントは、多くの人が想像するものとは違います。「事実が間違っていないか」ではありません。見るべきは次の2つです。
- 古さ——書いてある内容は正しいが、もう最新ではない。あるいは、当時から情報が増えているのに反映されていない
- 業界語の取り違え——その業界の中では意味が3つに割れている言葉を、AIが1つに混ぜて書いている
この2つは、どちらも「読んで気づく」ことができません。文章としては完全に自然に読めるからです。以下、なぜそうなるのかを、実際に手を動かした結果とあわせて順に書いていきます。
実際に12件を開いて確かめたら、何が出てきたか
私はある業種の店舗一覧を、AIに調べさせて持っていました。60件ほどの規模で、各店舗の設備・料金・利用条件がひととおり並んでいます。見た目には、そのまま公開できそうな出来でした。
使う直前に、そのうち12件だけを選んで、公式サイトを1件ずつ開いて突き合わせました。全件やる時間はなかったので、まず12件です。結果として出てきたものは、私が想像していたものとは違いました。
① 情報が「間違っていた」のではなく「載っていなかった」
いちばん量が大きかったのはこれです。設備に関する情報が、12件を見ただけで8件から23件に増えました。
ここが重要な点なのですが、増えた15件は「AIが間違って書いていたもの」ではありません。最初から書かれていなかったものです。公式サイトには載っているのに、一覧のほうには来ていなかった。
利用条件についても同じことが起きていました。こちらは0件から24件です。つまり、その項目については一覧がまるごと空だったのに、私はそれを「その店舗には該当する情報がないのだろう」と読んでいたことになります。
間違いなら気づけます。「この店にこの設備はないはずだ」と思えば確認する動機が生まれるからです。ところが不足には、確認する動機が生まれません。書いていないものについて、人は疑問を持ちようがない。一覧は静かに薄いまま、正しい顔をして手元に居続けます。
② 既存の出典URLのうち3件が404だった
次に見つかったのがこれです。一覧には各行の根拠として出典URLが添えられていました。そのうち3件が、開いてみたら存在しないページでした。
これがなぜ怖いかというと、リンク先が消えても、一覧に書かれた中身はそのまま残るからです。
腐っているのはリンクの向こう側であって、手元の表ではありません。表のセルには文字が入ったままです。日付も、数字も、説明文も、消えたページから写し取られたときの姿で残り続けます。だから一覧だけを見ているかぎり、その行が根拠を失っていることには、永遠に気づけません。
私はこの3件を、削除ではなく「未検証」という別の欄に退避させました。理由は後述しますが、ここが4工程のなかでいちばん見落とされやすいところです。
③ そもそも一覧に載っていない対象が2件あった
調べ直している最中に、副産物として見つかったものです。一覧に含まれていない店舗が2件ありました。全体が60件から62件になった計算です。
これは①の「不足」がもう一段深いところで起きていた形です。行の中身が薄いのではなく、行そのものが無かった。しかも一覧を眺めているかぎり、無い行の存在を疑う手がかりはどこにもありません。件数が60でも62でも、表は同じように埋まって見えます。
数字をまとめると、12件を開いただけで出てきた差分はこうなります。
確かめた項目 | AIが作った一覧 | 公式サイトで実査後 |
|---|---|---|
設備に関する情報 | 8件 | 23件 |
利用条件に関する情報 | 0件 | 24件 |
出典URLの生存 | 全件生きている前提 | 3件が404 |
収録されていた対象の総数 | 60件 | 62件 |
12件です。全体の2割にも届いていません。それでこの差が出ました。
なぜ「古い」は気づけないのか
ここまでの結果は、AIの性能が低いから起きたわけではありません。一覧という形式そのものが持つ性質です。理由を2つに分けて書きます。
理由1｜間違いは摩擦を起こすが、不足は摩擦を起こさない
AIが事実を取り違えて書いた場合、その内容は自分の知識や常識とぶつかります。ぶつかれば違和感が出て、確認しようという気になります。間違いは摩擦を起こすので、検知できるのです。
一方、書かれていないことは何ともぶつかりません。空欄は空欄として静かにそこにあり、読み手はそれを「該当なし」だと自動的に解釈します。この解釈は無意識なので、自分がそう解釈したことにすら気づきません。
つまり不足の検知は、能力ではなく手順の問題です。どれだけ注意深く読んでも見つかりません。読むのをやめて、外の一次情報と突き合わせる工程を作る以外に方法がありません。
理由2｜出典が死んでも、写した中身は生き続ける
もう一つは、参照の切れ方の非対称性です。
AIが情報を集めるとき、参照元のページから中身を写して一覧に書き込みます。このとき写した瞬間に、中身と参照元は切り離されます。参照元のページが後日書き換えられても、削除されても、写された側の文字はそのままです。
人間が資料を作る場合も同じことは起きますが、決定的な違いがあります。人間は「いつ写したか」を覚えていることが多く、古い可能性を自分で疑えます。AIが作った一覧を受け取った人は、その一覧がいつの時点のスナップショットなのかを知りません。作った本人ではないので、鮮度の感覚が最初から無いのです。
この点は、AIに検品させる仕組みを作るときにも同じ形で出てきます。検査の設計そのものについては、別の記事で実運用の失敗ごとまとめています。
もっと厄介だったのは、業界語が3つに割れていたこと
ここからが、今回いちばん効いた発見です。数字よりも、こちらのほうが実害が大きいと感じました。
同じ言葉が、実は3つの違うものを指していた
その業界には、認定を表す言葉がありました。一覧の中では、その言葉が一つの意味の言葉として扱われていました。
ところが公式サイトを1件ずつ読んでいくと、その言葉は実際には3つの違う状態を指していました。
- 施設そのものが認定を受けている状態
- そこにいる指導者が個人として認定を受けている状態（施設は認定されていない）
- 認定と関係のあるプログラムを提供しているだけの状態（施設も指導者も認定されていない）
この3つは、業界の中にいる人にとってはまったく別のものです。利用者が知りたいことも、それぞれで違います。ところがAIは、この3つをすべて同じ一語にまとめて書いていました。
AIは外から見ているので、必ず混ぜる
これはAIの不注意ではありません。構造的に、そうなるものだと考えたほうがいいです。
言葉の意味が業界の中で3つに割れているという事実は、公開情報のどこにもまとめて書かれていません。それぞれの施設が、それぞれの立場から自分のことを書いているだけです。その断片を外から集めて統合すれば、同じ語が同じ意味だと解釈されるのは自然な処理です。
言い換えると、割れ方を知っているのは、その業界の中にいる人だけです。外から見ている限り、割れているという情報自体が観測できません。
そして、混ざった文章は日本語として正しく読める
これが最悪の部分です。3つを1つに混ぜた文章には、日本語としての破綻がまったくありません。誤字も、論理の飛躍も、不自然な言い回しもない。すらすら読めます。
読みやすさは、正しさの証拠になりません。むしろこの場合は逆で、読みやすいからこそ、疑う機会が生まれないという関係になっています。
私自身、この一覧を何度も画面で眺めていました。それでも気づきませんでした。気づいたのは、AIの出力を読み返したときではなく、公式サイトの原文を1件ずつ開いたときです。プロンプトの工夫でどうにかなる種類の問題ではない、というのが実際に手を動かした後の実感です。
いわゆる「ハルシネーション対策」とは、見る場所が違う
AIの出力を疑う話は、たいてい「事実と違うことを、もっともらしく書いてしまう」という文脈で語られます。存在しない書籍を挙げる、実在しない条文を引く、といった例が有名です。
ここまで書いてきた話は、それとは別の場所で起きる問題です。混同すると対策を打つ場所を間違えるので、線を引いておきます。
よく言われる「もっともらしい誤り」 | この記事で扱っている問題 | |
|---|---|---|
何が起きているか | 存在しない情報を生成している | 実在した情報を、そのまま持ってきている |
いつの情報か | そもそも時点が無い | 写した時点では正しかった |
気づき方 | 調べると存在しないので分かる | 調べても正しいので分からない |
効く対策 | 出典を出させる／裏を取る | 出典を開く／取得日を持つ |
いちばん効いてくるのは3行目です。もっともらしい誤りは、確かめれば「無い」と分かります。ところが古い情報は、確かめても「有る」と返ってきます。当時は本当にそう書いてあったからです。
だから「出典を出させる」という定番の対策は、この問題には効きません。出典は出ています。今回の一覧にも、全行にURLが付いていました。付いていたうえで、そのうち3件が既に死んでいたわけです。
出典を出させることと、出典を開くことは、まったく別の作業です。前者はAIにやらせられますが、後者は人がやるしかありません。AIが同じ種類の誤りを繰り返すときの直し方については、別の角度からこちらにまとめています。
だから、ここだけは人がやる——AIに勝てる場所の話
この結果は、悲観的な話ではないと思っています。むしろ逆で、「自分にしかできない仕事はどこか」がはっきり指させるようになったという話です。
AIに調べ物を任せると、多くの人が「自分の役割がなくなるのでは」と考えます。実際にやってみて分かったのは、なくなるどころか、役割の場所が具体的に一箇所に絞られたということでした。
- 集める作業——AIのほうが速い。人がやり直す意味はほぼない
- 体裁を整える作業——AIのほうが速い。表の形にするのも、抜けを揃えるのも得意
- 業界語が何を指しているかの判定——ここだけは、業界の中にいる人のほうが速くて正確
3つめの作業は、外部の情報をいくら集めても代替できません。判定に必要な知識が、そもそも公開情報として存在していないからです。自分が長くやってきた領域であればあるほど、この判定は一瞬で終わります。
「自分が止まると止まる事業」をやっている人ほど、この構造は有利に働きます。あなたはその業界の中の人であり、割れ方を知っている数少ない側にいるからです。
今日からできる、検証の4工程
ここまでを踏まえて、私が実際に回している手順を書きます。特別な道具は要りません。ブラウザだけで完結します。
工程1｜全部を確かめようとせず、「使う気で見る10件」だけ選ぶ
まず全件確認をあきらめます。60件の一覧を全部開こうとすると、たいてい着手しないまま終わります。着手しない検証は、存在しない検証と同じです。
代わりに、自分がこれから実際に使う10件だけを選びます。選び方は「重要なもの」ではなく「明日か明後日に、この行の情報を根拠に何かを決めるもの」です。
10件でいい理由は、今回の実測がそのまま答えになっています。12件で、設備情報は3倍近くに増え、出典の404が3件出て、未収録が2件見つかりました。一覧の質を判定するには、この程度の標本で十分です。全件やらなくても、「この一覧は下見のままだ」という結論には確実に到達できます。
工程2｜出典のURLを開く（開かないなら、その行は無いのと同じ）
選んだ10件について、添えられている出典URLを実際にクリックします。これだけです。
見るのは3点です。
- ページが生きているか——404なら、その行は根拠を失っている
- 書いてある内容が一覧と一致しているか——数字・条件・名称を照合する
- 一覧に来ていない情報がページに載っていないか——ここが今回いちばん量が出たところ
3つめを見落とさないでください。人はつい「一覧に書いてあること」だけを検算しようとしますが、差分の大半は「一覧に書いていないこと」の側にあります。ページを開いたら、一覧を一度閉じて、ページのほうを素直に読むのが確実です。
そして原則を1つ。出典URLを開かないなら、その行は無いのと同じだと扱ってください。開いていない行に根拠があるかどうかは、誰にも分かりません。
工程3｜業界語が出てきたら、その語が何を指しているかを1回だけ疑う
一覧の中に、その業界特有の言葉が出てきたら、そこで一度だけ手を止めます。そして自分に問います。「この言葉、実は何種類かに割れていないか」
割れやすい言葉には、はっきりした傾向があります。
- 資格・認定・登録を表す言葉——主体（組織なのか個人なのか）で割れる
- 対応・提供・取扱いを表す言葉——正式なものか、事実上やっているだけかで割れる
- 会員・利用者・登録者を表す言葉——契約形態で割れる
- 公式・正規・提携を表す言葉——関係の深さで割れる
共通しているのは、どれも「程度」や「主体」の違いを、外から見ると1語に見える形で包んでいることです。この4類型に当てはまる語が一覧に出てきたら、疑う価値があります。
疑うのは1回でかまいません。1回疑って、実際に割れていなければそれで終わりです。割れていた場合は、一覧の列を分ける必要があります。ここでの判定は、あなたが5秒でできて、AIには構造的にできない仕事です。
工程4｜確認できなかった行は、消さずに「未確認」へ移す
最後がいちばん見落とされます。裏が取れなかった行を、削除しないでください。
出典が404だった行、情報が見つからなかった行、判断がつかなかった行。これらを消してしまうと、一覧はきれいになります。ですが同時に、「ここは調べ直す必要がある」という情報まで消えます。
消した後の一覧を見ても、そこに何かがあったことは分かりません。次に見た自分は、残っている行だけを見て「全部確認済みだ」と解釈します。数か月後、その解釈のまま何かを決めることになります。
だから私は、確認できなかった行を「未確認」という別の欄に移します。一覧の本体からは外れるので邪魔になりませんが、件数として残るので「まだ3件宙に浮いている」という事実が消えません。
この「消さずに退避させる」という発想は、AIに定常業務を任せるときの検品設計にもそのまま効きます。合否を機械が判定できる形にして、工程の中に埋め込む方法は、こちらで詳しく書いています。
この4工程を、毎回の作業に埋め込む
4工程を知っていても、忙しい日には飛ばされます。私も飛ばしました。だから最後に、これを「気をつける」ではなく「工程」にする方法を書きます。
一覧に「確認日」の列を足す
いちばん効いたのはこれです。各行に、誰かが実際に出典を開いた日付を入れる列を作ります。
この列があると、一覧の見え方が根本的に変わります。空欄の行は「まだ下見のまま」、日付が入っている行は「その日時点では資料」。鮮度が目に見える形になります。
AIに一覧を作らせるときも、この列だけは絶対にAIに埋めさせません。埋めていいのは、実際にページを開いた人間だけです。ここを機械に任せた瞬間、この列は意味を失います。
「未確認」の置き場所を先に作っておく
工程4を実行するには、退避先が必要です。後から作ろうとすると、その場の判断で「まあ消していいか」となります。
一覧を作った時点で、未確認用の欄やシートを空のまま用意しておいてください。器が先にあると、人は消さずに移します。器が無いと消します。この差は、意志の強さではなく、単に手数の差です。
AIへの指示にも、確認の工程を書き込む
AIに調査を頼むときの指示文にも、あらかじめ次の2行を足しておくと後が楽になります。
- 「出典URLを必ず各行に付ける」——付いていない行は、そもそも検証できない
- 「情報が見つからなかった項目は、空欄ではなく『未取得』と書く」——空欄と未取得を区別できるようにする
2つめが効きます。空欄には「該当なし」と「調べていない」の2つの意味が混ざりますが、この2つは意味がまったく違います。混ざったまま渡されると、受け取った側は必ず前者に解釈します。
そもそもAIに調査そのものをどう任せるか、指示の組み立て方から知りたい場合は、リサーチ工程の設計をこちらにまとめています。
確認しないコストは、いつ払うことになるか
「確認する時間が取れない」という理由で、この工程は最初に省かれます。私も省いていました。ここは正直に、コストの比較として書きます。
払うタイミングが違うだけで、金額は増える
10件の出典を開いて突き合わせる作業は、慣れれば30分から1時間です。これが前払いのコストになります。
払わなかった場合、コストが消えるわけではありません。後払いになるだけです。しかも後払いのときは、次の3つが上乗せされます。
- その情報を使って作ったものを、全部作り直す——一覧そのものではなく、それを根拠に書いた資料・見積・提案の側に波及する
- どこまで影響したかを調べる——1行の誤りが、どの成果物のどこに使われたかを遡る作業が発生する
- 信用の回復——外に出した後だった場合、これがいちばん高くつく
特に2つめが重いです。一覧は再利用されるからこそ作るものなので、間違った行は、気づいたときには複数の場所にコピーされています。作った直後に確かめるのと、3か月後に確かめるのとでは、同じ1行の訂正でも作業量が桁で変わります。
「後で確認する」は、実質「確認しない」
もう一つ、経験的にはっきりしていることがあります。「あとでまとめて確認する」と決めた確認は、ほぼ実行されません。
理由は単純で、後から確認しようとすると「どこを確認すべきか」を思い出す作業から始まるからです。作った直後なら、どの行が怪しいかを自分が覚えています。1週間経つと、その情報が失われて、全件をゼロから見直すしかなくなります。
つまり先送りした瞬間に、作業量が10件から60件に膨らむ。膨らんだ結果、着手されなくなる。これが「あとで確認する」の実態です。
だから、確認は工程の最後ではなく、一覧ができた直後の10分に置くのが現実的です。全部でなくていい。使う10件だけ、その場で開く。この置き方なら続きます。
よくある質問
Q. もっと良いAIを使えば、この問題は解決しますか
不足と鮮度の問題は、モデルの性能が上がればある程度は軽くなります。参照できる情報が増えれば、拾える項目も増えるからです。
ただし業界語の割れ方については、性能では解決しません。判定に必要な情報が、そもそも公開情報として存在していないからです。誰も書いていないことは、どれだけ賢くても読み取れません。
Q. 全件確認しないと意味がないのでは
目的によります。「この一覧をそのまま公開する」なら全件必要です。ですが多くの場合、目的は「この一覧を信じて意思決定していいか」の判定のはずです。それなら10件で足ります。
今回も12件でした。その12件で、この一覧が下見のままだと分かった。判定にはそれで十分で、あとは使う分だけ順次確かめていけばいい話です。
Q. 出典が404だった場合、AIに調べ直させればいいのでは
やってもかまいませんが、その結果もまた検証対象です。無限に続きます。
私は、404が出た時点でその行を「未確認」に移し、実際にその行が必要になったときに人が調べるようにしています。使わない行のために時間を使わないためです。
Q. 一覧を作った後、どのくらいの頻度で見直すべきですか
一律の頻度は決めていません。代わりに、その行を使って何かを決める直前に開く運用にしています。定期見直しは形骸化しますが、「使う直前」なら必ず動機があるからです。
今回の実査も、公開の直前という「使う瞬間」に行ったものでした。定期タスクだったら、たぶんやっていません。
まとめ
AIに一覧を作らせたときに疑うべきは、内容の正しさではありません。鮮度と、業界語の解像度です。
- AIが作った一覧は資料ではなく下見。下見を資料に変えるのは、開いて確かめた回数だけ
- いちばん量が出るのは「間違い」ではなく「不足」。12件開いただけで設備情報は8→23件、利用条件は0→24件になった
- 出典が死んでも、写した中身は生き続ける。3件が404だったが、表の上では最後まで正しい顔をしていた
- いちばん実害が大きいのは業界語の取り違え。1つに見える語が3つに割れていて、混ざった文章は自然に読める
- だから業界語の判定だけは人がやる。ここは、その業界の中にいる人のほうが速くて正確
- 手順は4つ——10件選ぶ／出典を開く／業界語を1回疑う／確認できなかった行は消さずに残す
AIは、集めることと整えることについては圧倒的に速い相手です。今回の実査を経ても、その評価は変わっていません。むしろ下見としては極めて有能だと思っています。
変わったのは、受け取った後の扱い方だけです。株式会社Fyveでは、AIが出してきた一覧に必ず「確認日」の列と「未確認」の欄を付けて運用しています。この2つがあるだけで、下見と資料の境目が目に見えるようになります。
AIを使う会社と、使わない会社。
その差は、開き始めています。
ここ数年でAIは急速に進化し、正しく導入できている企業とそうでない企業とでは、業務効率や人件費に大きな差が生まれ始めています。「AI導入に興味はあるが、実際に何ができて、どこから手をつければいいか分からない」——そんな方は、まずこの無料プレゼントに目を通してみてください。
