【AIファクトチェック時代の常識アップデート・後編】「AIの出典」を信じるな──気づける力こそが、AI時代のライター・編集者を分ける

国立情報学研究所・相澤彰子教授が語る、RAG時代の情報検証と、プロに残された最後の仕事

前編では、AIの流暢な文章ほど編集者の目を素通りしてしまうこと、そして「賢いモデル」ほど間違いが埋もれやすいという逆説を確認しました。

では、対策として広く語られる「RAG（検索拡張生成）」や「出典付きの回答」は、編集現場の頼りになるのでしょうか。AIをAIに検証させる技術は、どこまで信用できるのでしょうか。

後編では、国立情報学研究所・相澤彰子教授が指摘するRAGの落とし穴、「出典付きだから安心」の危うさ、そしてAI時代にプロと素人を分けることになる「気づける力」までを追います。

「出典付きだから安心」は、いちばん危ない

生成AIの回答に、参考文献や引用元URLが添えられていると、人はつい安心してしまいます。しかし相澤教授は、この安心感こそが編集現場の落とし穴になりうる、と釘を刺します。

「RAGの設計にもよりますが、恐らくあるのではないでしょうか。「出典付きだから安心」と受け取るのは危険です」（相澤教授）

RAG（Retrieval-Augmented Generation：検索拡張生成）は、外部の文書を検索してAIに読ませ、その内容を元に回答させる仕組みです。ハルシネーション対策の本命とも言われますが、相澤教授は少なくとも3つの落とし穴が残っていると指摘します。

ひとつは検索段階の問題です。検索対象のデータベースに古い情報や誤った情報が混ざっていれば、それがそのまま拾われてしまいます。二つめは文脈段階の問題。長い文書から重要情報が埋もれていたり、切り出した断片から前後の文脈が失われていたりして、AIが正しく読めない場合があります。三つめは生成段階、つまり最後の最後で従来のハルシネーションが起こる可能性が残ります。

さらに厄介なのが、RAGの設計次第では、AIが自分の記憶から先に答えを作ってしまい、後付けで似た文書を「出典」として引っ張ってくる、というケースがあることです。この場合、出典が本当に回答を裏付けているとは限りません。

「まずLLMの知識を頼りにどんな答えが欲しいかを決めてから情報を探しに行くので、探索範囲は狭くなり、バイアスやハルシネーションも起こりやすくなると考えられます」（相澤教授）

編集現場に置き換えれば、AIが提示した参考URLを実際に開いて、当該箇所を人間の目で確認する──という「一次資料主義」の徹底が、生成AI時代にはむしろ強化されるべき、ということになるでしょう。

実務レベルで押さえたいのは、①AIが提示したURLを必ず人間の目で開く、②該当箇所を実際に読む、③生成された記述と一次資料に食い違いがないか照合する──という三段階を、たとえ手間でも省略しないことです。AI時代のファクトチェック工程は「効率化されるもの」ではなく、「確認するべきポイントが増えるもの」と捉えたほうが、実態には近いでしょう。特に、AIが生成した記事案には「もっともらしい引用と、そうでない引用」が混在する前提で、すべての引用を等しく疑うルールが必要です。

AIが提示する参考URLは、実際には"実在するもの"と"実在しないもの"、そして"実在するが該当の記述が存在しないもの"の三種類が混在します。三つめが最もタチが悪く、URLを見ただけでは判別不可能で、記事が公開されてから読者の指摘で初めて発覚するケースもあります。AIが生成した記事案には、こうした"もっともらしい引用"が原理的に混入しうる──この一文を、社内のAI利用ガイドラインの冒頭に明記しておくだけでも、事故の確率は下がります。

プロンプトで抑えられること、抑えられないこと

「ハルシネーションしないでください」「根拠のあるものだけ書いてください」──プロンプト側で誤りを抑えるテクニックも広く共有されていますが、これはどこまで信頼できるのでしょうか。

「プロンプトによる制御はある程度は効果があります。「根拠となるソースを必ず提示してください。根拠が見つからない場合は『根拠なし』と回答してください」と詳細化したほうが、回答を受け取る側でも判断がしやすくなります」（相澤教授）

教授が興味深い指摘として挙げるのは、そもそもLLMがデフォルトでは「知らなくてもそれっぽく答える」ように育てられている点です。2025年9月にOpenAIが公開した「Why Language Models Hallucinate」というペーパーでは、標準的な訓練・評価では「分からない」と言うより「推測して当てる」ほうが点数上有利になりやすい、との説明がなされています。

つまり、AIサービスが提示する回答は、あらかじめ「知らないと認めない」方向にチューニングされているとも言えます。編集現場としては、プロンプト側で「分からないなら分からないと答えて」と明示する運用ルールを、社内標準にしておく価値が高いはずです。

編集部として標準化を検討する価値があるプロンプト規約は、たとえば、①「分からない場合は『不明』と明記してください」、②「事実に関する記述はすべて出典URLを添えてください」、③「推測・意見は事実と分けて記載してください」、④「引用元が特定できない場合は空欄で返してください」──といった項目です。プロンプトを記者個人の裁量に任せると、AIの誤りが記事ごとに姿を変え、ファクトチェックの視点も分散します。組織の書式として揃えておくことが、AIを"共通の道具"として使うための土台になります。

プロンプト規約を統一する意味は、品質を揃えるためだけではありません。ハルシネーションが起きたときに"どのプロンプトが原因だったか"を追跡できる状態にしておく、という意味も同じくらい大きいはずです。プロンプトを記者個人の裁量に任せた組織は、誤情報が発生しても再発防止の学習が組織に蓄積せず、同じ穴に何度も落ちます。ファクトチェックは「起きた誤りを直す」だけでなく、「次に起きない仕組みを組織に残す」仕事でもあります。

AIにAIを検証させる ── LLM-as-a-judgeは、編集現場の武器になるか

ファクトチェックの現場では、「AIが書いた文章を、別のAIに検証させられないか」という発想は自然なものです。研究の世界では、これを「LLM-as-a-judge」と呼び、すでにMT-BenchやChatbot Arenaなど、標準的な評価手法として利用されています。

「LLMに採点や評価を行わせる、いわゆるLLM-as-a-judgeは、すでに研究開発の現場では広く使われています。強力なLLM評価器は、人間の選好とかなり高い一致を示す一方で、回答の位置、長さ、自分自身の出力を好む傾向などのバイアスも検証されています」（相澤教授）

教授は、業務の場面でも汎用的に使えるだろうと述べます。ただし、決定的な条件があります。

「「AIが採点したから正しい」と見るのではなく、しっかりと採点基準を作ったうえで検証するのが重要です」（相澤教授）

編集現場に置き換えるなら、まず人間のファクトチェッカーが一定数の事例を採点し、AIの採点結果と突き合わせ、一致率が十分に高いカテゴリだけをAI支援に回す──というワークフローが現実的でしょう。教授自身、品質が求められる場合は「自動化ではなく、採点支援システムとして利用するのがよい」と釘を刺しています。

編集現場でLLM-as-a-judgeが特に効きそうなのは、事実性の一次スクリーニング、要約と原文の乖離チェック、引用元URLの有効性確認、表記統一など、大量に処理する必要がある単純判定タスクです。逆に、記事の主張の妥当性、取材源の信頼性判定、複数の情報を組み合わせた文脈判断など、意味理解を伴う判断は、人間のファクトチェッカーに残すのが順当でしょう。AIに任せてよいのは、"明確な基準に対する照合"であって、"基準そのものの設定"ではない──と切り分けておくと、導入時の設計判断がぶれません。

もう一つ、AIをAIで検証させる仕組みの盲点として意識しておきたいのが、検証AIが同じ盲点を持っている可能性です。同じ学習データや似た訓練手法から育ったLLM同士は、同じような偏りや誤りのパターンを持つ傾向があります。"AI×AI"のダブルチェックは、表面的には合格に見えて、同じ穴を素通りしてしまうことがある──多様な系統のモデルを使い分けるか、要所では必ず人間の目を入れる、という"冗長性の設計"がファクトチェックの品質を担保します。

「気づける力」がプロを分ける──AI時代の編集者・ライターのキャリア戦略

技術的な対策を積み上げても、ハルシネーションはゼロにはなりません。だからこそ、AI時代のライター・編集者を分けるのは、「AIをどれだけ使えるか」ではなく、「AIの誤りにどれだけ気づけるか」になっていきます。相澤教授は、そのうえで人間側に必要な3つの条件を挙げます。AI側からは「自信のなさ」「分からないこと」を利用者に正直に示すこと。人間側は、AIの性能とは独立の次元で「このAIはこのくらい間違えるだろう」という見積もりを持つこと。そして──。

「最終的には、AIがたまたま誤ってしまった場面で、人間がそれに気づくことができるかどうか。これが、これからの専門家の専門家たるところなのかなと思っています」（相澤教授）

教授が例に挙げるのが、医療AIの現場です。専門医と非専門医のあいだには圧倒的な知識差があり、AIは非専門医を超えるレベルに達している、と多くの研究者が見ています。それでも、AIが誤った際にそれを見抜けるのは、専門医だけ──という研究結果があるといいます。

「専門医の先生だけが気がついて、それ以外の人はAIのほうが偉いと思っているから信じてしまう、という結果も見たことがあって。やはりそこで気がつくことができるのが重要なんだと」（相澤教授）

この構図は、編集・報道の世界にそのまま重なります。AIは記事の一次案を素早く生成できるようになりました。しかし、その誤りに気づけるかどうかは、対象領域の一次情報を実際に踏んできた記者・編集者・ファクトチェッカーの経験値に依存します。生成AIの浸透は、皮肉なことに、専門性の価値をむしろ引き上げているとも言えるでしょう。

編集組織にとっては、この構造は人材育成の設計に直結します。若手記者・編集者は、AIの一次案を受け取ってから記事化する時代を生きています。しかし「気づける目」は、AIの出力を眺めているだけでは磨かれません。取材現場に出て、原典に当たり、担当分野の情報網を持ち、専門家との対話を積む──その基礎工程を省略しない育成設計こそが、AI時代のジャーナリズムを維持する条件になります。「AIに任せられる仕事」を切り出す前に、「AIには任せない訓練」を組織として意識的に残しておくことが、10年後のファクトチェック体制の質を決めるはずです。

この論点を裏返すと、「気づける力」を持たないままAI原稿を扱う編集組織のリスクが見えてきます。もっとも深刻なのは、単発の誤情報を出稿してしまうことではなく、"誤情報を出稿したことに気づかないまま、次の原稿を作り続けてしまう"ことです。ファクトチェックの機能不全は、派手な事故として現れず、組織の情報衛生を静かに蝕む慢性疾患のように広がっていきます。生成AI時代のジャーナリズムに求められているのは、決してAIの否定ではなく、"気づける目"を組織のインフラとして残し続ける、という地道な意思決定です。

「ハルシネーションで世界は滅ばなかった」──それでも、AI時代の編集の仕事はより重くなる

取材の終盤、相澤教授は生成AIを「かなり信用している」と語りました。GPT-5あたりから本格的に使い始め、文献調査から執筆まで、研究にも積極的に取り入れているそうです。

一方で、研究コミュニティではまったく別の空気も流れていると教授は言います。「AIの研究者はみんな、急激な変化に社会がついて行けるか、かなりの危機感を持っていて、集まるとその手の話をする」というのです。

「「本当にまずいことが起きるんじゃないか」という危機感を持っている人が、相当数いると思います。割と身近に感じていると、AIがどれだけ賢いかは切々と感じるんですよ」（相澤教授）

AIが論文を書き、AIが査読する。生成AIによるフェイクニュースや、それを検証する側にすらAIが必要になる循環。そのなかで教授が最後に漏らした一言が、印象に残ります。

「ハルシネーションで世界はすぐには滅ばなかったから、もしかしたら何とかなるのかもしれないですけど――」（相澤教授）

「なんとかなる」を実際に成立させているのは、対策技術の進歩だけではありません。誰かがAIの出力を疑い、一次資料まで遡り、誤りに気づき、修正して世に出す──その営みの積み重ねです。ファクトチェックという仕事の重心は、AI時代を迎えていっそう重くなっているといえるでしょう。

「豊かさとハルシネーションは表裏一体」というフレーズは、AIを恐れず、しかし過信もしないための構えを教えてくれます。生成AIを取材や執筆に取り込む編集現場に求められているのは、AIの"嘘"を撲滅することではなく、AIの"嘘"に気づける目を、組織として磨き続けることに他なりません。

編集の仕事は、AIが素早く出すもっともらしい下書きを「使う／使わない」の二択で判断する仕事ではありません。その下書きに何を上書きし、何を差し戻し、何を捨てるかを判断し、責任を持って世に出す──その連続です。ハルシネーションを「AIの問題」ではなく「編集組織の設計問題」として引き受けたとき、はじめて生成AIは信頼できるパートナーになります。ファクトチェックは、AI時代のジャーナリズムにおいて、より地味に、より不可欠に、そしてより誇るべき仕事になっていくはずです。

生成AIが編集現場に浸透するほど、ファクトチェックという仕事は"目立たない部分で、しかし致命傷を防ぐ"仕事になっていきます。読者に届く記事の"表面の美しさ"は生成AIが担い、"見えない部分の信頼性"を編集組織が担う。この分業が成立して初めて、生成AIは信頼できるパートナーとして機能します。逆に言えば、ファクトチェックを軽視する編集組織は、生成AIの浸透によって最も早く信頼を失う組織になる──この危機感を静かに共有できるかどうかが、これからの編集の仕事を分けていきます。