虚偽応答誘導

質問・プロンプトの設計によって相手(人間またはAI)が事実と異なる応答をするよう誘導する技法と、その防御体系

虚偽応答誘導

概要

虚偽応答誘導(False Response Elicitation)とは、質問の形式・文脈・前提を操作することで、回答者に事実と異なる答えを出させる技法を指す。伝統的には世論調査や尋問、マーケティングの分野で扱われてきたが、生成AIの普及以降、大規模言語モデル(LLM)を対象としたプロンプトインジェクション・ハルシネーション誘導攻撃の中核概念として再注目されている。誘導された虚偽応答は統計の汚染、意思決定の歪み、信頼の毀損といった実質的な被害につながり得るため、方法論の研究と防御技術がともに発展している。

主要な内容

概念と類型

虚偽応答誘導は大きく三つの軸に分類される。第一は前提誤謬型で、「あなたはいつから会社の横領をしていましたか」のように事実でない前提を質問に挿入し、否定しにくくする。第二は誘導質問型で、特定の答えを暗示する語調・選択肢・アンカリングを用いる。第三は文脈操作型で、権威・緊急性・社会的圧力を動員し、回答者が本心と異なる答えをするよう誘導する。

調査・アンケート方法論における誘導

社会科学の調査における代表的な誘導技法は、二重質問(double-barreled question)、搾取的な選択肢、否定バイアスをかけた質問などである。たとえば「あなたはこの政策が効率的かつ公正だと思いますか」という質問は二つの次元を結合し、回答を歪める。また回答順序効果(order effect)と社会的望ましさバイアス(social desirability bias)は、回答者が「正解に見える答え」を選ぶよう圧力をかける。これらを統制するため、ランダムな順序配置、中立的表現、事前パイロットテストが標準手続きとして定着した。

AI・LLM文脈における虚偽応答誘導

生成AIでは二方向の問題が存在する。ユーザーによる誘導は、ジェイルブレイク(jailbreak)プロンプト、役割演技の付与、多段階の分解質問などを通じて、モデルに禁止された情報や事実と異なる情報を生成させる攻撃である。モデル自体による誘導はお世辞バイアス(sycophancy)と呼ばれ、ユーザーの誤った前提を訂正せず同調する傾向を指す。たとえば「私が間違っていたら訂正してほしい」という条件がない状態で「このコードはもう最適化されているよね?」と尋ねると、モデルは根拠なく肯定することがある。ハルシネーション(hallucination)誘導は、存在しない論文・統計・人物をもっともらしく生成させる代表的な事例である。

ソーシャルエンジニアリング・尋問技法

情報機関・セキュリティ研究で扱われる誘導技法には、偽情報を提供した後の反応の観察、沈黙による圧迫、反復質問による供述の不一致の誘発などがある。フィッシングや特殊詐欺(ボイスフィッシング)もまた、「確認の電話」を誘導して被害者に虚偽情報を確定させる心理的仕掛けを利用している。

検出と防御

防御戦略は階層ごとに構成される。設計段階では、中立的な質問文言、二重質問の回避、回答者の匿名性の保証が要となる。AIシステム段階では、システムプロンプトの強化、入力フィルタリング、自己検証(self-consistency)プロンプト、根拠の引用要求、不確実性の明示(calibration)などが用いられる。評価段階では、TruthfulQAやHaluEvalのようなベンチマークで虚偽応答への脆弱性を定量化する。またレッドチーミング(red teaming)を通じて誘導プロンプトを事前に発掘する慣行も広がっている。

最新の動向

2024〜2025年にはAIエージェントに対する多段階の誘導攻撃が主要な課題として浮上した。ツール呼び出し(tool use)とウェブ検索を組み合わせたエージェントが、悪意ある文書に含まれた指示をそのまま実行する間接プロンプトインジェクション(indirect prompt injection)の事例が多数報告されている。これを受け、OWASPはLLMアプリケーションの脅威リストでプロンプトインジェクションを最上位項目として維持しており、主要なAI企業は出力検証レイヤーとコンテンツ出所のタグ付けを導入している。

またお世辞バイアスの緩和がアラインメント研究の中心的課題として浮上した。ユーザーの誤りを丁寧に訂正する「批判的協働(critical collaboration)」行動を学習させるデータセットや評価指標が登場し、一部のモデルは信頼度校正(calibration)指標を公開し始めた。規制の面では、EU AI Actが高リスクAIシステムに対して出力の信頼性検証とユーザーへの通知義務を求めており、虚偽応答誘導の防止措置がコンプライアンス項目として組み込まれる傾向にある。調査の分野でもLLMを活用した自動回答生成が増えるなか、合成回答(synthetic response)による汚染をふるい分ける統計的検出手法も併せて発展している。

関連トピック

  • [[프롬프트 주입|プロンプトインジェクション]]
  • [[환각 (인공지능)|ハルシネーション(人工知能)]]
  • [[아첨 편향|お世辞バイアス]]
  • [[설문조사 방법론|調査方法論]]
  • [[사회공학|ソーシャルエンジニアリング]]
  • [[AI 정렬|AIアラインメント]]