Research: “You Are An Expert” Prompts Can Damage Factual Accuracy via @sejournal, @martinibuster
概要
「あなたは専門家です」といったペルソナプロンプトは、その効果がある一方で、パフォーマンスを低下させる可能性も指摘されています。新しい研究によると、ペルソナプロンプトは人間が期待するアライメント関連の出力（トーン、フォーマット、安全行動など）を向上させますが、知識集約型タスクにおける事実の正確性を低下させる可能性があります。
その効果はタスクの種類やモデルによって異なり、ペルソナプロンプトは特定の種類のタスクでより効果的であることが示されています。研究者たちは、ペルソナプロンプトは一概に有益でも有害でもなく、その有効性はタスクタイプに依存すると結論付けています。
この研究に基づき、著者はPRISM（Persona Routing via Intent-based Self-Modeling）という手法を導入しました。これは、ペルソナをデフォルト設定として扱うのではなく、意図に基づいたルーティングを用いて選択的に適用するものです。このアプローチにより、ペルソナプロンプトが役立つ場合と避けるべき場合をより深く理解できます。
行動シグナル、つまりペルソナプロンプトが機能する要因は、トーン、構造、安全行動、期待との一致といった改善を促進します。しかし、同じシグナルが事実の正確性と推論に依存するタスクを妨げることが示されています。
ペルソナプロンプトが有効だったのは、抽出、STEM、推論、ライティング、ドメイン専門家としてのロールプレイングの5つのカテゴリーです。これらは事実や知識の正確性よりも、スタイルや明瞭さに関わるタスクです。
一方で、数学、コーディング、人文科学（記憶された事実知識）の3つのカテゴリーでは、ペルソナプロンプトがパフォーマンスを一貫して低下させました。これは、詳細な専門家ペルソナを追加することで、モデルがトーンやスタイルを優先する「インストラクション・フォローイングモード」になり、「事実の想起」が犠牲になるためです。
MMLUなどの知識ベンチマークでは、最小限のペルソナでも正確性が71.6%から68.0%に低下し、長いペルソナではさらに66.3%まで落ち込みました。詳細なペルソナはアライメント情報を豊かにし、インストラクション・チューニングの行動を増幅しますが、それが事前学習タスク（事実知識の記憶、分類、ゼロショット推論など）を損なう可能性があります。
解説
今回の研究は、大規模言語モデル（LLM）でペルソナプロンプトを使用する際の重要な考慮事項を提示しています。特に「あなたは専門家です」といったプロンプトは、使い方を誤るとかえって情報の正確性を損なうリスクがあることを理解しておくべきです。
ペルソナプロンプトは、文章の品質、トーン、フォーマット、読みやすさといった「アライメント関連の出力」の向上には非常に効果的です。例えば、ブログ記事の執筆や特定のキャラクターになりきった回答の生成など、創造性やスタイルの統一が求められるタスクには積極的に活用できます。
しかし、事実確認、統計分析、技術的な説明、論理的思考を要する出力、研究、そしてSEO分析といった、事実の正確性や厳密な論理が不可欠なタスクにおいては、中立的なプロンプトを使用し、ペルソナプロンプトは避けるべきです。モデルが「専門家らしく振る舞う」ことに集中しすぎて、保有する事実の知識を正確に引き出せなくなる可能性があるためです。
具体的な活用方法としては、まずペルソナプロンプトを使ってコンテンツを生成し、その後、非ペルソナプロンプト（またはより厳密なモード）に切り替えて事実の検証を行うという「ワークフロー」が推奨されます。これは、研究で提唱されているPRISMのアプローチと類似しており、タスクに応じてプロンプトを使い分けることが最も効果的な戦略であることを示唆しています。
「あなたは専門家です」というプロンプトは、モデルに「正しく聞こえる」ことを優先させ、「実際に正しい」ことよりも重視させてしまう可能性がある、という点は特に留意すべきです。LLMの出力を信頼する際には、そのプロンプトの背景とモデルの特性を考慮し、批判的思考をもって情報を評価する姿勢が重要となります。
- 掲載元: Search engine journal
- 公開日: 2026-03-24T12:38:07+00:00
