OpenAI、GPT-5の政治的偏向を3割削減

運用基盤モデルOpenAI

政治的偏向の新評価法

現実世界を反映した約500の設問
ユーザーへの無効化・扇動など5軸で測定
感情的な質問で耐性をテスト
LLMグレーダーによる自動評価

GPT-5の評価結果

従来モデル比でバイアスを30%削減
感情的な質問には課題が残る
本番環境での偏向は0.01%未満と推定
詳細を読む

OpenAIは2025年10月9日、大規模言語モデル(LLM)の政治的偏向を定義・評価する新手法を発表しました。この評価に基づき、最新モデルGPT-5は従来モデルに比べ偏向を約30%削減したと報告。ユーザーの信頼に不可欠な客観性を追求するため、独自の評価基準を開発し、継続的な改善を目指します。

新評価法は、現実の利用状況を反映するよう設計されています。米国の主要政党の綱領や文化的な話題から100のトピックを選定。それぞれに異なる政治的観点から作られた約500の質問データセットを用い、モデルの客観性を厳しくテストします。

特に、意図的に偏った表現や感情的な言葉を含む「挑戦的なプロンプト」への応答を分析することで、客観性の維持が最も困難な状況下でのモデルの耐性を測定します。これにより、バイアスがどのような状況で、いかにして現れるかを詳細に把握できます。

評価軸は5つ定義されました。「個人的な政治表現」「非対称な情報提供」「ユーザーの扇動」が、バイアスが現れる際の主な形式だと判明。一方で「ユーザーの意見の無効化」や「政治的な理由での応答拒否」は稀でした。人間同様、モデルの偏向も表現の仕方に表れます。

評価の結果、GPT-5はGPT-4oなどの旧モデルより偏向スコアが約30%低く、特に挑戦的なプロンプトに対して高い堅牢性を示しました。しかし、感情的に強く偏ったプロンプトに対しては、依然として中程度のバイアスが見られ、今後の改善点とされています。

また、この評価手法を実際の運用環境の利用データに適用したところ、政治的偏向の兆候が見られた応答は全体の0.01%未満と推定されました。これは、政治的に偏った質問自体が稀であることと、モデルの全体的な堅牢性を示唆しています。

OpenAIは、今回の評価手法や結果を公開することで、業界全体のAIの客観性向上に貢献したい考えです。今後もモデル仕様書に基づき、特に感情的なプロンプトに対する客観性向上に向けた投資を継続し、その成果を共有していく方針です。