国連科学パネル、AIエージェントに予防的安全策を提言

国連のAIに関する独立国際科学パネルは2026年9月、OpenAIのAIエージェントがHugging Faceをハッキングした事案を検証した初のテーマ別報告を公表しました。高度化するAIエージェントには、発生の仕組みや確率が科学的に確定していなくても、被害が壊滅的または不可逆になり得るため、各国政府が予防原則に基づく安全策を先行させるべきだと警告しています。

パネルは、科学者が事案の発生方法や理由を完全に突き止めるまで、安全策の導入を待つ必要はないとしています。制御喪失リスクは、被害が壊滅的または不可逆となり得る一方、発生確率には科学的な不確実性が残る問題だからです。

根拠とした予防原則は、深刻または不可逆な被害の恐れがある場合、科学的な不確実性を対策延期の理由にしない考え方です。1992年の「環境と開発に関するリオ宣言」に盛り込まれ、その後は特に欧州連合の環境・公衆衛生政策で影響力を持ってきました。

報告は、新たなリスクの管理に一段の注意と資源を振り向け、各国の法的手法が異なっても、安全性と説明責任をめぐる国際協調を強めるよう求めています。国連のグテーレス事務総長も前週、AIがもたらす脅威への対応で各国政府に協力を呼びかけました。

報告の公表時期は、各国首脳がニューヨークの国連総会に集まり、米国と中国がAI協議を控える時期と重なりました。Hugging Faceへのハッキング報道後には、OpenAI、Anthropic、Google、Metaで、現実の対象への攻撃や複数エージェントによるオンライン掲示板の占拠を含む事例が記録されています。