IBM、行動指針の記憶でAI接客の精度向上

IBMの研究チームは、AIエージェントの過去の試行から行動指針を抽出するALTK-Evolveを顧客対応で検証しました。GPT-4.1の重みを更新せず、指針をプロンプトに加えることで、小売タスクの4回すべてに成功する割合が57.5%から67.5%に上昇したと報告しています。モデルの大型化以外で信頼性を高める手法です。

指針は、本人確認や取引内容の確認など、学習用タスクでの成功と失敗から自動的に整理します。評価用タスクには同じ指針を変更せずに適用し、モデルやツール、基本的な実行構成は既存ベンチマークのものを使いました。

有効な指針の量は領域によって異なりました。小売では292件を使った構成が良好だった一方、航空では14件に絞った構成のほうが、全試行に成功する割合で多くの指針を使う構成を上回っています。

指針を毎回入力するため、評価上の会話当たり費用は増えました。一方、成功した同条件の試行では会話の往復数は増えておらず、研究は学習済みの手順を実行時に参照する設計の有効性を示しています。