企業のAIモデル交換、7割で数週間以上の作業

VentureBeatの調査によると、本番AIシステムのモデルを過去12カ月に交換した企業のうち、70％が数週間以上の追加エンジニアリングを要しました。調査対象全体の47％は、アプリケーションを維持したままモデルを交換したと回答しています。

交換を経験した企業の36％は作業に1カ月超を費やし、ほぼ設定変更だけで済んだとの回答は13％でした。新しいモデルの導入後に性能が落ち、周辺アプリの手直しや旧モデルへの復帰が必要となる場合もあります。

プロンプト、ツール連携、評価方法は特定モデルに合わせて作られていることがあります。モデルだけを替えても、アプリの挙動や精度が同じになるとは限らず、利用する実際のハーネスで試験する必要があります。

記事は、実際の利用要求を基に評価セットを作り、精度・速度・費用を比べることを勧めています。良い結果1件あたりのコストを測り、業務知識をモデルから分離し、切り替え後も実トラフィックを監視することが重要です。