詳細を読む
MITの研究チームが、プライバシーを保護しながらAIモデルを学習させる連合学習（Federated Learning）の効率を大幅に改善する新手法「FTTE」（Federated Tiny Training Engine）を開発しました。従来手法と比較して学習完了までの時間を約81%短縮でき、スマートウォッチやセンサーなどの小型エッジデバイスでも高精度なAIモデルの学習が可能になります。
連合学習では、中央サーバーからAIモデルを各デバイスに配信し、端末上のローカルデータで学習したうえで更新情報をサーバーに送り返します。ユーザーデータは端末から外に出ないためプライバシーが守られますが、メモリやネットワーク接続に制約のあるデバイスでは学習の遅延や失敗が生じていました。特に性能の異なるデバイスが混在するネットワークでは、最も遅い端末がボトルネックとなる問題がありました。
FTTEは3つの技術革新でこの課題を解決します。第一に、モデル全体ではなく精度に寄与するパラメータのサブセットのみを送信し、端末のメモリ負荷を軽減します。第二に、全端末からの応答を待たず一定数の更新が集まった時点で学習を進める半非同期方式を採用します。第三に、受信時刻に基づいて更新の重み付けを行い、古い更新の影響を抑制します。
シミュレーション実験では、数百台の異種デバイスを用いたテストでメモリ使用量80%削減、通信量69%削減を達成しつつ、他の手法と同等の精度を維持しました。デバイス数が増えるほど性能向上が大きくなる拡張性も確認されています。実機での小規模テストも実施済みです。
研究を主導したIrene Tenison氏は「AIを巨大サーバーだけでなく、日常的に持ち歩く小さなデバイスで動かすための重要な一歩」と述べています。今後は各デバイスでのパーソナライズ性能の向上や、より大規模な実機実験を計画しています。この成果はIEEE International Joint Conference on Neural Networksで発表予定です。