詳細を読む
Google Researchは、表形式データ向けのゼロショット基盤モデル「TabFM」を公開しました。従来のようにデータセットごとにモデルを一から学習する必要がなく、未知の表に対しても一度の推論で予測を返せる点が最大の特徴です。表の予測を「文脈内学習(in-context learning)」の問題として捉え直すことで、数週間かかっていた構築作業を一回のAPI呼び出しに置き換えます。
企業データの多くはデータウェアハウスやCRMに眠る表形式ですが、そこから信頼できる予測を得るには手間がかかります。欠損値の補完や特徴量エンジニアリング、ハイパーパラメータ探索に加え、運用後もデータドリフト監視や再学習が続くためです。一方でテキストや画像の生成AIはすでにゼロショット推論へ移行しており、表データはこの流れから取り残されていました。
大規模言語モデルに表をそのまま読ませても、文脈長の制約や数値のトークン化、二次元構造の喪失といった壁に突き当たります。TabFMはデータを格子として扱い構造を保ったまま処理する設計で、既存研究のTabPFNとTabICLの長所を統合しています。行と列を交互に注意する仕組みや行圧縮を組み合わせ、大規模な表でも効率よく文脈内学習を行います。
学習には実データを使わず、数億件の合成データセットを構造的因果モデルで生成して事前学習しました。51のデータセットからなる評価基盤TabArenaでは、調整済みの教師あり手法に匹敵または上回る精度を示しています。ただしGoogleは、最適化された本番モデルをすべて置き換えるものではないと慎重な姿勢を崩していません。
一方で新たな経済的トレードオフも生じます。学習時間はゼロになるものの、予測のたびに履歴データ全体を文脈として処理するため推論が重く、ミリ秒単位の低遅延を求める用途には向きません。またモデルの重みは非商用ライセンスで公開されており、商用製品への組み込みは現時点では認められていません。
それでもGoogleは、TabFMをBigQueryへ統合し「AI.PREDICT」コマンドでデータウェアハウス上から直接予測を実行できるようにする計画です。scikit-learn互換のAPIも用意され、専任のデータサイエンスチームがなくても高品質なベースラインを素早く構築できる点が実務での価値だと同社は説明しています。