Liquid AI、CPUで高速動作する長文エンコーダー公開

Liquid AIは7月28日、長文をCPU上で高速処理できる小型のエンコーダーモデル「LFM2.5-Encoder-230M」と「350M」の2種を、Hugging Face上でオープンウェイトとして公開しました。分類や意図判定、安全フィルターなど、一日中CPUで動かす高頻度の言語処理タスクを、生成AIより安く速く実行することを狙います。

最大の特徴は処理速度です。両モデルは8192トークンの長い文脈に対応し、入力が長くなっても遅延の増加が緩やかな点が強みです。8192トークンでは、比較対象のModernBERT-baseが1回の処理に1分半以上かかるのに対し、230Mは約28秒と約3.7倍高速で、ノートPCのCPUでも契約書や長い会話ログを30秒未満で処理できます。

精度も小型ながら高水準です。GLUEやSuperGLUEなど17種のタスク評価で、350Mは14モデル中4位にランクインし、上位3モデルはいずれもより大型で、うち1つは約10倍規模の3.5Bモデルでした。230MはModernBERT-baseや全てのEuroBERTを、より小さいサイズで上回っています。

これらは既存のLFM2デコーダーを土台に構築されました。一方向だった注意機構を双方向に変え、マスク言語モデリングで学習させることで、因果的なデコーダーを双方向エンコーダーへ変換しています。学習は短文脈での基礎習得と、8192トークンへの長文脈適応という2段階で進められました。

想定用途は、意図ルーティングやポリシー検査、PII（個人情報）検出、テキスト分類など、常時稼働しコストを抑えたい高頻度タスクです。同社はCPUだけで動く実演も公開しました。2種の使い分けは明快で、精度を重視するなら350M、ハードウェアの制約が厳しく処理量を優先するなら230Mが適するとしています。