新技術Power Retention
詳細を読む
AIスタートアップのManifest AIが2025年10月28日、Transformerアーキテクチャの根幹「Attention機構」を代替する新技術「Power Retention」を発表しました。この技術を用いた新モデル「Brumby-14B-Base」は、既存モデルをわずか4,000ドルで再学習させることで、Transformerに匹敵する性能を達成。AI開発のコスト構造を根底から覆す可能性を秘めています。
現在の主要な大規模言語モデルは、Transformerアーキテクチャを基盤とします。その中核であるAttention機構は強力ですが、文脈が長くなるほど計算コストが二次関数的に増大するという深刻な課題を抱えていました。これがモデルの長文脈対応のボトルネックとなっていたのです。
Manifest AI開発の「Power Retention」は、この課題を解決する新技術です。Attention機構のように文脈全体を一度に比較せず、リカレントニューラルネットワーク（RNN）のように情報を逐次的に圧縮・更新します。これにより文脈長に関わらず計算コストが一定に保たれます。
Brumby-14B-Baseモデルの衝撃は、その圧倒的なコスト効率です。既存モデルをわずか60時間、約4,000ドルで再学習を完了。ゼロから学習する場合の2%未満の費用です。これはAI開発の参入障壁を劇的に下げ、より多くの組織に大規模実験の道を開きます。
低コストながら性能に妥協はありません。Brumbyモデルは各種ベンチマークで、元のモデルや他の同規模Transformerモデルと同等以上のスコアを記録しました。特に、Attention機構が苦手とする長文脈の読解や数学的推論といったタスクで優位性を示し、新アーキテクチャの利点を裏付けています。
この成果は、AI界を約10年にわたり支配してきたTransformer一強時代に風穴を開けるものかもしれません。Manifest AIは「Transformer時代の終わりはまだだが、その行進は始まった」と述べています。AIアーキテクチャの多様化が進み、開発競争が新たな局面に入ることは間違いないでしょう。