トランスフォーマー（LLM技術）に関するニュース一覧

マサチューセッツ工科大学（MIT）とIBMの研究者らが、AIの信頼性、効率性、知識に基づいた推論能力を向上させる複数の研究プロジェクトを推進しています。博士課程の学生が中心となり、LLMの回答の不確実性を評価する新手法や、計算コストを削減する次世代アーキテクチャなどを開発。これらの成果は、より実用的で価値の高いAIモデルを様々な分野へ展開することを目的としています。

企業のAI活用における最大の課題は、その回答が信頼できるかという点です。これに対し、研究チームはLLMの回答の不確実性を評価する新たな手法を開発しました。これは評価用モデル（プローブ）自体の信頼性を測り、誤った警告を防ぎます。さらに、外部のナレッジグラフと連携させ、AIの「幻覚」を抑制する強化学習フレームワークも構築しています。

大規模モデルの運用には膨大な計算コストが伴います。特にTransformerモデルは、入力データが長くなるほど計算量が爆発的に増加する課題を抱えていました。研究チームは線形アテンションなどの技術を採用することでこの問題を解決。より少ない計算資源で、より長いシーケンスを高速に処理できる次世代アーキテクチャの開発を進めています。

人間のように視覚情報を深く理解するAIも研究対象です。あるチームは、グラフやチャートを読み解き、それを生成するPythonコードを出力する合成データセット「ChartGen」を開発。これにより、財務・科学レポートの自動分析が期待できます。また、デザイン画像を基に質感を再現するプログラムを自己改良しながら生成するシステムも構築しています。

これらの研究は、それぞれがAIの核心的な課題に取り組んでいます。信頼性の確保、効率性の向上、そしてマルチモーダルな推論能力の強化は、AIが実験段階を終え、現実世界のビジネスや科学の現場で不可欠なツールとなるための重要な布石です。個々の技術革新が連携し、より強力で費用対効果の高いAIシステムの実現を加速させるでしょう。

AIスタートアップのManifest AIが2025年10月28日、Transformerアーキテクチャの根幹「Attention機構」を代替する新技術「Power Retention」を発表しました。この技術を用いた新モデル「Brumby-14B-Base」は、既存モデルをわずか4,000ドルで再学習させることで、Transformerに匹敵する性能を達成。AI開発のコスト構造を根底から覆す可能性を秘めています。

現在の主要な大規模言語モデルは、Transformerアーキテクチャを基盤とします。その中核であるAttention機構は強力ですが、文脈が長くなるほど計算コストが二次関数的に増大するという深刻な課題を抱えていました。これがモデルの長文脈対応のボトルネックとなっていたのです。

Manifest AI開発の「Power Retention」は、この課題を解決する新技術です。Attention機構のように文脈全体を一度に比較せず、リカレントニューラルネットワーク（RNN）のように情報を逐次的に圧縮・更新します。これにより文脈長に関わらず計算コストが一定に保たれます。

Brumby-14B-Baseモデルの衝撃は、その圧倒的なコスト効率です。既存モデルをわずか60時間、約4,000ドルで再学習を完了。ゼロから学習する場合の2%未満の費用です。これはAI開発の参入障壁を劇的に下げ、より多くの組織に大規模実験の道を開きます。

低コストながら性能に妥協はありません。Brumbyモデルは各種ベンチマークで、元のモデルや他の同規模Transformerモデルと同等以上のスコアを記録しました。特に、Attention機構が苦手とする長文脈の読解や数学的推論といったタスクで優位性を示し、新アーキテクチャの利点を裏付けています。

この成果は、AI界を約10年にわたり支配してきたTransformer一強時代に風穴を開けるものかもしれません。Manifest AIは「Transformer時代の終わりはまだだが、その行進は始まった」と述べています。AIアーキテクチャの多様化が進み、開発競争が新たな局面に入ることは間違いないでしょう。

ニューヨークのAIスタートアップ、Augmented Intelligence Inc (AUI)は2025年11月3日、2000万ドル（約30億円）の資金調達を発表しました。これにより企業評価額は7億5000万ドル（約1125億円）に達します。同社は、ChatGPTなどが用いるTransformerアーキテクチャの課題である予測不可能性を克服するため、ニューロシンボリックAI技術を開発。企業が求める確実で信頼性の高い対話AIの実現を目指します。

AUIが開発する基盤モデル「Apollo-1」の核心は、そのハイブリッドな構造にあります。ユーザーの言葉を理解する「ニューラルモジュール」と、タスクの論理構造を解釈し、次に取るべき行動を決定論的に判断する「シンボリック推論エンジン」を分離。これにより、LLMの持つ言語の流暢さと、従来型AIの持つ厳密な論理実行能力を両立させています。

なぜ今、この技術が注目されるのでしょうか。既存のLLMは確率的に応答を生成するため、常に同じ結果を保証できません。これは、金融やヘルスケア、顧客サービスなど、厳格なルール遵守が求められる業界では大きな障壁となります。Apollo-1は、組織のポリシーを確実に適用し、タスクを最後まで間違いなく遂行する能力でこの課題を解決します。

Apollo-1の強みは、その汎用性と導入のしやすさにもあります。特定の業界に特化せず、ヘルスケアから小売まで幅広い分野で応用可能です。また、特別なインフラを必要とせず、標準的なクラウド環境で動作するため、導入コストを抑えられる点も企業にとっては魅力的です。開発者は使い慣れたAPI経由で簡単に統合できます。

今回の調達は、より大規模な資金調達の前段階と位置付けられており、同社への期待の高さをうかがわせます。Fortune 500企業の一部では既にベータ版が利用されており、2025年末までの一般公開が予定されています。LLM一強の時代から、用途に応じた多様なAIが選択される新時代への転換点となるかもしれません。

ChatGPTなどを支える基盤技術「Transformer」の共同考案者であるリオン・ジョーンズ氏（現Sakana AI CTO）が、サンフランシスコのTED AIカンファレンスで講演。現在のAI研究がTransformerに過度に集中し、画一化していることに「うんざりしている」と述べ、業界に警鐘を鳴らしました。彼は、次の技術革新のために、より探求的なアプローチが必要だと訴えています。

ジョーンズ氏は、AI分野への空前の投資が逆に研究の幅を狭めていると指摘します。投資家からの圧力や研究者間の競争が、独創的な研究よりも安全な成果を追い求める傾向を助長。業界全体が次のブレークスルーを見逃す危険に瀕していると警告しています。

氏によれば、Transformer自体は、経営陣からのプレッシャーがない自由な環境から生まれました。特定の目標に縛られず、自由な議論の中から生まれたのです。現在の研究者が高い報酬を得ながらも、成果への圧力からリスクを取れない状況とは対照的だとし、イノベーションの源泉を問い直しています。

この問題意識から、ジョーンズ氏が共同創業した東京のSakana AIでは、あえてTransformerから距離を置き、自然から着想を得るなど、探求的な研究を推進しています。論文数や競合を追うのではなく、「もし自分たちがやらなければ、誰もやらないような研究」に注力。自由な環境こそが優秀な人材を惹きつけると語ります。

ジョーンズ氏の警告は、大規模モデルの性能向上が鈍化しつつある「スケーリングの限界」が囁かれる中で、特に重みを持ちます。Transformerの成功が、皮肉にも次の技術革新を阻んでいるのかもしれません。AI業界が持続的に成長するためには、現在の成功モデルに安住せず、未知の領域へ踏み出す勇気が求められています。

AIプラットフォームのHugging Faceは2025年10月22日、高品質な文章埋め込み生成ライブラリ「Sentence Transformers」を正式に管理下に置くと発表しました。これまでドイツのダルムシュタット工科大学UKP Labが主導してきましたが、今後はHugging Faceのインフラを活用し開発を加速させます。これはセマンティック検索などを手掛ける開発者にとって重要な動きです。

Sentence Transformersは、文章の持つ意味を捉えたベクトル表現（埋め込み）を生成する人気のオープンソースライブラリです。2019年の登場以来、セマンティック検索や文章の類似度比較、クラスタリングといった多様な自然言語処理タスクで広く採用され、業界のデファクトスタンダードとしての地位を確立しています。

このライブラリは、もともとダルムシュタット工科大学のUKP Labで開発・維持されてきました。しかし、2023年後半からはHugging Faceのエンジニアがメンテナンスを引き継いでおり、今回の発表でその関係が公式化されました。長年の研究成果が、エコシステムの中心的存在へと引き継がれる形となります。

Hugging Faceへの移管により、同社の持つ堅牢なインフラが最大限に活用されます。継続的インテグレーションやテスト環境が整備されることで、ライブラリの安定性が向上し、情報検索や自然言語処理における最新技術への追随がより迅速かつ確実になることが期待されています。

今後の運営方針はどうなるのでしょうか。ライセンスは従来通りApache 2.0を維持し、オープンソースかつコミュニティ主導のプロジェクトとして継続されます。Hugging Faceは、これまでのオープンで協力的な精神を尊重しつつ、プロジェクトのさらなる成長と革新を支援していくと表明しています。

Hugging Face Hubでは、既に1万6000以上のSentence Transformers関連モデルが公開され、月間100万人以上のユニークユーザーに利用されています。今回の正式移管は、この巨大なエコシステムをさらに強化し、AIを活用したアプリケーション開発の加速に繋がるでしょう。

米スタートアップWindBorne Systems社が、自律航行する気象気球と独自のAIモデル「WeatherMesh」を組み合わせ、世界で最も正確な天気予報システムを開発しました。従来手法では観測が困難だった広大な海洋上のデータを気球で収集し、AIで解析。これにより、ハリケーンの進路予測などで既存の主要モデルを上回る精度を達成し、防災や再生可能エネルギー、農業分野などでの活用が期待されています。

従来の天気予報は、観測データが乏しい海洋や砂漠などの「観測空白域」が存在することが大きな課題でした。特に、多くのハリケーンが発達する海洋上では、有人飛行機による観測は危険とコストを伴うためデータが不足しがちです。このデータ不足が、2024年のハリケーン「ミルトン」のような壊滅的な被害をもたらす異常気象の予測を困難にしていました。

この課題を解決するのが、同社が開発した長時間滞空型の気象気球です。従来の気球が数時間で破裂するのに対し、この気球は50日以上も上空に留まることが可能です。風を読んで高度を自律的に調整し、狙ったエリアのデータを収集します。実際にハリケーン「ミルトン」発生時には、安全な場所から放たれた気球がハリケーンの心臓部に到達し、貴重なデータを取得することに成功しました。

気球が収集した膨大なデータは、同社独自のAI予報モデル「WeatherMesh」に入力されます。このモデルはChatGPTなどにも使われるTransformer技術を基盤とし、競合であるGoogleのGraphCastやHuaweiのPangu-Weatherを上回る予測精度を記録しています。物理ベースの従来モデルと比較しても最大30%精度が高く、それでいて安価なGPUで高速に運用できる効率性も両立しています。

気球によるデータ収集とAIによる予測は、互いに連携する「エンドツーエンド」のシステムを形成しています。AIが予測精度向上に必要なデータ領域を特定し、気球群をその場所へ誘導。気球が収集した最新データが、さらにAIの予測精度を高めるという好循環を生み出します。同社はこの仕組みを「惑星の神経系」と呼び、地球全体の気象をリアルタイムで把握することを目指しています。

WindBorne社は将来的に、常時1万個の気球を飛行させ、地球全体をほぼ継続的に観測する体制を2028年までに構築する計画です。気候変動により異常気象が深刻化する中、高精度な気象予測は、社会のレジリエンスを高める上で不可欠なインフラとなるでしょう。AIとハードウェアを融合させたこのアプローチは、気象予測の新たなスタンダードになる可能性を秘めています。

イスラエルのAIスタートアップAI21 Labsは、30億パラメータの小型オープンソースLLM「Jamba Reasoning 3B」を発表しました。このモデルは、ノートPCやスマートフォンなどのエッジデバイス上で、25万トークン以上という異例の長大なコンテキストウィンドウを処理可能であり、AIインフラストラクチャのコスト構造を根本的に変える可能性を秘めています。

Jamba Reasoning 3Bは、従来のTransformerに加え、メモリ効率に優れたMambaアーキテクチャを組み合わせたハイブリッド構造を採用しています。これにより、小型モデルながら高度な推論能力と長文処理を両立。推論速度は従来のモデルに比べて2〜4倍高速であり、MacBook Pro上でのテストでは毎秒35トークンを処理できることが確認されています。

AI21の共同CEOであるオリ・ゴーシェン氏は、データセンターへの過度な依存が経済的な課題となっていると指摘します。Jamba Reasoning 3Bのような小型モデルをデバイス上で動作させることで、高価なGPUクラスターへの負荷を大幅に軽減し、AIインフラストラクチャのコスト削減に貢献し、分散型AIの未来を推進します。

このモデルは、特に企業が関心を持つユースケースに最適化されています。具体的には、関数呼び出し、ポリシーに基づいた生成、そしてツールルーティングなどのタスクで真価を発揮します。シンプルな業務指示や議事録作成などはデバイス上で完結し、プライバシーの確保にも役立ちます。

Jamba Reasoning 3Bは、同規模の他の小型モデルと比較したベンチマークテストでも優位性を示しました。特に長文理解を伴うIFBenchやHumanity’s Last Examといったテストで最高スコアを獲得。これは、同モデルがサイズを犠牲にすることなく、高度な推論能力を維持していることを示しています。

企業は今後、複雑で重い処理はクラウド上のGPUクラスターに任せ、日常的かつシンプルな処理はエッジデバイスでローカルに実行する「ハイブリッド運用」に移行すると見られています。Jamba Reasoning 3Bは、このハイブリッド戦略の中核となる効率的なローカル処理能力を提供します。

ステルススタートアップAugmented Intelligence（AUI）は、エンタープライズ向けAIエージェントの信頼性を劇的に高める基盤モデル「Apollo-1」を発表しました。従来のLLMが苦手としていた、タスクの確実な実行という課題を克服するため、独自開発のハイブリッドアーキテクチャを採用し、ベンチマークで圧倒的な性能差を示しています。

従来のLLMは、チャットや探索的な対話では優れた能力を発揮しますが、企業が求める複雑なタスクを確実に実行する能力が不足していました。AIエージェントの性能を測るベンチマーク「Terminal-Bench Hard」では、現在の最高モデルでも成功率は30%台に留まり、ビジネスルールが求められる場面で信頼性に欠ける点が大きな課題でした。

Apollo-1は「ステートフル・ニューロ・シンボリック推論」というハイブリッド構造に基づいています。これは言語の流暢さを担うニューラル層と、意図や制約といった構造化された論理を担うシンボリック層を統合し、タスク実行における「確実性（Certainty）」を保証するためのものです。

Transformerモデルが次のトークンを確率的に予測するのに対し、Apollo-1は会話の中で次に取るべき「アクション」を予測します。この構造により、エンコーダが自然言語をシンボリックな状態に変換し、決定エンジンが次の行動を決定するという、閉じた推論ループを実行。統計的な予測ではなく、決定論的な動作を実現しています。

この決定的な動作は、企業ポリシーの遵守において極めて重要です。例えば、銀行が「200ドル以上の返金には必ずID確認を義務付ける」といった制約を、Apollo-1では「System Prompt（振る舞い契約）」として定義し、確実に実行できます。これは、純粋な生成AIでは保証できない行動の信頼性を実現します。

ベンチマーク結果はその有効性を示しています。航空券予約タスクを評価する「TAU-Bench Airline」において、Apollo-1は92.5%という驚異的な通過率を達成。これは競合するトップモデルの56%を大きく引き離すものであり、金融、旅行、小売など、タスク実行の信頼性が求められる業界での応用が期待されます。

中国のAI企業DeepSeek社が、AIモデルの処理コストを大幅に削減する可能性のある新技術「スパースアテンション」をテストしています。この技術は、AIが文脈を理解する際の計算量を劇的に減らし、これまでボトルネックとなっていた長文対話の処理性能を向上させる可能性があります。AIの運用コスト削減と応用範囲拡大への貢献が期待されます。

AI、特に大規模言語モデルは「アテンション」という仕組みで単語間の関連性を計算し、文脈を理解します。しかし、2017年に登場した画期的なTransformerアーキテクチャでは、入力された全ての単語の組み合わせを総当たりで比較するため、計算コストが入力長の二乗で増加するという根本的な課題を抱えていました。

この「二乗の呪い」は深刻です。例えば、1,000語の文章では100万回、1万語では1億回もの比較計算が必要になります。これにより、ChatGPTのような対話型AIでは、会話が長くなるほど応答速度が低下するなどの性能ペナルティが発生していました。新しい応答のたびに、全履歴を再計算するためです。

DeepSeek社がテストする「スパースアテンション」は、この問題を解決するアプローチです。全ての単語を比較するのではなく、文脈上関連性の高い単語の組み合わせに絞って計算を行います。これにより、計算量を大幅に削減し、コストと性能のボトルネックを解消することを目指します。

OpenAIのGPT-5など、最先端のモデルでも同様の技術が採用されていると推測されています。スパースアテンションの普及は、AIの運用コストを引き下げ、より長く複雑なタスクを扱えるようにする鍵となります。今後のAI開発の費用対効果を大きく左右する技術として注目されます。

中国のAI企業DeepSeekは29日、新しい実験的AIモデル「V3.2-exp」を発表しました。このモデルは「スパースアテンション」と呼ばれる新技術を搭載しており、長い文章や大量のデータを処理する際の推論コスト（APIコスト）を最大で半減させる可能性を秘めています。AIの運用コスト削減は業界全体の課題であり、今回の発表は大きな注目を集めています。

新技術の核心は、処理情報を効率的に絞り込む2段階の仕組みです。まずシステムが入力文から重要部分を抜粋し、次にその中から処理に必要な最小限のトークンを選択します。この選択と集中のアプローチにより、関連性の低い情報処理を省略し、サーバー負荷を大幅に軽減するのです。

AIモデルの運用コスト、特に「推論コスト」の削減は、AIサービスを普及させる上で極めて重要です。今回の試みは、AIの基本構造であるTransformerアーキテクチャの効率化を目指すもの。特に大量の文書読解や複雑な対話など、長い文脈を扱う応用でのコストメリットは計り知れません。

この「V3.2-exp」モデルはオープンウェイトとして、開発者プラットフォームのHugging Faceで既に公開されています。誰でも自由に利用し、その性能を検証できるため、DeepSeekが主張するコスト削減効果が実証される日も近いでしょう。今後、第三者による客観的な評価やさらなる改良が期待されます。

DeepSeekは中国に拠点を置く企業で、年初には独自の学習手法を用いたモデルで業界を驚かせました。今回の発表は、米中間の技術競争という側面だけでなく、AI業界全体のコスト効率化という共通課題に対する一つの解を示した点で意義深いと言えます。この技術が米国の主要プロバイダーにも影響を与える可能性があります。

AIプラットフォームのHugging Faceが、Apple製品開発者向けライブラリ「swift-transformers」のバージョン1.0を公開しました。本ライブラリは、iPhoneなどのデバイス上でローカルにAIモデルを動作させる際の技術的ハードルを下げ、アプリへの組み込みを容易にすることを目的としています。

swift-transformersは、AppleのCore MLやMLXといった機械学習フレームワークを補完する重要な機能群を提供します。具体的には、複雑なテキスト入力を処理する「Tokenizers」、Hugging Face Hubからモデルを管理する「Hub」、Core ML形式モデルの推論を簡素化する「Models」と「Generation」が中核をなします。

すでに、Apple自身のサンプル集「mlx-swift-examples」や、高性能な音声認識フレームワーク「WhisperKit」など、多くのプロジェクトで採用されています。これにより、AppleエコシステムにおけるオンデバイスAI開発の基盤技術としての地位を確立しつつあると言えるでしょう。

今回のv1.0リリースは、ライブラリの安定性を公式に保証する初のメジャーアップデートです。主要な変更点には、必要な機能だけを導入できるモジュール分割や、最新のCore ML APIへの対応、そしてSwift 6への完全準拠が含まれます。開発者はより安心して長期的なプロジェクトに採用できます。

Hugging Faceは今後の展望として、Appleの機械学習フレームワーク「MLX」との連携強化を掲げています。さらに、自律的にタスクを処理する「エージェント」のような、より高度なユースケースの実現も視野に入れており、オンデバイスAIの新たな可能性を切り拓くことが期待されます。

企業向けAIモデル開発のCohereは9月24日、1億ドルを追加で調達し、企業価値が70億ドルに達したと発表しました。これは8月の5億ドル調達に続くものです。同時に半導体大手AMDとの提携も締結し、NvidiaとOpenAIの連合に対抗する動きを見せています。この提携は、AI市場の勢力図に変化をもたらす可能性を秘めています。 今回の提携の核心は、CohereのAIモデル群がAMDのGPU「Instinct」で動作可能になる点です。これは市場を独占するNvidia製GPUへの依存を減らす動きと言えるでしょう。さらに、AMD自身もCohereの顧客となり、自社内でAIモデルを活用します。CohereはNvidia製GPUのサポートも継続するとしています。 Cohereは2019年、生成AIブームの火付け役となった論文「Transformer」の共著者によって設立された有力企業です。しかし、OpenAI（企業価値5000億ドルとの報道）やAnthropic（同1830億ドル）といった競合に比べると、企業価値の規模では後塵を拝しているのが現状です。 Cohereは特に「AI主権」を重視する企業をターゲットにしています。これは、自社のデータやAIモデルを外部の事業者に委ねず、自国・自社内で管理したいというニーズに応える戦略です。今回のラウンドに国際的なネットワークを持つ投資家が新たに参加したことも、この戦略を裏付けています。

AIプラットフォームHugging Faceの共同創業者トーマス・ウルフ氏が、10月27日からサンフランシスコで開かれる「TechCrunch Disrupt 2025」に登壇します。AIステージに立ち、最先端のモデルをいかにオープンでアクセス可能にするか、その未来像を語ります。 AIの未来は巨大IT企業だけで決まるのでしょうか。ウルフ氏はオープンソースこそが次の技術革新を牽引すると主張します。創業者や開発者、投資家にとって、AIの進むべき方向と、オープン性がもたらすブレークスルーの可能性を理解する絶好の機会となるでしょう。 ウルフ氏はAI分野で最も重要な進歩の中心にいた人物です。Hugging Faceでは、現在のAIの基盤技術である「Transformers」ライブラリの立ち上げを主導。さらに、大規模言語モデル「BLOOM」を開発した国際研究プロジェクトも率いるなど、オープンサイエンスを推進してきました。 TechCrunch Disrupt 2025は、10月27日から29日まで、サンフランシスコのモスコーニ・ウェストで開催されます。1万人以上のスタートアップ創業者やベンチャーキャピタルのリーダーが集結し、AIの未来を形作るセッションやネットワーキングが予定されています。