トランスフォーマー（LLM技術）に関するニュース一覧

Palo AltoのスタートアップZyphraは2026年5月7日、オープンソースの推論特化型言語モデルZAYA1-8BをApache 2.0ライセンスで公開しました。総パラメータ数は約84億、活性パラメータはわずか7.6億という超効率設計で、AMD Instinct MI300 GPUのみで訓練された点が大きな特徴です。

ZAYA1-8Bは独自のMoE++アーキテクチャを採用しています。圧縮畳み込みアテンション（CCA）によりKVキャッシュを従来の8分の1に削減し、長文脈での推論効率を大幅に向上させました。さらにMLPベースのルーター設計やPID制御に着想を得た安定化手法など、Transformer基盤に根本的な改良を加えています。

最大の技術的突破は推論時の計算手法Markovian RSAです。複数の推論トレースを並列生成し、末尾部分のみを集約して再推論するという手法で、コンテキスト窓を溢れさせずに深い思考を実現します。これによりAIME '25で91.9%、HMMT '25数学で89.6%（Claude 4.5 Sonnetの79.2%を上回る）、LiveCodeBenchで69.2%（DeepSeek-R1-0528超え）という驚異的なスコアを記録しました。

事前学習段階から推論能力を組み込む「推論ファースト事前学習」も特徴的です。長い思考連鎖がコンテキストに収まらない場合、問題設定と最終回答を保持しつつ中間部分を刈り込むAnswer-Preserving Trimmingを開発し、問題と解答の関係を効率的に学習させています。

企業にとっての実用的意義は大きく、活性パラメータ760Mという軽量さはオンデバイス展開やエッジ推論を現実的にします。データ所在地の制約やAPI依存コストといった課題を解消し、高度な推論能力をローカル環境で利用可能にします。AMD GPUでの訓練成功は、Nvidia一強への有力な対抗軸が成立することを示しました。2025年にユニコーン評価を得たZyphraは、AMDやIBMの支援のもと「パラメータを増やす」以外のAI進化の道筋を示しています。

NVIDIAは2026年4月28日、マルチモーダルAIモデルNemotron 3 Nano Omniを公開しました。このモデルはテキスト・画像・動画・音声を単一のアーキテクチャで処理できるオムニモーダルモデルで、AIエージェントの構築を効率化することを目的としています。パラメータ規模は30B（アクティブ3B）で、従来のように複数モデルを組み合わせる必要がなくなります。

性能面では、文書理解のMMLongBench-DocやOCRBenchV2、動画理解のWorldSense、音声理解のVoiceBenchなど6つの主要ベンチマークでトップの精度を記録しています。同等の対話性能を持つオープンなオムニモデルと比較して、マルチドキュメント処理で7.4倍、動画処理で9.2倍のシステム効率を実現しました。

アーキテクチャの核となるのは、23層のMamba状態空間モデル、23層のMixture-of-Experts（128エキスパート、Top-6ルーティング）、6層のグループ化クエリアテンションを組み合わせたハイブリッド構成です。視覚側にはC-RADIOv4-Hエンコーダを採用し、動的解像度処理により100ページ超の文書やGUIスクリーンショットにも対応します。音声側にはParakeet-TDT-0.6B-v2エンコーダを搭載し、最大20分の音声入力をネイティブに処理できます。

想定される活用領域は、企業文書の分析、GUI操作を行うコンピュータ使用エージェント、長時間の動画・音声理解、自動音声認識、そして汎用的なマルチモーダル推論の5分野です。すでにH Company、Aible、Eka Care、Foxconnなどが採用を進めており、Dell Technologies、Oracle、Infosysなども評価段階にあります。

モデルはオープンウェイトで公開されており、BF16・FP8・NVFP4の各チェックポイントがHugging Faceからダウンロード可能です。訓練データや手法も公開されているため、NVIDIA NeMoを使った独自のカスタマイズが可能です。NVIDIA Jetsonのようなエッジデバイスからデータセンター、クラウドまで幅広い環境にデプロイでき、Nemotronファミリー全体では過去1年で5,000万回以上のダウンロードを達成しています。

Redisの研究チームが、RAGパイプラインにおける埋め込みモデルの精度チューニングが、汎用的な検索精度を最大40%低下させる可能性があることを明らかにしました。論文「Training for Compositional Sensitivity Reduces Dense Retrieval Generalization」は、構文的に類似しているが意味が異なる文を識別する訓練が、広範なトピックにわたる検索性能を著しく損なうことを実証しています。この問題は特にエージェント型AIパイプラインにおいて深刻で、検索エラーが下流の推論チェーン全体に連鎖的な誤りを引き起こします。

問題の根本は、埋め込みモデルが文全体を高次元空間の単一ベクトルに圧縮する仕組みにあります。「犬が人を噛んだ」と「人が犬を噛んだ」のように、単語が同じでも構造が異なる文は同じ近傍に配置されてしまいます。構文感度を高める訓練を行うと、モデルは汎用的な検索に使っていた表現空間を消費し、2つの目的が同一ベクトル上で競合します。

研究チームは、ハイブリッド検索、MaxSimリランキング、クロスエンコーダ、コンテキストメモリといった既存の代替手法をすべて検証しましたが、いずれも構造的な誤りの検出には不十分でした。キーワード検索は同じ単語を含む文の構造差を判別できず、MaxSimは関連性と同一性という異なる目的を混同します。クロスエンコーダは精度は高いものの、本番規模のクエリ量には耐えられません。

研究が検証した解決策は2段階アーキテクチャです。第1段階では従来通りの密ベクトル検索で候補を幅広く取得し、第2段階で小型の学習済みTransformerモデルがトークンレベルで構造的不一致を検出します。この検証器は、否定反転や役割逆転といった単一ベクトル方式が見逃す失敗パターンを、他のどの手法よりも確実に捕捉しました。

Redis AI研究リーダーのSrijith Rajamohan氏は、RAG自体は依然として有効なアーキテクチャだが、精度が求められるワークロードでは単一段階のパイプラインを本番対応と見なすべきではないと強調しています。2段階方式はレイテンシの増加を伴うため、法務・会計など精度重視の用途では完全検証を、汎用検索では軽量な検証を選択するというトレードオフの判断が求められます。この手法はRedisのLangCache製品への組み込みが計画されていますが、現時点では未提供です。

NASAはナンシー・グレース・ローマン宇宙望遠鏡を当初予定より8カ月早い2026年9月に打ち上げると発表しました。同望遠鏡は運用期間中に2万テラバイトものデータを天文学者に届ける見通しです。すでにジェイムズ・ウェッブ宇宙望遠鏡は毎日57ギガバイトの画像を送信しており、チリのヴェラ・C・ルービン天文台も年内に観測を開始して毎晩20テラバイトを生成する予定です。かつてのハッブル望遠鏡の日量1〜2ギガバイトとは桁違いの規模であり、天文学は本格的なビッグデータ時代に突入しています。

カリフォルニア大学サンタクルーズ校の天体物理学者ブラント・ロバートソン教授は、NVIDIAと15年にわたり協力してGPUを天文学に応用してきました。同教授の研究室が開発した深層学習モデル「Morpheus」は、自動運転車と同じ意味的分割手法を用いてピクセル単位で銀河を分類します。JWSTデータへの適用により、初期宇宙に存在するはずがないとされていた回転円盤銀河を多数発見し、宇宙の進化理論に新たな知見をもたらしました。この発見は当初懐疑的に受け止められましたが、その後独立した複数の研究で確認されています。

ロバートソン教授はMorpheusのアーキテクチャを畳み込みニューラルネットワークからTransformerに移行する作業を進めており、分析可能な領域が数倍に拡大する見込みです。また、NVIDIAのDLSSに概念的に近い手法を用い、宇宙望遠鏡のデータで訓練したモデルを地上望遠鏡の画像に適用することで、大気による歪みを除去して宇宙望遠鏡に近い鮮明さを実現しています。さらに大学院生が開発した「GalaxyFriends」というツールにより、約9万個の銀河を類似性に基づいて整理し、パターンの発見や異常検出を効率化しています。

一方で研究を支えるGPUインフラの確保は深刻な課題となっています。ロバートソン教授はNSFの助成金でサンタクルーズ校にGPUクラスタを構築しましたが、設備は陳腐化しつつあり、AI手法を使いたい研究者は増える一方です。さらにトランプ政権がNSF予算の50%削減を提案しており、研究基盤の維持が一層困難になる懸念があります。ロバートソン教授は「大学はリソースの制約からリスク回避的になる。研究者は起業家的に行動し、この分野の進む方向を示す必要がある」と述べています。

MIT発のスタートアップOpenProtein.AIは、AIを活用したタンパク質設計ツールをノーコードプラットフォームとして提供しています。共同創業者のTristan Bepler氏（MIT博士課程修了）とTim Lu氏（MIT元准教授）が立ち上げた同社は、機械学習の専門知識がない生物学者でもAIの最先端モデルを使えるようにすることを目指しています。

同社のプラットフォームは、直感的なWebインターフェースを通じてタンパク質工学の作業を実行できます。中核となる独自モデルPoET（Protein Evolutionary Transformer）は、進化的制約を学習してタンパク質配列群を生成し、再学習なしで新たな実験データを取り込むことが可能です。2025年にリリースされたPoET-2は、はるかに少ない計算資源とデータで大規模モデルを上回る性能を達成しました。

大手製薬企業Boehringer Ingelheimは2025年初頭から同プラットフォームを利用しており、がんや自己免疫疾患の治療用タンパク質設計に向けた協業を拡大しました。学術研究者には無料で提供されており、ラボの規模やリソースに関わらず最先端のAIツールへのアクセスを可能にしています。

今後は、タンパク質の結合イベントを超え、複数の生物学的メカニズムを同時に制御する動的タンパク質の予測・設計に取り組む方針です。Lu氏は「AI資源が一部に集中し、一般の研究者が使えなくなるリスクがある。オープンアクセスは科学の進歩に不可欠だ」と述べ、AI研究基盤の民主化の重要性を強調しました。

HuggingFaceは2026年4月16日、transformersライブラリのモデルをAppleのMLXフレームワーク（mlx-lm）に移植するためのSkillとテストハーネスを公開しました。このSkillはClaude Codeのエージェント機能を活用し、コントリビューターとレビュアーの双方を支援することを目的としています。transformersに新モデルが追加された際、速やかにMLXでも利用可能にすることを目指しています。

Skillは単なるコード生成ツールではなく、モデル移植に必要な一連の作業を体系化したものです。Hub上のモデル検索・ダウンロード、仮想環境構築、transformersのモデリングコード読解、MLX実装の作成、テスト実行までを一貫して行います。RoPE設定のバグやfloat32精度汚染といった、経験豊富な開発者でなければ気づきにくい問題も自動的に検出します。

品質担保のために、Skillとは別に非エージェント型のテストハーネスも開発されました。LLMの幻覚や過信に依存しない再現可能な検証を提供し、結果はサマリーレポート、モデルごとの詳細、生のJSON出力として保存されます。ただしこのハーネスはCIゲートではなく、最終的な判断はレビュアーとコントリビューターに委ねられます。

ブログではコードエージェント時代のオープンソース貢献の在り方についても問題提起しています。transformersのようなライブラリでは暗黙の設計契約が重要であり、エージェント生成のPRがレビュアーの負担を増大させている現状を指摘しました。今後はビジョン言語モデル向けのmlx-vlmやllama.cppへの対応拡張、テストハーネスの自動化が検討されています。

Hugging Faceは2026年4月16日、Sentence Transformersライブラリでマルチモーダル埋め込みモデルとリランカーモデルを学習・微調整する方法を解説するブログ記事を公開しました。テキストだけでなく画像・音声・動画を扱えるモデルの学習が、既存のテキスト専用パイプラインとほぼ同じコードで実現できます。

実践例として、Qwen3-VL-Embedding-2Bを視覚文書検索タスクで微調整する手順が紹介されています。テキストクエリに対して関連するドキュメントのスクリーンショットを検索するタスクで、微調整後のモデルはNDCG@10を0.888から0.947に改善しました。これは8Bパラメータの大型モデルを含む既存のすべてのモデルを上回る成績です。

学習にはCachedMultipleNegativesRankingLossとMatryoshkaLossを組み合わせて使用します。前者は勾配キャッシュにより限られたGPUメモリでも大きな実効バッチサイズを確保でき、後者は埋め込みベクトルを任意の次元数に切り詰めても高い性能を維持できるよう訓練します。512次元への圧縮でもピーク性能の99.7%を保持するという結果が示されています。

さらに、マルチモーダルなクロスエンコーダ（リランカー）モデルの学習方法も紹介されています。画像からテキスト、テキストから画像の双方向の照合を1つのモデルで学習する手法が示されており、Routerモジュールを使った別々のエンコーダの組み合わせにも対応しています。ドメイン固有データでの微調整がモデルサイズの拡大よりも効果的であることを実証した、実践的なガイドとなっています。

米マサチューセッツ工科大学（MIT）CSAILなどの研究チームは2026年4月9日、AIモデルを学習しながら同時に圧縮する新手法「CompreSSM」を発表しました。従来は大型モデルを訓練後に枝刈りするか、小型モデルを最初から訓練するかの二択で性能と効率のトレードオフが避けられませんでしたが、この手法は訓練の途中で不要な内部次元を切り落とすことで両立を実現します。状態空間モデル（SSM）を対象に、言語処理から音声生成、ロボティクスまで幅広い応用が視野に入ります。

鍵となるのは、制御理論由来のハンケル特異値という数学的指標です。研究チームは各内部状態がモデル全体の挙動にどれだけ寄与するかを測定し、訓練のわずか約10%の段階で重要度ランキングが安定することを発見しました。その後は不要な次元を外科的に除去し、残り90%の訓練を大幅に軽量化されたモデルで進めることが可能になります。

ベンチマークの結果は顕著です。画像分類タスクでは、圧縮モデルがフルサイズと同等の精度を保ちながら訓練速度を最大1.5倍に引き上げました。広く使われる状態空間アーキテクチャ「Mamba」では128次元モデルを約12次元まで圧縮し、約4倍の訓練高速化を達成しています。CIFAR-10では4分の1サイズで85.7%の精度を記録し、同サイズをゼロから学習した場合の81.8%を上回りました。

既存手法と比べた優位性も明確です。訓練後に削る従来の枝刈りや、教師モデルと生徒モデルを二重に訓練する知識蒸留と異なり、CompreSSMは訓練中に情報を基に判断するためコスト増を避けられます。スペクトル正則化手法と比較しても40倍以上高速で、精度も上回ったといいます。

一方で制約もあります。この手法は内部状態の次元と性能の相関が強いモデルで最も効果を発揮し、単入力単出力の構造では恩恵が限定的です。理論は線形時不変系に最も適合しますが、チームはMambaのような時変系への拡張も進めています。論文はICLR2026で発表予定で、将来的には線形注意機構やトランスフォーマー系への応用も視野に入れています。

Hugging Faceは4月9日、オープンソースの埋め込みライブラリSentence Transformers v5.4を公開し、テキストに限定されてきた埋め込みとリランキングの機能を画像・音声・動画にまで拡張しました。開発者は従来と同じAPIを使いながら、モダリティをまたいだベクトル検索やRAGパイプラインを構築できるようになります。視覚的な文書検索やクロスモーダル検索といった新しい用途を、少ないコード変更で取り込める点が最大の特徴です。

中核となるのは、異なるモダリティの入力を共有埋め込み空間に写像する多モーダル埋め込みモデルです。テキストクエリと画像文書を直接比較でき、同じsimilarity関数で関連度を評価できます。ブログの例では「黄色い建物前に駐車された緑の車」というテキストが、該当する車の画像に対して最も高い類似度を示し、ハードネガティブの誤マッチが抑えられることが示されました。

リランカー（CrossEncoder）も多モーダル化され、テキスト・画像・動画を組み合わせたペアにスコアを付与できます。エンベディングで高速に候補を絞り込み、リランカーで精度を高めるという2段構えの検索パターンが、マルチモーダル文脈でも標準化されました。rank()やpredict()は従来と同じインターフェースのまま、複合入力を受け付けます。

対応モデルにはQwen3-VL-Embedding-2B/8B、NVIDIA llama-nemotron-embed-vl、jinaai/jina-reranker-m0などが含まれ、統合コレクションから即座に利用できます。2BクラスはVRAM約8GB、8Bクラスは約20GBを必要とし、CPUでは推論が著しく遅いためGPU環境の利用が推奨されています。

設定面では画像解像度や精度を制御するprocessor_kwargsとmodel_kwargsが用意され、従来のtokenizer_kwargsは非推奨となりました。経営層やエンジニアにとって、社内ドキュメントのスクリーンショットや動画アーカイブを横断検索する基盤を、既存の知識資産を活かしたまま整備できる点が実務的な価値です。

UAE・技術革新研究所（TII）のFalconチームは2026年4月1日、画像認識・セグメンテーション・OCRを単一のTransformerで処理するオープンソースモデル「Falcon Perception」を公開しました。パラメータ数はわずか6億で、従来のパイプライン型システムに代わる統合的なアプローチを提案しています。

Falcon Perceptionの最大の特徴は、画像パッチとテキストトークンを最初の層から同一のパラメータ空間で処理する「早期融合」アーキテクチャです。画像トークンには双方向注意、テキストトークンには因果的注意を適用するハイブリッドマスクにより、1つのモデルで視覚エンコーダとテキストデコーダの両方の役割を果たします。

オープン語彙セグメンテーションベンチマークSA-Coでは、Macro-F1で68.0を達成し、Meta社のSAM 3の62.3を上回りました。特に属性認識で+8.2、食品・飲料カテゴリで+12.2と大きな差をつけています。一方、存在判定の精度（MCC 0.64対0.82）ではSAM 3に及ばず、今後の改善課題として示されています。

同時に発表されたFalcon OCRは0.3Bパラメータの文書認識モデルです。olmOCRベンチマークで80.3点、OmniDocBenchで88.6点を記録し、DeepSeek OCR v2やGPT 5.2を上回る性能を示しました。オープンソースOCRモデルとして最高のスループットを実現し、vLLM統合によりA100上で毎秒2.9画像を処理できます。

チームは性能評価のため、能力別に分類した診断ベンチマーク「PBench」も公開しました。単純な物体認識（L0）から関係推論（L4）まで5段階に分かれ、Falcon Perceptionは空間理解でSAM 3に+21.9点、OCR識別で+13.4点と、プロンプトが複雑になるほど差が拡大する結果となっています。

学習には5400万枚の画像と1億9500万の正例表現、4億8800万のハードネガティブを使用しました。3段階の学習レシピにより、シーン理解からタスク特化、高密度シーン対応へと段階的に能力を獲得させています。モデルとコードはHugging Faceで公開されており、Apple Silicon向けのMLX統合やDockerサーバーも提供されています。

清華大学とZ.aiの研究チームは、スパース注意機構の冗長計算を最大75%削減する新技術IndexCacheを発表しました。20万トークンの長文コンテキストにおいて、最初のトークン生成までの時間を最大1.82倍、生成スループットを1.48倍高速化する成果を示しています。

大規模言語モデルの自己注意機構は、文脈長に対して二乗の計算量が必要となり、長文処理のボトルネックとなっていました。DeepSeek Sparse Attention（DSA）はコア注意の計算量を線形に削減しましたが、各層のインデクサモジュール自体が依然として二乗計算を行っており、長文になるほど処理時間が急増する問題が残っていました。

研究チームは、DSAモデルにおいて隣接するトランスフォーマー層間でインデクサが選択するトークンの70〜100%が共通であることを発見しました。この冗長性を活用し、少数の「F層」でのみインデクサを実行して結果をキャッシュし、残りの「S層」ではキャッシュを再利用する手法を開発しました。

GLM-4.7 Flash（300億パラメータ）での実験では、75%のインデクサを削除してもプリフィル遅延が19.5秒から10.7秒に短縮されました。推論品質も維持され、長文ベンチマークでは原版とほぼ同等のスコアを記録しています。7440億パラメータのGLM-5でも10万トークン超で1.3倍以上の高速化が確認されました。

企業導入においては、RAGや文書分析、エージェントパイプラインなどの長文処理で約20%のコスト削減が見込まれます。vLLMやSGLang向けのオープンソースパッチがGitHubで公開されており、既存の推論基盤に最小限の設定変更で統合可能です。研究チームは、将来のモデル設計において推論効率が設計段階から考慮される方向性を示唆しています。

Mistral AIは2026年3月26日、企業向けテキスト音声合成モデル「Voxtral TTS」をオープンウェイトで公開しました。パリ拠点の同社は、競合他社がAPIベースの従量課金モデルを採用する中、モデルの重みを無償提供し、企業が自社サーバーやスマートフォン上で自由に運用できる方針を打ち出しています。

技術面では、34億パラメータのTransformerデコーダ、3.9億パラメータのフローマッチング音響変換器、3億パラメータの自社開発ニューラルオーディオコーデックの3層構造を採用しています。初音声までの遅延はわずか90ミリ秒で、リアルタイムの約6倍速で音声を生成します。量子化すれば約3GBのRAMで動作し、旧型ハードウェアでもリアルタイム処理が可能です。

同社の人間評価では、ElevenLabs Flash v2.5に対して62.8%、音声カスタマイズでは69.9%の選好率を達成しました。わずか5秒の参照音声で声質を複製でき、ゼロショットの多言語クロスリンガル音声適応も実現しています。9言語に対応し、話者のアクセントや声質を保持したまま言語を切り替えられるため、多国籍企業の顧客対応や社内コミュニケーションに大きな可能性があります。

この公開は、Mistralが過去1年で構築してきた企業向けAIフルスタック戦略の集大成です。音声認識モデル「Voxtral Transcribe」、カスタマイズ基盤「Forge」、本番運用基盤「AI Studio」と組み合わせることで、外部プロバイダーに依存しない音声エージェントパイプラインが完成します。CEOのArthur Mensch氏は年間売上10億ドル超の見通しを示しています。

同社科学担当副社長のPierre Stock氏は、音声データには感情やアイデンティティが含まれ、金融・医療・政府機関にとって第三者APIへの送信はコンプライアンス上のリスクだと指摘しました。欧州ではデジタルサービスの80%以上を米国企業に依存しており、Mistralはデータ主権を重視する欧州企業の受け皿として、今後は完全エンドツーエンドの音声AIモデルへの進化を目指すとしています。

a16z（アンドリーセン・ホロウィッツ）は、自社ポッドキャスト「The a16z Show」でAIが産業・国防・医療・消費者市場に与える影響を多角的に取り上げる特集シリーズを一斉公開しました。投資家・起業家・政府関係者が登壇し、各分野の最前線を語っています。

AtlassianのCEOマイク・キャノンブルックスは、SaaS企業の株価急落について「すべてのソフトウェア企業が同じAIリスクに直面しているわけではない」と指摘しました。記録型からプロセス型へのシフトと、エンタープライズワークフローにおけるAIエージェントの信頼構築が鍵だと述べています。

消費者AI市場では、ChatGPTがウェブ利用でClaudeの30倍の規模を維持していることが判明しました。a16zのオリビア・ムーアは、3大プラットフォームがそれぞれ異なるユーザー層に特化しつつあり、メモリ機能が最も過小評価されている機能だと分析しています。

国防分野では、エミール・マイケル国防次官が技術優先分野を14から6に絞り込み、応用AIを第1位に据えたことを明かしました。前政権下で締結された商用AI契約がベンダーロック危機を生み、現役の軍事作戦にリスクをもたらしていた経緯も初めて詳細に語られています。

AGI研究に関しては、コロンビア大学のヴィシャル・ミスラがトランスフォーマーの内部動作を数学的に解明した最新研究を紹介しました。LLMはパターンマッチングに留まっており、AGI到達には訓練後も学習を続ける能力と因果関係の理解が不可欠だと指摘しています。

Microsoft ResearchのDoug Burger氏が新ポッドキャスト「The Shape of Things to Come」を開始し、第1回では同社研究員のNicolò Fusi氏とNumentaのSubutai Ahmad氏を招き、現在のAIシステムが本当に知的かを議論しました。

トランスフォーマーの仕組みについてFusi氏は、注意層がトークン間の関係性を把握し、フィードフォワード層が知識を格納する二層構造だと説明しました。さらにLLMを情報理論的な無損失圧縮器と捉える見方を示し、より良い生成モデルの構築は最適な圧縮器の探索と等価であると主張しました。

Ahmad氏は脳の千脳理論を解説し、大脳新皮質には約10万個の皮質コラムが存在し、それぞれが独立した感覚運動処理システムとして完全な世界モデルを構築していると述べました。成体マウスの研究では4日ごとにシナプスの30%が入れ替わることが判明しており、脳は投機的に新しい接続を形成し不要なものを刈り込む継続学習を行っています。

効率性の面では、脳はわずか約12ワットで70兆のシナプスを動かしている一方、同規模のパラメータを持つモデルをGPUで動かすとメガワット級の電力が必要になるとAhmad氏は指摘しました。ニューロンの活動は常時わずか1%で、接続も1%しか使われておらず、極めてスパースな表現が省エネの鍵となっています。

Fusi氏はLLMを「既に知的だが凸凹な知能」と評価する一方、Ahmad氏は3歳児が持つ好奇心と継続学習能力がLLMには欠けていると反論しました。Burger氏は小型の「デジタル皮質コラム」を大量に配置し感覚運動ループで結合する構想を提示し、Ahmad氏はそれこそが超知能システム構築の道筋だが、現在のアプローチとは根本的に異なると結論づけました。

AmazonがFire Phone撤退から10年以上を経て、Alexa+AIアシスタントを中核に据えた新型スマートフォンの開発を進めていることが、Reutersの報道で明らかになりました。コードネーム「Transformer」と呼ばれる同端末は、社内のZeroOneグループが開発を主導しています。

開発チームを率いるのは、MicrosoftでZuneやXboxを手がけたJ・アラード氏です。チームはスマートフォンと「ダムフォン」の両方のデザインを検討しており、白黒ディスプレイとアプリストア非搭載が特徴のミニマリスト端末Light Phoneからインスピレーションを得ているとされます。

2014年に発売された初代Fire Phoneはアプリ不足と低調な売上により1年で撤退に追い込まれました。今回はChatGPTのようなミニアプリ方式を採用し、従来型アプリストアへの依存を回避する戦略が検討されています。AIが生成するUIにより、アプリそのものが不要になる可能性も示唆されています。

市場アナリストからは厳しい見方も出ています。IDCのジェロニモ副社長は「ハードウェアでAppleやSamsungに対抗するのは不可能」と指摘し、メモリ危機や関税による製造コスト上昇も懸念材料に挙げました。一方で、Alexa+を搭載した常時携帯型のコンパニオンデバイスとしての可能性には一定の評価を示しています。

プライバシー面では、Amazonがデジタル権利ランキングで下位に位置し、Alexa音声データの広告利用が過去に指摘されている点が大きな課題です。専門家は、スマートフォン参入によりデータ収集の規模が飛躍的に拡大し、広告事業強化の手段となる可能性を警告しています。発売時期や価格は未定で、計画自体が中止される可能性も残されています。

カーネギーメロン大学のAlbert Gu氏とプリンストン大学のTri Dao氏らの研究チームが、新たなAIアーキテクチャ「Mamba 3」をApache 2.0ライセンスのオープンソースとして公開しました。Transformer対比で約4%の言語モデリング性能向上を達成しています。

Mamba 3は状態空間モデル（SSM）の最新版で、従来のTransformerが抱える二次計算量と線形メモリ要求の課題を解決します。前世代のMamba 2が学習速度の最適化に注力したのに対し、Mamba 3は「推論ファースト」の設計哲学を採用し、GPUの遊休時間を最小化する構造となっています。

技術面では3つの革新が柱です。第一に指数台形離散化により2次精度の近似を実現。第二に複素数値SSMと「RoPEトリック」で、従来不可能だったパリティ判定などの論理推論タスクを解決。第三にMIMO方式により演算強度を最大4倍に引き上げ、メモリ律速の推論フェーズでもGPUの計算コアをフル活用します。

企業にとっての最大の利点は総保有コストの削減です。15億パラメータ規模でベンチマーク平均精度57.6%を達成し、Transformerを2.2ポイント上回りました。状態サイズを半減しながら同等の予測品質を維持するため、同一ハードウェアで推論スループットが実質2倍になります。リアルタイムエージェントや長文コンテキスト処理に特に有効です。

ただし課題も残ります。Transformerエコシステムの成熟度には及ばず、量子化では標準的な4ビット手法で精度が大幅低下する問題があります。またインコンテキスト学習ではAttention機構に劣る面もあり、業界はNvidiaのNemotron-3のようなMambaとAttentionを組み合わせたハイブリッドアーキテクチャへ収束しつつあります。

NVIDIAは2026年3月17日、40億パラメータの軽量言語モデル「Nemotron 3 Nano 4B」をオープンソースで公開しました。Mamba-Transformer混合アーキテクチャを採用し、エッジデバイスでの高効率な推論を実現するモデルです。

同モデルはJetson ThorやJetson Orin Nano、DGX Spark、RTX GPUなど幅広いNVIDIAプラットフォームで動作します。低VRAM環境でも高速な応答が可能で、データプライバシーの確保と柔軟なデプロイを両立しています。

開発にはNemotron Elasticフレームワークが用いられ、9Bパラメータの親モデルから構造化プルーニングと知識蒸留により4Bモデルへ圧縮されました。ルーターが自動的に最適な枝刈り構成を決定し、従来手法より低コストで高精度なモデルを実現しています。

学習では教師あり微調整に続き、指示追従とツール呼び出しに特化した3段階の強化学習パイプラインを適用しました。推論時の思考なしでもタスク解決に優れ、ハルシネーション回避性能も高い水準を達成しています。

量子化ではFP8版で最大1.8倍のレイテンシ改善を達成し、Q4_K_M GGUF版はJetson Orin Nano 8GBで毎秒18トークンを出力します。Transformers、vLLM、TRT-LLM、Llama.cppなど主要推論エンジンに対応し、Hugging Faceで公開中です。

H Companyは2026年3月17日、NVIDIAのNemotron-Nano-2 VLモデルをベースにしたマルチモーダルコンピュータ操作エージェントモデル「Holotron-12B」をHugging Faceで公開しました。本モデルは画面認識・操作に特化し、量産環境での高スループット推論を目指して開発されたものです。

Holotron-12Bの推論効率を支えるのは、状態空間モデル（SSM）とアテンション機構のハイブリッドアーキテクチャです。従来のTransformerが抱える二次計算コストを回避し、長いコンテキストや複数画像を含むエージェント的ワークロードで優れたスケーラビリティを実現しています。

ベンチマーク評価では、WebVoyagerスコアがベースモデルの35.1%から80.5%へと大幅に向上しました。H100 GPU1枚でvLLMを使用した実験では、同時接続100の条件下で8.9kトークン/秒のスループットを記録し、前モデルHolo2-8Bの5.1kトークン/秒を大きく上回りました。

学習は2段階で実施されました。NVIDIAのNemotron-Nano-12B-v2-VLを起点に、H Company独自の画面理解・ナビゲーションデータで教師あり微調整を行い、約140億トークンで最終チェックポイントを構築しています。ライセンスはNVIDIA Open Model Licenseで公開されています。

今後の展開として、NVIDIAが同日発表したNemotron 3 Omniをベースとした次世代モデルの開発も予告されました。SSM-AttentionとMoEアーキテクチャを活用し、企業向けの大規模自律型コンピュータ操作への展開を目指すとしています。

Google DeepMindは、アフリカの次世代技術者を対象とした高度AI教育プログラム「AI Research Foundations」の拡充を発表しました。University College Londonの教育専門家と共同開発された本カリキュラムは、Google Skillsプラットフォームで無償提供されます。

本プログラムはAIリテラシーの入門にとどまらず、生成言語モデルやTransformerを実際に構築・ファインチューニングする実践的内容を提供します。受講者は言語モデルをゼロから構築する経験を通じ、最先端AI研究に必要な基盤スキルを習得できます。

アフリカは世界人口の約20%を占めるにもかかわらず、AI研究への貢献はわずか1.8%にとどまっています。この格差を埋めるため、アフリカ数理科学研究所（AIMS）の専門家と協力し、大陸固有の研究ユースケースを取り入れたローカライズを実施しました。

Google.orgはFATE Foundationに400万ドルの資金を提供し、AIMSとの連携でオンラインカリキュラムをアフリカの教室に展開します。専門の講師ツールキットや「トレイン・ザ・トレーナー」プログラムにより、現地教育者の指導力強化を図ります。

本取り組みは責任あるイノベーションの原則に基づき設計されており、アフリカの研究者が自らのコミュニティにとって重要な課題にAIを活用できるよう支援します。カリキュラムはアフリカ向けに最適化されていますが、世界中の学習者が無償でアクセス可能です。

DataRobotは2026年3月、NVIDIAと共同開発したAgent Workforce Platformにおいて、大規模言語モデル「Nemotron 3 Super」のワンクリック展開機能を発表しました。企業がAIエージェントを本番環境で安全に運用するための統合基盤を提供します。

Nemotron 3 Superは1200億パラメータのハイブリッドMamba-Transformerモデルで、100万トークンのコンテキストウィンドウを備えています。DataRobotのプラットフォームでは、GPU構成の自動推奨、監視・アクセス制御の即時有効化、チーム別クォータ管理が標準で組み込まれており、展開直後から運用可能な状態になります。

コスト管理面では、思考予算の調整により同一モデルで精度とコストのトレードオフを制御できます。金融推論ベンチマークでは、最高設定で約86%の精度に対し、最低設定でも約74%を維持しつつトークン消費を14分の1に抑えられることが実証されました。

ガバナンス面では、Oktaとの統合により、AIエージェントを企業ディレクトリ上の独立したIDとして管理する仕組みを実現しました。従来の共有APIキーによる認証では、非決定的なエージェントの行動追跡や即時無効化が困難でしたが、ID基盤型ガバナンスにより人間と同一の管理体系でエージェントを統制できます。

ハードウェア面では、NVIDIA RTX PRO 4500をDataRobotプラットフォームの推論エンジンとして技術検証済みであることを発表しました。32GBのGDDR7メモリとBlackwellアーキテクチャを搭載し、リアルタイム物流最適化やRAGパイプラインなど、エージェント型ワークロードに最適化された性能を提供します。

NVIDIAは2026年3月11日、エージェントAI向け新モデル「Nemotron 3 Super」を公開しました。1200億パラメータのうち推論時に稼働するのは120億のみで、前世代比最大5倍のスループットと2倍の精度向上を実現しています。

本モデルはMamba-2層とTransformer層を組み合わせたハイブリッド構造を採用しています。Mamba層が線形計算量で高速処理を担い、Transformer層が高精度な情報検索を補完することで、100万トークンのコンテキストウィンドウを効率的に実現しました。

新技術「Latent MoE」は、トークンを圧縮空間に射影してからエキスパートに振り分けることで、同じ計算コストで4倍の専門家を活用できます。さらにマルチトークン予測により推論速度を最大3倍に高速化しています。

Blackwell GPUプラットフォームではNVFP4精度で動作し、Hopper世代のFP8比で最大4倍高速な推論を精度損失なく達成しました。DeepResearch Benchのリーダーボードでは1位を獲得しています。

Perplexity、CodeRabbit、Greptileなどの企業が即日統合を開始し、Siemens、Palantir、Cadenceなどの大手企業も製造・サイバーセキュリティ分野での活用を進めています。モデルはオープンウェイトで公開され、10兆トークン超の学習データとレシピも併せて提供されました。

Google Cloud、Oracle Cloud、AWS、Azureなど主要クラウドに加え、Dell AI FactoryやHPEによるオンプレミス展開にも対応します。NVIDIA NIMマイクロサービスとしてパッケージ化されており、企業は柔軟な環境で商用利用が可能です。

IBMは2026年3月9日、エッジデバイス向け音声言語モデル「Granite 4.0 1B Speech」をHugging Faceで公開した。多言語音声認識（ASR）と双方向音声翻訳（AST）に対応し、英語・仏語・独語・西語・葡語・日本語の6言語をサポートする。

前世代モデル「granite-speech-3.3-2b」と比べてパラメータ数を半分の約10億に削減しながら、英語転写の単語誤り率（WER）は改善した。投機的デコードの採用により推論速度も向上しており、リソースが限られたデバイスでの実用展開を想定した設計となっている。

今回の新機能として、日本語ASRサポートとキーワードバイアシングが追加された。キーワードバイアシングは固有名詞や略語の認識精度を高める機能で、コミュニティから要望の多かった機能を優先実装している。

性能面では、Hugging Faceが運営するOpenASRリーダーボードで1位を獲得。複数の標準ベンチマークにおいて、はるかにパラメータ数の多いモデルと同等以上の精度を達成しており、小規模モデルとしての競争力を示した。

モデルはApache 2.0ライセンスで公開され、transformersおよびvLLMでネイティブサポートされる。本番環境ではリスク検出のためにGranite Guardianとの組み合わせが推奨されており、アーキテクチャ詳細や学習データはモデルカードで確認できる。

Hugging Faceは2026年3月にオープンソースロボット学習フレームワーク「LeRobot」のv0.5.0をリリースした。同バージョンでは初のヒューマノイドロボット対応や6つの新ポリシー追加、データパイプラインの大幅な高速化など、あらゆる次元でのスケールアップが実現されています。

最大のハードウェア追加はUnitree G1ヒューマノイドの全面サポートです。歩行・ナビゲーション・物体操作・遠隔操作に加え、全身協調制御（WBC）により移動と操作を同時実行できる。これはLeRobotが卓上アームを超えた汎用ロボティクスへ踏み出す重要な一歩となっています。

ポリシー面ではPi0-FASTが注目されます。Gemma 300Mベースの自己回帰型アクションエキスパートを採用し、FASToトークン化によって離散化されたアクション列を生成します。また推論技術のReal-Time Chunking（RTC）は、フローマッチングポリシーの応答性を劇的に改善し、実世界デプロイでのレイテンシ問題を解消します。

データセットパイプラインではストリーミングビデオエンコーディングの導入により、エピソード記録後のエンコード待ち時間がゼロになりました。さらに画像学習が最大10倍、エンコードが3倍高速化されており、データ収集からモデル訓練までのサイクルが大幅に短縮されています。

コードベース面ではPython 3.12+とTransformers v5への移行が完了し、サードパーティポリシープラグインシステムの導入でエコシステムの拡張性が向上しました。EnvHubとNVIDIA IsaacLab-Arenaの統合により、シミュレーション環境の共有・活用も容易になっています。同論文はICLR 2026にも採択されており、学術コミュニティからの評価も高まっています。

Photoroomは2026年3月3日、テキストから画像を生成する拡散モデルを24時間・約1500ドル（約22万円）の計算予算で訓練する手法「PRX Part 3」を公開しました。H200 GPU 32台を使用し、コードもGitHubでオープンソース化しています。

最大の特徴はピクセル空間での直接訓練です。従来必要だったVAE（変分オートエンコーダ）を排除し、パッチサイズ32と256次元のボトルネック層で系列長を制御します。512pxで訓練を開始し、1024pxへファインチューニングする2段階方式を採用しています。

品質向上のため知覚損失を2種類導入しています。LPIPSは低レベルの知覚的類似性を、DINOv2ベースの損失は意味的な信号を捉えます。プール済み画像全体に適用し、全ノイズレベルで計算する独自の工夫が加えられています。

計算効率の面ではTREADによるトークンルーティングを採用し、50%のトークンをTransformerブロックの大部分でスキップさせます。またREPAでDINOv3教師モデルとの表現整合を行い、収束を加速させています。オプティマイザにはMuonを使用しAdamを上回る性能を確認しています。

訓練データは合成データセット3種（計約870万枚）を使用し、Gemini 1.5でキャプションを再生成しています。生成品質にはまだ改善余地があるものの、プロンプト追従性や美的一貫性は高く、構造的な欠陥ではなくデータ多様性の不足が主な課題と分析しています。

Alibaba傘下のQwenチームは2026年3月、小型オープンソースモデル「Qwen3.5 Small Model Series」を公開しました。0.8B、2B、4B、9Bの4モデルで構成され、Apache 2.0ライセンスのもとHugging FaceとModelScopeで即日提供が開始されています。

最大の注目点はQwen3.5-9Bの性能です。GPQAベンチマークで81.7を記録し、13.5倍の規模を持つOpenAIのgpt-oss-120B（80.1）を上回りました。MMMU-Proでも70.1を達成し、Gemini 2.5 Flash-Liteの59.7を大幅に超えています。

技術面では従来のTransformerアーキテクチャから脱却し、Gated Delta NetworksとスパースMixture-of-Expertsを組み合わせたハイブリッド構造を採用しています。これにより推論時のスループット向上と低レイテンシを実現し、小型モデルの「メモリの壁」問題を解消しています。

開発者コミュニティからは強い関心が寄せられています。「M1 MacBook Airで無料で動く」との報告や、ブラウザ上での動画解析が可能との検証結果が共有されました。Baseモデルも同時公開され、企業独自のファインチューニングが容易になった点も高く評価されています。

企業活用の観点では、エッジデバイス上でのUI自動操作、文書解析、コードリファクタリング、モバイルでのオフライン動画要約など幅広い用途が想定されます。クラウドAPIへの依存を減らしコスト削減とデータ主権の確保を両立できる点が、企業導入の大きな推進力となりそうです。

Hugging FaceのブログがTransformerにおけるMixture of Experts（MoE）アーキテクチャを詳細解説しました。MoEは複数の「専門家」ネットワークを持ち、入力に応じて最適な専門家を選択して処理する仕組みです。

MoEはDeepSeekやMistralなど最新の高効率LLMが採用している主流アーキテクチャで、同等の品質をより低い計算コストで実現します。エンジニアがAIシステムを設計・選択する際の必須知識です。

TechCrunchはAIの研究に特化した新興ラボ「Flapping Airplanes」の創業者にインタビューし、その研究哲学を紹介しました。同ラボは「本当にラジカルに異なるアプローチを試みたい」という姿勢を前面に出しています。

創業チームは若く好奇心旺盛であり、大手AIラボのような製品ロードマップや四半期ターゲットよりも基礎研究の自由度を重視していると語っています。

2025〜2026年にかけて、Safe Superintelligence、Karpathy AI、Flapping Airplanesなど多くの研究重点型新興ラボが設立されており、フロンティアAI研究が大企業独占から多極化する兆候が見られます。

同ラボは具体的な研究内容を公開していませんが、現在主流のTransformerアーキテクチャの根本的代替や、エージェント自律性の新しいアプローチを模索しているとみられています。

「収益化より探求」という姿勢が持続可能かどうかは不明ですが、資金調達環境が豊富な現在においては、研究先行型ラボが次のブレークスルーを生む可能性は十分あります。

Differential Transformer V2が発表されました。この研究は差分アテンション機構の第2世代として、従来のTransformerよりも効率的かつ精度の高いアテンション計算を実現します。

差分アテンションは2つのアテンション出力の差分を取ることでノイズを除去する仕組みです。V2ではこの機構がさらに洗練され、長文脈での精度が大幅に向上しています。

RAG(検索拡張生成)や長文書の要約・分析など、実用的なユースケースでの性能向上が期待されます。計算コストも改善されており、実装上の魅力があります。

LLMのアーキテクチャ研究は競争が激しく、このようなアテンション効率化の成果は次世代モデル開発に直接影響します。

Meta AIの研究責任者Yann LeCunはFinancial Timesのインタビューで、「知能の本質は学習にある、記憶にあるのではない」という持論を展開しました。現在主流のLLMは次のトークンを予測することで動作するが、これは人間の学習・理解とは根本的に異なると主張しています。

LeCunはWorld Modelと呼ばれる概念を強調しており、真の知能は世界の仕組みを内部的にモデル化し、その理解に基づいて行動計画を立てる能力を必要とすると言います。感覚と行動を通じた学習がAGI達成の鍵であるという独自のビジョンを持続的に発信しています。

LeCunの見解は業界において常に論争を引き起こしますが、LLM中心のアプローチへの挑戦として、ロボティクス・世界モデル・継続学習の研究コミュニティから支持を得ています。AGIへの複数のアプローチが並行して研究される2026年のAI研究の多様性を象徴する発言です。

Nvidiaは今年のCES 2026で複数の重要発表を行いました。DLSS 4.5は新しい動的マルチフレーム生成技術と6倍マルチフレームモードを導入し、ゲームのフレームレートと画質を同時に向上させます。第2世代のトランスフォーマーモデルを採用し、従来のCNNベースのDLSSから大きく進化しています。

GeForce NOWはLinux PCとAmazon Fire TVへの対応を新たに追加し、クラウドゲーミングのアクセス可能なデバイスを拡大しました。またRTX AI動画生成では、LTX-2モデルとComfyUIの連携により、PC上での4K品質の動画生成が可能になっています。

SiemensのEDAツールとNvidiaのGPUを組み合わせる提携は、半導体設計の電子シミュレーションを劇的に高速化することを目指しています。AIチップの需要拡大とともに、設計ツールの高速化が業界全体の競争力に直結する重要な取り組みです。

UAE・アブダビに拠点を置くTechnology Innovation Institute（TII）が発表したFalcon H1R 7Bは、わずか70億パラメータながら50B〜70Bクラスのモデルに匹敵する推論性能を達成した。この成果は「より大きなモデルがより賢い」という業界の常識を根本から覆す可能性を持つ。

性能の源泉はハイブリッドアーキテクチャにある。従来のTransformerとは異なる設計により、パラメータ当たりの情報密度が飛躍的に向上している。具体的な技術的詳細はまだ限定的に公開されているが、Mamba-Transformerの混合型に近い設計と見られている。

同時に発表されたFalcon-H1-Arabicは、アラビア語AIの能力向上に特化したモデルで、中東・北アフリカ地域での言語的AIアクセスの不均衡是正を目指している。英語中心のAI発展に対するバランスとして重要な取り組みだ。

実用上の意味は大きい。推論コストは概ねモデルサイズに比例するため、7Bモデルで70Bの性能が得られれば約10分の1のコストでサービスを運用できる。エッジデバイスへのデプロイも実用的な選択肢となり、オフラインAI処理の可能性が広がる。

小型高性能モデルの競争は、Microsoft Phi・Google Gemma・Meta Llama-3・Mistralなど複数の有力モデルが参戦しており、エッジAI時代の主役を巡る争いが激化している。Falcon H1Rの登場はこの競争にさらなる刺激を加えるものだ。

GoogleはGemmaモデルの新バリアント「FunctionGemma」を公開しました。エッジデバイス上でのカスタム関数呼び出しに特化した軽量設計で、オフライン環境での活用が広がります。

「T5Gemma 2」はGemma 3基盤のエンコーダー・デコーダーモデルで、マルチモーダル処理と長文脈への対応を初めて実現しており、文書分類や翻訳タスクでの活用が期待されています。

MITのCSAIL研究チームは、これまで学習不適とされてきたニューラルネットワークも短期間のガイダンスで効果的に学習できることを実験的に実証し、従来の通説を覆しました。

Hugging FaceはTransformers v5でトークナイザーの設計を大幅に刷新し、学習済み語彙との分離によってコードのモジュール性を高め、カスタマイズと保守の容易さを向上させました。

KaggleとGoogleが共催した5日間のAIエージェント集中講座には世界中から多数の参加者が集まり、実践的なAI教育への高い需要と世界的なAI学習熱の高まりを改めて示しました。

Gemmaファミリーの累計ダウンロード数は3億件を突破しており、一般的なNLPタスクを超えて癌研究（C2Scale）など高度に専門化された科学的応用も着実に増加しています。

MITとMIT-IBM Watson AI Labの共同研究チームは、トランスフォーマーアーキテクチャの根本的な限界を克服する新しい位置符号化手法「PaTH Attention」をNeurIPSで発表しました。

従来のRoPE（Rotary Position Encoding）はトークン間の相対距離のみに基づく静的な回転を割り当てますが、PaTH Attentionは各トークンの内容に依存した動的変換を累積させることで、単語間の意味の変化をパスとして追跡できます。これにより状態追跡や逐次的な推論が改善されます。

実験では、PaTH Attentionが診断タスクと実世界の言語モデリングタスクの両方で既存の注意機構を上回り、数万トークンに及ぶ長文脈でも安定した性能を示しました。また「忘却トランスフォーマー（FoX）」と組み合わせた「PaTH-FoX」システムでさらに性能が向上しています。

もう一つの研究では、MITの研究者らがAIエージェントを用いて視覚系の進化を再現する計算論的フレームワークを構築し、Science Advances誌に発表しました。カメラのセンサー・レンズ・絞り・プロセッサをパラメータ化したエージェントが強化学習で世代を超えて眼を進化させます。

実験ではナビゲーションタスクでは複眼（昆虫や甲殻類のような眼）に、物体識別タスクではカメラ型の眼（虹彩と網膜を持つ眼）に進化することが分かりました。タスクの種類が眼の構造の違いを生み出す主要な要因であることが示されています。

このフレームワークはロボット・ドローン・ウェアラブルデバイス向けの新しいセンサー設計に応用できる可能性があり、エネルギー効率や製造上の制約のもとでタスク固有の最適な視覚システムを探索するための強力なツールとなり得ます。

NvidiaはNemotron 3モデルファミリーを公開しました。Nano（300億パラメータ）、Super（1000億）、Ultra（5000億）の3サイズで構成され、ハイブリッドMamba-TransformerのMoEアーキテクチャを採用しています。

Nemotron 3 Nanoは同規模モデルと比較して最大3.3倍のスループットを実現し、100万トークンのコンテキストウィンドウに対応します。推論コストの削減と精度向上を両立した設計です。

Nvidiaはモデルの重み、学習レシピ、事前学習・事後学習データセットをすべて公開しています。公開された事後学習データセットは既存の最大規模のものより2.5倍大きく、業界最大規模となります。

モデル訓練に使用した強化学習基盤NeMo Gymもオープンソースとして公開されました。数学、コーディング、ツール利用など10以上のRL環境が含まれており、開発者が独自環境を構築することも可能です。

Nvidiaはと同日、HPC向けオープンソースのワークロード管理システムSlurmを開発するSchedMDの買収を発表しました。Slurmは世界のスーパーコンピュータTop500のうち半数以上で採用されている実績ある基盤ソフトウェアです。

SchedMD買収によりNvidiaは半導体からモデル、そしてHPCソフトウェアスタックまでをカバーする垂直統合を強化します。SlurmはNvidiaのハードウェア上での最適化が進む一方、ベンダー中立性も維持されます。

米政府はNvidiaのH200チップを中国へ輸出することを承認しました。H200は前世代Hopperシリーズの最高性能GPUで、中国ではこれまで販売が制限されていました。

承認を受けてAlibabaやByteDanceなど中国大手企業がH200の大口注文を検討しており、Nvidiaは需要に応えるため生産拡大を検討しています。ただし中国政府側の輸入許可判断が依然として焦点です。

一方でNvidiaにとってのリスクも存在します。中国政府は国産チップの活用を推進しており、長期的には中国AIモデルが自国製シリコンに依存する方向へシフトする可能性があります。

Hugging Faceは、AI開発のデファクトスタンダードであるライブラリの最新版「Transformers v5」を発表しました。本バージョンでは「相互運用性」と「シンプルさ」を最優先し、コード構造のモジュール化やPyTorchへのバックエンド一本化を断行。急速に拡大するAIエコシステムにおいて、エンジニアがより効率的に学習・推論を行えるよう、量子化の標準サポートや外部ツールとの連携を強化した大型アップデートです。

前バージョンのリリースから5年、Transformersは爆発的な成長を遂げました。1日あたりのインストール数は2万回から300万回へと急増し、累計ダウンロード数は12億回を突破。サポートするモデルアーキテクチャも40種類から400種類以上へと拡大しており、AI技術の民主化と普及を支える重要なインフラとしての地位を確立しています。

v5の最大の焦点は「シンプルさ」の追求です。開発チームは「コードこそが製品である」という哲学のもと、モデル定義のモジュール化を推進。複雑化していたコードベースを整理し、新しいモデルの追加や保守を容易にしました。これにより、コミュニティによる貢献プロセスが簡素化され、最新モデルへの対応速度がさらに向上します。

技術的な大きな転換点として、バックエンドをPyTorchに一本化します。TensorFlowやFlaxのサポートを縮小し、PyTorch財団との連携を深めることで、パフォーマンスと安定性を最大化します。同時に、JAXエコシステムとの互換性は維持し、多様な開発環境やニーズに応える柔軟性も確保しています。

実用面では、推論機能と量子化が大幅に強化されました。新たにOpenAI互換のAPIを持つ「transformers serve」を導入し、手軽な推論サーバー構築が可能に。また、8-bitや4-bitといった低精度モデルの量子化を「第一級市民」として扱い、リソース制約のある環境でも高性能なモデルを効率的に扱えるようになります。

最終的な目標は、あらゆるAIツールとのシームレスな連携です。UnslothやAxolotlでの学習から、vLLMやllama.cppを用いた推論・ローカル実行まで、Transformers v5はエコシステムのハブとして機能します。この高い相互運用性により、開発者は最適なツールを自由に組み合わせ、生産性を最大化できるでしょう。

アマゾン創業者のジェフ・ベゾス氏が設立した新AIベンチャー「Project Prometheus」が、エージェント型AI開発の「General Agents」を極秘裏に買収しました。この動きは、製造業における複雑な工程の自動化を加速させる明確な狙いがあります。

ベゾス氏とVik Bajaj氏が共同CEOを務めるこの新会社は、すでに62億ドルもの巨額資金を調達しています。コンピュータから自動車、さらには宇宙船に至るまで、幅広い製造現場を支援する高度なAIシステムの構築を目指していると報じられています。

買収されたGeneral Agentsは、PC操作を人間に代わって実行する「コンピュータ・パイロット」技術で知られます。同社の主力製品「Ace」は、競合他社が追随できないほどの圧倒的な処理速度を実現しており、その技術力がベゾス氏の野望を支える鍵となります。

今回の買収に伴い、元DeepMindやTeslaの研究者を含む100名以上の専門家が新会社に合流しました。さらに、AIの基礎技術Transformerの論文著者らもアドバイザーとして名を連ねており、業界屈指の技術者集団が形成されています。

買収後、関係者は米国の製造現場への接触を深めており、物理的な生産プロセスへのAI適用を本格化させる動きを見せています。ベゾス氏の資金力と最先端のエージェント技術が融合することで、産業界に大きなインパクトを与える可能性があります。

Googleの研究チームは2025年11月、現在のAIモデルが抱える「記憶」と「継続学習」の限界を突破する新パラダイムNested Learningを発表しました。モデルの学習を単一ではなく多層的な最適化プロセスとして再定義し、環境に適応し続けるAIへの道を開くものです。

従来のTransformerモデルは、事前学習後は知識が固定される「静的」な存在でした。コンテキストウィンドウ（短期記憶）の容量を超えた情報は失われ、人間のように日々の経験から長期記憶を形成し、知識を更新することができない点が大きな課題でした。

この課題に対し、新手法は脳のメカニズムを模倣します。新開発されたアーキテクチャHopeは、即時的な情報から抽象的な知識まで、異なる速度で更新される複数のメモリバンクを搭載。これにより、自己参照的なループで記憶を最適化し続けます。

実証実験では、言語モデリングや複雑な推論タスクにおいて、既存のモデルを上回る精度と効率を記録しました。特に、膨大なデータの中から特定の情報を正確に見つけ出す長文脈処理において、優れたパフォーマンスを示しています。

既存のハードウェアインフラへの適応という課題は残りますが、データや環境が絶えず変化するビジネス現場において、継続的に学習するAIの価値は計り知れません。真に自律的なAIシステム実現への重要な一歩となるでしょう。

データ分析基盤大手Databricksの共同創業者アンディ・コンウィンスキー氏が、AI分野で中国に対抗するためには米国はオープンソース戦略に転換すべきだと警鐘を鳴らしました。同氏はCerebral Valley AI Summitにて、現在の技術独占と学術界からの頭脳流出が米国の優位性を損ない、民主主義にとって「存亡に関わる脅威」になっていると強く訴えました。

コンウィンスキー氏が指摘する問題の核心は、大手AIラボの姿勢にあります。OpenAIやMeta、Anthropicなどは画期的な技術を開発していますが、その多くはプロプライエタリ（独占的）であり、広く共有されません。さらに、高額な報酬で大学のトップ研究者を引き抜くことで、学術界での自由な知見の交換が「枯渇しつつある」と危機感を示しました。

対照的に中国では、政府がAIイノベーションのオープンソース化を奨励していると氏は分析します。DeepSeekやAlibaba傘下のQwenといった企業の研究成果が公開されることで、他の研究者や開発者がその技術を土台に新たなイノベーションを生み出す好循環が生まれる可能性があり、これが米国の脅威となり得るとの見方です。

「今日の生成AIは、公開論文で発表されたTransformerアーキテクチャから生まれた」とコンウィンスキー氏は述べ、オープンな研究の重要性を強調します。次のTransformer級のブレークスルーをどちらの国が先に生み出すかが、今後のAI覇権を決定づける重要な要素となるでしょう。

現状を「トウモロコシの種籾を食べているようなものだ」と表現し、イノベーションの源泉が枯渇すれば、5年後には大手AIラボ自身も競争力を失うと警告。米国がAI分野でトップを維持するためには、オープンなエコシステムの再構築が急務であると結論づけました。

マサチューセッツ工科大学（MIT）とIBMの研究者らが、AIの信頼性、効率性、知識に基づいた推論能力を向上させる複数の研究プロジェクトを推進しています。博士課程の学生が中心となり、LLMの回答の不確実性を評価する新手法や、計算コストを削減する次世代アーキテクチャなどを開発。これらの成果は、より実用的で価値の高いAIモデルを様々な分野へ展開することを目的としています。

企業のAI活用における最大の課題は、その回答が信頼できるかという点です。これに対し、研究チームはLLMの回答の不確実性を評価する新たな手法を開発しました。これは評価用モデル（プローブ）自体の信頼性を測り、誤った警告を防ぎます。さらに、外部のナレッジグラフと連携させ、AIの「幻覚」を抑制する強化学習フレームワークも構築しています。

大規模モデルの運用には膨大な計算コストが伴います。特にTransformerモデルは、入力データが長くなるほど計算量が爆発的に増加する課題を抱えていました。研究チームは線形アテンションなどの技術を採用することでこの問題を解決。より少ない計算資源で、より長いシーケンスを高速に処理できる次世代アーキテクチャの開発を進めています。

人間のように視覚情報を深く理解するAIも研究対象です。あるチームは、グラフやチャートを読み解き、それを生成するPythonコードを出力する合成データセット「ChartGen」を開発。これにより、財務・科学レポートの自動分析が期待できます。また、デザイン画像を基に質感を再現するプログラムを自己改良しながら生成するシステムも構築しています。

これらの研究は、それぞれがAIの核心的な課題に取り組んでいます。信頼性の確保、効率性の向上、そしてマルチモーダルな推論能力の強化は、AIが実験段階を終え、現実世界のビジネスや科学の現場で不可欠なツールとなるための重要な布石です。個々の技術革新が連携し、より強力で費用対効果の高いAIシステムの実現を加速させるでしょう。

AIスタートアップのManifest AIが2025年10月28日、Transformerアーキテクチャの根幹「Attention機構」を代替する新技術「Power Retention」を発表しました。この技術を用いた新モデル「Brumby-14B-Base」は、既存モデルをわずか4,000ドルで再学習させることで、Transformerに匹敵する性能を達成。AI開発のコスト構造を根底から覆す可能性を秘めています。

現在の主要な大規模言語モデルは、Transformerアーキテクチャを基盤とします。その中核であるAttention機構は強力ですが、文脈が長くなるほど計算コストが二次関数的に増大するという深刻な課題を抱えていました。これがモデルの長文脈対応のボトルネックとなっていたのです。

Manifest AI開発の「Power Retention」は、この課題を解決する新技術です。Attention機構のように文脈全体を一度に比較せず、リカレントニューラルネットワーク（RNN）のように情報を逐次的に圧縮・更新します。これにより文脈長に関わらず計算コストが一定に保たれます。

Brumby-14B-Baseモデルの衝撃は、その圧倒的なコスト効率です。既存モデルをわずか60時間、約4,000ドルで再学習を完了。ゼロから学習する場合の2%未満の費用です。これはAI開発の参入障壁を劇的に下げ、より多くの組織に大規模実験の道を開きます。

低コストながら性能に妥協はありません。Brumbyモデルは各種ベンチマークで、元のモデルや他の同規模Transformerモデルと同等以上のスコアを記録しました。特に、Attention機構が苦手とする長文脈の読解や数学的推論といったタスクで優位性を示し、新アーキテクチャの利点を裏付けています。

この成果は、AI界を約10年にわたり支配してきたTransformer一強時代に風穴を開けるものかもしれません。Manifest AIは「Transformer時代の終わりはまだだが、その行進は始まった」と述べています。AIアーキテクチャの多様化が進み、開発競争が新たな局面に入ることは間違いないでしょう。

ニューヨークのAIスタートアップ、Augmented Intelligence Inc (AUI)は2025年11月3日、2000万ドル（約30億円）の資金調達を発表しました。これにより企業評価額は7億5000万ドル（約1125億円）に達します。同社は、ChatGPTなどが用いるTransformerアーキテクチャの課題である予測不可能性を克服するため、ニューロシンボリックAI技術を開発。企業が求める確実で信頼性の高い対話AIの実現を目指します。

AUIが開発する基盤モデル「Apollo-1」の核心は、そのハイブリッドな構造にあります。ユーザーの言葉を理解する「ニューラルモジュール」と、タスクの論理構造を解釈し、次に取るべき行動を決定論的に判断する「シンボリック推論エンジン」を分離。これにより、LLMの持つ言語の流暢さと、従来型AIの持つ厳密な論理実行能力を両立させています。

なぜ今、この技術が注目されるのでしょうか。既存のLLMは確率的に応答を生成するため、常に同じ結果を保証できません。これは、金融やヘルスケア、顧客サービスなど、厳格なルール遵守が求められる業界では大きな障壁となります。Apollo-1は、組織のポリシーを確実に適用し、タスクを最後まで間違いなく遂行する能力でこの課題を解決します。

Apollo-1の強みは、その汎用性と導入のしやすさにもあります。特定の業界に特化せず、ヘルスケアから小売まで幅広い分野で応用可能です。また、特別なインフラを必要とせず、標準的なクラウド環境で動作するため、導入コストを抑えられる点も企業にとっては魅力的です。開発者は使い慣れたAPI経由で簡単に統合できます。

今回の調達は、より大規模な資金調達の前段階と位置付けられており、同社への期待の高さをうかがわせます。Fortune 500企業の一部では既にベータ版が利用されており、2025年末までの一般公開が予定されています。LLM一強の時代から、用途に応じた多様なAIが選択される新時代への転換点となるかもしれません。

ChatGPTなどを支える基盤技術「Transformer」の共同考案者であるリオン・ジョーンズ氏（現Sakana AI CTO）が、サンフランシスコのTED AIカンファレンスで講演。現在のAI研究がTransformerに過度に集中し、画一化していることに「うんざりしている」と述べ、業界に警鐘を鳴らしました。彼は、次の技術革新のために、より探求的なアプローチが必要だと訴えています。

ジョーンズ氏は、AI分野への空前の投資が逆に研究の幅を狭めていると指摘します。投資家からの圧力や研究者間の競争が、独創的な研究よりも安全な成果を追い求める傾向を助長。業界全体が次のブレークスルーを見逃す危険に瀕していると警告しています。

氏によれば、Transformer自体は、経営陣からのプレッシャーがない自由な環境から生まれました。特定の目標に縛られず、自由な議論の中から生まれたのです。現在の研究者が高い報酬を得ながらも、成果への圧力からリスクを取れない状況とは対照的だとし、イノベーションの源泉を問い直しています。

この問題意識から、ジョーンズ氏が共同創業した東京のSakana AIでは、あえてTransformerから距離を置き、自然から着想を得るなど、探求的な研究を推進しています。論文数や競合を追うのではなく、「もし自分たちがやらなければ、誰もやらないような研究」に注力。自由な環境こそが優秀な人材を惹きつけると語ります。

ジョーンズ氏の警告は、大規模モデルの性能向上が鈍化しつつある「スケーリングの限界」が囁かれる中で、特に重みを持ちます。Transformerの成功が、皮肉にも次の技術革新を阻んでいるのかもしれません。AI業界が持続的に成長するためには、現在の成功モデルに安住せず、未知の領域へ踏み出す勇気が求められています。

AIプラットフォームのHugging Faceは2025年10月22日、高品質な文章埋め込み生成ライブラリ「Sentence Transformers」を正式に管理下に置くと発表しました。これまでドイツのダルムシュタット工科大学UKP Labが主導してきましたが、今後はHugging Faceのインフラを活用し開発を加速させます。これはセマンティック検索などを手掛ける開発者にとって重要な動きです。

Sentence Transformersは、文章の持つ意味を捉えたベクトル表現（埋め込み）を生成する人気のオープンソースライブラリです。2019年の登場以来、セマンティック検索や文章の類似度比較、クラスタリングといった多様な自然言語処理タスクで広く採用され、業界のデファクトスタンダードとしての地位を確立しています。

このライブラリは、もともとダルムシュタット工科大学のUKP Labで開発・維持されてきました。しかし、2023年後半からはHugging Faceのエンジニアがメンテナンスを引き継いでおり、今回の発表でその関係が公式化されました。長年の研究成果が、エコシステムの中心的存在へと引き継がれる形となります。

Hugging Faceへの移管により、同社の持つ堅牢なインフラが最大限に活用されます。継続的インテグレーションやテスト環境が整備されることで、ライブラリの安定性が向上し、情報検索や自然言語処理における最新技術への追随がより迅速かつ確実になることが期待されています。

今後の運営方針はどうなるのでしょうか。ライセンスは従来通りApache 2.0を維持し、オープンソースかつコミュニティ主導のプロジェクトとして継続されます。Hugging Faceは、これまでのオープンで協力的な精神を尊重しつつ、プロジェクトのさらなる成長と革新を支援していくと表明しています。

Hugging Face Hubでは、既に1万6000以上のSentence Transformers関連モデルが公開され、月間100万人以上のユニークユーザーに利用されています。今回の正式移管は、この巨大なエコシステムをさらに強化し、AIを活用したアプリケーション開発の加速に繋がるでしょう。

米スタートアップWindBorne Systems社が、自律航行する気象気球と独自のAIモデル「WeatherMesh」を組み合わせ、世界で最も正確な天気予報システムを開発しました。従来手法では観測が困難だった広大な海洋上のデータを気球で収集し、AIで解析。これにより、ハリケーンの進路予測などで既存の主要モデルを上回る精度を達成し、防災や再生可能エネルギー、農業分野などでの活用が期待されています。

従来の天気予報は、観測データが乏しい海洋や砂漠などの「観測空白域」が存在することが大きな課題でした。特に、多くのハリケーンが発達する海洋上では、有人飛行機による観測は危険とコストを伴うためデータが不足しがちです。このデータ不足が、2024年のハリケーン「ミルトン」のような壊滅的な被害をもたらす異常気象の予測を困難にしていました。

この課題を解決するのが、同社が開発した長時間滞空型の気象気球です。従来の気球が数時間で破裂するのに対し、この気球は50日以上も上空に留まることが可能です。風を読んで高度を自律的に調整し、狙ったエリアのデータを収集します。実際にハリケーン「ミルトン」発生時には、安全な場所から放たれた気球がハリケーンの心臓部に到達し、貴重なデータを取得することに成功しました。

気球が収集した膨大なデータは、同社独自のAI予報モデル「WeatherMesh」に入力されます。このモデルはChatGPTなどにも使われるTransformer技術を基盤とし、競合であるGoogleのGraphCastやHuaweiのPangu-Weatherを上回る予測精度を記録しています。物理ベースの従来モデルと比較しても最大30%精度が高く、それでいて安価なGPUで高速に運用できる効率性も両立しています。

気球によるデータ収集とAIによる予測は、互いに連携する「エンドツーエンド」のシステムを形成しています。AIが予測精度向上に必要なデータ領域を特定し、気球群をその場所へ誘導。気球が収集した最新データが、さらにAIの予測精度を高めるという好循環を生み出します。同社はこの仕組みを「惑星の神経系」と呼び、地球全体の気象をリアルタイムで把握することを目指しています。

WindBorne社は将来的に、常時1万個の気球を飛行させ、地球全体をほぼ継続的に観測する体制を2028年までに構築する計画です。気候変動により異常気象が深刻化する中、高精度な気象予測は、社会のレジリエンスを高める上で不可欠なインフラとなるでしょう。AIとハードウェアを融合させたこのアプローチは、気象予測の新たなスタンダードになる可能性を秘めています。

イスラエルのAIスタートアップAI21 Labsは、30億パラメータの小型オープンソースLLM「Jamba Reasoning 3B」を発表しました。このモデルは、ノートPCやスマートフォンなどのエッジデバイス上で、25万トークン以上という異例の長大なコンテキストウィンドウを処理可能であり、AIインフラストラクチャのコスト構造を根本的に変える可能性を秘めています。

Jamba Reasoning 3Bは、従来のTransformerに加え、メモリ効率に優れたMambaアーキテクチャを組み合わせたハイブリッド構造を採用しています。これにより、小型モデルながら高度な推論能力と長文処理を両立。推論速度は従来のモデルに比べて2〜4倍高速であり、MacBook Pro上でのテストでは毎秒35トークンを処理できることが確認されています。

AI21の共同CEOであるオリ・ゴーシェン氏は、データセンターへの過度な依存が経済的な課題となっていると指摘します。Jamba Reasoning 3Bのような小型モデルをデバイス上で動作させることで、高価なGPUクラスターへの負荷を大幅に軽減し、AIインフラストラクチャのコスト削減に貢献し、分散型AIの未来を推進します。

このモデルは、特に企業が関心を持つユースケースに最適化されています。具体的には、関数呼び出し、ポリシーに基づいた生成、そしてツールルーティングなどのタスクで真価を発揮します。シンプルな業務指示や議事録作成などはデバイス上で完結し、プライバシーの確保にも役立ちます。

Jamba Reasoning 3Bは、同規模の他の小型モデルと比較したベンチマークテストでも優位性を示しました。特に長文理解を伴うIFBenchやHumanity’s Last Examといったテストで最高スコアを獲得。これは、同モデルがサイズを犠牲にすることなく、高度な推論能力を維持していることを示しています。

企業は今後、複雑で重い処理はクラウド上のGPUクラスターに任せ、日常的かつシンプルな処理はエッジデバイスでローカルに実行する「ハイブリッド運用」に移行すると見られています。Jamba Reasoning 3Bは、このハイブリッド戦略の中核となる効率的なローカル処理能力を提供します。

ステルススタートアップAugmented Intelligence（AUI）は、エンタープライズ向けAIエージェントの信頼性を劇的に高める基盤モデル「Apollo-1」を発表しました。従来のLLMが苦手としていた、タスクの確実な実行という課題を克服するため、独自開発のハイブリッドアーキテクチャを採用し、ベンチマークで圧倒的な性能差を示しています。

従来のLLMは、チャットや探索的な対話では優れた能力を発揮しますが、企業が求める複雑なタスクを確実に実行する能力が不足していました。AIエージェントの性能を測るベンチマーク「Terminal-Bench Hard」では、現在の最高モデルでも成功率は30%台に留まり、ビジネスルールが求められる場面で信頼性に欠ける点が大きな課題でした。

Apollo-1は「ステートフル・ニューロ・シンボリック推論」というハイブリッド構造に基づいています。これは言語の流暢さを担うニューラル層と、意図や制約といった構造化された論理を担うシンボリック層を統合し、タスク実行における「確実性（Certainty）」を保証するためのものです。

Transformerモデルが次のトークンを確率的に予測するのに対し、Apollo-1は会話の中で次に取るべき「アクション」を予測します。この構造により、エンコーダが自然言語をシンボリックな状態に変換し、決定エンジンが次の行動を決定するという、閉じた推論ループを実行。統計的な予測ではなく、決定論的な動作を実現しています。

この決定的な動作は、企業ポリシーの遵守において極めて重要です。例えば、銀行が「200ドル以上の返金には必ずID確認を義務付ける」といった制約を、Apollo-1では「System Prompt（振る舞い契約）」として定義し、確実に実行できます。これは、純粋な生成AIでは保証できない行動の信頼性を実現します。

ベンチマーク結果はその有効性を示しています。航空券予約タスクを評価する「TAU-Bench Airline」において、Apollo-1は92.5%という驚異的な通過率を達成。これは競合するトップモデルの56%を大きく引き離すものであり、金融、旅行、小売など、タスク実行の信頼性が求められる業界での応用が期待されます。

中国のAI企業DeepSeek社が、AIモデルの処理コストを大幅に削減する可能性のある新技術「スパースアテンション」をテストしています。この技術は、AIが文脈を理解する際の計算量を劇的に減らし、これまでボトルネックとなっていた長文対話の処理性能を向上させる可能性があります。AIの運用コスト削減と応用範囲拡大への貢献が期待されます。

AI、特に大規模言語モデルは「アテンション」という仕組みで単語間の関連性を計算し、文脈を理解します。しかし、2017年に登場した画期的なTransformerアーキテクチャでは、入力された全ての単語の組み合わせを総当たりで比較するため、計算コストが入力長の二乗で増加するという根本的な課題を抱えていました。

この「二乗の呪い」は深刻です。例えば、1,000語の文章では100万回、1万語では1億回もの比較計算が必要になります。これにより、ChatGPTのような対話型AIでは、会話が長くなるほど応答速度が低下するなどの性能ペナルティが発生していました。新しい応答のたびに、全履歴を再計算するためです。

DeepSeek社がテストする「スパースアテンション」は、この問題を解決するアプローチです。全ての単語を比較するのではなく、文脈上関連性の高い単語の組み合わせに絞って計算を行います。これにより、計算量を大幅に削減し、コストと性能のボトルネックを解消することを目指します。

OpenAIのGPT-5など、最先端のモデルでも同様の技術が採用されていると推測されています。スパースアテンションの普及は、AIの運用コストを引き下げ、より長く複雑なタスクを扱えるようにする鍵となります。今後のAI開発の費用対効果を大きく左右する技術として注目されます。

中国のAI企業DeepSeekは29日、新しい実験的AIモデル「V3.2-exp」を発表しました。このモデルは「スパースアテンション」と呼ばれる新技術を搭載しており、長い文章や大量のデータを処理する際の推論コスト（APIコスト）を最大で半減させる可能性を秘めています。AIの運用コスト削減は業界全体の課題であり、今回の発表は大きな注目を集めています。

新技術の核心は、処理情報を効率的に絞り込む2段階の仕組みです。まずシステムが入力文から重要部分を抜粋し、次にその中から処理に必要な最小限のトークンを選択します。この選択と集中のアプローチにより、関連性の低い情報処理を省略し、サーバー負荷を大幅に軽減するのです。

AIモデルの運用コスト、特に「推論コスト」の削減は、AIサービスを普及させる上で極めて重要です。今回の試みは、AIの基本構造であるTransformerアーキテクチャの効率化を目指すもの。特に大量の文書読解や複雑な対話など、長い文脈を扱う応用でのコストメリットは計り知れません。

この「V3.2-exp」モデルはオープンウェイトとして、開発者プラットフォームのHugging Faceで既に公開されています。誰でも自由に利用し、その性能を検証できるため、DeepSeekが主張するコスト削減効果が実証される日も近いでしょう。今後、第三者による客観的な評価やさらなる改良が期待されます。

DeepSeekは中国に拠点を置く企業で、年初には独自の学習手法を用いたモデルで業界を驚かせました。今回の発表は、米中間の技術競争という側面だけでなく、AI業界全体のコスト効率化という共通課題に対する一つの解を示した点で意義深いと言えます。この技術が米国の主要プロバイダーにも影響を与える可能性があります。

AIプラットフォームのHugging Faceが、Apple製品開発者向けライブラリ「swift-transformers」のバージョン1.0を公開しました。本ライブラリは、iPhoneなどのデバイス上でローカルにAIモデルを動作させる際の技術的ハードルを下げ、アプリへの組み込みを容易にすることを目的としています。

swift-transformersは、AppleのCore MLやMLXといった機械学習フレームワークを補完する重要な機能群を提供します。具体的には、複雑なテキスト入力を処理する「Tokenizers」、Hugging Face Hubからモデルを管理する「Hub」、Core ML形式モデルの推論を簡素化する「Models」と「Generation」が中核をなします。

すでに、Apple自身のサンプル集「mlx-swift-examples」や、高性能な音声認識フレームワーク「WhisperKit」など、多くのプロジェクトで採用されています。これにより、AppleエコシステムにおけるオンデバイスAI開発の基盤技術としての地位を確立しつつあると言えるでしょう。

今回のv1.0リリースは、ライブラリの安定性を公式に保証する初のメジャーアップデートです。主要な変更点には、必要な機能だけを導入できるモジュール分割や、最新のCore ML APIへの対応、そしてSwift 6への完全準拠が含まれます。開発者はより安心して長期的なプロジェクトに採用できます。

Hugging Faceは今後の展望として、Appleの機械学習フレームワーク「MLX」との連携強化を掲げています。さらに、自律的にタスクを処理する「エージェント」のような、より高度なユースケースの実現も視野に入れており、オンデバイスAIの新たな可能性を切り拓くことが期待されます。

企業向けAIモデル開発のCohereは9月24日、1億ドルを追加で調達し、企業価値が70億ドルに達したと発表しました。これは8月の5億ドル調達に続くものです。同時に半導体大手AMDとの提携も締結し、NvidiaとOpenAIの連合に対抗する動きを見せています。この提携は、AI市場の勢力図に変化をもたらす可能性を秘めています。 今回の提携の核心は、CohereのAIモデル群がAMDのGPU「Instinct」で動作可能になる点です。これは市場を独占するNvidia製GPUへの依存を減らす動きと言えるでしょう。さらに、AMD自身もCohereの顧客となり、自社内でAIモデルを活用します。CohereはNvidia製GPUのサポートも継続するとしています。 Cohereは2019年、生成AIブームの火付け役となった論文「Transformer」の共著者によって設立された有力企業です。しかし、OpenAI（企業価値5000億ドルとの報道）やAnthropic（同1830億ドル）といった競合に比べると、企業価値の規模では後塵を拝しているのが現状です。 Cohereは特に「AI主権」を重視する企業をターゲットにしています。これは、自社のデータやAIモデルを外部の事業者に委ねず、自国・自社内で管理したいというニーズに応える戦略です。今回のラウンドに国際的なネットワークを持つ投資家が新たに参加したことも、この戦略を裏付けています。