事前学習（モデル学習手法・技術）に関するニュース一覧

NVIDIAは2025年12月、CoreWeaveと共同構築したH100 GPUクラスターにより、大規模グラフ処理性能を競う「Graph500」で世界新記録を樹立しました。これまでCPUが主役だった複雑なデータ処理領域においても、GPUが圧倒的な優位性を示し、計算インフラの歴史的な転換点を迎えています。

今回の記録では、毎秒410兆回のエッジ探索（TEPS）を達成しました。特筆すべきは、競合システムの2倍以上の性能を、わずか約9分の1のノード数で実現した点です。これは費用対効果において3倍以上の改善を意味し、企業のインフラ投資効率を劇的に高めます。

グラフ処理はデータが不規則で疎（スパース）なため、従来はCPUの独壇場でした。しかしNVIDIAは、通信と計算をGPU上で完結させる新技術を導入し、CPUを経由するボトルネックを解消しました。これにより、AI以外の科学技術計算でもGPUへの移行が加速します。

エネルギー効率を競う「Green500」でも、NVIDIA製GPU搭載システムが上位5位を独占しました。CPUシステムと比較して平均4.5倍の効率を誇り、データセンターの電力制約が厳しくなる中、持続可能な計算リソースの確保において決定的な解決策となります。

AI開発において、従来の「事前学習」「事後学習」に加え、推論時に計算量を増やす「テストタイム・スケーリング」が重要になっています。推論段階での高度な推論や計画能力が求められるようになり、学習完了後も強力なGPUインフラが必要不可欠です。

この計算能力の飛躍は、物理世界で活動するロボットや、自律的にタスクをこなすエージェントの実用化を後押しします。GPUは単なる演算装置から、全産業の生産性を底上げする「デジタル労働力」の基盤へと進化しています。

2025年12月、サンディエゴで開催された世界最大級のAI国際会議「NeurIPS」にて、業界の潮流が決定的な転換点を迎えました。これまでのデータ量を追求する競争から、強化学習（RL）や推論能力の深化を目指す「研究の時代」へと、開発の主戦場が大きく移行しています。

最大の焦点は、会場のあらゆる議論を席巻した強化学習（RL）の再流行です。単に事前学習データを増やすスケーリング則の限界が意識され始め、特定のユースケースに向けてモデルを精緻に調整するアプローチが、次なる成長のドライバーとして認知されています。

企業間の勢力図においては、Google DeepMindが圧倒的な存在感を示しました。Gemini 3の発表や最多の論文採択数を背景に、技術的なリーダーシップを取り戻しています。一方でAnthropicも勢いを維持する中、OpenAIは相対的に注目度を分け合う形となりました。

新たな技術トレンドとして、継続学習（Continual Learning）や世界モデルへの関心が急上昇しています。静的なモデルではなく、環境との相互作用を通じて学習し続けるシステムの構築が、2026年に向けた重要な研究テーマとして浮上してきました。

また、AlibabaのQwenやDeepSeekといった中国勢、およびReflection AIなどの新興ラボが台頭しています。彼らは既存の大手ラボとは異なるアプローチで成果を上げており、AI開発の多極化が進んでいることを印象づけました。

実用面では、デジタル空間を超えた物理AI（Physical AI）やロボティクスへの応用が加速しています。エージェントAIを単なるモデルではなく「スタック」として捉え、実社会の複雑な課題解決に直結させる動きが、エンジニアたちの関心を集めています。

Hugging Faceは、AI開発のデファクトスタンダードであるライブラリの最新版「Transformers v5」を発表しました。本バージョンでは「相互運用性」と「シンプルさ」を最優先し、コード構造のモジュール化やPyTorchへのバックエンド一本化を断行。急速に拡大するAIエコシステムにおいて、エンジニアがより効率的に学習・推論を行えるよう、量子化の標準サポートや外部ツールとの連携を強化した大型アップデートです。

前バージョンのリリースから5年、Transformersは爆発的な成長を遂げました。1日あたりのインストール数は2万回から300万回へと急増し、累計ダウンロード数は12億回を突破。サポートするモデルアーキテクチャも40種類から400種類以上へと拡大しており、AI技術の民主化と普及を支える重要なインフラとしての地位を確立しています。

v5の最大の焦点は「シンプルさ」の追求です。開発チームは「コードこそが製品である」という哲学のもと、モデル定義のモジュール化を推進。複雑化していたコードベースを整理し、新しいモデルの追加や保守を容易にしました。これにより、コミュニティによる貢献プロセスが簡素化され、最新モデルへの対応速度がさらに向上します。

技術的な大きな転換点として、バックエンドをPyTorchに一本化します。TensorFlowやFlaxのサポートを縮小し、PyTorch財団との連携を深めることで、パフォーマンスと安定性を最大化します。同時に、JAXエコシステムとの互換性は維持し、多様な開発環境やニーズに応える柔軟性も確保しています。

実用面では、推論機能と量子化が大幅に強化されました。新たにOpenAI互換のAPIを持つ「transformers serve」を導入し、手軽な推論サーバー構築が可能に。また、8-bitや4-bitといった低精度モデルの量子化を「第一級市民」として扱い、リソース制約のある環境でも高性能なモデルを効率的に扱えるようになります。

最終的な目標は、あらゆるAIツールとのシームレスな連携です。UnslothやAxolotlでの学習から、vLLMやllama.cppを用いた推論・ローカル実行まで、Transformers v5はエコシステムのハブとして機能します。この高い相互運用性により、開発者は最適なツールを自由に組み合わせ、生産性を最大化できるでしょう。

Googleの研究チームは2025年11月、現在のAIモデルが抱える「記憶」と「継続学習」の限界を突破する新パラダイムNested Learningを発表しました。モデルの学習を単一ではなく多層的な最適化プロセスとして再定義し、環境に適応し続けるAIへの道を開くものです。

従来のTransformerモデルは、事前学習後は知識が固定される「静的」な存在でした。コンテキストウィンドウ（短期記憶）の容量を超えた情報は失われ、人間のように日々の経験から長期記憶を形成し、知識を更新することができない点が大きな課題でした。

この課題に対し、新手法は脳のメカニズムを模倣します。新開発されたアーキテクチャHopeは、即時的な情報から抽象的な知識まで、異なる速度で更新される複数のメモリバンクを搭載。これにより、自己参照的なループで記憶を最適化し続けます。

実証実験では、言語モデリングや複雑な推論タスクにおいて、既存のモデルを上回る精度と効率を記録しました。特に、膨大なデータの中から特定の情報を正確に見つけ出す長文脈処理において、優れたパフォーマンスを示しています。

既存のハードウェアインフラへの適応という課題は残りますが、データや環境が絶えず変化するビジネス現場において、継続的に学習するAIの価値は計り知れません。真に自律的なAIシステム実現への重要な一歩となるでしょう。

NVIDIAは、AIの性能を測る業界標準ベンチマーク「MLPerf Training v5.1」において、新GPUアーキテクチャ「Blackwell Ultra」を搭載したシステムで全7部門を制覇し、大規模言語モデル（LLM）の学習速度で新記録を樹立しました。この結果は、同社の技術的優位性とプラットフォームの成熟度を改めて示すものです。

今回初登場したBlackwell Ultra搭載の「GB300 NVL72」システムは、前世代のHopperアーキテクチャと比較して、同数のGPUでLLMの事前学習性能が4倍以上に向上しました。新しいTensor Coreや大容量メモリが、この飛躍的な性能向上を支えています。

性能向上の鍵は、MLPerf史上初となるNVFP4精度での計算です。より少ないビット数でデータを表現し、計算速度を大幅に高める新技術を導入。NVIDIAは、精度を維持しながらこの低精度計算を実用化した唯一の企業となりました。

大規模な学習においても新記録を達成しました。5,000基以上のBlackwell GPUを連携させることで、大規模モデル「Llama 3.1 405B」の学習をわずか10分で完了。これは、NVFP4の採用とスケーリング効率の向上による成果です。

今回から追加された新しいベンチマーク、軽量LLM「Llama 3.1 8B」と画像生成モデル「FLUX.1」でも、NVIDIAは最高性能を記録しました。これは、同社のプラットフォームが最新の多様なAIモデルに迅速に対応できる汎用性の高さを示しています。

DellやHPEなど15のパートナー企業もNVIDIAプラットフォームで参加し、広範なエコシステムを証明しました。NVIDIAは1年周期で革新を続けており、AI開発のさらなる加速が期待されます。AI導入を目指す企業にとって、その動向はますます重要になるでしょう。

独ソフトウェア大手のSAPは、企業のAI導入を簡素化する新たな基盤モデル「RPT-1」を発表しました。このモデルは表形式データに特化しており、従来のLLMのように時間とコストのかかるファインチューニングが不要な点が最大の特徴です。導入後すぐに予測分析などの高度な業務に活用できるとしており、2025年第4四半期の一般提供開始を予定しています。

RPT-1は「リレーショナル基盤モデル」と名付けられ、リレーショナルデータベースやExcelのようなスプレッドシートのデータから学習します。SAPが数十年にわたり蓄積したビジネス取引データを基に事前学習済みのため、企業は自社の個別データを追加学習させることなく、「すぐに使える（out-of-the-box）」状態で業務アプリケーションに直接組み込むことが可能です。

テキストやコードを学習する大規模言語モデル（LLM）とは一線を画します。RPT-1は、数値や異なるセル間の関係性を深く理解することで、より構造的で正確な回答を生成できます。この特性は、特に金融分野や企業の業績管理など、精密な分析が求められる業務で真価を発揮するでしょう。汎用LLMでは対応が難しいユースケースを切り拓きます。

このモデルの基盤となっているのは、SAPの研究者が提唱した「ConTextTab」というアーキテクチャです。これは、テーブルのヘッダーや列の型といった意味情報（セマンティックシグナル）を手がかりに学習を進めることで、データ間の関連性を構造的に把握します。この仕組みが、RPT-1の精度の高さを支えています。

RPT-1は2025年第4四半期に、SAPのAI基盤サービス「AI Foundation」を通じて一般提供が開始される予定です。また、専門家でなくてもモデルを試せるノーコードの実験環境（プレイグラウンド）も提供されます。SAPは今後、オープンソースモデルを含む他のモデルも順次リリースする計画で、企業のAI活用をさらに加速させそうです。

テキサスA&M;大学など米国の研究チームが、大規模言語モデル（LLM）を低品質な「ジャンクデータ」で継続的に学習させると、人間の「脳腐敗」に似た性能低下が起きる可能性を指摘する論文を発表しました。この研究は、LLMの性能を維持・向上させる上で、学習に用いるデータの「量」だけでなく「質」が極めて重要であることを示唆しており、AIをビジネス活用する企業にとって重要な知見となりそうです。

研究チームが提唱するのは「LLM脳腐敗仮説」です。これは、人間がインターネット上で些細で質の低いコンテンツを大量に消費すると、注意⼒や記憶⼒が低下する現象に着想を得ています。同様に、LLMもジャンクなウェブテキストで事前学習を続けると、持続的な認知能力の低下を招くのではないか、というのが仮説の骨子です。

では、何が「ジャンクデータ」と見なされるのでしょうか。研究チームはHuggingFaceが公開する1億件のツイートデータを分析し、2つの指標で定義を試みました。一つは、エンゲージメント（いいね、リツイート等）は高いが、文章が短いツイートです。これらは些細な内容でユーザーの注意を引く「ジャンク」の典型例とされました。

もう一つの指標は、ツイートの「意味的な質」です。研究チームはGPT-4oを活用し、陰謀論、誇張された主張、根拠のない断言、あるいはクリックベイトのような扇動的な見出しを含むツイートを「ジャンク」として分類しました。このAIによる分類の精度を人間が検証したところ、76%の一致率を示し、一定の信頼性が確認されています。

この研究は、AIをビジネスに活用する経営者やエンジニアに重要な問いを投げかけています。自社データなどでLLMをファインチューニングする際、安易に大量のデータを投入するだけでは、かえってモデルの性能を損なう危険性があるのです。AI戦略において、データの品質をいかに担保するかというデータガバナンスの重要性が、改めて浮き彫りになったと言えるでしょう。

NVIDIAの研究者チームが、大規模言語モデル（LLM）の訓練手法を根本から変える可能性のある新技術「強化学習事前学習（RLP）」を発表しました。この手法は、従来は訓練の最終段階で行われていた強化学習を、大量のテキストデータを読み込む事前学習の初期段階に統合するものです。これにより、モデルは自ら「思考」する能力を早期に獲得し、複雑な推論タスクにおける性能が飛躍的に向上することが示されました。

従来のLLM開発では、まず「次の単語を予測する」という単純なタスクを通じて、膨大なテキストデータから言語の基本構造を学習させます。その後に、人間によるフィードバックや特定のデータセットを用いたファインチューニング（微調整）で、思考の連鎖（CoT）のような高度な推論能力を教え込むのが一般的でした。しかし、この逐次的なプロセスでは、モデルが深い思考力を初期から身につけることが難しいという課題がありました。

新手法RLPは、このプロセスを刷新します。モデルは次の単語を予測する前に、まず内部で「思考」や推論の連鎖を生成します。そして、その思考が予測精度をどれだけ向上させたかに基づいて、自律的に報酬を受け取ります。思考が予測に役立った場合にのみ正の報酬が与えられるため、モデルは人間によるラベル付けや外部の検証者を必要とせず、有用な思考パターンを効率的に学習していきます。

実験では、RLPを用いて訓練されたモデルが、数学や科学といった高度な推論を要するベンチマークで、従来手法で訓練されたモデルを一貫して上回る性能を示しました。特に注目すべきは、ファインチューニング後もこの性能向上が失われることなく、むしろ相乗効果を生み出す点です。これは、後の学習で以前の知識を忘れてしまう「破滅的忘却」という課題を克服し、より堅牢な基礎能力を構築できることを意味します。

この技術は、企業のワークフローにも大きな影響を与える可能性があります。例えば、金融分析や法務文書の要約など、複数ステップの論理的な思考が求められる業務において、AIの信頼性を高めることが期待されます。NVIDIAの研究担当ヴァイスプレジデントであるブライアン・カタンザロ氏は、「RLPは既存のファインチューニングを置き換えるのではなく、その効果を増幅させるものだ」と述べ、より強力なモデルを構築するための新たな基盤になるとの考えを示しています。

RLPは、単なる訓練コストの削減技術にとどまりません。LLMの学習プロセス自体を、受動的な単語予測から、より能動的で好奇心旺盛な「思考」の探求へとシフトさせるものです。このアプローチは、AIが世界の情報をどのように見て、それについてどう考えるかを教える新しい道筋を示唆しており、将来のAI開発における新たなスケーリングの軸となる可能性を秘めているのです。

スタートアップのPrime Intellectは、分散型強化学習（DRL）を活用し、競争力のあるオープンなフロンティア大規模言語モデル（LLM）「INTELLECT-3」を開発中です。これは、巨大テック企業に依存せず、世界中の多様なハードウェアを用いてAIモデルを構築し、AI開発を民主化することを目的としています。現在のAI界の二極化構造を変える可能性を秘めた動きとして注目されています。

今日、AIモデルの改善は、単純なデータや計算資源の増強だけでは難しくなっています。特に、プレトレーニング後の強化学習（RL）のプロセスが、モデルの能力拡張における最大のボトルネックです。このRLは通常、高度な専門知識と大量の計算資源が必要なため、これまで大手AI企業によってクローズドに行われてきました。

Prime Intellectは、この課題を打破するため、誰もが特定のタスクに特化した強化学習環境を作成できるフレームワークを提供しています。コミュニティと自社チームが作成した最良の環境を組み合わせることで、INTELLECT-3のチューニングを進めています。これにより、開発者は手軽にRLを実行し、モデルの専門性を高めることが可能になります。

同社は以前にも分散型手法の有効性を示しています。2024年後半のINTELLECT-1、そして推論能力を向上させたINTELLECT-2をリリースし、分散型トレーニングの実現性を証明しました。Teslaの元AIチーム責任者であるアンドレイ・カーパシー氏も、Prime Intellectの強化学習環境の取り組みを「素晴らしいアイデア」として評価しています。

Prime Intellectの試みは、オープンソースAI市場における米国の存在感を高めることを目指しています。現在、オープンなフロンティアモデルは中国勢が優勢ですが、同社の技術が普及すれば、スタートアップや開発者が自ら高度なAIを構築・修正できるようになります。これにより、多種多様なタスクに特化した新たなAIエージェント製品の創出が期待されます。

AI開発企業Anthropicは10月2日、元Stripeの最高技術責任者（CTO）であるRahul Patil氏を新しいCTOとして迎え入れたと発表しました。競争が激化するAIインフラ分野を強化し、自社製品「Claude」の急成長に対応するのが狙いです。共同創業者のSam McCandlish氏はチーフアーキテクトとして、大規模モデル開発に専念します。

新体制では、Patil氏がコンピューティング、インフラ、推論といった技術部門全体を統括します。製品エンジニアリングチームとインフラチームをより密接に連携させることで、開発体制の効率化を図ります。一方、CTO職を退いたMcCandlish氏は、モデルの事前学習や大規模トレーニングに集中し、技術の最前線を切り開く役割を担います。

今回の経営陣刷新の背景には、AI業界における熾烈なインフラ開発競争があります。OpenAIやMetaなどが計算資源の確保に巨額の資金を投じており、Anthropicもインフラの最適化と拡張が喫緊の課題となっていました。

Anthropic自身も、主力AI「Claude」の利用者が急増し、インフラに大きな負荷がかかるという課題に直面していました。同社は7月、一部ヘビーユーザーの利用を受け、APIの利用制限を導入した経緯があります。安定したサービス提供には、インフラの抜本的な強化が不可欠でした。

Patil氏は、Stripeで5年間技術職を務めたほか、Oracleでクラウドインフラ担当上級副社長、AmazonやMicrosoftでもエンジニアリング職を歴任しました。この20年以上にわたる豊富な経験は、特に企業が求める信頼性の高いインフラを構築・拡張する上で大きな強みとなるでしょう。

AnthropicのDaniela Amodei社長は「Rahul氏は企業が必要とする信頼性の高いインフラを構築・拡張してきた実績がある」と期待を寄せます。Patil氏自身も「AI開発のこの極めて重要な時期に参加できることに興奮している。これ以上の使命と責任はない」と述べ、新天地での貢献に意欲を見せています。

Google DeepMindのAIモデル「Gemini 2.5 Deep Think」が、2025年国際大学対抗プログラミングコンテスト（ICPC）世界大会で金メダルレベルの成果を達成しました。人間チームが誰も解けなかった複雑な最適化問題を見事に解決し、抽象的な問題解決能力におけるAIの劇的な進化を証明しました。

Geminiは競技ルールに従い、5時間の制限時間で12問中10問を正解しました。これは出場した大学139チームのうち、トップ4にのみ与えられる金メダルレベルに相当し、大学チームと比較すれば総合2位の成績となります。

特に注目すべきは、全ての人間チームが解決できなかった「問題C」を、Geminiが開始からわずか30分以内に効率的に解いた点です。これは、無限に存在する構成の中から、最適な液体分配ネットワークを見つけ出すという、極めて困難な課題でした。

Geminiは、各リザーバーに「プライオリティ値」を設定し、動的計画法を適用するという革新的なアプローチを採用しました。さらにミニマックス定理を利用し、最適解を効率的に導出するためにネストされた三進探索を駆使しました。

この快挙は、プレトレーニング、強化学習、そして複数のGeminiエージェントが並列で思考し、コードを実行・検証するマルチステップ推論技術の統合によって実現しました。これにより、Geminiは最も困難なコーディング課題からも学習し進化しています。

ICPCの成果は、AIがプログラマーにとって真の問題解決パートナーになり得ることを示しています。AIと人間の知見を組み合わせることで、ロジスティクスやデバッグ、創薬、マイクロチップ設計といった科学・工学分野の複雑な課題解決を加速させることが期待されます。

この先進技術の一部は、すでにGoogle AI Ultraのサブスクリプションを通じて、軽量版のGemini 2.5 Deep Thinkとして提供されています。AIコーディングアシスタントの知能が飛躍的に向上し、開発現場の生産性向上に直結するでしょう。

AIブームが進む中、基盤モデルを開発する巨大企業が置き去りにされる可能性が浮上している。かつては「GPTラッパー」と軽視されたAIスタートアップが、特定タスク向けのモデルカスタマイズやインターフェース設計に注力し始めたからだ。

基盤モデルの価値が変化している背景には、事前学習のスケーリング効果が鈍化している事実がある。AIの進歩は止まっていないが、超大規模モデルの初期利益は減少し、事後学習や強化学習が新たな進化の源泉となっている。

競争環境も変化している。スタートアップはGPT-5、Claude、Geminiなど基盤モデルを互換性のある部品として扱い、ユーザーが気づかない間にモデルを切り替えることを前提に設計している。

この状況は、OpenAIやAnthropicのような基盤モデル企業を低マージンのコモディティ事業のバックエンドサプライヤーに変えるリスクをはらんでいる。ある創業者はこれを「スターバックスにコーヒー豆を売るようなもの」と表現した。

もちろん、基盤モデル企業が完全に脱落するわけではない。ブランド力、インフラ、巨額の資金など持続的な優位性も存在する。しかし、昨年までの「より大きな基盤モデルを構築する」という戦略は魅力を失いつつある。

AI開発の速いペースを考えると、現在の事後学習への注目も半年後には逆転する可能性がある。最も不確実なのは、汎用人工知能への競争が医薬品や材料科学で新たなブレークスルーを生み出す可能性だ。

結局のところ、AIの価値は基盤モデル自体ではなく、それを活用するアプリケーションやユーザー体験に移行しつつある。企業はこの変化に適応し、新たな競争優位性を築く必要に迫られている。