事前学習（モデル学習手法・技術）に関するニュース一覧

独ソフトウェア大手のSAPは、企業のAI導入を簡素化する新たな基盤モデル「RPT-1」を発表しました。このモデルは表形式データに特化しており、従来のLLMのように時間とコストのかかるファインチューニングが不要な点が最大の特徴です。導入後すぐに予測分析などの高度な業務に活用できるとしており、2025年第4四半期の一般提供開始を予定しています。

RPT-1は「リレーショナル基盤モデル」と名付けられ、リレーショナルデータベースやExcelのようなスプレッドシートのデータから学習します。SAPが数十年にわたり蓄積したビジネス取引データを基に事前学習済みのため、企業は自社の個別データを追加学習させることなく、「すぐに使える（out-of-the-box）」状態で業務アプリケーションに直接組み込むことが可能です。

テキストやコードを学習する大規模言語モデル（LLM）とは一線を画します。RPT-1は、数値や異なるセル間の関係性を深く理解することで、より構造的で正確な回答を生成できます。この特性は、特に金融分野や企業の業績管理など、精密な分析が求められる業務で真価を発揮するでしょう。汎用LLMでは対応が難しいユースケースを切り拓きます。

このモデルの基盤となっているのは、SAPの研究者が提唱した「ConTextTab」というアーキテクチャです。これは、テーブルのヘッダーや列の型といった意味情報（セマンティックシグナル）を手がかりに学習を進めることで、データ間の関連性を構造的に把握します。この仕組みが、RPT-1の精度の高さを支えています。

RPT-1は2025年第4四半期に、SAPのAI基盤サービス「AI Foundation」を通じて一般提供が開始される予定です。また、専門家でなくてもモデルを試せるノーコードの実験環境（プレイグラウンド）も提供されます。SAPは今後、オープンソースモデルを含む他のモデルも順次リリースする計画で、企業のAI活用をさらに加速させそうです。

テキサスA&M;大学など米国の研究チームが、大規模言語モデル（LLM）を低品質な「ジャンクデータ」で継続的に学習させると、人間の「脳腐敗」に似た性能低下が起きる可能性を指摘する論文を発表しました。この研究は、LLMの性能を維持・向上させる上で、学習に用いるデータの「量」だけでなく「質」が極めて重要であることを示唆しており、AIをビジネス活用する企業にとって重要な知見となりそうです。

研究チームが提唱するのは「LLM脳腐敗仮説」です。これは、人間がインターネット上で些細で質の低いコンテンツを大量に消費すると、注意⼒や記憶⼒が低下する現象に着想を得ています。同様に、LLMもジャンクなウェブテキストで事前学習を続けると、持続的な認知能力の低下を招くのではないか、というのが仮説の骨子です。

では、何が「ジャンクデータ」と見なされるのでしょうか。研究チームはHuggingFaceが公開する1億件のツイートデータを分析し、2つの指標で定義を試みました。一つは、エンゲージメント（いいね、リツイート等）は高いが、文章が短いツイートです。これらは些細な内容でユーザーの注意を引く「ジャンク」の典型例とされました。

もう一つの指標は、ツイートの「意味的な質」です。研究チームはGPT-4oを活用し、陰謀論、誇張された主張、根拠のない断言、あるいはクリックベイトのような扇動的な見出しを含むツイートを「ジャンク」として分類しました。このAIによる分類の精度を人間が検証したところ、76%の一致率を示し、一定の信頼性が確認されています。

この研究は、AIをビジネスに活用する経営者やエンジニアに重要な問いを投げかけています。自社データなどでLLMをファインチューニングする際、安易に大量のデータを投入するだけでは、かえってモデルの性能を損なう危険性があるのです。AI戦略において、データの品質をいかに担保するかというデータガバナンスの重要性が、改めて浮き彫りになったと言えるでしょう。

NVIDIAの研究者チームが、大規模言語モデル（LLM）の訓練手法を根本から変える可能性のある新技術「強化学習事前学習（RLP）」を発表しました。この手法は、従来は訓練の最終段階で行われていた強化学習を、大量のテキストデータを読み込む事前学習の初期段階に統合するものです。これにより、モデルは自ら「思考」する能力を早期に獲得し、複雑な推論タスクにおける性能が飛躍的に向上することが示されました。

従来のLLM開発では、まず「次の単語を予測する」という単純なタスクを通じて、膨大なテキストデータから言語の基本構造を学習させます。その後に、人間によるフィードバックや特定のデータセットを用いたファインチューニング（微調整）で、思考の連鎖（CoT）のような高度な推論能力を教え込むのが一般的でした。しかし、この逐次的なプロセスでは、モデルが深い思考力を初期から身につけることが難しいという課題がありました。

新手法RLPは、このプロセスを刷新します。モデルは次の単語を予測する前に、まず内部で「思考」や推論の連鎖を生成します。そして、その思考が予測精度をどれだけ向上させたかに基づいて、自律的に報酬を受け取ります。思考が予測に役立った場合にのみ正の報酬が与えられるため、モデルは人間によるラベル付けや外部の検証者を必要とせず、有用な思考パターンを効率的に学習していきます。

実験では、RLPを用いて訓練されたモデルが、数学や科学といった高度な推論を要するベンチマークで、従来手法で訓練されたモデルを一貫して上回る性能を示しました。特に注目すべきは、ファインチューニング後もこの性能向上が失われることなく、むしろ相乗効果を生み出す点です。これは、後の学習で以前の知識を忘れてしまう「破滅的忘却」という課題を克服し、より堅牢な基礎能力を構築できることを意味します。

この技術は、企業のワークフローにも大きな影響を与える可能性があります。例えば、金融分析や法務文書の要約など、複数ステップの論理的な思考が求められる業務において、AIの信頼性を高めることが期待されます。NVIDIAの研究担当ヴァイスプレジデントであるブライアン・カタンザロ氏は、「RLPは既存のファインチューニングを置き換えるのではなく、その効果を増幅させるものだ」と述べ、より強力なモデルを構築するための新たな基盤になるとの考えを示しています。

RLPは、単なる訓練コストの削減技術にとどまりません。LLMの学習プロセス自体を、受動的な単語予測から、より能動的で好奇心旺盛な「思考」の探求へとシフトさせるものです。このアプローチは、AIが世界の情報をどのように見て、それについてどう考えるかを教える新しい道筋を示唆しており、将来のAI開発における新たなスケーリングの軸となる可能性を秘めているのです。

スタートアップのPrime Intellectは、分散型強化学習（DRL）を活用し、競争力のあるオープンなフロンティア大規模言語モデル（LLM）「INTELLECT-3」を開発中です。これは、巨大テック企業に依存せず、世界中の多様なハードウェアを用いてAIモデルを構築し、AI開発を民主化することを目的としています。現在のAI界の二極化構造を変える可能性を秘めた動きとして注目されています。

今日、AIモデルの改善は、単純なデータや計算資源の増強だけでは難しくなっています。特に、プレトレーニング後の強化学習（RL）のプロセスが、モデルの能力拡張における最大のボトルネックです。このRLは通常、高度な専門知識と大量の計算資源が必要なため、これまで大手AI企業によってクローズドに行われてきました。

Prime Intellectは、この課題を打破するため、誰もが特定のタスクに特化した強化学習環境を作成できるフレームワークを提供しています。コミュニティと自社チームが作成した最良の環境を組み合わせることで、INTELLECT-3のチューニングを進めています。これにより、開発者は手軽にRLを実行し、モデルの専門性を高めることが可能になります。

同社は以前にも分散型手法の有効性を示しています。2024年後半のINTELLECT-1、そして推論能力を向上させたINTELLECT-2をリリースし、分散型トレーニングの実現性を証明しました。Teslaの元AIチーム責任者であるアンドレイ・カーパシー氏も、Prime Intellectの強化学習環境の取り組みを「素晴らしいアイデア」として評価しています。

Prime Intellectの試みは、オープンソースAI市場における米国の存在感を高めることを目指しています。現在、オープンなフロンティアモデルは中国勢が優勢ですが、同社の技術が普及すれば、スタートアップや開発者が自ら高度なAIを構築・修正できるようになります。これにより、多種多様なタスクに特化した新たなAIエージェント製品の創出が期待されます。

AI開発企業Anthropicは10月2日、元Stripeの最高技術責任者（CTO）であるRahul Patil氏を新しいCTOとして迎え入れたと発表しました。競争が激化するAIインフラ分野を強化し、自社製品「Claude」の急成長に対応するのが狙いです。共同創業者のSam McCandlish氏はチーフアーキテクトとして、大規模モデル開発に専念します。

新体制では、Patil氏がコンピューティング、インフラ、推論といった技術部門全体を統括します。製品エンジニアリングチームとインフラチームをより密接に連携させることで、開発体制の効率化を図ります。一方、CTO職を退いたMcCandlish氏は、モデルの事前学習や大規模トレーニングに集中し、技術の最前線を切り開く役割を担います。

今回の経営陣刷新の背景には、AI業界における熾烈なインフラ開発競争があります。OpenAIやMetaなどが計算資源の確保に巨額の資金を投じており、Anthropicもインフラの最適化と拡張が喫緊の課題となっていました。

Anthropic自身も、主力AI「Claude」の利用者が急増し、インフラに大きな負荷がかかるという課題に直面していました。同社は7月、一部ヘビーユーザーの利用を受け、APIの利用制限を導入した経緯があります。安定したサービス提供には、インフラの抜本的な強化が不可欠でした。

Patil氏は、Stripeで5年間技術職を務めたほか、Oracleでクラウドインフラ担当上級副社長、AmazonやMicrosoftでもエンジニアリング職を歴任しました。この20年以上にわたる豊富な経験は、特に企業が求める信頼性の高いインフラを構築・拡張する上で大きな強みとなるでしょう。

AnthropicのDaniela Amodei社長は「Rahul氏は企業が必要とする信頼性の高いインフラを構築・拡張してきた実績がある」と期待を寄せます。Patil氏自身も「AI開発のこの極めて重要な時期に参加できることに興奮している。これ以上の使命と責任はない」と述べ、新天地での貢献に意欲を見せています。

Google DeepMindのAIモデル「Gemini 2.5 Deep Think」が、2025年国際大学対抗プログラミングコンテスト（ICPC）世界大会で金メダルレベルの成果を達成しました。人間チームが誰も解けなかった複雑な最適化問題を見事に解決し、抽象的な問題解決能力におけるAIの劇的な進化を証明しました。

Geminiは競技ルールに従い、5時間の制限時間で12問中10問を正解しました。これは出場した大学139チームのうち、トップ4にのみ与えられる金メダルレベルに相当し、大学チームと比較すれば総合2位の成績となります。

特に注目すべきは、全ての人間チームが解決できなかった「問題C」を、Geminiが開始からわずか30分以内に効率的に解いた点です。これは、無限に存在する構成の中から、最適な液体分配ネットワークを見つけ出すという、極めて困難な課題でした。

Geminiは、各リザーバーに「プライオリティ値」を設定し、動的計画法を適用するという革新的なアプローチを採用しました。さらにミニマックス定理を利用し、最適解を効率的に導出するためにネストされた三進探索を駆使しました。

この快挙は、プレトレーニング、強化学習、そして複数のGeminiエージェントが並列で思考し、コードを実行・検証するマルチステップ推論技術の統合によって実現しました。これにより、Geminiは最も困難なコーディング課題からも学習し進化しています。

ICPCの成果は、AIがプログラマーにとって真の問題解決パートナーになり得ることを示しています。AIと人間の知見を組み合わせることで、ロジスティクスやデバッグ、創薬、マイクロチップ設計といった科学・工学分野の複雑な課題解決を加速させることが期待されます。

この先進技術の一部は、すでにGoogle AI Ultraのサブスクリプションを通じて、軽量版のGemini 2.5 Deep Thinkとして提供されています。AIコーディングアシスタントの知能が飛躍的に向上し、開発現場の生産性向上に直結するでしょう。

AIブームが進む中、基盤モデルを開発する巨大企業が置き去りにされる可能性が浮上している。かつては「GPTラッパー」と軽視されたAIスタートアップが、特定タスク向けのモデルカスタマイズやインターフェース設計に注力し始めたからだ。

基盤モデルの価値が変化している背景には、事前学習のスケーリング効果が鈍化している事実がある。AIの進歩は止まっていないが、超大規模モデルの初期利益は減少し、事後学習や強化学習が新たな進化の源泉となっている。

競争環境も変化している。スタートアップはGPT-5、Claude、Geminiなど基盤モデルを互換性のある部品として扱い、ユーザーが気づかない間にモデルを切り替えることを前提に設計している。

この状況は、OpenAIやAnthropicのような基盤モデル企業を低マージンのコモディティ事業のバックエンドサプライヤーに変えるリスクをはらんでいる。ある創業者はこれを「スターバックスにコーヒー豆を売るようなもの」と表現した。

もちろん、基盤モデル企業が完全に脱落するわけではない。ブランド力、インフラ、巨額の資金など持続的な優位性も存在する。しかし、昨年までの「より大きな基盤モデルを構築する」という戦略は魅力を失いつつある。

AI開発の速いペースを考えると、現在の事後学習への注目も半年後には逆転する可能性がある。最も不確実なのは、汎用人工知能への競争が医薬品や材料科学で新たなブレークスルーを生み出す可能性だ。

結局のところ、AIの価値は基盤モデル自体ではなく、それを活用するアプリケーションやユーザー体験に移行しつつある。企業はこの変化に適応し、新たな競争優位性を築く必要に迫られている。