詳細を読む
OpenAIは、機械学習コミュニティ向けに実施したオープンチャレンジ「Parameter Golf」の振り返りを公開しました。この競技は、FineWebデータセットに対する損失を最小化しつつ、モデルの重みと学習コードを合わせて16MB以内に収め、8基のH100で10分以内に学習を完了させるという厳しい制約の下で行われました。8週間で1,000人以上が参加し、2,000件を超える提出がありました。
技術面では、オプティマイザの精密チューニングや量子化による圧縮、テスト時学習戦略、新しいモデリング手法など、幅広いアプローチが見られました。記録トラックでは再現性を独立検証し、非記録トラックでは非自己回帰型テキストモデリングや動的トークナイゼーションなど実験的な手法も登場しています。
今回の競技で最も注目すべき変化は、AIコーディングエージェントの広範な活用です。参加者の大多数がエージェントを使い、実験のセットアップやコード理解を効率化しました。RunPodによる100万ドル相当の計算資源提供と合わせ、参加の敷居が大きく下がりました。一方で、上位スコアの小修正を繰り返す模倣的な提出が増え、ルール違反の連鎖も発生しています。
運営側はこの大量提出に対応するため、Codexベースのトリアージボットを開発し、提出の自動監視と人間レビューへの振り分けを実施しました。ピーク時には1日数百件の提出があり、手動確認だけでは追いつかない状況でした。コミュニティからもレビューツールやライブ速報が自発的に生まれています。
OpenAIはParameter Golfを人材発掘の手段としても位置づけており、優れた機械学習センスと粘り強さを持つ人材の発見に有効だったと評価しています。エージェント時代における研究コンペティションの在り方について貴重な知見が得られたとし、今後も同様のチャレンジを計画していく方針です。