詳細を読む
WIREDの記者Will Knight氏が、AIエージェントOpenClawとOpenAIのCodexを使い、オープンソースのロボットアーム「LeRobot 101」をバイブコーディングで制御する実験を行いました。従来は専門知識が必要だったロボットの設定・制御が、AIコーディングによって飛躍的に簡単になりつつあります。
LeRobot 101はHuggingFaceが提供するオープンソースのロボットアームで、コントローラーアームとカメラ付きフォロワーアームの2本で構成されます。Knight氏は手動での接続・キャリブレーションに数時間を費やし、モーターの過熱トラブルにも見舞われました。しかしOpenClawとCodexを用いると、接続設定やジョイントの校正を自動で処理し、赤いボールを検出して掴むPythonスクリプトまで生成できました。
さらにOpenClawの支援のもと、ロボットアームを制御するAIモデルの訓練にも成功しています。エージェントがトレーニングプロセスを案内し、各訓練後のエラー率を確認するなど、専門家なしでもモデル開発が可能であることを示しました。ハルシネーションによるバグは残る課題ですが、成果は十分に実用的なレベルです。
この手法は2022年の論文で提唱された「Code as Policy」に基づいています。UC BerkeleyのKen Goldberg教授らはNvidia、カーネギーメロン大学、スタンフォード大学と共同で、コーディングモデルのロボット制御能力を測るCaP-Xベンチマークを開発しました。興味深いことに、ロボット制御で最も高い性能を示したのはClaudeやChatGPTではなくGoogleのGeminiでした。マルチモーダル学習と物理世界の理解に注力してきた成果とみられます。
NvidiaのJensen Huang CEOの息子であるSpencer Huang氏は、社内ハッカソンでバイブコーディングによるロボット制御の実験を推進しています。Goldberg教授との共同研究では、Code as Policyをより多くのロボットソフトウェアツールと互換性を持たせることを目指しています。「ほぼ誰でもロボティクスに参入できるようになること、それが真のブレークスルーだ」とHuang氏は語っており、音声やテキストでロボットを操作できる未来が近づいています。