MIT、人間のようにCAD操るAI開発 スケッチから3D生成

MITの研究チームは、人間のようにCADソフトウェアを操作し、2Dスケッチから3Dモデルを作成するAIエージェントを開発しました。4万1000件以上の操作手順を含む独自データセット「VideoCAD」を活用し、ボタン操作やマウス移動まで詳細に学習させています。

従来のAIは高レベルなコマンド指示に留まりがちでしたが、本システムは具体的なUI操作まで理解します。「線を引く」という指示を、特定のピクセル位置へのカーソル移動やクリック動作に変換し、実用的な操作を自律的に実行可能です。

研究チームは、このAIを設計者の「コパイロット」として機能させることを目指しています。退屈な反復作業を自動化することで、熟練エンジニアの生産性を高めるだけでなく、初心者がCADを習得するハードルを大幅に下げることが期待されます。

この成果は12月のNeurIPS会議で発表される予定です。将来的には、さらに複雑な形状や複数のCADシステムに対応できるよう学習を進め、製造業や建築業など幅広い分野での設計プロセス革新に貢献する見込みです。