Hugging Faceハッカソンで小規模モデルのゲーム生成に挫折

試行錯誤と失敗の過程

Nemotron 30Bでゲーム生成を試行
長文プロンプトでは動作せず
スキルカードでコンテキスト超過
RAG併用も画面は真っ白

方針転換と得られた教訓

複雑なゲームを断念しHTML生成に転換
時計やToDoリストは生成可能
Tetris級の複雑さで破綻
小規模モデルの限界が明確に
詳細を読む

Hugging Face主催のBuild Smallハッカソンで、参加者がNVIDIANemotron 30Bモデルを使い、Three.jsベースのゲームを自動生成するプロジェクトに挑戦しました。アニメ「The Amazing Digital Circus」に着想を得た「デジタルペット」が冒険=ゲームを生成するというコンセプトでしたが、最終的にゲーム生成は実現できませんでした。

開発者はまず長文プロンプトでモデルに指示を与えましたが、生成されたゲームは正常に動作しませんでした。次にGitHub Copilotのスキルカードを導入したところ、短く設定していたコンテキストウィンドウを圧迫。ウィンドウを拡大しても問題は解消されませんでした。

さらにCodexでスキル情報を要約し、RAGで参照させる方式も試みました。この手法ではモデルの応答品質がやや改善したものの、生成されるゲームには必ず不具合があり、画面が真っ白になるケースが続出しました。

最終的にゲーム生成を断念し、シンプルなHTML生成ツールへと方針を転換しています。時計やToDoリスト、SnakeやBreakoutといった単純なゲームはワンショットで生成できるものの、Tetris級の複雑さになると破綻するとのことです。小規模モデルでの複雑なコード生成には依然として大きな壁があることを示す事例といえます。