Trainium向けモデル動作情報を公開

Hugging Face上で、AWS Trainium向けにモデルの動作を確認できる対応情報と試験用スクリプトが公開されています。Transformersのテキスト生成や画像とテキストを扱うモデルについて、Neuronの環境とコンパイル・実行結果を調べられます。

対応表には、ライブラリやコンパイラの版、使用したコア数、コンパイルを含む時間、メモリ使用量などが記録されます。利用者が自分のモデルを移植する前に、既知の結果を確認するための情報です。

試験はTrainium2で行い、最大4デバイス・16コアを使用しています。生成は32トークンという短い条件で、単一コアと分割実行では出力の確認方法も異なります。

公開スクリプトやコンパイル済み成果物のキャッシュは、再現や初期検証を助けます。ただし、動作成功は長い生成や大量リクエスト時の性能保証ではなく、実際の用途に応じた負荷試験が必要です。