清華×北航、3Dアニメ生成AI「AnimaX」を公開──骨格非依存の多視点モーション合成で新境地

出典:https://mp.weixin.qq.com/s/3Kt7WpBdUYOvv6K-jQe9HQ

AnimaX demo image
概要ポイント
  • AnimaXは骨格構造に依存せず自然な3Dアニメーション生成を実現
  • テキストとレンダリング画像から多視点・高精度なモーションを生成
  • 三角測量と逆運動学を用いて3Dアニメへ復元
  • Animate3DやMotionDreamerより高精度・高制御性を達成
  • GitHubでコードとモデルを公開、今後の応用に注目
本文

北京航空航天大学と清華大学の研究チームは、拡散モデルをベースとした革新的な3Dアニメ生成フレームワーク「AnimaX」を発表した。従来の固定骨格構造に頼らず、複雑な高次元最適化も不要とする新たなアプローチを採用し、任意の3Dキャラクターを自然に動かすことが可能となった。


AnimaXは、テキストプロンプトと3Dメッシュのレンダリング画像を入力に、複数視点・多フレームの2D姿勢画像と動画を同時生成。これをもとに三角測量により3D関節を復元し、逆運動学で最終的なメッシュアニメーションへ変換する。生成プロセスには、時間的・空間的整合性を高めるための位置共有エンコーディングとモダリティ対応埋め込みも導入されている。


同フレームワークは、既存のMotionDreamerやAnimate3Dと比較しても、姿勢制御と精度の両立に優れており、自然な動きのアニメーションを高い再現性で出力できる点が特長。GitHubで学習済みモデルや推論用コードを含む実装が公開されており、研究用途だけでなく実務応用にも適している。


ただし現時点では、生成される動画は固定カメラ視点に制限されており、長尺アニメーションや広範囲モーションの表現には課題が残る。今後の改良により、長時間かつ動的なアニメーション表現への対応が期待されている。