アリババのTongyi Lab、Wan2.2-Animateをオープンソース公開──モーション模倣とキャラクター置換を1モデルで実現

出典:https://mp.weixin.qq.com/s/kLmiZv6L-_RoIRUgeYfx9A

Wan2.2-Animate
概要ポイント
  • Wan2.2-Animateはモーション模倣とキャラクター置換の両モードに対応。
  • 骨格情報と表情特徴を組み合わせ、動きと表情を高精度に再現。
  • 光の統合技術を導入し、キャラクター置換時の不自然な照明差を解消。
  • Wanは今年2月以降で20以上のモデルを連続公開、累計3千万超DL。
  • テキスト生成画像・テキスト生成動画・モーション生成など多様な機能を提供。
本文

アリババのTongyi Labは、新たなモーション生成モデル「Wan2.2-Animate」をオープンソースで公開した。同モデルは一枚のキャラクター画像と参考動画を入力することで、動画内の動作や表情を画像キャラクターに移す「モーション模倣」と、動画の動作や環境を保持したまま登場キャラクターを画像のキャラクターに置き換える「キャラクター置換」の2つのモードを兼ね備える。対象は人物に加え、アニメキャラクターや動物写真にも対応し、ショート動画制作、ダンステンプレート生成、アニメ制作など幅広い領域での活用が見込まれる。


従来の「Animate Anyone」では動作や表情、環境を統合的に制御できず生成結果に不自然さが残っていたが、Wan2.2-Animateでは大規模な人物動画データセットを再学習に活用し、動作・表情・環境情報を統一フォーマットに整理。骨格情報と表情特徴を用いた再現、さらに光の統合技術による自然な照明効果を実現した。これにより1つのモデルで2種類の推論モードを高精度に両立させている。


Wanは2025年2月以降、20以上のモデルを立て続けに公開しており、オープンソースコミュニティや各種プラットフォームでの累計ダウンロード数はすでに3,000万件を突破。現在はテキスト生成画像、テキスト生成動画、画像生成動画、音声駆動型動画生成、モーション生成など10を超える機能を提供しており、中国発のオープンソースAI群の中でも存在感を強めている。