Tripo Doodle(TripoSG Scribble)公開──VASTがリアルタイム3D生成ツールをオープンソース化

出典:https://mp.weixin.qq.com/s/5J-8iRwXwU4EY4FFHIArjw

Tripo Doodle デモ画像
概要ポイント
  • Tripo Doodleはスケッチとテキストを入力として、リアルタイムに3Dモデルを生成可能。
  • TripoSGを基盤とし、マルチモーダル入力と高速蒸留モデルを組み合わせた。
  • SIGGRAPH Asia 2024で初公開され、高い直感性と効率性が評価された。
  • 「ランダマイズ」機能により、多様な3D表現を即時に試行できる。
  • コード・デモ・論文をオープンソースとして公開し、共同開発を呼びかけている。
本文

VASTは「Tripo Doodle(TripoSG Scribble)」をオープンソースで公開した。このツールは、2Dスケッチとテキストプロンプトをリアルタイムで3Dモデルへと変換することができ、SIGGRAPH Asia 2024で披露された。TripoSGを基盤とし、多モーダル入力に対応した構成で、創作の手間を大幅に軽減する。


TripoSGは画像から高精度3D形状を生成するモデルで、VAEと符号付き距離関数(SDF)に基づいた構造を持つ。Tripo Doodleはその上に、スケッチとテキストという2つの入力モードを融合し、構造と意味の両方を同時に制御する。


さらに、蒸留による高速化により、即時生成・編集が可能。ユーザーは「トマトモンスター」などを30秒以内に作成でき、直感的かつ楽しい3D創作体験が実現されている。


VASTはこれらの技術をすべてオープンソースとして提供し、研究者・開発者・クリエイターとの共創による3D生成AIの未来を切り拓こうとしている。