香港科技大学、CVPR 2025採択「MultiGO」発表──単一画像から三層構造で高精度3D人体再構築

出典:https://mp.weixin.qq.com/s/YBfP4Mr1byrM2JtRbI5gZg

MultiGO技術デモ
概要ポイント
  • 香港科技大学(広州)の研究チームがMultiGOを開発しCVPR 2025に採択。
  • 骨格・関節・皺の3層に分けた「分層ガウス最適化」手法を導入。
  • SMPL-Xとガウススプラッティングを融合し高精度かつ柔軟な再構築を実現。
  • CustomHumanおよびTHuman3.0で従来手法を超える性能を記録。
  • プロジェクトページでビジュアルデモとコード公開予定。
本文

香港科技大学(広州)の研究チームが発表した「MultiGO(Multi-level Gaussian Optimization)」は、単一の人物画像からリアルな3D人体を高精度で再構築する革新的手法であり、CVPR 2025に正式採択された。骨格・関節・皺という3層の幾何構造を別々に処理・最適化することで、深度推定の曖昧さや衣服の細部再現といった従来手法の課題を克服した。


この技術の中核は、SMPL-Xベースの骨格形状に3Dフーリエ特徴を重ね合わせて高精度な姿勢推定を実現する骨格強化モジュール、関節パラメータに摂動を与えて深度推定の誤差耐性を高める関節強化戦略、ガウススプラッティングと拡散モデルに着想を得て表面ディテールを復元する皺最適化モジュールから構成される。


MultiGOは、既存のガウススプラッティングベースの事前学習モデルに接続可能で、CustomHumanおよびTHuman3.0といった人体ベンチマーク上でCD(倒角距離)、NC(法線整合度)、F-scoreなどの指標において顕著な性能向上を示している。arXiv上の論文によると、特に皺や材質の細部まで再現できる点が強みとされており、これはガウス点を条件付けに用いた拡散的ノイズ除去過程によるものと説明されている。


この分層建模アプローチは、仮想試着、メタバースやゲーム開発、映像制作・VFXなど、リアルタイム性と高精度が要求される多様な応用シーンにおいて大きな可能性を持つ。プロジェクトページでは実際のデモ映像も公開されており、今後はコードのオープンソース化も予定されている。