中国発、毛穴レベルの3D復元AI「LINO UniPS」──ViT×光度立体でスキャナー超えの精度を実現

出典: https://mp.weixin.qq.com/s/9CPnIjGK-KLZg_CdKeBzMw

LINO UniPS
概要ポイント
  • LINO UniPSはViTベースの光度立体法で、照明と法線の深い結合を解消。
  • 小波変換と勾配感知損失により、毛穴レベルの3D法線復元が可能。
  • ベンチマークLUCESでSOTA手法を上回る性能を記録。
  • GitHubでコード公開、Hugging Faceで体験デモも提供。
  • 3D生成やPBRマテリアル推定など多様な応用が可能。
本文

中国の研究チームが開発した「LINO UniPS」は、光度立体法に基づく高精度な3D再構築技術である。Vision Transformer(ViT)をベースとし、照明と法線の特徴を深度的に分離する仕組みにより、スキャナーを上回る精度で毛穴レベルのディテールを復元可能にしている。


LINOでは学習可能な「光寄存器トークン」と全体画像をまたぐアテンションメカニズムを導入。加えて、小波変換によるマルチスケール処理と勾配感知損失関数の組み合わせで、高周波のジオメトリを忠実に再現する。これにより、自動車・人物・布地など複雑な表面構造においても自陰影や微細な凹凸を正確に復元する。


実験では、従来のUni MS-PSやSDM UniPSなどの最先端法線推定手法と比較し、精度・ロバスト性ともに大幅な改善を示した。LUCESベンチマークでは平均誤差で最高スコアを記録し、アブレーション実験によってすべての構成要素が性能向上に寄与していることが示されている。


この技術は、3Dモデル生成、深度推定、PBR(物理ベースレンダリング)素材の予測といった幅広い応用が見込まれている。GitHubではコードと学習済みモデルが公開されており、Hugging Faceでは誰でも画像をアップロードして体験できるデモも提供されている。