Janus-Pro: 次世代の統合型マルチモーダル理解・生成モデルが登場

出典:https://github.com/deepseek-ai/Janus?tab=readme-ov-file

概要ポイント
  • Janus-Pro は、従来の Janus を進化させた統合型マルチモーダルモデル。
  • 最適化されたトレーニング戦略とデータ拡張により、理解・生成能力を向上。
  • 画像・テキストの統合推論に優れ、タスク特化型モデルに匹敵する性能を実現。
  • 公開モデルとして、研究および商業利用が可能。
  • JanusFlow などの派生技術も展開され、幅広い応用が期待される。
本文

DeepSeek は、統合型マルチモーダル理解・生成モデル「Janus-Pro」を正式に発表した。本モデルは、従来の「Janus」からさらに進化し、最適化されたトレーニング手法、拡張されたデータセット、より大規模なモデルサイズへのスケーリングを特徴としている。

Janus-Pro は、テキストと画像の統合的な理解と生成を強化し、特定タスクに特化したモデルと同等以上のパフォーマンスを達成。特に、テキストから画像を生成する際の精度と安定性が大幅に向上している。従来のマルチモーダルモデルが直面していた、視覚エンコーダの役割衝突の問題を解決するため、Janus-Pro では視覚情報の処理を分離したアーキテクチャを採用。この手法により、視覚認識と生成の両タスクにおいて一貫した性能を発揮する。

また、JanusFlow という派生技術では、「整流フロー(Rectified Flow)」を組み込むことで、既存の自己回帰型モデルと比べ、より効率的な生成が可能になった。この技術は、大規模言語モデルのフレームワーク内で自然にトレーニングできるため、複雑なアーキテクチャ変更を必要としない点も大きな利点である。

現在、Janus-Pro はオープンソースとして提供されており、研究者や企業が利用可能。Hugging Face からのダウンロードや、オンラインデモを通じた体験も可能である。今後の展開として、さらなるモデルの拡張や、より高度なタスクへの適用が期待される。

DeepSeek の Janus-Pro は、次世代の統合型マルチモーダルモデルとして、AIの応用範囲を広げる重要なステップとなるだろう。