ファーウェイが初公開した大規模言語モデル「PANGU（盤古）Pro MoE」は、72Bのパラメータを備えた新型MoE構造モデル。従来のMoE構造が抱えていた計算負荷の偏りを解決するため、グループ化混合専門家（MoGE）構造を導入。専門家群を事前にグループ分けし、各グループ内で均等なトークン割り当てを行う設計により、分散環境での計算効率を最大化した。
この設計は、Ascend 300I Duoおよび800I A2プラットフォーム上での動作に最適化されており、最大1528 tokens/sの高速処理性能を実現。SuperCLUE評価では、同カテゴリである千億パラメータ未満のモデル中、国内トップのスコアを記録。DeepSeek-V2などと比較しても、処理トークンの分散が理想的で、専門家リソースを均等に活用している点が特徴とされる。
また、本モデルはAscend向けのオペレータ最適化や通信効率向上、低ビット量子化などを含む全栈設計により、推論コストを低く抑えつつ、複雑な推論・読解・数学・コード生成タスクに高精度で対応可能。産業レベルでの大規模モデル運用にも実用的で、今後の普及に期待が集まる。
