混合专家模型
Mixture of Experts
每次只激活模型中一部分“专家”网络，以较低计算量获得更大参数容量。
先用人话理解
它像一个大型专家团队，不是每个问题都让所有人同时工作，而是由路由器挑选最相关的几位专家回答。
为什么重要
MoE 是扩大模型容量同时控制训练和推理成本的重要路线。
Mixture of Experts
每次只激活模型中一部分“专家”网络，以较低计算量获得更大参数容量。
它像一个大型专家团队，不是每个问题都让所有人同时工作，而是由路由器挑选最相关的几位专家回答。
MoE 是扩大模型容量同时控制训练和推理成本的重要路线。