混合专家（MoE）：参数很多，但每次只「叫醒」一部分
一、背景
训练 万亿参数 级模型，全量激活 算力烧不起。混合专家（Mixture of Experts, MoE） 的思路很直白：网络里有很多 专家子网络（Expert），对 每个 token（或每小块）只 路由激活其中 Top-K 个，其余 睡觉——于是 总参数量很大，但 单次前向算力 可控。
读 Mixtral、部分国产大模型 架构时，常会看到 8专家选 2 之类描述。搞懂 路由、负载均衡、通信开销，你就理解 为啥 MoE 推理对框架要求高；和 Dense模型、量化 对比，也更好做 选型。
二、核心概念和核心原理（详细解答+通俗解释）
（一）核心概念（先通俗，再详细）
1. Expert——小型 FFN 或子层通俗解释：每个专家像 一组备用大脑皮层，专精不同模式；门控（Router） 决定当前 token 找谁。详细解答：实现上常 共享 Attention，只 FFN 分专家（因 FFN 占算力大头）。
2. Top-K 路由通俗解释：算 logits，取 概率最大的 K 个专家；K 常取 1～2。详细解答：负载不均 会导致 某些专家累死、某些闲置——要 辅助损失 鼓励均衡。
3. 总参 vs 激活参通俗解释：总参 可巨大；每个 token 实际参与计算的参数量 往往只相当于 同级别 Dense 小模型 的量级。详细解答：宣传「万亿」时要问 激活多少。
（二）核心原理（通俗拆解，一步一步讲清楚）
第一步：门控怎么学通俗解释：和主网络 一起训练；噪声、专家容量 等技巧防崩溃。详细解答：推理时 确定性路由 或 带温度，看实现。
第二步：通信通俗解释：多卡 时专家 分布在不同 GPU；路由要 All-to-All 传 token，网络带宽 成瓶颈。详细解答：EP（Expert Parallel） 是 MoE 工程核心难题。
第三步：和 Dense 的取舍通俗解释：MoE 强 scaling、弱实现复杂度；小模型 Dense 更省心。详细解答：个人本地 常跑 Dense 量化；云上大模型 MoE 常见。
三、补充进阶知识点（易懂不晦涩，适配新手进阶）
1. 专家坍塌通俗解释：全挤一个专家，MoE 退化成单 FFN。简单补充：训练技巧与 监控 per-expert 利用率。
2. 投机解码与 MoE通俗解释：草稿模型 也要匹配 路由行为，工程更难。简单补充：知道即可。
3. 和之前知识点的关联（重点） KV Cache 仍在 Attention 侧；量化 可对 专家权重 分块；评测 看 同激活预算 下质量；推理框架（vLLM 等）对 MoE 专门优化。
四、文章知识总结
- 背景：MoE = 多专家 + 稀疏激活；大参数量、可控算力。
- 核心概念：Router、Top-K、负载均衡；总参不等于激活参。
- 核心原理：FFN 分片；多卡通信；训练防坍塌。
- 进阶：专家利用率；与 Dense 选型；框架支持。
- 核心逻辑：MoE 省的是 FLOPs，不自动省工程复杂度。
总结：MoE 是 「大力出奇迹」时代的架构杠杆；读论文看 激活参数与通信，比看 总参数字 更靠谱。