知数AI
AI知识中心 / 技术前沿 / 大模型预训练 / MoE 混合专家：DeepSeek-V2 和 Mixtral
🚀 技术前沿高级⏱️ 15 分钟

MoE 混合专家：DeepSeek-V2 和 Mixtral

📅 2026/5/14✍️ 佚名💬 0 条评论
MoEDeepSeekMixtral

MoE：多专家 + 稀疏激活


DeepSeek-V2：细粒度专家 + 共享专家 + 负载均衡


236B 参数、21B 激活参数，接近 GPT-4 性能，训练成本仅 1/20。

Mixtral 8x7B：46.7B 总参数，12.9B 激活

相关文章

🚀 • 长文本建模：从 RAG 到百万 Token🚀 • Mamba 架构：状态空间模型的崛起📖 • 大模型预训练全景解读

探索更多内容

评论 (0)

请先登录后发表评论

暂无评论，来发表第一条评论吧