我们推出了 DeepSeek–V3，这是⼀个强⼤的混合专家（MoE）语⾔模型，总参数为 671B，每个 token 激活 37B。为了实现⾼效推理和具有成本效益的训练，DeepSeek–V3 采⽤了多头潜在注意⼒（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。

此外，DeepSeek-V3 开创了⼀种 ⽆辅助损失的负载平衡策略，并设定了多 token 预测训练⽬标，以实现更强的性能。我们在 148 万亿个 多样化和⾼质量的 token 上对 DeepSeek-V3 进⾏了预训练，随后进⾏了监督微调和强化学习阶段，以充 分发挥其能⼒。

全⾯评估表明，DeepSeek-V3 的表现优于其他开源模型，并且其性能可与领先的闭源模 型相媲美。尽管表现出⾊，DeepSeek-V3 的完整训练仅需 2.788M H800 GPU ⼩时。

此外，其训练过程 ⾮常稳定。在整个训练过程中，我们没有经历任何不可恢复的损失峰值，也没有进⾏任何回滚。

声明：本站所有文章，如无特殊说明或标注，均为本站整理发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。本站内容均收集自网络，基于免费分享的目的，如若本站内容侵犯了原著者的合法权益，可联系我们进行删除处理。