hg6686(香港)有限公司

　　据介绍，DeepEP 是一款专为混合专家（MoE）和专家并行（EP）设计的通信库通信和通讯的区别，提供了高吞吐量和低延迟的 all-to-all ✅✅GPU 内核，常用于 MoE 派发和合并操作水利项目包含哪些内容。该库还支持㊣低✅精度计算，包括㊣ FP8。

　　为了与 DeepSeek-V3 论文中提出的组限制门控算法兼容，DeepEP 提供了一些针对不对称带宽转发优化的内核，比如将数据从 N㊣VLink 域转㊣发到 RDMA 域。这些优化的内核能够提供高吞吐量，适合✅用于训练㊣和推理的预填充任务，同时支持㊣ SM（流式多处理器）数量控制。

　　对于延迟敏感型的推理解码任务，DeepEP 提供了一套低延迟内核，采用纯 RDMA 技术以最大程度减少延迟。此外，该库还采用了一种基于 Hook 的通信与计算重叠方法，不会占用任何 SM 资源。