DeepSeek開源DeepEP 為MoE模型訓練與推理EP通信庫

MoneyDJ新聞 2025-02-25 12:54:41 記者 新聞中心 報導

綜合陸媒報導，DeepSeek(深度求索；DS)宣布，今(25)日正式開源DeepEP，為首個專用於MoE模型訓練和推理設計的EP通信庫。

根據DeepSeek表示，其具備特點包括，高效、優化的全員溝通；支援節點內外通信，相容NVLink和RDMA技術；提供高輸送量的內核，提升訓練和推理前期填充效率；提供低延遲內核，優化推理解碼速度；完全支援FP8數據格式調度；提供靈活的GPU資源管理，支援運算與通信的重疊執行。

DeepEP是一款專為混合專家(MoE)和專家並行(EP)設計的通信庫，提供了高輸送量和低延遲的all-to-all GPU內核，常用於MoE派發和合併操作，該庫還支援低精度計算，包括FP8。為了與DeepSeek-V3論文中提出的組限制門控演算法相容，DeepEP提供了一些針對不對稱頻寬轉發優化的內核，例如將數據從NVLink域轉發到RDMA域。這些優化的內核能夠提供高輸送量，適合用於訓練和推理的預填充任務，同時支援SM(流式多處理器)數量控制。

對於延遲敏感型的推理解碼任務，DeepEP提供了一套低延遲內核，採用純RDMA 技術以最大程度減少延遲。此外，該庫還採用了一種基於Hook的通信與計算重疊方法，不會占用任何SM資源。