華為發布AI推理創新技術UCM，預計9月開源
MoneyDJ新聞 2025-08-12 16:45:24 新聞中心 發佈 綜合陸媒報導，華為今(12)日正式發布AI推理創新技術UCM(推理記憶數據管理器)，可擴大推理上下文視窗，實現高吞吐、低時延的推理體驗，並降低每Token推理成本；華為計畫於今(2025)年9月正式開源UCM。
據瞭解，作為一款以KV Cache為中心的推理加速套件，UCM融合了多類型緩存加速演算法工具，分級管理推理過程中產生的KV Cache記憶數據，可擴大推理上下文視窗，實現高吞吐、低時延的推理體驗，降低每Token推理成本；該技術已率先在中國銀聯「客戶之聲」、「行銷策劃」、「辦公助手」等三大業務場景中，展開智慧金融AI推理加速應用試點，並已取得成果。
華為計畫於今年9月正式開源UCM，屆時將在魔擎社區首發，後續逐步擴至業界主流推理引擎社區，並共用給業內所有Share Everything(共用架構)儲存廠商和生態夥伴。
|
|
|
|
