螞蟻開源兆級參數模型Ring-1T,綜合能力逼近GPT-5
MoneyDJ新聞 2025-10-15 11:11:02 新聞中心 發佈 綜合陸媒及港媒報導,螞蟻集團正式推出兆級參數思考模型Ring-1T,並全面開源模型權重與訓練配方。該模型在「人類偏好對齊」測試(Arena-Hard V2)中,以81.59的成功率居於開源模型榜首,逼近GPT-5-Thinking(High)82.91的成績,而用戶現可透過HuggingFace、魔搭社區下載模型,並通過螞蟻百寶箱等平台線上體驗。
為持續激發推理能力,螞蟻百靈團隊挑戰了難度更高的IMO2025(國際數學奧林匹克)賽題,將Ring-1T接入多智慧體框架AWorld,使用純自然語言推理進行解題;實驗結果顯示,Ring-1T僅用一次解出了第1、3、4、5題,達IMO銀牌水準,成為首個能拿IMO國際奧數獎的開源系統。
據悉,兆級參數思考模型訓練最大難題是訓推精度差異,即訓練階段與推理階段因實現細節差異導致的訓練和推理精度不一致,進而導致訓練崩潰。在Ring-1T模型中,螞蟻採用了自研的「冰棒(icepop)」算法來應對這項行業難題,即用帶掩碼的雙向截斷技術,把訓練-推理分布差異凍結在低水位,確保長序列、長週期訓練不崩。
此外,應對兆級參數模型強化學習訓練,螞蟻還自研了高性能強化學習系統ASystem(其中包含已開源的高性能強化學習框架AReaL),特別針對兆級參數模型的顯存管理和訓推權重交換問題做了精細的優化,實現了單機顯存碎片秒級回收、權重零冗餘交換,把大規模RL訓練穩定跑成日常。
|