MoneyDJ新聞 2025-02-07 13:04:41 記者 郭妍希 報導
中國AI新創DeepSeek (DS) 1月推出號稱成本極低的先進AI模型，震撼全球市場，也讓投資人開始嚴格審視美國科技巨擘動輒數百億美元的資本支出。史丹佛大學、華盛頓大學的AI研究人員，最近成功以不到50美元的雲端運算額度訓練了一款AI「推理」(reasoning)模型「s1」。
TechCrunch、Mashable 6日報導，根據研究人員發表的論文，在數學與編程測試方面，s1的表現跟OpenAI「o1」、DeepSeek「R1」等先進AI推理模型類似。s1模型目前可在GitHub取得，並附有用於訓練的數據和程式碼。
s1的研究團隊表示，他們一開始是用現成的基礎模型，然後透過「蒸餾」(distillation)技術微調。蒸餾是以另一款AI模型的回答進行訓練，從而提取「推理」能力的過程。
研究人員說，s1是以Google其中一項推理模型——「Gemini 2.0 Flash Thinking Experimental」進行蒸餾的。柏克萊大學研究人員1月才剛以相同的蒸餾作法創造一款AI推理模型，當時他們的訓練成本約為450美元。
負責s1的研究人員希望找到最簡單的方式，達成強大的推理效能及「測試時間縮放」(test-time scaling，即讓AI模型在回答問題前進行更多思考)。這正是OpenAI「o1」完成的一些突破性成果，DeepSeek及其他AI實驗室正試圖透過各種技術進行複製。
s1論文顯示，透過一種名為「監督式微調」(supervised fine-tuning，SFT)的過程，推理模型可運用規模相對較小的資料庫進行蒸餾。相較於DeepSeek用來訓練R1的大規模強化學習(large-scale reinforcement learning)方法，SFT通常更便宜。
Google透過旗下「Google AI Studio」平台，讓用戶免費存取Gemini 2.0 Flash Thinking Experimental，但每日有額度限制。
s1是以阿里巴巴開放免費下載的AI模型「通義千問」(Qwen)為基礎。為了訓練s1，研究人員精心挑選了1,000個問題，再搭配Gemini 2.0 Flash Thinking Experimental對問題的回應和背後思考的過程集成資料庫。
論文顯示，s1是以16顆輝達「H100」繪圖處理器(GPU)進行訓練，花費不到30分鐘。以某些AI標竿來看，s1的效能強大。參與這項專案的史丹佛大學研究員Niklas Muennighoff透露，如今他能以大約20美元租到這些必要的算力。
根據論文，研究人員使用了一個的技巧讓s1自我檢查並延長其「思考」的時間：他們指示它「等待」。在s1推理過程中加入「等待」這個詞，可幫助模型得出略微準確一些的答案。
(圖片來源：shutterstock)
＊編者按 ：本文僅供參考之用，並不構成要約、招攬或邀請、誘使、任何不論種類或形式之 申述或訂立任何建議及推薦，讀者務請運用個人獨立思考能力，自行作出投資決定，如因相關建議招致損失，概與《精實財經媒體》、編者及作者無涉。
