半年間訓練量增五倍 谷歌AI模型大有長進
據媒體報導，積極應對競爭對手OpenAI的GPT-4大型語言模型（LLM），谷歌日前透露其新一代LLM使用的訓練數據幾乎是2022年第一代的5倍，使其能夠執行更高級的編程、數學和創意寫作任務。
根據財經頻道CNBC獲悉的內部文件，在上星期谷歌I/O大會上發布的PaLM 2，是在3萬6000億個文本單位（token）上進行訓練的。這些由單詞組成的字符串，是訓練LLM的一個重要組成部分，它們教導模型對序列中將出現的下一個單詞進行預測。
相比之下，谷歌在2022年發布的上一版PaLM，是在7800億個token上訓練的。
雖然谷歌一直渴望展示其AI技術的力量，卻不願公布訓練數據的規模等細節。OpenAI也對最新的GPT-4的具體內容保密。兩家公司稱，不披露的原因是業務的競爭性質。谷歌和OpenAI正急於吸引那些可能想用對話式聊天機器人而不是傳統搜索引擎來搜索信息的用戶。
PaLM 2模型比之前的LLM更小，這意味著谷歌的技術在完成更複雜任務的同時變得更有效率。根據內部文件，PaLM 2在3400億個參數上進行了訓練，複雜性提升。最初的PaLM是在5400億個參數上訓練的。
谷歌沒有對有關報道置評。
在宣布PaLM 2時，谷歌證實該模型是在100種語言上訓練的，並執行廣泛的任務，包括該公司的實驗性聊天機器人Bard。該模型還有四種不同尺寸：Gecko、Otter、Bison和Unicorn。
根據公開披露的信息，PaLM 2比任何現有模型都要強大。臉書在2月宣布的名為LLaMA的LLM，是在1.4萬億個token上訓練的。OpenAI公佈的ChatGPT的訓練規模是GPT-3，在3000億個token上訓練。3月發布GPT-4時稱在許多專業測試中表現出「人類水平的性能」。LaMDA是谷歌兩年前推出的對話式LLM，是在1.5萬億個token上訓練的。
另一方面，由於PaLM 2有不同的版本，對於放射科醫療界而言，特別感興趣的是Med-PaLM 2，可利用醫療數據來回答問題並提供健康相關主題的洞察力。
根據谷歌研究，Med-PaLM 2根據醫生和用戶小組的判斷，為消費者的健康問題生成「準確、有用的長篇答案」。谷歌表示，Med-PaLM 2的主要目標之一是「綜合X射線和乳房X光檢查等信息，有朝一日改善病人的治療效果」。谷歌DeepMind副總裁Zoubin Ghahramani撰寫的谷歌博客指出，Med-PaLM 2是第一個在美國醫學執照考試式問題上取得「專家」成績的LLM。(資料來源：經濟部國貿局)
