谷歌最新AI大語言模型PaLM2數(shù)據(jù)量擴充5倍

5月17日消息，據(jù)報道，谷歌上周發(fā)布的最新大語言模型使用的訓練數(shù)據(jù)，幾乎是 2022 年的上一代模型的 5 倍。得益于此，該模型在編程、數(shù)學和創(chuàng)意寫作方面的表現(xiàn)更為優(yōu)秀。

據(jù)新浪科技援引外媒報道，谷歌是在其 I / O 開發(fā)者大會上發(fā)布最新通用大語言模型 PaLM2 的。內(nèi)部文件顯示，該模型采用了 3.6 萬億個令牌（token）進行訓練。令牌指的是單詞串，這是訓練大語言模型的重要基礎，因為這可以教給模型如何預測字符串中可能出現(xiàn)的下一個單詞。

之前版本的 PaLM 發(fā)布于 2022 年，當時使用的令牌為 7800 億個。

雖然谷歌很希望展示其人工智能技術的實力，以及嵌入搜索、電子郵件、字處理和電子表格后的效果，但該公司卻不愿發(fā)布其訓練數(shù)據(jù)的規(guī)模和其他細節(jié)。微軟支持的 OpenAI 也對其最新的 GPT-4 大語言模型的細節(jié)信息保密。

這些公司表示，之所以不披露這些信息，是出于商業(yè)競爭考慮。谷歌和 OpenAI 都在努力吸引想要用聊天機器人代替?zhèn)鹘y(tǒng)搜索引擎，從而直接獲取答案的用戶。

但隨著人工智能軍備競賽日趨白熱化，相關研究人員也呼吁企業(yè)加大透明度。

自從發(fā)布 PaLM2 之后，谷歌一直表示新的模型比之前的大語言模型更小，這就意味著該公司的技術效率得以提升，但卻可以完成更加復雜的任務。內(nèi)部文件顯示，PaLM2 基于 3400 億個參數(shù)訓練 —— 這項指標可以說明該模型的復雜程度。最初的 PaLM 則基于 5400 億個參數(shù)訓練。

目前，谷歌尚未對此置評。

谷歌在一篇關于 PaLM2 的博文中表示，該模型使用了一種名為“計算機優(yōu)化擴張”的新技術。這就讓大語言“更高效、整體性能更好，包括加快推理速度、減少參數(shù)調(diào)用和降低服務成本?！?/p>

在宣布 PaLM2 時，谷歌證實了此前的媒體報道，計該模型針對 100 種語言進行訓練，可以執(zhí)行更廣泛的任務。它已經(jīng)被用于 25 項功能和產(chǎn)品，包括該公司的實驗性聊天機器人 Bard。按照從小到大的規(guī)模劃分，該模型共有 4 種，分別是壁虎（Gecko）、水獺（Otter）、野牛（Bison）和獨角獸（Unicorn）。

根據(jù)公開披露的信息，PaLM2 比現(xiàn)有的任何模型都更加強大。Facebook 在 2 月份宣布的的 LLaMA 大語言模型采用 1.4 萬億個令牌。OpenAI 上一次披露 GPT-3 的訓練規(guī)模時表示，它當時基于 3000 億個令牌。OpenAI 今年 3 月發(fā)布 GPT-4 時表示，它在許多專業(yè)測試中展示出“與人類媲美的表現(xiàn)”。

LaMDA 是谷歌兩年前推出的一個對話型大語言模型，在 2 月還與 Bard 一同對外宣傳。該模型基于 1.5 萬億個令牌訓練。

隨著新的人工智能應用快速進入主流，圍繞底層技術的爭議也越來越激烈。

谷歌高級研究科學家艾爾?邁赫迪?艾爾?麥哈麥迪（El Mahdi El Mhamdi）于、 2 月辭職，主要原因就是人工智能技術缺乏透明度。16日，OpenAI CEO 山姆?阿爾特曼（Sam Altman）出席美國國會針對隱私和技術舉行的聽證會，他也認為需要設立一套新的制度來應對人工智能的潛在問題。

“對于一種全新的技術，我們需要一套全新的框架。”阿爾特曼說，“當然，像我們這樣的公司應當為我們推出的工具承擔許多責任?！?/p>

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。