5月17日消息，據(jù)報(bào)道，谷歌上周發(fā)布的最新大語(yǔ)言模型使用的訓(xùn)練數(shù)據(jù)，幾乎是 2022 年的上一代模型的 5 倍。得益于此，該模型在編程、數(shù)學(xué)和創(chuàng)意寫(xiě)作方面的表現(xiàn)更為優(yōu)秀。
據(jù)新浪科技援引外媒報(bào)道，谷歌是在其 I / O 開(kāi)發(fā)者大會(huì)上發(fā)布最新通用大語(yǔ)言模型 PaLM2 的。內(nèi)部文件顯示，該模型采用了 3.6 萬(wàn)億個(gè)令牌（token）進(jìn)行訓(xùn)練。令牌指的是單詞串，這是訓(xùn)練大語(yǔ)言模型的重要基礎(chǔ)，因?yàn)檫@可以教給模型如何預(yù)測(cè)字符串中可能出現(xiàn)的下一個(gè)單詞。
之前版本的 PaLM 發(fā)布于 2022 年，當(dāng)時(shí)使用的令牌為 7800 億個(gè)。
雖然谷歌很希望展示其人工智能技術(shù)的實(shí)力，以及嵌入搜索、電子郵件、字處理和電子表格后的效果，但該公司卻不愿發(fā)布其訓(xùn)練數(shù)據(jù)的規(guī)模和其他細(xì)節(jié)。微軟支持的 OpenAI 也對(duì)其最新的 GPT-4 大語(yǔ)言模型的細(xì)節(jié)信息保密。
這些公司表示，之所以不披露這些信息，是出于商業(yè)競(jìng)爭(zhēng)考慮。谷歌和 OpenAI 都在努力吸引想要用聊天機(jī)器人代替?zhèn)鹘y(tǒng)搜索引擎，從而直接獲取答案的用戶。
但隨著人工智能軍備競(jìng)賽日趨白熱化，相關(guān)研究人員也呼吁企業(yè)加大透明度。
自從發(fā)布 PaLM2 之后，谷歌一直表示新的模型比之前的大語(yǔ)言模型更小，這就意味著該公司的技術(shù)效率得以提升，但卻可以完成更加復(fù)雜的任務(wù)。內(nèi)部文件顯示，PaLM2 基于 3400 億個(gè)參數(shù)訓(xùn)練 —— 這項(xiàng)指標(biāo)可以說(shuō)明該模型的復(fù)雜程度。最初的 PaLM 則基于 5400 億個(gè)參數(shù)訓(xùn)練。
目前，谷歌尚未對(duì)此置評(píng)。
谷歌在一篇關(guān)于 PaLM2 的博文中表示，該模型使用了一種名為“計(jì)算機(jī)優(yōu)化擴(kuò)張”的新技術(shù)。這就讓大語(yǔ)言“更高效、整體性能更好，包括加快推理速度、減少參數(shù)調(diào)用和降低服務(wù)成本。”
在宣布 PaLM2 時(shí)，谷歌證實(shí)了此前的媒體報(bào)道，計(jì)該模型針對(duì) 100 種語(yǔ)言進(jìn)行訓(xùn)練，可以執(zhí)行更廣泛的任務(wù)。它已經(jīng)被用于 25 項(xiàng)功能和產(chǎn)品，包括該公司的實(shí)驗(yàn)性聊天機(jī)器人 Bard。按照從小到大的規(guī)模劃分，該模型共有 4 種，分別是壁虎（Gecko）、水獺（Otter）、野牛（Bison）和獨(dú)角獸（Unicorn）。
根據(jù)公開(kāi)披露的信息，PaLM2 比現(xiàn)有的任何模型都更加強(qiáng)大。Facebook 在 2 月份宣布的的 LLaMA 大語(yǔ)言模型采用 1.4 萬(wàn)億個(gè)令牌。OpenAI 上一次披露 GPT-3 的訓(xùn)練規(guī)模時(shí)表示，它當(dāng)時(shí)基于 3000 億個(gè)令牌。OpenAI 今年 3 月發(fā)布 GPT-4 時(shí)表示，它在許多專業(yè)測(cè)試中展示出“與人類媲美的表現(xiàn)”。
LaMDA 是谷歌兩年前推出的一個(gè)對(duì)話型大語(yǔ)言模型，在 2 月還與 Bard 一同對(duì)外宣傳。該模型基于 1.5 萬(wàn)億個(gè)令牌訓(xùn)練。
隨著新的人工智能應(yīng)用快速進(jìn)入主流，圍繞底層技術(shù)的爭(zhēng)議也越來(lái)越激烈。
谷歌高級(jí)研究科學(xué)家艾爾?邁赫迪?艾爾?麥哈麥迪（El Mahdi El Mhamdi）于、 2 月辭職，主要原因就是人工智能技術(shù)缺乏透明度。16日，OpenAI CEO 山姆?阿爾特曼（Sam Altman）出席美國(guó)國(guó)會(huì)針對(duì)隱私和技術(shù)舉行的聽(tīng)證會(huì)，他也認(rèn)為需要設(shè)立一套新的制度來(lái)應(yīng)對(duì)人工智能的潛在問(wèn)題。
“對(duì)于一種全新的技術(shù)，我們需要一套全新的框架?！卑柼芈f(shuō)，“當(dāng)然，像我們這樣的公司應(yīng)當(dāng)為我們推出的工具承擔(dān)許多責(zé)任。”
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 特斯拉CEO馬斯克身家暴漲，穩(wěn)居全球首富寶座
- 阿里巴巴擬發(fā)行 26.5 億美元和 170 億人民幣債券
- 騰訊音樂(lè)Q3持續(xù)穩(wěn)健增長(zhǎng)：總收入70.2億元，付費(fèi)用戶數(shù)1.19億
- 蘋果Q4營(yíng)收949億美元同比增6%，在華營(yíng)收微降
- 三星電子Q3營(yíng)收79萬(wàn)億韓元，營(yíng)業(yè)利潤(rùn)受一次性成本影響下滑
- 賽力斯已向華為支付23億，購(gòu)買引望10%股權(quán)
- 格力電器三季度營(yíng)收同比降超15%，凈利潤(rùn)逆勢(shì)增長(zhǎng)
- 合合信息2024年前三季度業(yè)績(jī)穩(wěn)健：營(yíng)收增長(zhǎng)超21%，凈利潤(rùn)增長(zhǎng)超11%
- 臺(tái)積電四季度營(yíng)收有望再攀高峰，預(yù)計(jì)超260億美元刷新紀(jì)錄
- 韓國(guó)三星電子決定退出LED業(yè)務(wù)，市值蒸發(fā)超4600億元
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
