今日,媒體紛紛報(bào)道一條新聞:百度最早發(fā)現(xiàn)大模型核心理論scaling law。其源頭是英文報(bào)紙南華早報(bào)報(bào)道稱,盡管美國(guó)在AI模型創(chuàng)新方面一直被視為領(lǐng)先者,但最新的討論顯示,中國(guó)在探索這些概念上可能更為超前。業(yè)界意識(shí)到,百度在OpenAI之前就發(fā)現(xiàn)了Scaling Law。
Scaling Law也被稱為“尺度定律”,被業(yè)界認(rèn)為是大模型預(yù)訓(xùn)練第一性原理,即訓(xùn)練數(shù)據(jù)和模型參數(shù)越大,模型的智能能力就越強(qiáng)。OpenAI在2020年發(fā)表了論文《Scaling Laws for Neural Language Models》,自那以后,這個(gè)概念已成為AI研究的基石。
推出ChatGPT系列大模型,讓OpenAI一鳴驚人,成為AI領(lǐng)域炙手可熱的明星,加之美國(guó)Google、Meta、xAI等公司不斷推出性能強(qiáng)大的大模型,使得不少國(guó)人潛意識(shí)認(rèn)為美國(guó)在AI領(lǐng)域大幅領(lǐng)先。事實(shí)上,中國(guó)AI技術(shù)并不弱,一直以來(lái)處于并跑狀態(tài),這也是為何2023年出現(xiàn)“百模大戰(zhàn)”的原因。而“百度率先發(fā)現(xiàn)Scaling Law”的往事曝光,反映出中國(guó)在AI領(lǐng)域的深厚底蘊(yùn)。
不用懷疑,已經(jīng)“實(shí)錘”
百度比OpenAI更早發(fā)現(xiàn)Scaling Law,很多國(guó)人即歡欣鼓舞,又有一些疑惑。畢竟OpenAI如日中天,對(duì)其發(fā)起任何挑戰(zhàn)都需要強(qiáng)有力的證據(jù)。
從各方報(bào)道看,這一事件已經(jīng)“實(shí)錘”。主要有三個(gè)方面的佐證:
首先是AI行業(yè)大牛、Anthropic創(chuàng)始人Dario Amodei在11月初的播客節(jié)目中提到,2014年與吳恩達(dá)在百度研究AI的時(shí)候,他就已經(jīng)發(fā)現(xiàn)了模型發(fā)展的規(guī)律Scaling Law。而Dario Amodei曾于2014年11月-2015年10月期間在百度硅谷實(shí)驗(yàn)室工作,并擔(dān)任過OpenAI研究副總裁,堪稱當(dāng)事人,其言論極具分量。
其次是Meta研究員、康奈爾大學(xué)博士候選人Jack Morris在X(推特)上公開力挺:“Scaling Law的原始研究來(lái)自2017年的百度,而不是2020年的OpenAI”。隨后有媒體人貼出了百度在2017年發(fā)表的《DEEP LEARNING SCALING IS PREDICTABLE, EMPIRICALLY》論文,詳細(xì)討論了機(jī)器翻譯、語(yǔ)言建模等領(lǐng)域的Scaling現(xiàn)象,進(jìn)一步證明其言論。
此外還有一個(gè)重要證據(jù):之前曾在Open AI工作,參與了GPT-3等重要項(xiàng)目開發(fā)的AI專家Gwern Branwen,也經(jīng)常在公開場(chǎng)合提起:百度的這篇論文確實(shí)被忽視了。
百度在AI理論領(lǐng)域的投入和貢獻(xiàn)可見一斑。此后,百度繼續(xù)向前走,并在國(guó)內(nèi)率先推出了大語(yǔ)言模型文心一言。中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布的《生成式人工智能發(fā)展應(yīng)用發(fā)展報(bào)告(2024)》顯示,文心一言已經(jīng)成為國(guó)內(nèi)使用率第一的生成式人工智能平臺(tái)。
百度往事:招攬多位AI大牛
百度能領(lǐng)先于OpenAI發(fā)現(xiàn)Scaling Law,與其早早投資AI研究、招攬AI人才是分不開的,包括來(lái)自全球各地的AI大牛。
除了上述提到的Dario Amodei,百度還招攬了國(guó)內(nèi)更知名的AI頂級(jí)科學(xué)家、原谷歌大腦創(chuàng)始人吳恩達(dá),當(dāng)年亦引發(fā)媒體熱議。
此外據(jù)媒體之前爆料,AI教父、2024年度諾貝爾物理學(xué)獎(jiǎng)得主Geoffrey Hinton,也在百度招攬之列。2012年,李彥宏親自派人前往美國(guó)向其遞出了橄欖枝,甚至驚動(dòng)了硅谷的兩家巨頭Google和微軟紛紛發(fā)出邀請(qǐng)。Hinton由于年齡等因素考量,最后留在了美國(guó),百度才遺憾地失之交臂。
盡管外部對(duì)百度與Scaling Law的認(rèn)知才剛剛被爆料,但這也讓業(yè)界意識(shí)到,百度此前對(duì)包括大模型在內(nèi)的AI技術(shù)已有深厚積累。資料顯示,百度早在2019年就發(fā)布了第一代文心大模型,幾乎與OpenAI處于同一時(shí)期。2023年以來(lái),大模型如雨后春筍般冒出,百度始終處在領(lǐng)跑地位。
例如,中國(guó)軟件評(píng)測(cè)中心《人工智能大語(yǔ)言模型技術(shù)發(fā)展研究報(bào)告(2024年)》顯示,文心大模型技術(shù)、產(chǎn)品、應(yīng)用全面領(lǐng)跑;沙利文《2024年中國(guó)大模型能力評(píng)測(cè)》顯示,文心大模型穩(wěn)居國(guó)產(chǎn)大模型首位,獲4項(xiàng)第一。百度AI技術(shù)的10多年積累,在2024年厚積薄發(fā)。
中國(guó)AI產(chǎn)業(yè)展現(xiàn)創(chuàng)新力
實(shí)際上,不僅是百度,整個(gè)中國(guó)AI產(chǎn)業(yè),處在高度繁榮的發(fā)展?fàn)顟B(tài),國(guó)內(nèi)AI頭部公司無(wú)論是技術(shù)創(chuàng)新、產(chǎn)品創(chuàng)新還是應(yīng)用創(chuàng)新,與海外頭部公司并沒有明顯的差距,整體處在同一水平線上。
據(jù)上海社科院最新發(fā)布的《全球信息社會(huì)藍(lán)皮書:全球信息社會(huì)發(fā)展報(bào)告(2024)》顯示,中國(guó)、美國(guó)、歐盟在人工智能研究、創(chuàng)新、教育、應(yīng)用等方面體量相當(dāng),人工智能仍然是中國(guó)、美國(guó)、歐盟三極為主的世界發(fā)展格局。
百度作為代表性AI公司之一,更是與Google、OpenAI一道,共同被沙利文2024全球AI全景報(bào)告評(píng)為“AI-Native Giant”,處于領(lǐng)導(dǎo)者地位。
當(dāng)前,AI時(shí)代已經(jīng)來(lái)臨,展現(xiàn)出變革經(jīng)濟(jì)社會(huì)的巨大潛能,AI產(chǎn)業(yè)競(jìng)爭(zhēng)愈加火熱。AI技術(shù)已成為大國(guó)科技競(jìng)爭(zhēng)的勝負(fù)手,美國(guó)不斷使出盤外招限制我國(guó)AI技術(shù)發(fā)展,候任總統(tǒng)特朗普更是計(jì)劃任命一位人工智能部長(zhǎng)(AI czar),打響AI軍備競(jìng)賽。
在這一大背景下,國(guó)人要對(duì)國(guó)內(nèi)AI產(chǎn)業(yè)發(fā)展抱有信心。在這場(chǎng)長(zhǎng)跑中,包括百度在內(nèi),有很多中國(guó)公司正在高強(qiáng)度投資AI技術(shù)創(chuàng)新,并已取得大量成果,將推動(dòng)AI產(chǎn)業(yè)發(fā)展走向繁榮,成為經(jīng)濟(jì)高質(zhì)量轉(zhuǎn)型發(fā)展的助推器。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )