劍指GPT-4，百度文心4.0究竟有多強(qiáng)？

撰文 | 程書書

編輯 | 李信馬

題圖 | 百? ?度

前幾天，百度世界大會(huì)上，文心大模型4.0發(fā)布。而李彥宏宣稱，新版本的文心大模型“綜合水平與 GPT-4 相比已經(jīng)毫不遜色”，更是一石激起千層浪。

自此之后，在各家的評(píng)測(cè)中，文心大模型4.0已經(jīng)與GPT-4的巔峰對(duì)決了N個(gè)回合，可以說(shuō)難解難分。不過(guò)，GPT-4雖然是目前世界公認(rèn)的一流水平，但收費(fèi)價(jià)格不低，對(duì)國(guó)內(nèi)用戶來(lái)說(shuō)使用也不方便，文心一言卻已經(jīng)面向全社會(huì)免費(fèi)開放。

走路要一步一個(gè)腳印，今天就不整它倆的比拼了，而是測(cè)一測(cè)文心大模型4.0與目前仍免費(fèi)的GPT-3.5的差別，看一看現(xiàn)在的文心大模型，是否明顯優(yōu)于后者，如果是的話，那對(duì)絕大多數(shù)用戶來(lái)說(shuō)，選哪個(gè)就清楚了。

先說(shuō)測(cè)評(píng)維度，這一次的大模型評(píng)測(cè)，按照業(yè)界普遍使用的語(yǔ)言理解、推理、生成、記憶這四個(gè)維度。俗話說(shuō)因地制宜，安排的題目中，還包括今年國(guó)家公務(wù)員考試《行測(cè)》的真題，真實(shí)展現(xiàn)大模型在中文領(lǐng)域的實(shí)際水平。

一、理解能力

第一題，據(jù)說(shuō)在中文考試中繞暈外國(guó)人的語(yǔ)言理解題目——說(shuō)曹操到曹操就到了。

小明跟小亮說(shuō)小剛昨天參加了百米賽跑，這個(gè)時(shí)候小剛正好經(jīng)過(guò)，小亮就說(shuō)：“說(shuō)曹操到，曹操就到。” 分析一下，究竟是誰(shuí)到了？

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

可以看到，文心大模型4.0對(duì)于中文諺語(yǔ)理解非常到位，而再看GPT-3.5的回答，只能說(shuō)一塌糊涂。這一題，文心大模型4.0明顯勝出。

剛剛的問(wèn)題可能有點(diǎn)太欺負(fù)外國(guó)大模型了，緊接著，又從今年的國(guó)家公務(wù)員考試《行測(cè)》中扒來(lái)一道語(yǔ)言理解與表達(dá)試題。

每個(gè)企業(yè)都有自己的核心價(jià)值觀，它是企業(yè)一切理念、制度和技術(shù)的價(jià)值基礎(chǔ)。企業(yè)在重視財(cái)務(wù)、營(yíng)銷、技術(shù)的同時(shí)，更應(yīng)重視員工。員工是企業(yè)的主人，是企業(yè)的根本，只有建立起以“重視員工”為核心價(jià)值觀的企業(yè)文化，企業(yè)才能凝聚員工、創(chuàng)造個(gè)性，為自身的發(fā)展提供目標(biāo)、方向和定力。 這段文字意在說(shuō)明什么？（國(guó)家公務(wù)員考試《行測(cè)》語(yǔ)言理解與表達(dá)試題）

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

這一題的結(jié)果，應(yīng)該說(shuō)是雙方勢(shì)均力敵，文心大模型4.0言簡(jiǎn)意賅說(shuō)出重點(diǎn)，GPT-3.5則條理清楚分析出結(jié)論。

二、邏輯推理能力

在這一維度，同樣在《行測(cè)》找來(lái)兩道真題，第一道是數(shù)學(xué)推斷計(jì)算題。

甲、乙等16人參加乒乓球淘汰賽。每輪對(duì)所有未被淘汰選手進(jìn)行抽簽分組兩兩比賽，勝者進(jìn)入下一輪。已知除了甲以外，其余任意兩人比賽時(shí)雙方勝率均為50%。甲對(duì)乙的勝率為0%，對(duì)其他14人的勝率均為100%。則甲奪冠的概率是多少？（國(guó)家公務(wù)員考試《行測(cè)》數(shù)量關(guān)系試題）

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

不愧是國(guó)考題，文心大模型4.0和GPT-3.5都被整懵了，兩個(gè)答案全部錯(cuò)誤。正確的答案是11/15，文心大模型明顯是沒理解題目的意思，想的過(guò)于復(fù)雜。GPT-3.5給出來(lái)的答案則讓人哭笑不得，思路直接就是錯(cuò)的，又想的太過(guò)于簡(jiǎn)單了，很難說(shuō)哪個(gè)更強(qiáng)一點(diǎn)。

第2題就更加高端了，是看圖分析規(guī)律推理出答案，不過(guò)由于GPT-3.5不能查看圖片，這一題就只有文心大模型來(lái)作答了。

讓沒有想到的是，文心大模型4.0不僅可以識(shí)別圖片問(wèn)題，還能準(zhǔn)確的根據(jù)規(guī)律得出正確結(jié)果，可以說(shuō)是碾壓性勝利。

三、生成能力

在這個(gè)維度，設(shè)置了根據(jù)描述生成文案、圖畫以及視頻三個(gè)測(cè)試題。第一題，請(qǐng)根據(jù)“吵架”生成一段文案，文心大模型4.0的回答如下：

GPT-3.5的回答如下：

兩者算是打了個(gè)平手，都是對(duì)于“吵架”這一負(fù)情緒詞進(jìn)行正向引導(dǎo)。接下來(lái)的兩題，由于GPT-3.5無(wú)法生成圖片和視頻，可以說(shuō)文心大模型不戰(zhàn)而勝了，來(lái)看下結(jié)果吧。

請(qǐng)根據(jù)“為有暗香來(lái)”生成一幅畫，文心大模型4.0的回答如下：

文心大模型4.0直接根據(jù)題意給出了四幅不同風(fēng)格的畫作，可以說(shuō)，在圖像生成上確實(shí)進(jìn)步不少。

根據(jù)“雙十一”生成一段視頻，文心大模型4.0的回答如下：

不知道為何，文心大模型4.0也沒能直接呈現(xiàn)出一段視頻，只是根據(jù)指示詞給出了一個(gè)視頻腳本來(lái)，可能還有待進(jìn)步吧。

四、記憶能力

最后一個(gè)維度就是十分重要的記憶能力。要求以“我喝了一口核污水”為開頭寫一篇小說(shuō)。

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

可以看到，在故事創(chuàng)造上，文心大模型4.0更偏重于結(jié)構(gòu)框架，而GPT-3.5則偏重于故事內(nèi)容。這讓有一個(gè)大膽的設(shè)想，用文心大模型4.0寫框架，用GPT-3.5填寫內(nèi)容，是不是就能得到一部完整的小說(shuō)？

言歸正傳，繼續(xù)提出增加人物背景、增加故事人物角色、增加冒險(xiǎn)情節(jié)、豐富故事內(nèi)容、增加具體情節(jié)等指令來(lái)。

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

多輪問(wèn)答后，文心大模型4.0和GPT-3.5都能根據(jù)給出指令適當(dāng)增加內(nèi)容，同時(shí)呼應(yīng)之前給出的內(nèi)容，但也會(huì)有一些細(xì)節(jié)遺忘，整體來(lái)看表現(xiàn)都不錯(cuò)。

結(jié)語(yǔ)：

根據(jù)測(cè)評(píng)結(jié)果來(lái)看，文心大模型4.0整體水平優(yōu)于GPT-3.5，尤其在理解和生成兩方面，表現(xiàn)令人驚喜。

大模型目前處于高速發(fā)展階段，性能和應(yīng)用效果都在不斷提升，也曾一度引發(fā)了國(guó)內(nèi)對(duì)于是否會(huì)在大模型領(lǐng)域落伍的擔(dān)憂，不過(guò)從剛剛的對(duì)比結(jié)果來(lái)看，像百度文心這樣的國(guó)產(chǎn)大模型同樣表現(xiàn)優(yōu)秀，即使會(huì)有差距，也是可以追趕，甚至是在短時(shí)間內(nèi)追趕上的，大家不必杞人憂天。

相信未來(lái)，我們也將看到能力更強(qiáng)的國(guó)產(chǎn)大模型，在各行各業(yè)落地生根，便利我們的生活。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。