“高估了短期價值，低估了長期影響。”伴隨一個新技術熱點的出現(xiàn)，我們總會聽到提醒的聲音。
在新技術實際產(chǎn)生難以置信的變革效果之前，往往存在一個不長不短的“炒作”鴻溝：有的入局者激流勇進，樂在其中;而有的玩家則放慢腳步，重新思考如何凸顯創(chuàng)新的價值。
那么，大模型如何發(fā)揮出大眾和產(chǎn)業(yè)所期待的價值?如何打造行業(yè)大模型?又該如何評價大模型產(chǎn)品的好壞?
明略科技集團的CTO郝杰接受51CTO專訪，講述作為一名深耕AI技術多年的開拓者，在大模型技術浪潮中的產(chǎn)品創(chuàng)新之道。
尋找成本更低的路徑
ChatGPT掀起熱潮的同時，其高昂的訓練成本也驚動了整個AI界，不管是參數(shù)量、數(shù)據(jù)量，還是數(shù)據(jù)的處理過程成本、算力、存儲、推理部署等等，都需要非常高的投入。但凡企業(yè)要入局大模型，高額成本都是一個不可逾越的難題。
然而，明略科技的情況則更為不同。明略的客戶包括很多行業(yè)，比如：美妝、化妝品、汽車、3C、大健康等等。具體來講，就是要在大模型時代把效果好的技術和服務帶到他們的產(chǎn)品中去，帶到他們的營銷、銷售、服務等各種流程中去。
所以，這個難題更為苛刻，如郝杰所說：“我們需要在降低成本的條件下，做出各行各業(yè)的大模型來。”比如說，美妝行業(yè)大模型、汽車行業(yè)大模型、3C行業(yè)大模型等等。“因此，從技術上來講，我們面臨的是一個大模型自適應的問題。”
比行業(yè)自適應顆粒度更小的，則是場景自適應、流程自適應，橫向展開還有多語言、多語種自適應等等，都是需要解決的問題。
舉個例子，明略有一些海外的業(yè)務，或者是客戶在海外開展的業(yè)務，比如說在東南亞市場上的社交輿情分析洞察，就有多語種適應等技術的介入。
自適應其實就是用盡量小的代價去實現(xiàn)一個非常好的效果。好的大模型需要具備通用大模型的好的邏輯性、語言的順暢度，同時還需要要實現(xiàn)一個通用大模型所不具備的，某個行業(yè)或具體的領域中的事實真實性、專業(yè)性。
而后者，恰恰是明略很有可能做得更好的。這正是行業(yè)大模型實現(xiàn)的路徑。行業(yè)大模型、場景大模型，與通用型的大模型不同，它會注入到我們千行百業(yè)的場景中做自適應，同時也可以做到低成本化。
行業(yè)大模型的關鍵步驟
對明略科技而言，已經(jīng)積累下來很多對各行業(yè)的理解和認知，這些認知已經(jīng)通過知識庫，或者是知識圖譜的形式來沉淀在明略科技內部了。明略科技旗下子品牌秒針系統(tǒng)給各行各業(yè)的客戶提供社交媒體平臺上的內容分析洞察，再比如團隊中經(jīng)驗豐富的行業(yè)分析師，以及在報告分析生成或洞察分析中，產(chǎn)研團隊提供的各種工具和服務等等。
所以，目前明略已經(jīng)擁有很多頭部行業(yè)，或者說重點行業(yè)的知識庫和知識圖譜。知識圖譜相對于知識庫，它在知識表示上的級別或層次就更高一些，更完美一些。
在做行業(yè)大模型時，明略有一個非常關鍵的步驟叫做知識增強，利用已經(jīng)積累下來的這些知識庫、知識圖譜，或者是說其中的實體關系、屬性等等這些非常高價值的內容，參與到大模型訓練中去。這樣，在具體的一個行業(yè)或場景中訓練出來的大模型，評測效果往往是顯著的高于通用大模型的。這是明略的方法論。
產(chǎn)品臨界點：一場理想與現(xiàn)實的考量
判斷是否做一款產(chǎn)品，要看當時的技術成熟度和用戶接受程度，如果只有剛性需求，技術成熟度不足的情況下，則很難以支撐它用短平快的方法做出來。一位知名投資人就曾表示，某團隊投入1000人基于騰訊會議做自動會議紀要，做了一年，準確率也只有60%，而用ChatGPT能夠達到90%的準確率。
那么，在決定做一款AI產(chǎn)品前，產(chǎn)研決策者會有哪些考量呢?郝杰給我們講述了自己團隊的一個案例。2021年，郝杰曾組織產(chǎn)研同學認真做過了幾番討論，目的就是要不要做一個騰訊會議的外掛式的會議紀要整理、梳理的工具產(chǎn)品。
“線上會議越來越多，大家有這樣剛性的需求。而且，明略有在做一款重要創(chuàng)新會議工具產(chǎn)品，是圍繞著騰訊的企業(yè)微信來開發(fā)的。它和騰訊文檔、騰訊會議的關系天生就是緊密相關的。所以當時有這樣的想法也是自然而然的。”郝杰回憶道。
最終討論的結果是，前年并沒有直接去做，而是在去年年底開始執(zhí)行的，而且已經(jīng)做到了一個里程碑。“現(xiàn)在我們有一個會議分析SaaS軟件，因為這個工具可以自動把會議語音文件根據(jù)內容大意進行切條，我們取名為‘小條’。”
“小條”是基于明略的語音識別和自然語言處理技術，也接入了大模型的接口，具有會議轉錄功能，還能結合剪輯技術以把獨立的一段內容進行標注，這樣可以方便事后重聽，或者是剪輯的時候找當時的重點，是一款非常實用且方便的會議工具。
ChatGPT出來之后，會議分析這一類的服務，恰好就變成了針對大模型的一種淺層封裝，成本就會非常小。
但是這也要求決策者對于時機的把握，要抓得很準。因為這也意味著進入了新的紅海，即使是在校學生，也可以在大模型的加持下，做出一個會議的分析系統(tǒng)，或者是校園里面網(wǎng)課視頻的分析、分割系統(tǒng)來。這個時候比拼的就是產(chǎn)品上的功能、亮點，它在用戶交付過程當中如何去思考設計的更加貼心，這樣它就能夠通過SaaS軟件抓住更多的訂閱者進行“滾雪球”。
謹慎樂觀：大模型也會被顛覆
如今技術發(fā)展空前爆炸，簡直可以用“以天為單位的迭代速度”來形容。那么，生成式AI的天花板會在哪里呢?
在郝杰看來，生成式AI、大模型肯定是存在天花板的。“有一種說法，可能有一些人認為沒有天花板，認為規(guī)模一直做下去，這種涌現(xiàn)能力就能更進一步的迸發(fā)出來，認為這就是通往AGI的必經(jīng)之路了，這是非常樂觀派的一種看法。”
郝杰對此卻保持謹慎。技術的發(fā)展總是逐步向前的，一定會有其他的技術顛覆掉大模型技術，至少是局部的顛覆。
誠然，大模型能夠顛覆之前“不太大的預訓練模型+tuning”的時代，也會有一個新技術的出現(xiàn)和大模型技術產(chǎn)生了一些融合，產(chǎn)生一些化學反應，來顛覆掉大模型。
“模型在規(guī)模上是一個漸變，然后效果上產(chǎn)生了一定的質變，也就是涌現(xiàn)能力的出現(xiàn)。”大模型也是站在 Transformer 這樣基礎模型的肩膀上，漸進式地，然后有了BERT、GPT?；蛘哒f，它也是深度學習，而且是向更加深、更加寬、更加大的幾個維度上，走向極致之后的產(chǎn)物，它本身是一個漸變。
如果說跟天花板對應的變量在哪里?郝杰做了一個大膽的預測，“也許顛覆大模型的技術，或更偉大的技術，今年就已經(jīng)在地球的某一個角落里已經(jīng)萌芽了。”
這一預測是有跡可循的。時間回到郝杰初上大學的1991年。那一年，日本的文部省剛剛宣布第五代計算機的研發(fā)失敗了。當時第五代計算機的目標，就是要做到“能聽會說，能歌善舞”，“既要識別理解，還能生成創(chuàng)作”。
“其實你把第五代計算機的目標展開一看，與OpenAI正在和即將實現(xiàn)的偉大目標不謀而合。但當時為什么失敗了?因為神經(jīng)網(wǎng)絡做不到太深，會發(fā)生梯度消失或者梯度爆炸的難題，當時是解決不了的，算力也跟不上。恰好就是在同樣的時間，1992年，Schmidhuber，這位偉大的LSTM之父，和他學生提出了多層級神經(jīng)網(wǎng)絡，在30多年前就解決了梯隊消失和梯隊爆炸的問題。而正是他當年的貢獻，使得2012年之后的深度學習大放異彩。”
那么，大模型的天花板如何捅破它?這個答案也許此時就在某個角落里，也許在一個不知名的實驗室里，也許在某幾個不知名的老師和學生那里。“也期待我們的大腦里會閃過某個火花，在某個時刻點上受到了類似的啟發(fā)。”
沒必要一切都由大模型再造
大模型雖好，但盲目的狂潮往往會陷入泥潭，很多人在狂熱的時候沒有考慮到成本。在郝杰看來，不惜一切代價，用大模型把一切產(chǎn)品和服務再造一遍是極不現(xiàn)實的。“我遇到了這樣的同行或者是朋友，就會反問一下：你有幾塊卡?”據(jù)說全國也就只有20萬塊A100的卡，比較大的公司會有上萬塊的卡。因此，能分到團隊甚至個人名下的算力，實在杯水車薪。
在企業(yè)中做這些產(chǎn)品、服務的時候，需要一個非常全面、平衡的考慮，我們要考慮性價比，要考慮投入產(chǎn)出。“根據(jù)客戶的場景來考量我們一款產(chǎn)品或服務的效果、效率和成本，而尋求達到一個最佳的平衡。”郝杰說道。
那如何善用而不濫用大模型呢?郝杰繼續(xù)講道，“如果我們的客戶非常需要做一些生成類的任務，比如說營銷軟文的生成，我們確實是離不開大模型，我們要善用大模型的威力。”
但如果企業(yè)已有的產(chǎn)品，或者是服務中原有的一些成熟的功能，它建立在小模型的基礎上，效果已經(jīng)很不錯了。那這時就沒有必要推倒重來。因為推倒重來不僅意味著重復的開發(fā)，甚至會導致部署成本、推理成本的上升。而且，盲目上一個大模型，用GPU推理，也會給我們的客戶也帶來了一些不必要的負擔。
“只有當客戶對服務的效果不滿意，或者希望增新功能時，才有必要重新設計，二次開發(fā)這個模塊，這是我對善用和不濫用大模型的一點理解。”
新名詞出現(xiàn)后，怎么追趕呢?是要利用好自身以往的技術資產(chǎn)，把上一個技術范式中積累下來的工程技巧、算法上的創(chuàng)新，剖析出來，判斷這些寶貴經(jīng)驗能不能嫁接在新的技術范式上去。舉個例子，如果我們在 Transformer 這個技術模型上做過一些小改進，微創(chuàng)新的話，現(xiàn)在就很容易思考能不能把它搬到類似GPT這樣大的模型中來獲取一些效果和效率方面的提升。
大模型性能好壞，如何評判
往往一個新技術出現(xiàn)了之后，行業(yè)中，包括政府組織，都會陸續(xù)誕生一些評測類的標準化組織，而標準化組織則會制訂行業(yè)標準，而政府層面的標準前期往往是從這些技術的評測手段、評測標準，指標定義去入手的。
具體而言，明略科技對于相關的大模型技術、產(chǎn)品也有自己適用的一套評測指標。比如說生成圖片的質量，不僅包括CV領域中一些客觀評價的指標，峰值信噪比，均方差、誤差等等。還要包括一些主觀評價的指標，主觀評價通常是邀請十幾個、幾十個，甚至更多的用戶/新用戶，大家針對生成的圖片/視頻進行觀摩之后進行打分。維度包括很多，比如亮度、對比度、色彩把控度方面的一些主觀上舒適程度的打分，以及對于圖片、視頻內容本身的主觀感覺，帶來了一個認同感或是愉悅感。
其實細分領域內，有很多大家目前已經(jīng)約定俗成的指標，也有更多有待我們挖掘，和取得共識的一些新的指標。
隨著這樣的產(chǎn)品，這樣的服務進入到具體的行業(yè)或者是場景中，明略還要進一步評測，依賴于這些場景具體的指標。這就定義得更加精細化了，這些往往是一些行業(yè)標準中會出現(xiàn)的評測指標。
“2021年底的國際說話人識別大賽中，明略科技語音團隊拿到了第一名，再往前我們也拿到過機器翻譯和防偽人臉識別方面的世界第一，去年年底我們的Blockformer刷榜中文語音識別的第一名。我們在三大AI子領域中，在重要的國際比賽或者是刷榜中都拿到了第一名。這個標志著我們的AI技術已經(jīng)進入到業(yè)內前沿，我們在我們的客戶面前呈現(xiàn)出這樣的結果來也帶給他們一些信心。”
郝杰預測，未來是會出現(xiàn)專門服務大模型評測的、專門性的組織或者是機構。“如同手機行業(yè)的跑分網(wǎng)站一樣，經(jīng)過了充分競爭之后，某類產(chǎn)品以及細分的各項指標評測就會出現(xiàn)一個或多個專門性的評測機構，所以個人預測大模型或早或晚也會出現(xiàn)在世界范圍內大家都共同信任的一些評測機構，它們會有高度概括細分領域的評測指標，不僅能夠覆蓋各行各業(yè)的生產(chǎn)場景，也能夠覆蓋全人類的很多生活場景。”
刷榜單不是目的，而是競爭力
目前，第三方評測在業(yè)界有著不小的公信力。因此，參加外部比賽/刷榜，往往成為凸顯自己產(chǎn)品競爭力的重要選擇。
“很多時候，如果只靠一些自己定義的測試集去講，缺乏和業(yè)內橫向的benchmark，這樣往往缺少說服力。因為老板很想聽到你和競品之間有什么區(qū)別?客戶也很想知道你和競品之間誰高誰低，所以轉向第三方的評測是必然的。”
的確，“刷榜單”在AI圈內并不少見，在這個圈子里“競賽”的意味則更濃厚一些，而從事AI的同學往往也需要通過刷榜去證明自己的算法，比如在第三方定義的指標下取得了什么樣的成績和排名，這樣來證明自己和團隊。
斗力頻催鼓，爭都更上籌。對于AI人才團隊的建設，明略科技，一貫堅持“以賽代練”的培養(yǎng)方式。
“AI領域每年都會有頂級、重要比賽，比如說語音合成領域的‘BlizzardChallenge’，機器翻譯界的頂級大賽‘WMT國際機器翻譯大賽’，再比如語音識別領域，前幾年的CHiME系列等等。去年年底，我們在‘中文普通話語音識別榜’上獲得了第一名，用的評測數(shù)據(jù)庫是AISHELL-1。”
當然，刷榜是手段，而不是目的。“我們的首要目標，是全力以赴地把這個技術落地在公司的產(chǎn)品中，落地在各種場景中。同時，我們也需要大賽榜單來驗證自己的技術，讓其在客戶面前具備更強的說服力。”
招人、用人、培養(yǎng)人，是建設一個優(yōu)秀的團隊必須要回答的問題，AI團隊也不例外。經(jīng)過多年的積累，郝杰總結了一套口訣：“心強、手硬、眼光高”。
心強，就是一定要找那些內心非常堅定，要做就要做到業(yè)內第一的人，哪怕他現(xiàn)在是三流，但是他那顆心想得很大。“心有多大，我們就給他多大的舞臺，讓他做到第一名。”
手硬，這里指的是“兩手硬”，“我們強調的是：工程和算法都得硬，也只有這樣，才會做出更好的系統(tǒng)，更好的模型。”
眼光高，即目標要高，“要瞄準頂級大賽的冠軍，我們一路走來就是這樣培養(yǎng)團隊的。”
寫在最后
春花無數(shù)，終不如秋實之果。每每新的技術潮水翻涌之時，“有理想的務實派”總是在自己的航線里發(fā)現(xiàn)一方新大陸。他們，一面深耕自己的賽道優(yōu)勢，磨礪以須，及鋒而試;一面開眼看世界，敢于論劍，直掛云帆。
高目標、講實效、不冒進、不浮夸，在“亂花漸欲迷人眼”的大模型浪潮之中，明略科技始終堅定地做一名有理想的務實派。
“把知識注入到大模型中去!找到解決問題的臨界點!”
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
