廣義人工智能時代:通往通用人工智能(AGI)之路
By Imtiaz Adam
人工智能(AI)將于2024年進一步改進,大型語言模型有望進一步發(fā)展。
2023年對于人工智能和生成式人工智能來說是激動人心的一年,特別是那些采用大型語言模型(LLM)架構的人工智能,比如來自開放人工智能(GPT 4)、Anthropic(Claude)和開源社區(qū)(Llama 2、Falcon、Mistral、Mixtral等)的模型,獲得了動力和快速采用。
2024年可能會是更加激動人心的一年,因為人工智能將成為包括CES 2024在內(nèi)的所有地方的中心舞臺,大型語言模型有望進一步發(fā)展。
什么是人工智能(AI)以及我們處于什么階段?
人工智能涉及開發(fā)計算系統(tǒng)的領域,這些系統(tǒng)能夠執(zhí)行人類非常擅長的任務,如識別物體,識別和理解語音,以及在受限環(huán)境下做出決策。
狹義人工智能(ANI):人工智能的一個領域,機器被設計為執(zhí)行單一任務,并且機器非常擅長執(zhí)行該特定任務。然而,一旦機器被訓練,就不能推廣到未知的領域。這是人工智能的形式,例如,Google翻譯,代表了我們直到最近所處的人工智能時代。
廣義人工智能(ABI):麻省理工學院IBM沃森實驗室解釋道:“廣義人工智能是下一個。我們剛剛進入這個前沿領域,但當它完全實現(xiàn)時,它將以使用和集成多模式數(shù)據(jù)流的人工智能系統(tǒng)為特色,更有效、更靈活地學習,并跨越多個任務和領域。廣義的人工智能將對商業(yè)和社會產(chǎn)生強大的影響?!?p>IBM進一步解釋:“在單一領域執(zhí)行特定任務的系統(tǒng)正在讓位于廣義的人工智能,后者可以更廣泛地學習,并跨領域和跨問題工作。在大型未標記數(shù)據(jù)集上訓練并針對一系列應用進行微調的基礎模型正在推動這一轉變。”
廣義的人工智能能力是最近出現(xiàn)的,F(xiàn)rancois Chollet在2019年提出“即使是當今最先進的人工智能系統(tǒng)也不屬于這個類別......”
廣義人工智能是一個復雜的自適應系統(tǒng),它憑借其感官知覺、先前的經(jīng)驗和學到的技能成功地執(zhí)行任何認知任務。
但作者澄清,ABI模型不具備人腦的整體通用能力。
通用人工智能(AGI):人工智能的一種形式,可以完成人類可以完成的任何智力任務。它更有意識,做出的決策與人類的決策方式類似。它也被稱為“強人工智能”,IBM將AGI或強人工智能描述為擁有與人類同等的智能,具有自我意識和解決問題、學習和規(guī)劃未來的能力。實際上,它將產(chǎn)生“與人類思維沒有區(qū)別的智能機器”。
目前,AGI仍然是一個愿望,有各種預測,從2025年到2049年,甚至永遠不會到來。它可能會在未來十年內(nèi)實現(xiàn),但面臨著硬件方面的挑戰(zhàn),即當今強大機器所需的能源消耗。作者個人認為,2030年代是一個比較有可能到來的時間。
超級人工智能(ASI):是一種在所有領域都超過人類表現(xiàn)的智能形式(由Nick Bostrom定義)。這是指一般智慧、解決問題和創(chuàng)造力等方面。作者個人的觀點是,人類將通過人機接口(可能是無線帽或耳機)來利用先進的人工智能,成為ASI(未來可能是神經(jīng)擬態(tài)計算與量子能力的合并,被稱為量子神經(jīng)擬態(tài)計算)。
如今我們在人工智能方面處于什么位置?
Open AI的GPT-4的到來引發(fā)了社交媒體上的大量爭論,一些人認為,由于GPT-4不是狹義的人工智能,因此它必須是通用人工智能(AGI)。作者將解釋后者并非如此。
AGI不太可能在一夜之間神奇地出現(xiàn),而更有可能通過人工智能研究和開發(fā)的持續(xù)進化進步過程而實現(xiàn)。
直到最近,我們一直處于狹義人工智能時代。然而,許多最先進的(SOTA)模型現(xiàn)在可以超越狹義的人工智能(ANI),我們越來越多地體驗利用LLM的生成式AI模型,這些模型反過來又應用具有自注意力機制架構的變壓器,它們是能夠展示多模式、多任務處理能力。
然而,說當前的SOTA模型處于人腦水平(AGI)是不準確的,特別是在邏輯和推理任務方面,包括常識。
我們正處于廣義人工智能(或ABI)時代,在這個時代,生成式人工智能模型既不是狹義的,因為它們可以執(zhí)行多個任務;但也不是AGI,因為它們沒有達到人類大腦的智力和能力水平。
科幻電影中的先進機器人還沒有出現(xiàn)在我們的日常生活中,但是隨著人工智能技術的進步,人工智能越來越多地嵌入到先進的機器人中,機器人技術正在迅速發(fā)展,例如斯坦福大學的研究人員推出了移動Aloha機器人,它可以向人類學習做飯、打掃衛(wèi)生、洗衣服。
通往先進人工智能能力的道路
內(nèi)存:據(jù)傳GPT-5將解決這個問題,其他模型也一直在尋求解決內(nèi)存問題,以便AI代理能夠回憶起之前的參與情況。此外,在記憶和LLM方面,值得注意的是Dale Schuurmann的論文(2023年)以及Jesus Rodriguez提供的概述,還有Langchain的潛力、王等人(2023)發(fā)表了用長期記憶增強語言模型。邏輯、推理、因果推理:常識和因果推理是LLM和深度神經(jīng)網(wǎng)絡/機器學習模型的其他領域經(jīng)常遇到困難的領域。雖然思維鏈(CoT)已顯示出希望,但生成式AI模型仍遠未達到先進的人類邏輯推理水平。神經(jīng)符號方法,包括通過LLM插件利用符號人工智能,可能有助于在未來解決這些問題,并為通向AGI開辟道路。從更小的數(shù)據(jù)集學習:零樣本學習和零樣本提示,以及具有自關注機制的變壓器采用自監(jiān)督學習,以提高人工智能能力的狀態(tài)。微調,師生模型初始訓練之外,持續(xù)更新的世界知識–RAG:檢索增強生成使LLM模型能夠通過互聯(lián)網(wǎng)連接到外部數(shù)據(jù)源,或通過Langchain或LlamaIndex等框架連接到私有數(shù)據(jù),并檢索最新信息。對不確定世界的動態(tài)響應/動態(tài)學習。多模式多任務處理:LLM正在開發(fā)多模式、多任務處理功能,Open AI的GPT 5預計將展示這些功能,其他模型也是如此。數(shù)據(jù):訪問、有效且高效的存儲、安全性和質量都是人工智能模型的關鍵。越來越多的合成數(shù)據(jù)本身可能是由生成式人工智能模型創(chuàng)建的,可能在人工智能的發(fā)展中發(fā)揮關鍵作用。模型行為-強化學習(RL):將人類反饋強化學習(RLHF)應用于LLM,以減少偏差,同時提高性能、公平性和代表性。RLHF需要一個動態(tài)環(huán)境,在這個環(huán)境中,當AI代理進入一個新的狀態(tài)(AI代理采取的行動)時,它會尋求最大的獎勵(獲得最優(yōu)或至少更好的行動),并在什么是RLHF中提供了一個很好的概述。提高LLM效率的技術
科術專業(yè)和開源社區(qū)一直在推進使LLM模型更加高效的方法。對于開源社區(qū)而言,尋找效率的解決方案非常重要,因為社區(qū)中許多人缺乏大型專業(yè)的資源。然而,即使是技術專業(yè)人士也越來越意識到,將大規(guī)模的LLM模型擴展到大量用戶會導致巨大的服務器成本和能源成本,從而對碳足跡不利。
使生成式AI模型更加高效的進步示例:
LoRA:是一種在訓練過程中顯著減少參數(shù)數(shù)量的技術,它通過將更少數(shù)量的新權重插入模型中而只訓練這些新權重來實現(xiàn)。這反過來又導致訓練過程顯著更快,內(nèi)存效率更高,并且由于降低了模型權重而更容易共享和存儲。Flash Attention是另一項創(chuàng)新,它可以快速和高效地利用內(nèi)存,具有輸入和輸出意識的精確注意力。模型修剪:可以對這些非必要的組件進行修剪,使模型更加緊湊,同時保持模型的性能。LLM量化:量化是一種壓縮技術,可將這些參數(shù)轉換為單字節(jié)或更小的整數(shù),從而顯著減小LLM的大小。
此外,硬件解決方案還可以提高計算資源效率,從而節(jié)省能源和減少碳足跡,例如第五代英特爾至強可擴展處理器、IBM正在利用模擬AI芯片等開展的工作。這將推動AIoT的興起,在電力有限的環(huán)境中,人工智能可以跨設備擴展網(wǎng)絡邊緣,而效率和低延遲是關鍵。
企業(yè)可能希望考慮平衡性能能力與資源成本(包括能源和碳足跡的計算成本),和硬件的凈現(xiàn)值回報(NPV)或投資回報(ROI)的模型架構。高效的硬件,如第五代英特爾至強可擴展處理器可能提供,特別是對于推理和/或微調模型低延遲小于200億個參數(shù)的模型,如作者之前提出的。
作者認為,從長遠來看,量子計算可能為推動人工智能邁向ASI提供潛在的途徑,然而,峰值神經(jīng)網(wǎng)絡與樹突計算和神經(jīng)形態(tài)計算相結合,可能會為AGI(也很節(jié)能)提供一條可能的途徑。
與深度學習中典型的人工神經(jīng)網(wǎng)絡(ANN)架構相比,峰值神經(jīng)網(wǎng)絡(SNN)與樹突計算相結合時,更接近我們自己的人類大腦。相對于人工神經(jīng)網(wǎng)絡,SNN更節(jié)能,并且可以被設計成超低延遲,可以參與持續(xù)學習,并且由于它們可以部署在網(wǎng)絡的邊緣,因此數(shù)據(jù)更加安全
神經(jīng)科學家發(fā)現(xiàn)樹突有助于解釋我們大腦獨特的計算能力,據(jù)報道,科學家首次觀察到人腦內(nèi)一種被認為是獨特的細胞信息傳遞形式,并可能表明我們的人腦擁有比之前認為的更強大的計算能力。
研究已經(jīng)闡明了樹突放大的潛在計算優(yōu)勢,以及利用樹突特性推進機器學習和神經(jīng)啟發(fā)計算的潛力。
此外,研究還表明,僅靠樹突就可以執(zhí)行復雜的計算,因此單個神經(jīng)元的多并行處理能力遠遠超出了常規(guī)假設。
研究人員正在尋求更好地了解記憶如何存儲在大腦內(nèi)的樹突棘中,以及治療阿爾茨海默氏癥等疾病的潛力。這表明樹突在人腦中發(fā)揮著重要作用,但ANN架構并不具有樹突。
而且,樹突預處理已被證明可以減少閾值性能所需的網(wǎng)絡大小。此外,具有樹突計算的SNN可能需要以瓦數(shù)而不是兆瓦數(shù)運行。
通過利用模擬信號和連續(xù)動態(tài),神經(jīng)形態(tài)計算可以提高人工智能應用的速度、準確性和適應性,同時克服傳統(tǒng)計算的限制,例如延遲、功耗和可擴展性。
這將導致萬物互聯(lián)(IoE),其中高效的人工智能代理將超越本地所有互聯(lián)網(wǎng)連接設備,提供智能響應,從而在所有交互中實現(xiàn)大規(guī)模的超個性化,進而稱為AIoE。
AIoT以及隨后的AloE是一個設備相互通信,并與人類動態(tài)交互的世界。
總結
本文是對人工智能現(xiàn)狀的戰(zhàn)略分析。進入人工智能和LLM領域,總是充滿未知及挑戰(zhàn),畢竟在這個廣義的人工智能時代,探索通往通用人工智能(AGI)的路,還很長。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 消息稱OpenAI新模型GPT-5研發(fā)未達到預期:成本高昂 效果欠佳
- OpenAI宣布o3系列大模型:能力較o1大幅提升 Codeforces測試強于OpenAI首席科學家
- 豆包大模型全面升級,相關概念股瘋漲,字節(jié)發(fā)布緊急警示
- 奇富科技發(fā)布AI產(chǎn)品小奇等金融AI大模型成果
- 揭秘:OpenAI 即將推出 o3,新一代AI推理王者,能否顛覆業(yè)界?
- “蘋果智能”引發(fā)討論:AI總結新聞摘要出大錯
- Grammarly重磅新功能:收購AI公司Coda,推出大模型LLM助手,語法檢查更高效
- 谷歌攜手Apptronik引領人形機器人商業(yè)化浪潮:AI+機器人新紀元揭幕
- AI初創(chuàng)公司Perplexity完成新一輪融資 估值從年初5億美元升至90億美元
- 哥倫比亞大學研究:大語言模型能否超越人類大腦引發(fā)深思
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。