Meta發(fā)布最強開源模型Llama 3.1 405B，扎克伯格：明年開源大模型全面領先閉源

7月24日消息，Meta推出開源模型Llama 3.1，包括3個大小版本，分別是迄今為止最強大的開源模型Llama 3.1 405B，以及全新升級的Llama 3.1 70B和8B模型。

Meta CEO扎克伯格的公開信也在官網貼出，他指出，開源大模型正在迅速縮小差距。去年，Llama 2 還只能與上一代閉源模型性能相當；今年，Llama 3 與最先進的模型相媲美，并在某些領域處于領先地位；從明年開始，預計未來的Llama模型將成為業(yè)內最先進的。

同時，Meta AI宣布已接入Llama 3.1 405B，并推出AI圖片編輯、AI編程等新功能。

Llama 3.1 405B性能超GPT-4o，采用超16000個H100 GPU訓練

Meta在公開文檔中介紹，Llama 3.1將上下文長度擴展到 128K，增加了對八種語言的支持。

其中，Llama 3.1 405B在基于15萬億個Tokens、超16000個H100 GPU上進行訓練，這是Meta有史以來第一個以這種規(guī)模進行訓練的Llama模型。

Llama 3.1 405B 在常識、可操縱性、數學、工具使用和多語言翻譯方面的最先進能力方面可與GPT-4o、Claude 3.5 Sonnet和Gemini Ultra等頂級 AI 模型相媲美。

最新推出的Llama 3.1 8B 和 70B 模型的升級版本，支持相同的128K Tokens上下文窗口、多語言、改進的推理和最先進的工具使用，能夠支持高級應用，例如長篇文本摘要、多語言對話代理和編碼助手。

升級后的Llama 3.1 8B和70B模型，相比于同樣參數大小的模型如Gemma2 9B、GPT3.5 Turbo等性能表現也更好。

另外，在現實場景中，Llama 3.1 405B進行了與人工評估的比較，總體表現優(yōu)于GPT-4o和Claude 3.5 Sonnet。

Meta還對許可證進行了更改，允許開發(fā)人員使用 Llama 模型（包括 405B）的輸出來改進其他模型。

從今天開始，Meta將在 llama.meta.com 和 Hugging Face 上提供這些模型供下載，用戶可在合作伙伴平臺生態(tài)系統上立即開發(fā)。

扎克伯格：通過封閉大模型來防止中國獲得AI優(yōu)勢，行不通

在Llama 3.1發(fā)布之際，扎克伯格還發(fā)表了題為《開源AI是前進的道路》的署名文章。

扎克伯格認為，今天，幾家科技公司正在開發(fā)領先的閉源模型，但開源正在迅速縮小差距。

去年，Llama 2 還只能與上一代閉源模型相當；今年，Llama 3 與最先進的模型相媲美，并在某些領域處于領先地位。從明年開始，預計未來的 Llama 模型將成為業(yè)內最先進的。

在文章中，扎克伯格從三個方面談到了開源AI的好處，以下為重點摘要：

1、為什么開源AI對開發(fā)人員有好處

我們需要掌控自己的命運，而不是被鎖定在封閉的供應商身上。許多組織不想依賴他們無法運行和控制的模型。他們不希望封閉模型提供商能夠更改他們的模型、更改他們的使用條款，甚至完全停止為他們提供服務。他們也不想被鎖定在擁有模型專有權的單一云中。開源使擁有兼容工具鏈的廣泛公司生態(tài)系統成為可能，您可以輕松地在這些工具鏈之間移動。

我們需要保護我們的數據。許多組織處理需要保護的敏感數據，并且不能通過云 API 將其發(fā)送到封閉模型。其他組織根本不信任封閉模型提供商處理他們的數據。開源通過允許開發(fā)者在任何地方運行模型來解決這些問題。人們普遍認為，開源模型往往更安全，因為它的開發(fā)更加透明。

2、為什么開源AI對Meta有利

人們經常問我是否擔心開源 Llama 會使得Meta失去技術優(yōu)勢，但我認為這忽略了大局，原因如下：

首先，為了確保我們能夠使用最好的技術，并且不會長期被鎖定在封閉的生態(tài)系統中，Llama 需要發(fā)展成為一個完整的生態(tài)系統。如果我們是唯一一家使用 Llama 的公司，這個生態(tài)系統就不會發(fā)展。

其次，我預計人工智能開發(fā)將繼續(xù)非常具有競爭力，這意味著開源任何給定的模型并不會放棄當時相對于下一個最佳模型的巨大優(yōu)勢。Llama 成為行業(yè)標準的道路是一代又一代地保持競爭力、效率和開放。

第三，Meta 和封閉模型提供商之間的一個關鍵區(qū)別是，出售人工智能模型的訪問權限不是我們的商業(yè)模式。這意味著公開發(fā)布 Llama 不會像閉源模型提供商那樣削弱我們的收入、可持續(xù)性或投資研究的能力。（這也是一些閉源模型提供商不斷游說政府反對開源的原因之一。）

最后，Meta 擁有悠久的開源項目和成功歷史。我們通過開放計算項目發(fā)布我們的服務器、網絡和數據中心設計，并讓供應鏈在我們的設計上實現標準化，從而節(jié)省了數十億美元。我們通過開源領先的工具（如 PyTorch、React 等）從生態(tài)系統的創(chuàng)新中受益。只要我們長期堅持，這種方法就一直對我們有效。

3、為什么開源AI對世界有益

與任何其他現代技術相比，AI 更具有潛力提高人類的生產力、創(chuàng)造力和生活質量，并加速經濟增長，同時推動醫(yī)學和科學研究的進步。開源將確保全世界更多的人能夠享受 AI 帶來的好處和機會，權力不會集中在少數公司手中，并且該技術可以更均勻、更安全地部署到整個社會。

有些人認為，我們必須封閉我們的模型，以防止中國獲得這些模型，但我認為這行不通，只會讓美國及其盟友處于不利地位。

將美國創(chuàng)新限制在封閉開發(fā)中，增加了我們完全無法領先的可能性。相反，我認為我們最好的策略是建立一個強大的開放生態(tài)系統，讓我們的領先公司與我們的政府和盟友密切合作，以確保他們能夠最好地利用最新進展，并在長期內實現可持續(xù)的先發(fā)優(yōu)勢。

我相信 Llama 3.1 版本將成為行業(yè)的一個轉折點，大多數開發(fā)人員將開始主要使用開源。

接入Llama 3.1 405B的Meta AI

最后，再看看已經接入Llama 3.1 405B大模型的Meta AI還能怎么玩兒。此次推出的一批新的Meta AI創(chuàng)意工具主要聚焦視覺生成、數學和編碼等領域。Meta AI也放出了一些演示視頻。

以復雜推理為例，根據提示：“我有 3 件襯衫、5 條短褲和 1 件太陽裙。我要旅行 10 天，我的假期夠穿嗎？”，Meta AI能給出一些好的建議。

或者通過編碼助手，Meta AI能創(chuàng)建一個使用遞歸回溯算法或深度優(yōu)先搜索算法生成完美迷宮的程序，具有可自定義的大小和復雜性。（果青）

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。