4月19日消息,Meta發(fā)布了其最新的開源大模型Llama 3 ,引發(fā)全網(wǎng)關注。Meta表示,Llama 3模型利用數(shù)據(jù)和規(guī)模將性能提升到新的高度。
此次,Meta發(fā)布了Llama 3 80億和700億參數(shù)兩款模型,分別有預訓練和指令微調兩個版本。
Meta介紹,Llama 3在兩個定制24K GPU集群上接受了訓練,使用的數(shù)據(jù)量超過15萬億個token,這個訓練數(shù)據(jù)集是Llama 2使用的數(shù)據(jù)量的7倍,其中包括了4倍數(shù)量的代碼。這使得Llama 3成為迄今為止最強大的Llama模型,支持8000個上下文長度,是Llama 2容量的兩倍。
比肩GPT4的開源模型
在Meta公布的AI基準測試中,Llama 3 8B、70B模型在語言(MMLU)、知識(GPQA)、編程(HumanEval)、數(shù)學(GSM-8K、MATH)等能力上,幾乎全面領先于同等規(guī)模的其他模型。
Llama 3 8B模型在MMLU、GPQA、HumanEval等多項基準上均勝過Gemma 7B和Mistral 7B Instruct。在Meta公布的AI基準測試中,Llama 3 70B的表現(xiàn)甚至超越了谷歌的Gemini Pro1.5以及Anthropic的Claude 3 Sonnet。
Meta還披露了Llama 3 4000億參數(shù)版本模型的性能,在多語言推理任務、代碼能力,可與GPT-4、Claude 3相匹敵。
Llama 3的優(yōu)良表現(xiàn)被譽為“媲美GPT4的開源模型”!它將改變許多研究工作和草根創(chuàng)業(yè)公司的計算方式。
本月剛剛加入亞馬遜董會的傳奇研究員,AI開源倡導者吳恩達在X上發(fā)文表示:Llama 3的發(fā)布是自己收到過的最好的生日禮物!
Llama 3上手教程已搶先出爐
亞馬遜云科技也在Llama 3發(fā)布的第一時間火速官宣,稱其客戶已可以通過Amazon SageMaker JumpStart使用這兩款Llama 3模型,并發(fā)布了如何通過SageMaker JumpStart發(fā)現(xiàn)和部署Llama 3模型的官方教程博文。
Amazon SageMaker JumpStart是亞馬遜云科技專門構建的一個機器學習中心,提供預訓練的模型、內置算法和預構建的解決方案,幫助客戶快速開始機器學習項目。
Amazon SageMaker JumpStart能夠幫助客戶從廣泛的公開可用基礎模型中進行選擇,并將基礎模型部署到專用的SageMaker實例中,這些實例置于網(wǎng)絡隔離的環(huán)境,并可以使用SageMaker進行模型訓練和部署。
現(xiàn)在亞馬遜云科技的用戶可以在Amazon SageMaker Studio中通過幾次點擊或通過SageMaker Python SDK編程方式發(fā)現(xiàn)并部署Llama 3模型,還可以利用SageMaker Pipelines、SageMaker Debugger或容器日志等功能,提升模型性能并實施MLOps控制。
教程博文節(jié)選:
通過SageMaker Studio UI和SageMaker Python SDK中的SageMaker JumpStart訪問基礎模型。
從SageMaker JumpStart登錄頁,用戶可以通過瀏覽以模型提供商命名的不同集線器來輕松發(fā)現(xiàn)各種模型,可以在Meta hub中找到Llama 3型號。
用戶可以通過在左上角的搜索框中搜索“Meta-Llama-3”來找到Llama 3型號。
點擊Meta hub,用戶可以在SageMaker JumpStart中發(fā)現(xiàn)所有可用的Meta模型。
目前,SageMaker JumpStart 中可用的所有 Llama 3 模型,以及每個模型支持的默認實例類型和最大總token數(shù)如下:
單擊模型卡打開相應的模型詳細信息頁面,用戶就可以從中輕松部署模型。
接著,當用戶選擇部署并確認EULA條款時,部署將開始。您可以在單擊“部署”按鈕后顯示的頁面上監(jiān)視部署進度。用戶也可以選擇“打開筆記本”通過示例筆記本進行部署。
隨著Meta Llama 3的加入,亞馬遜云科技目前提供的“大模型豪華套餐”已包括:通過Amazon Bedrock提供的來自AI21 Labs, Amazon, Anthropic, Cohere, Meta, Mistral AI和Stability AI的領先大模型,以及通過Amazon SageMaker JumpStart提供的包括Meta Llama 3在內的各種模型。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 馬斯克旗下人工智能公司xAI完成80億美元C輪融資
- 螞蟻集團組織架構調整:成立兩大事業(yè)群,建立輪值總裁制
- 比亞迪“天神之眼”無圖城市領航功能全國開通 將隨OTA陸續(xù)推送
- 2024網(wǎng)絡文學“十二天王”名單發(fā)布 近7成作家作品IP版權已售出
- 零跑汽車九周年朱江明發(fā)全員信:始終保持創(chuàng)業(yè)心態(tài)
- 奔馳E300L動力參數(shù)顯示錯誤引車主疑慮,官方尚無回應
- 美團社群團購業(yè)務“團買買”業(yè)務調整,2024年底停止運營
- 特斯拉領跑2024年美國汽車行業(yè)召回榜
- 滴滴就“臭車”致歉 全國上線拉黑異味車功能
- 豐田汽車在華戰(zhàn)略升級:擬在上海獨資建電動雷克薩斯工廠,2027年投產
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。