新聞重點：
·Arm通過把Kleidi技術(shù)集成到PyTorch和ExecuTorch，將關(guān)鍵的AI性能優(yōu)勢從邊側(cè)拓展至云端，賦能新一代應(yīng)用在Arm CPU上運行大語言模型。
·對普及ML工作負載的持續(xù)投入將使任一技術(shù)棧的開發(fā)者能夠在最新的生成式AI模型上即刻獲得顯著的推理性能提升。
·通過擴大與云服務(wù)提供商以及主要的ML獨立軟件開發(fā)商合作，進一步賦能全球的AI開發(fā)者。
Arm控股有限公司(納斯達克股票代碼：ARM，以下簡稱“Arm”)近期宣布通過將Arm® Kleidi技術(shù)集成到PyTorch和ExecuTorch，賦能新一代應(yīng)用在Arm CPU上運行大語言模型(LLM)。Kleidi匯集了最新的開發(fā)者賦能技術(shù)和關(guān)鍵資源，旨在推動機器學(xué)習(xí)(ML)技術(shù)棧中的技術(shù)協(xié)作和創(chuàng)新。通過這些重要進展，Arm致力于為任一ML技術(shù)棧的開發(fā)者提供更為順暢的體驗。
Arm戰(zhàn)略與生態(tài)部開發(fā)者技術(shù)副總裁Alex Spinelli表示：“Arm正與領(lǐng)先的云服務(wù)提供商和框架設(shè)計者緊密合作，以打造便捷的開發(fā)環(huán)境，讓軟件開發(fā)者能夠輕松地在基于Arm架構(gòu)的硬件上加速人工智能(AI)和ML工作負載。自該技術(shù)推出的四個月以來，Kleidi已在Arm CPU上加速開發(fā)并顯著提升主要的AI性能。Arm與PyTorch社區(qū)的緊密合作印證了該技術(shù)可以大大減少開發(fā)者利用高效AI所需的工作量。”
與領(lǐng)先框架集成，實現(xiàn)顯著云端優(yōu)勢
在云端，Kleidi以利用Arm Compute Libraries(ACL)增強PyTorch帶來的成果為基礎(chǔ)，為世界各地在Arm平臺上優(yōu)化AI的開發(fā)者打造藍圖。通過為開發(fā)者免去不必要的工程工作，以便開發(fā)者能將Arm視為運行其關(guān)鍵ML工作負載的首選平臺。作為實現(xiàn)這一愿景的關(guān)鍵一步，Arm直接與PyTorch和TensorFlow進行Arm Kleidi Libraries的集成合作，這包括將基本的Arm軟件庫直接集成到上述的領(lǐng)先框架中。
重要的是，這意味著當(dāng)新的框架版本發(fā)布時，應(yīng)用開發(fā)者能夠自動從其大幅的性能提升中受益，而無需額外在Arm平臺上重新編譯。這項投入已對合作伙伴關(guān)系產(chǎn)生了積極影響：
·Arm聊天機器人演示由Meta Llama 3 LLM驅(qū)動，并運行在亞馬遜云科技(AWS) Graviton處理器上，首次在主線PyTorch中實現(xiàn)了實時聊天響應(yīng)。
o根據(jù)在AWS Graviton4上所測得的數(shù)據(jù)顯示，通過將Kleidi技術(shù)集成到開源PyTorch代碼庫，詞元(token)首次響應(yīng)時間可提高2.5倍。
·通過優(yōu)化torch.compile以充分利用通過ACL提供的Kleidi技術(shù)，在基于AWS Graviton3上所測得的數(shù)據(jù)顯示，各類Hugging Face模型推理工作負載上的性能可提升1.35至2倍。
這些僅是出色的云端示例之一，卻代表了在Arm平臺上普及ML工作負載時可實現(xiàn)的性能加速類型。Arm將持續(xù)投入，以確保開發(fā)者的AI應(yīng)用可以在其技術(shù)上從云到邊都能完美運行，其中包括實現(xiàn)新功能的向前兼容，進而使得開發(fā)者能夠即刻從中受益。
合作助力開發(fā)者緊跟生成式AI發(fā)展步伐
隨著新的語言模型版本快速地推陳出新，生成式AI掀起了一波AI創(chuàng)新熱潮。Arm持續(xù)與ML技術(shù)棧的各個關(guān)鍵環(huán)節(jié)緊密合作，攜手AWS和Google等云服務(wù)提供商以及Databricks等迅速壯大的ML獨立軟件開發(fā)商(ISV)社區(qū)，進而幫助開發(fā)者立于技術(shù)前沿。
Google Cloud Compute產(chǎn)品管理高級總監(jiān)Nirav Mehta表示：“Arm和Google Cloud致力于為開發(fā)者提升AI的可訪問性和敏捷性，而Kleidi代表了通過軟硬件協(xié)同優(yōu)化滿足AI需求所取得的重要進展。隨著我們的客戶正積極采用基于Arm架構(gòu)的定制CPU —— Axion，我們期待在整個ML技術(shù)棧中為客戶帶來更加順暢的集成體驗。”
Databricks軟件工程師Lin Yuan表示：“利用Databricks Data Intelligence Platform進行AI和ML工作流的企業(yè)，將受益于跨ML軟件棧的Arm Kleidi集成所帶來的性能優(yōu)化。借助由Databricks ML Runtime集群提供支持的Arm架構(gòu)AWS Graviton處理器，企業(yè)可以從各種ML軟件庫的加速中受益，同時降低云服務(wù)提供商的成本。”
協(xié)助開發(fā)者將Arm提供的資源應(yīng)用到實際用例中至關(guān)重要，為此Arm創(chuàng)建示例軟件棧和學(xué)習(xí)資源，向開發(fā)者展示如何在Arm CPU上構(gòu)建AI工作負載，進而迅速推動了Arm系統(tǒng)的廣泛采用，并加快了開發(fā)者在Arm系統(tǒng)上的部署速度。第一個案例是通過Kleidi技術(shù)加速聊天機器人的實現(xiàn)，今年晚些時候ML Ops和檢索增強生成(RAG)也將添加至這些用例，并計劃在2025年實現(xiàn)更多成果。
持續(xù)提升端側(cè)性能
基于Kleidi在端側(cè)的發(fā)展勢頭，KleidiAI還將被集成到ExecuTorch(PyTorch新的端側(cè)推理運行時)。這項集成預(yù)計將于2024年10月完成，并有望為目前正在ExecuTorch中進行生產(chǎn)測試或?qū)崿F(xiàn)的端側(cè)應(yīng)用帶來顯著的性能提升。目前已完成的多項KleidiAI集成包括與Google XNNPACK和MediaPipe，以及騰訊的混元大模型，為其實際工作負載帶來了顯著提升。
Kleidi將繼續(xù)與PyTorch和ExecuTorch的各版本以及其他主要AI框架進行集成。從云數(shù)據(jù)中心到端側(cè)設(shè)備，開發(fā)者現(xiàn)在可以即刻在各類設(shè)備上基于Arm平臺高效運行高性能AI工作負載。Arm將繼續(xù)積極地面向PyTorch社區(qū)推出增強功能，并專注于針對各種整數(shù)格式提供量化優(yōu)化，進一步提高性能，賦能Arm CPU大規(guī)模無縫運行新一代AI體驗。
實現(xiàn)更多成果以賦能開發(fā)者
PyTorch正在推動ML開發(fā)領(lǐng)域的開拓創(chuàng)新。近日，Arm加入PyTorch基金會成為Premier成員，這對于Arm的AI之旅來說，無疑是一個重要時刻。Arm將持續(xù)致力于賦能全球各地的開發(fā)者在Arm平臺上充分發(fā)揮端到端AI的潛力，進而塑造前沿的AI和應(yīng)用功能。
###
附加資源：
關(guān)于Kleidi:
Kleidi(古希臘語中意為“鑰匙”)基于三大關(guān)鍵支柱而構(gòu)建：
·開放的Arm技術(shù)直接集成至關(guān)鍵框架中，開發(fā)者無需任何額外工作，便能使LLM無縫取得Arm CPU性能。Arm將確保新技術(shù)始終向前兼容，以便開發(fā)者可以立即從中受益。
·通過提供使用指南、學(xué)習(xí)資源和技術(shù)演示等各種資源賦能開發(fā)者。
·借助由ML軟件供應(yīng)商、框架和開源項目所構(gòu)成的活力十足的生態(tài)系統(tǒng)，從中取得各類最新的AI功能，讓Arm平臺成為開發(fā)者構(gòu)建解決方案的首選平臺。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
