新聞重點：
·在Arm CPU上運行Meta最新Llama 3.2版本，其云端到邊緣側(cè)的性能均得到顯著提升，這為未來AI工作負(fù)載提供了強大支持
·Meta與Arm的合作加快了用例的創(chuàng)新速度，例如個性化的端側(cè)推薦以及日常任務(wù)自動化等
·Arm十年來始終積極投資AI領(lǐng)域，并廣泛開展開源合作，為1B至90B的LLM實現(xiàn)在Arm計算平臺上無縫運行
人工智能(AI)的迅猛發(fā)展意味著大語言模型(LLM)的新版本不斷推陳出新。要充分發(fā)揮AI的潛力并抓住其帶來的機遇，需要實現(xiàn)LLM從云端到邊緣側(cè)的廣泛部署，而這也伴隨著對計算和能源需求的大幅增長。整個生態(tài)系統(tǒng)正攜手尋找應(yīng)對這一挑戰(zhàn)的解決方案，不斷推出新的更加高效的開源LLM，以便大規(guī)模實現(xiàn)各種AI推理工作負(fù)載，加快為用戶帶來全新、快速的AI體驗。
為此，Arm與Meta展開緊密合作，在Arm CPU上啟用新的Llama 3.2 LLM，集成開源創(chuàng)新與Arm計算平臺的優(yōu)勢，顯著推進(jìn)了解決AI挑戰(zhàn)的進(jìn)程。得益于Arm的持續(xù)投資及與新型LLM的合作，Arm CPU運行AI的優(yōu)勢在生態(tài)系統(tǒng)中脫穎而出，使Arm成為AI推理開發(fā)者的首選平臺。
加速云到邊緣側(cè)的AI性能
小型LLM(如Llama 3.2 1B和3B)能夠支持基于文本的基礎(chǔ)生成式AI工作負(fù)載，對于大規(guī)模AI推理的實現(xiàn)至關(guān)重要。通過Arm CPU優(yōu)化內(nèi)核在Arm技術(shù)驅(qū)動的移動設(shè)備上運行新的Llama 3.2 3B LLM，可讓提示詞處理速度提高五倍，詞元(token)生成速度提高三倍，在生成階段實現(xiàn)每秒19.92個詞元。這將直接減少了在設(shè)備上處理AI工作負(fù)載的延遲，大大提升了用戶整體體驗。此外，當(dāng)邊緣側(cè)能處理的AI工作負(fù)載越多，往返云端傳輸數(shù)據(jù)所節(jié)省的電量就越多，進(jìn)而節(jié)省了能源和成本。
除了在邊緣側(cè)運行小型模型，Arm CPU同樣支持在云端運行更大的模型(如Llama 3.2 11B和90B)。11B和90B的模型非常適合云端基于CPU的推理工作負(fù)載，可生成文本和圖像，其中，在Arm Neoverse V2上的測試結(jié)果展現(xiàn)出了更大的性能提升。在基于Arm架構(gòu)的AWS Graviton4上運行11B的圖像和文本模型，可以在生成階段實現(xiàn)每秒29.3個詞元的表現(xiàn)，遠(yuǎn)遠(yuǎn)超出了人類大約每秒閱讀五個詞元的速度。
AI將通過開源創(chuàng)新和生態(tài)系統(tǒng)協(xié)作迅速擴展
能公開獲取新的LLMs(如Llama 3.2)至關(guān)重要。開源創(chuàng)新正以迅猛速度發(fā)展，在之前的版本中，開源社區(qū)在不到24小時的時間內(nèi)便能在Arm上部署并運行新的LLM。
Arm將通過Arm Kleidi進(jìn)一步支持軟件社區(qū)，讓整個AI技術(shù)棧能夠充分發(fā)揮這一優(yōu)化的CPU性能。Kleidi可在任何AI框架上解鎖Arm Cortex和Neoverse CPU的AI功能和性能，無需應(yīng)用程序開發(fā)者進(jìn)行額外的集成工作。
通過最近的Kleidi與PyTorch集成以及正在推進(jìn)的與ExecuTorch集成，Arm正在為基于Arm CPU的開發(fā)者提供從云端到邊緣側(cè)的無縫AI性能。得益于Kleidi與PyTorch的集成，在基于Arm架構(gòu)的AWS Graviton處理器上運行Llama 3 LLM的詞元首次響應(yīng)時間加快了2.5倍。
同時，在端側(cè)，與參考實現(xiàn)相比，在KleidiAI庫的加持下，使用llama.cpp庫在新的Arm Cortex-X925 CPU上運行Llama 3的詞元首次響應(yīng)時間加快了190%。
構(gòu)建AI的未來
Arm與Meta的合作成為了行業(yè)合作的新標(biāo)桿，匯聚了Arm計算平臺的靈活性、普及性和AI功能，以及Meta等行業(yè)巨頭的技術(shù)專長，共同解鎖AI廣泛應(yīng)用的新機遇。無論是利用端側(cè)LLM滿足用戶的個性化需求，如根據(jù)用戶所處的位置、日程和偏好來執(zhí)行任務(wù)，還是通過企業(yè)級應(yīng)用來優(yōu)化工作效率，讓用戶能夠更專注于戰(zhàn)略性任務(wù)，Arm技術(shù)的集成都為未來奠定了基礎(chǔ)。未來，設(shè)備不再只是命令和控制工具，更是能在提升用戶整體體驗方面扮演積極的作用。
在Arm CPU上運行Meta最新Llama 3.2版本，其AI性能實現(xiàn)了顯著提升。這類開放式合作是實現(xiàn)無處不在的AI創(chuàng)新、促進(jìn)AI可持續(xù)發(fā)展的最佳途徑。通過新的LLM、開源社區(qū)和Arm的計算平臺，Arm正在構(gòu)建AI的未來，到2025年，將有1000多億臺基于Arm架構(gòu)的設(shè)備支持AI。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
