10月13日上午，第三屆OpenHarmony技術(shù)大會OS原生智能分論壇在上海舉行。匯聚產(chǎn)學研力量，與會專家聚焦OpenAtom OpenHarmony（以下簡稱“OpenHarmony”）在端側(cè)原生智能領域的技術(shù)探索與優(yōu)秀實踐，圍繞端側(cè)大模型的算法、系統(tǒng)、新體系結(jié)構(gòu)，共同探討深入挖掘操作系統(tǒng)與AI在端側(cè)融合的潛力。多位專家就如何更好地應對多元化的行業(yè)挑戰(zhàn)，助力客戶和用戶實現(xiàn)技術(shù)突破展開分享。內(nèi)容不僅涵蓋了端側(cè)大模型部署與優(yōu)化，大模型稀疏算法、異構(gòu)系統(tǒng)、新體系結(jié)構(gòu)在端側(cè)的創(chuàng)新應用，還包括端側(cè)AI與智能應用實踐，以及延伸到端側(cè)原生智能生態(tài)構(gòu)建，探索端側(cè)AI生態(tài)系統(tǒng)的構(gòu)建策略與未來發(fā)展方向，為端側(cè)系統(tǒng)級大模型服務把脈機遇與挑戰(zhàn)。
華為基礎軟件資深技術(shù)專家丁天虹、湖南開鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專家楊德志、華為終端BG云服務小藝產(chǎn)品部術(shù)專家高光遠、華為2012實驗室中研諾亞實驗室研究員唐業(yè)輝、清華大學助理教授章明星、上海交通大學副教授糜澤羽、上海交通大學副教授戴國浩、北京郵電大學副教授徐夢煒、北京大學副教授孫廣宇、華為終端BG軟件架設部技術(shù)專家李有福等出席論壇并發(fā)表演講。
當前，AI智能家居控制技術(shù)備受關(guān)注。憑借先進的人工智能算法，家居設備實現(xiàn)智能聯(lián)動與精準控制。為人們帶來便捷、舒適的生活體驗，因而成為行業(yè)熱門話題。湖南開鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專家楊德志詳細分享了在OpenHarmony終端設備上，利用語音識別技術(shù)、小語言模型技術(shù)和模型壓縮技術(shù)，實現(xiàn)對語音信號的高效識別和對用戶意圖的精準理解，實現(xiàn)對家居設備的智能控制。從端側(cè)語音識別、端側(cè)意圖識別、端側(cè)模型部署三方面為與會嘉賓詳細介紹。
（湖南開鴻智谷數(shù)字產(chǎn)業(yè)發(fā)展有限公司AI技術(shù)資深專家楊德志）
華為終端BG云服務小藝產(chǎn)品部技術(shù)專家高光遠，作為華為終端云服務產(chǎn)品總監(jiān)，深入闡述了HarmonyOS NEXT原生智能的相關(guān)理念。他強調(diào)，通過將AI能力下沉到操作系統(tǒng)，匯聚AI相關(guān)能力至AI子系統(tǒng)，并賦能其他子系統(tǒng)，使得系統(tǒng)在不用重復構(gòu)建 AI 能力的情況下，方便地具備智能特性。同時，構(gòu)建強大的AI運行時，以實現(xiàn)整機最優(yōu)的性能和功耗運行，為用戶帶來卓越體驗。他還與大家共同探討了原生智能的定義、實施原因以及為TOD帶來的收益和TOC體驗等關(guān)鍵問題。
（華為終端BG云服務小藝產(chǎn)品部技術(shù)專家高光遠發(fā)言）
華為 2012 實驗室中研諾亞實驗室研究員唐業(yè)輝則聚焦于端側(cè)設備的“小”模型研究與實踐。鑒于端側(cè)設備計算和存儲資源有限的現(xiàn)狀，他指出需要部署計算高效的大模型，并介紹了一種硬件親和的 Transformer架構(gòu)——盤古-π，其通過級數(shù)激活函數(shù)和增廣跨層連接提高模型表達能力。同時分享了針對“小”模型的優(yōu)化方法，如詞表裁剪和難例續(xù)訓創(chuàng)新策略，以緩解“小”模型遺忘難題，成功打造出業(yè)界領先的 “小” 模型，有力支撐了端側(cè)的AI應用。
（華為 2012 實驗室中研諾亞實驗室研究員唐業(yè)輝發(fā)言）
清華大學助理教授章明星帶來了關(guān)于KTransformers的精彩分享。在通向AGI的道路上，訓練更大模型和支持更長文本是兩個重要方向，但純GPU方案進行推理成本過高，限制了大模型的廣泛應用。為解決這一問題，章明星團隊設計并開源了KTransformers 框架，通過將稀疏部分有效卸載到CPU上，僅需一張24GB甚至16GB的顯卡，即可支持236B DeepSeek模型和1M超長上下文的本地推理，在同等環(huán)境下有三到十倍的性能提升。
（清華大學助理教授章明星發(fā)言）
上海交通大學副教授糜澤羽就《PowerInfer：端側(cè)大模型推理系統(tǒng)進展與展望》主題展開分享，糜澤羽說，PowerInfer是一個在個人電腦或智能手機等端側(cè)設備進行大型語言模型快速推理的框架，設計核心是利用大語言模型推理中固有的稀疏激活和高局部性，進一步整合了自適應預測器和神經(jīng)元感知的稀疏運算符，優(yōu)化了神經(jīng)元激活的效率和計算稀疏性。
（上海交通大學副教授糜澤羽發(fā)言）
在智能技術(shù)飛速發(fā)展的當下，端側(cè)設備的大模型應用成為研究熱點。北京郵電大學副教授徐夢煒就端側(cè)系統(tǒng)級大模型服務發(fā)表了深刻見解。他指出，大語言模型（LLM）及相關(guān)多模態(tài)變體正極大地改變著電子設備的能力，推動了個人代理等新型應用的發(fā)展。他重點闡述了一種面向高效端側(cè)大模型部署的創(chuàng)新方案——LLM-as-a-Service。該方案由操作系統(tǒng)為應用提供統(tǒng)一的LLM服務，通過Prompt/LoRa等方式與應用進行交互，從而確保服務的可擴展性和硬件兼容性。
（北京郵電大學副教授徐夢煒發(fā)言）
“基于Transformer架構(gòu)的大語言模型逐漸在智能終端中大放異彩，有望讓AI真正觸手可及。”上海交通大學副教授戴國浩《稀疏計算與軟硬協(xié)同：智能終端中的大模型解決方案》展開分享，他認為，現(xiàn)有硬件平臺仍難以有效滿足端側(cè)大模型推理的算力、帶寬與能效需求。針對當前大模型軟件優(yōu)化效果逐漸趨平的現(xiàn)狀，他介紹了“軟硬協(xié)同+稀疏計算”的創(chuàng)新研究思路，展望未來智能終端的發(fā)展方向，以及在視頻生成模型稀疏加速的最新探索。
（上海交通大學副教授戴國浩發(fā)言）
北京大學副教授孫廣宇分享了《基于DRAM近存計算架構(gòu)的端側(cè)大模型推理優(yōu)化》。他認為，DRAM近存計算架構(gòu)具備高訪存帶寬、大存儲容量的優(yōu)勢，對于大規(guī)模神經(jīng)網(wǎng)絡、圖計算、推薦系統(tǒng)等應用有較好的加速效果，因此受到了學術(shù)界和工業(yè)界的廣泛關(guān)注。孫廣宇回顧近期工業(yè)界提出的DRAM近存計算芯片，并分析其特點和面臨的挑戰(zhàn)；然后，進一步介紹如何利用DRAM近存架構(gòu)來加速端側(cè)大模型推理；最后，分享了針對大模型推理的一個算法與架構(gòu)協(xié)同優(yōu)化的工作。
（北京大學副教授孫廣宇發(fā)言）
華為終端BG軟件架設部技術(shù)專家李有福向與會嘉賓介紹了ArkData智慧數(shù)據(jù)底座，包含端側(cè)輕量級向量數(shù)據(jù)存儲、多模態(tài)統(tǒng)一嵌入模型、高效知識檢索能力等方面。“ArkData智慧數(shù)據(jù)底座能實現(xiàn)數(shù)據(jù)+AI智能閉環(huán)，為用戶提供全新的智能體驗。”李有福說。
（華為終端BG軟件架設部技術(shù)專家李有福發(fā)言）
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
