9月20日，在華為全聯接大會2024期間，華為云成功舉辦AI Native Cloud主題論壇。華為云在論壇上解讀業(yè)界首家以內存池為中心的大模型推理存儲架構，以及AI-Native智算存儲如何使能模型加載快、對話問答快和查詢檢索快，邀請行業(yè)領袖分享AI推理技術及華為云基礎設施在游戲、影視制作、辦公軟件等領域的應用成果。
EMS助力大語言模型降時延、提吞吐
顯存有限是業(yè)界公認的影響大模型訓練和推理效率的一個難點，也就是業(yè)界所說的內存墻難題。“華為云首創(chuàng)EMS彈性內存存儲服務，在NPU顯存和持久化存儲兩層間增加彈性內存存儲層?；贛emory Pooling專利技術，通過顯存擴展、算力卸載、以存代算三大創(chuàng)新打破內存墻。”華為云首席產品官方國偉在《AI Native Cloud: 全新為AI負載和應用設計的云基礎設施》主題演講中指出。
華為云首席產品官 方國偉
EMS彈性內存存儲服務為AI推理應用帶來3大價值：
•以存代算，緩存和復用歷史KV計算結果，首Token時延降低 80%;
•算力卸載，KV計算卸載至CPU+EMS，吞吐量提升100%;
•顯存擴展，無需堆砌NPU，NPU算力節(jié)省50%。
AI推理應用已在各行各業(yè)開花結果。作為中國首個游戲人工智能實驗室，網易伏羲每年都會在游戲AI領域推出新的玩法。今年，網易伏羲推出了全球首創(chuàng)的游戲Copilot AI隊友，為玩家?guī)斫z滑的多模態(tài)游戲交互體驗。其中，為了實現近乎真人的問答效果，時延成了一大挑戰(zhàn)。“我們與華為云聯合創(chuàng)新，在伏羲的多輪對話和公共前綴場景使用EMS內存存儲進行體驗優(yōu)化，測試結論顯示了4大優(yōu)化：更大的容量，有了EMS，算力卡可以搭配TB級的虛擬顯存;更高的吞吐，測試結果顯示，QPS請求數提升了40%;更低的時延，EMS使能首字節(jié)時延降低84%;更高的效率，P95時延降低了32%。真正地做到了以存強算，讓Copilot AI隊友可以實現如真人般的流暢對話。”網易伏羲語音技術負責人莫名在《AI x 游戲，可實時語音交互的游戲隊友》主題演講中表示。
網易伏羲語音技術負責人 莫名
近日國產3A游戲爆火，讓大家看到了國內CG(計算機圖形學)動畫技術的日新月異。作為國內頭部的電影視效公司，墨境天合創(chuàng)新地將大語言模型及圖像模型應用到視效制作中。“在劇本拆解、鏡頭規(guī)劃場景中，墨境天合使用AI輔助加速傳統人工工作內容，顯著提升了視效制作效率。在劇本拆解應用中，將劇本內容作為同樣的文本多次輸入，受顯存限制，每一輪與LLM的交互均需重新計算，越問越慢，且劇本內容越長，對時延的影響越大。我們與華為云存儲進行了聯合創(chuàng)新測試，結果顯示：使用EMS后首字節(jié)時延降低了75%，吞吐量增加了22%，大大提高了劇本拆解和鏡頭規(guī)劃工具應用的效率。”墨境天合AI算法工程師負責人李晨陽在主題演講《AI x視效制作，探索人工智能在影視制作中的應用與突破》中表示。
墨境天合AI算法工程師負責人 李晨陽
OBS知識湖存儲使能海量數據高效檢索
大語言模型與企業(yè)業(yè)務場景結合的過程中，RAG(檢索增強生成技術)是目前最成熟也是應用最普遍的關鍵技術。在將RAG應用到生產環(huán)境中時，如何高效的處理企業(yè)海量規(guī)模的非結構化數據，仍然面臨諸多工程上的挑戰(zhàn)。方國偉表示：“華為云基于OBS服務構建了實現語義向量化的知識湖存儲，簡化客戶針對海量數據實現RAG方案的難度?；谧x、寫、算分離把千億級規(guī)模場景下數據的讀性能從百毫秒級降到10毫秒以內。同時，我們把對性能要求高、訪問頻繁的索引層放在內存，并結合超高性價比的對象存儲來實現持久化。通過高低結合，不僅性能更高，整個成本做得更優(yōu)，實現50%的成本降低。”
華為云首席產品官 方國偉
WPS AI是金山辦公旗下基于大語言模型的人工智能辦公助手，錨定AIGC(內容創(chuàng)作)、Copilot(智慧助理)、Insight(知識洞察)三個戰(zhàn)略方向發(fā)展。如果把大模型比做發(fā)動機，那么企業(yè)知識就是燃料。為了更好地搭建企業(yè)知識與大模型之間的橋梁，金山辦公提出了AI Docs智能文檔庫解決方案，使能全程閉環(huán)的可控智能。“今天的企業(yè)AI知識庫，仍然面臨眾多的技術挑戰(zhàn)。其中如何支持千億規(guī)模的文檔量級、在大并發(fā)請求的同時保持高效檢索、消減數據幻覺是數據存儲面臨的挑戰(zhàn)。為了解決傳統向量數據庫明顯的讀寫性能和成本問題。AI Docs目前在和華為云OBS知識湖存儲進行共創(chuàng)，探索能夠支持更大規(guī)模的文檔量級、檢索更精準、速度更快的使用體驗，給企業(yè)AI提供更好的賦能。”金山辦公助理總裁朱熠鍔在《AI x辦公，WPS AI 高效智慧辦公助力企業(yè)提效》主題演講中指出。
金山辦公助理總裁 朱熠鍔
全面智能化時代已然來臨，每個行業(yè)、每個企業(yè)都有自己的探索。華為云存儲正積極響應推理模型崛起的變革，通過不斷創(chuàng)新為千行萬業(yè)提供安全可靠、穩(wěn)定高效的云存儲產品與解決方案，攜手客戶、伙伴，共贏數智未來。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
