本實(shí)用指南將幫助用戶了解,如何配置個(gè)人電腦才能更有效地使用生成式AI大語(yǔ)言模型
生成式人工智能(GenAI)徹底改變了計(jì)算世界,戴爾科技的用戶都開始考慮借助大語(yǔ)言模型(LLM)去開發(fā)能夠提升其公司生產(chǎn)力、效率和創(chuàng)新力的新功能。戴爾科技擁有全球最豐富的AI基礎(chǔ)設(shè)施產(chǎn)品組合,從云到客戶端設(shè)備一應(yīng)俱全[1],因此能夠?yàn)橛脩籼峁M足其一切AI需求的端到端AI解決方案和服務(wù)。戴爾科技還提供專為助力AI工作負(fù)載而設(shè)計(jì)的硬件解決方案,包括工作站、高性能計(jì)算服務(wù)器、數(shù)據(jù)存儲(chǔ)、云原生軟件定義基礎(chǔ)設(shè)施、網(wǎng)絡(luò)交換機(jī)、數(shù)據(jù)保護(hù)、HCI和各種服務(wù)。但用戶所面臨的最大問題之一是:如何確定一臺(tái)PC能夠與特定的LLM有效配合。戴爾科技將嘗試解答這個(gè)問題。
首先應(yīng)該掌握一些關(guān)于如何幫助PC處理LLM的基礎(chǔ)知識(shí)。雖然AI例程可以在CPU或被稱為NPU的新型專用AI回路中進(jìn)行處理,但目前的主流仍然是在PC中使用NVIDIA RTX GPU進(jìn)行AI處理,該GPU帶有被稱為“張量核心”(Tensor Core)的專用回路。RTX張量核心專門用于實(shí)現(xiàn)混合精度數(shù)學(xué)計(jì)算,而這是AI處理的核心。但進(jìn)行數(shù)學(xué)運(yùn)算只是需要考慮的因素之一,鑒于LLM潛在的內(nèi)存占用量,還需要額外考慮可用的內(nèi)存空間。要在GPU中最大程度地發(fā)揮AI性能,就必須將LLM處理加入到GPU VRAM。NVIDIA的GPU產(chǎn)品線在各種移動(dòng)和固定工作站產(chǎn)品中都可以擴(kuò)展,用戶可以通過所提供的張量核心數(shù)量和GPU VRAM選項(xiàng)來輕松調(diào)整系統(tǒng)規(guī)模。請(qǐng)注意,某些固定工作站可以搭載多顆GPU來進(jìn)一步擴(kuò)大容量。
市場(chǎng)上出現(xiàn)的LLM數(shù)量和種類越來越多,但在確定硬件需求時(shí),最需要考慮的因素之一是所選LLM的參數(shù)規(guī)模。以Meta AI的Llama-2 LLM為例,該模型有70億、130億和700億這三種不同的參數(shù)規(guī)模。一般來說,參數(shù)規(guī)模越大,LLM的準(zhǔn)確性就越高,在一般知識(shí)應(yīng)用中的適用性也就越強(qiáng)。
無論用戶的目標(biāo)是將基礎(chǔ)模型原封不動(dòng)地用于推理,還是根據(jù)具體的用例和數(shù)據(jù)進(jìn)行調(diào)整,他們都需要了解LLM對(duì)機(jī)器的要求以及如何最好地管理模型。如果能夠利用用戶專有的數(shù)據(jù)開發(fā)和訓(xùn)練出針對(duì)特定用例的模型,那么用戶的AI項(xiàng)目就能為其帶來最大的創(chuàng)新和回報(bào)。在使用LLM開發(fā)新功能和應(yīng)用時(shí),參數(shù)規(guī)模最大的模型可能會(huì)對(duì)機(jī)器性能提出極高的要求,因此數(shù)據(jù)科學(xué)家們開發(fā)出了一些辦法來幫助降低處理開銷和管理LLM輸出準(zhǔn)確性。
量化就是其中的一種辦法。該技術(shù)通過修改LLM內(nèi)部參數(shù)(即權(quán)重)的數(shù)學(xué)精度來縮小LLM的規(guī)模。降低位精度會(huì)對(duì)LLM產(chǎn)生兩方面的影響: 一是減少處理所占用的空間和對(duì)內(nèi)存的需求, 二是影響LLM的輸出準(zhǔn)確性。量化可以看作是JPEG圖像壓縮,雖然壓縮得越多,創(chuàng)建出的圖像效率就越高,但在某些用例中可能會(huì)使圖像變得模糊不清。
在實(shí)際應(yīng)用中,如果用戶想要運(yùn)行量化為4位精度的Llama-2模型,可以考慮戴爾Precision 3000和5000系列的多款移動(dòng)工作站。
戴爾科技全新的3000和5000系列移動(dòng)工作站集成了CPU,NPU,GPU多處理器組合,能夠優(yōu)化100多款應(yīng)用中的AI性能,使其運(yùn)行更快、能效更高。例如,它們可支持全新的協(xié)作體驗(yàn),如AI驅(qū)動(dòng)的視頻會(huì)議,提供背景模糊、面部取景和視線糾正等功能。NPU能有效地卸載CPU或GPU上的任務(wù),使功耗降低高達(dá)40% 。這意味著電池續(xù)航時(shí)間更長(zhǎng),用戶無需頻繁充電即可持續(xù)工作。此外,新款CPU還配備了速度更快的集成顯卡,為更多媒體密集型AI工作負(fù)載提供卓越性能。CPU、NPU和GPU協(xié)同工作,共同打造靈活、高性能且節(jié)能的AI引擎,為用戶帶來絕佳體驗(yàn)。
此外,全新戴爾Precision 3490和3590移動(dòng)工作站最高可搭載NVIDIA RTX 500 Ada圖形處理器,提升專業(yè)用戶的工作效率。Precision 3591則專注于設(shè)計(jì)與創(chuàng)作領(lǐng)域,輕松應(yīng)對(duì)入門級(jí)2D和3D CAD應(yīng)用。而Precision 5000系列移動(dòng)工作站將創(chuàng)意應(yīng)用的性能提升到了新的高度,Precision 5690憑借其小巧的16英寸機(jī)身,為用戶帶來出色的創(chuàng)意應(yīng)用體驗(yàn)。它具備廣闊的視野、出色的便攜性和強(qiáng)大的應(yīng)用性能,最高可配備NVIDIA RTX 5000圖形處理器。同時(shí),機(jī)身小巧但強(qiáng)大功能的Precision 5490作為一款14英寸超便攜設(shè)備,在性能和體驗(yàn)方面也毫不遜色。
在更高精度(BF16)運(yùn)行會(huì)增加對(duì)內(nèi)存的需求,但戴爾科技的解決方案可以在任何精度上滿足任何規(guī)模的LLM需求。戴爾Precision 7960 塔式工作站可支持多達(dá)四個(gè)NVIDIA 高性能GPU,其AI處理能力比上代產(chǎn)品高出80% 且每個(gè)GPU的VRAM高達(dá)48GB,而VRAM是處理GenAI大語(yǔ)言模型最關(guān)鍵的配置之一。
那么如何解決輸出準(zhǔn)確性所受到的影響?另一種被稱為微調(diào)的技術(shù)可以通過在特定數(shù)據(jù)上重新訓(xùn)練LLM的參數(shù)子集來提高準(zhǔn)確性,進(jìn)而提高特定用例中的輸出準(zhǔn)確性。微調(diào)會(huì)調(diào)整某些已訓(xùn)練參數(shù)的權(quán)重,能夠加快訓(xùn)練過程并提高輸出準(zhǔn)確性。通過將微調(diào)與量化相結(jié)合,就可以產(chǎn)生針對(duì)特定應(yīng)用的小語(yǔ)言模型,這些模型非常適合部署到對(duì)AI處理能力要求較低的各種設(shè)備上。同樣,如果開發(fā)人員想要對(duì)LLM進(jìn)行微調(diào),也可以放心地將Precision工作站作為構(gòu)建GenAI解決方案過程中的沙盒。
在使用LLM時(shí)這些不同技術(shù)不會(huì)相互排斥。把它們結(jié)合在一起使用往往會(huì)帶來更高的運(yùn)行效率和準(zhǔn)確性。
總之,LLM的規(guī)模以及哪些技術(shù)能夠?yàn)橛行褂肔LM所需的計(jì)算系統(tǒng)配置提供最佳參考都是關(guān)鍵的決定因素。戴爾科技堅(jiān)信無論用戶在其AI旅程中想要朝哪個(gè)方向發(fā)展,戴爾科技的臺(tái)式機(jī)、數(shù)據(jù)中心等解決方案都將為其提供助力。
戴爾科技集團(tuán)
戴爾科技集團(tuán)致力于幫助企業(yè)和個(gè)人構(gòu)建數(shù)字化未來,改進(jìn)他們的工作、生活和娛樂方式,為客戶提供面向數(shù)據(jù)時(shí)代全面和創(chuàng)新的產(chǎn)品、技術(shù)、解決方案及服務(wù)組合。
[1] 基于戴爾科技集團(tuán)的內(nèi)部分析,2023年8月。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
