科技云報(bào)道原創(chuàng)。
自從ChatGPT這樣的大型語(yǔ)言模型在全球引起轟動(dòng)以來(lái),很少有人注意到,訓(xùn)練和運(yùn)行大型語(yǔ)言模型正在產(chǎn)生驚人的碳排放量。
雖然OpenAI和谷歌都沒(méi)有說(shuō)過(guò)他們各自產(chǎn)品的計(jì)算成本是多少,但據(jù)第三方研究人員分析,ChatGPT部分訓(xùn)練消耗了1287兆瓦時(shí),并導(dǎo)致了超過(guò)550噸的二氧化碳排放量,這相當(dāng)于一個(gè)人在紐約和舊金山之間往返550次。
事實(shí)上,這只是訓(xùn)練時(shí)的排放量,當(dāng)AI大模型運(yùn)行時(shí)還將排出更多的二氧化碳。
加拿大數(shù)據(jù)中心公司QScale聯(lián)合創(chuàng)始人Martin Bouchard認(rèn)為,微軟和谷歌為了滿足搜索引擎用戶日益增長(zhǎng)的需求,在搜索中加入ChatGPT這類生成式AI,會(huì)導(dǎo)致每次搜索至少增加4到5倍的計(jì)算量。
如果還要經(jīng)常重新訓(xùn)練模型,并添加更多的參數(shù),計(jì)算量的規(guī)模就完全不同了。
根據(jù)國(guó)際能源署(International Energy Agency)的數(shù)據(jù),數(shù)據(jù)中心的溫室氣體排放量已經(jīng)占到全球溫室氣體排放量的1%左右。
隨著AI大模型和對(duì)云計(jì)算需求的增長(zhǎng),這一數(shù)字預(yù)計(jì)還會(huì)上升。
AI大模型,正在成為碳排放的一個(gè)重要來(lái)源。
降低AI大模型的碳排放
AI模型的訓(xùn)練和運(yùn)營(yíng)過(guò)程需要消耗大量能源,但關(guān)鍵問(wèn)題是,如何知道及測(cè)算單個(gè)機(jī)器學(xué)習(xí)實(shí)驗(yàn)正在產(chǎn)生多少溫室氣體排放,以及可以減少多少?
目前數(shù)據(jù)科學(xué)家們?nèi)詿o(wú)法簡(jiǎn)單可靠地獲取該領(lǐng)域的測(cè)量結(jié)果,這也妨礙著進(jìn)一步制定可行的應(yīng)對(duì)策略。
針對(duì)這一問(wèn)題,谷歌發(fā)表了一項(xiàng)研究,詳細(xì)介紹了最先進(jìn)的語(yǔ)言模型的能源成本,包括早期和更大版本的LaMDA。
研究結(jié)果表明,將高效的模型、處理器和數(shù)據(jù)中心與清潔能源相結(jié)合,可以將機(jī)器學(xué)習(xí)系統(tǒng)的碳足跡減少1000倍。
該團(tuán)隊(duì)提出了四種基本方法,可顯著減少機(jī)器學(xué)習(xí)工作負(fù)載的碳(和能源)足跡,這些方法目前在Google中使用,任何使用Google Cloud服務(wù)的人都可以使用。
Google能源和碳足跡減少最佳實(shí)踐(4Ms)如下:
機(jī)械化:大多數(shù)情況下,本地?cái)?shù)據(jù)中心更老、更小。因此,新的節(jié)能冷卻和配電系統(tǒng)的費(fèi)用無(wú)法攤銷。
基于云的數(shù)據(jù)中心是全新的、定制設(shè)計(jì)的倉(cāng)庫(kù),具有可容納50000臺(tái)服務(wù)器的能效特性。它們提供異常高效的電源利用率 (PUE)。
因此,在云端而不是在本地進(jìn)行計(jì)算,可以節(jié)省1.4-2倍的能源并減少污染。
優(yōu)化:云允許客戶選擇具有最清潔能源的區(qū)域,從而將總碳足跡減少5到10倍?;?Ms改進(jìn)的模型、特定于機(jī)器學(xué)習(xí)的硬件和高效的數(shù)據(jù)中心,大大抵消了這種負(fù)載增加。谷歌的數(shù)據(jù)表明,機(jī)器學(xué)習(xí)訓(xùn)練和推理在過(guò)去三年中僅占谷歌整體能源使用量的10%至15%,其中每年有35%用于推理,25%用于訓(xùn)練。
為了找到改進(jìn)的機(jī)器學(xué)習(xí)模型,谷歌采用了神經(jīng)架構(gòu)搜索 (NAS)。
每個(gè)問(wèn)題域/搜索空間組合通常只執(zhí)行一次NAS,然后可以將生成的模型重復(fù)用于數(shù)百個(gè)應(yīng)用程序,NAS的一次性成本通常被持續(xù)使用的減排量所抵消。
研究人員進(jìn)行了一項(xiàng)研究來(lái)訓(xùn)練Transformer模型。
為此,他們?cè)诘湫偷臄?shù)據(jù)中心中使用了Nvidia P100 GPU,其能源組合與全球平均水平相似,而使用TPUv4等新一代ML硬件,性能比P100提升了14倍。
同時(shí),高效的云數(shù)據(jù)中心比普通數(shù)據(jù)中心節(jié)省1.4倍的能源,從而使總能耗降低83倍。
此外,由低碳能源驅(qū)動(dòng)的數(shù)據(jù)中心可以將碳排放量再減少9倍,從而在四年內(nèi)總共減少747倍。
谷歌團(tuán)隊(duì)認(rèn)為,在信息技術(shù)領(lǐng)域,制造各種類型和規(guī)模的計(jì)算設(shè)備的生命周期成本,比機(jī)器學(xué)習(xí)的運(yùn)營(yíng)成本要高得多。
排放估算的制造成本包括制造所有相關(guān)組件(從芯片到數(shù)據(jù)中心建筑)所排放的嵌入碳。
當(dāng)然,除了使用4Ms方法,服務(wù)提供商和用戶還可以采取簡(jiǎn)單的措施來(lái)提高他們的碳足跡績(jī)效,例如:
客戶應(yīng)通過(guò)讓數(shù)據(jù)中心提供商報(bào)告數(shù)據(jù)中心效率和每個(gè)位置的能源供應(yīng)清潔度,來(lái)分析和減少他們的能源使用和碳足跡。
工程師應(yīng)該在最環(huán)保的數(shù)據(jù)中心中最快的處理器上訓(xùn)練模型,這些數(shù)據(jù)中心越來(lái)越多地在云上。
機(jī)器學(xué)習(xí)的研究人員應(yīng)該專注于設(shè)計(jì)更有效的模型,如:利用稀疏性或包括檢索來(lái)減少模型。
此外,他們應(yīng)該報(bào)告他們的能源消耗和碳影響。這不僅會(huì)鼓勵(lì)超越模型質(zhì)量的競(jìng)爭(zhēng),而且還可以確保對(duì)他們的工作進(jìn)行正確的核算。
AI助力降低碳排放
盡管AI大模型是碳排放大戶,但以AI為代表的前沿科技也正在為降碳減排做出貢獻(xiàn)。
百度與咨詢機(jī)構(gòu)IDC(International Data Corporation)聯(lián)合進(jìn)行的研究顯示:與AI相關(guān)的技術(shù)減碳貢獻(xiàn)占比會(huì)逐年提升,到2060年將至少達(dá)到70%,減碳總量預(yù)計(jì)超過(guò)350億噸。
以交通行業(yè)為例,2020年中國(guó)交通行業(yè)的碳排放估測(cè)量為10.4億噸,占全國(guó)總體排放的9%。
而在驅(qū)動(dòng)交通行業(yè)降碳減排過(guò)程中,使用以智能信控為主的緩堵型智能交通技術(shù),可以有效提升城市主要道路交叉口的通行效率,千萬(wàn)級(jí)人口城市因此每年可至少減碳4.16萬(wàn)噸——這相當(dāng)于1.4萬(wàn)輛私家車行駛一年的碳排量。
從目前的實(shí)踐來(lái)看,理解和實(shí)現(xiàn)減排的關(guān)鍵是對(duì)減排的效果進(jìn)行預(yù)測(cè)和監(jiān)控,而AI在節(jié)能減排中具有預(yù)測(cè)排放、監(jiān)測(cè)排放、減少排放三個(gè)關(guān)鍵應(yīng)用。
據(jù)《碳中和產(chǎn)業(yè)發(fā)展白皮書(shū)》顯示,在預(yù)測(cè)排放方面,AI 能夠根據(jù)當(dāng)前減排工作和需求,預(yù)測(cè)未來(lái)的碳排放量,同時(shí)為碳排放定下排放量指引。
在監(jiān)測(cè)排放方面,AI 能實(shí)時(shí)跟蹤碳足跡數(shù)據(jù),從采購(gòu)、生產(chǎn)、銷售、運(yùn)維、物流等全環(huán)節(jié)收集數(shù)據(jù),提升監(jiān)測(cè)準(zhǔn)確性。
在減少排放方面,AI 收集各環(huán)節(jié)數(shù)據(jù)后,能夠以全局視角對(duì)各環(huán)節(jié)工作流程做出優(yōu)化調(diào)整。
事實(shí)上,在AI助力碳減排方面,目前國(guó)內(nèi)多個(gè)領(lǐng)域已有應(yīng)用。
在新能源領(lǐng)域,突出問(wèn)題在于其具有波動(dòng)性、隨機(jī)性、間歇性特點(diǎn)。
通過(guò)AI技術(shù)結(jié)合仿真計(jì)算,對(duì)風(fēng)光電的不穩(wěn)定情況做場(chǎng)景預(yù)測(cè),如:結(jié)合風(fēng)速、風(fēng)向、光照強(qiáng)度等自然氣象特征對(duì)未來(lái)的發(fā)電量進(jìn)行合理的預(yù)測(cè),向電網(wǎng)輸出更精準(zhǔn)的發(fā)電計(jì)劃,將新能源的不確定性、不穩(wěn)定屏蔽在技術(shù)層之下。
再比如,水務(wù)集團(tuán)的管轄范圍包括原水、制水、供水、排水、污水、節(jié)水等。
以居民供水為例,水壓過(guò)大,所需能耗大,管網(wǎng)漏損率高,可能會(huì)引起爆管事件;而水壓過(guò)小,可能會(huì)造成居民用水不便。
為了解決這一問(wèn)題,水務(wù)集團(tuán)在地下部署硬件傳感器監(jiān)測(cè)水壓、建設(shè)水務(wù)大腦,在保證安全、穩(wěn)定供水的前提下,通過(guò)AI技術(shù)可以實(shí)現(xiàn)智能化調(diào)壓控制、能耗優(yōu)化。
不僅如此,AI降碳技術(shù)也應(yīng)用在電廠、園區(qū)、數(shù)據(jù)中心等能源消耗較高的業(yè)務(wù)場(chǎng)景中,對(duì)其生產(chǎn)用電需求進(jìn)行精確預(yù)測(cè)和控制,進(jìn)行耗電設(shè)備、碳足跡的優(yōu)化。
結(jié)語(yǔ)
AI技術(shù)的進(jìn)步給人類帶來(lái)了諸多便利,但也必須在發(fā)展中關(guān)注環(huán)境問(wèn)題。
未來(lái)AI如何實(shí)現(xiàn)可持續(xù)發(fā)展,以及AI如何更好地支撐雙碳領(lǐng)域的變革,仍是亟需各行業(yè)共同解決的問(wèn)題。
來(lái)源:科技云報(bào)道
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 100億美元史上最大融資的背后,國(guó)內(nèi)外巨頭齊瞄準(zhǔn)Data+AI
- 有一種羨慕叫“別人家的年終獎(jiǎng)”:京東采銷平均23薪,全網(wǎng)熱議“人的價(jià)值”
- 行業(yè)首個(gè)“人機(jī)大戰(zhàn)”對(duì)壘!AI翻譯已媲美人工
- 蘋果開(kāi)啟年終大促,降價(jià)1200元,被國(guó)產(chǎn)手機(jī)嚇怕了?
- 1999 元起,OPPO A5 Pro 超防水、超抗摔、超耐用
- 長(zhǎng)三角,如何把數(shù)據(jù)要素變成新長(zhǎng)江?
- 大模型,在內(nèi)卷中尋找出口
- 比亞迪“天神之眼”重磅升級(jí):無(wú)圖城市領(lǐng)航功能全國(guó)開(kāi)通
- 不愿成為微信的支付寶,注定失敗
- 大廠年終獎(jiǎng)全靠猜?京東帶頭透明化
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。