在當今的計算平臺上訓練最大的 AI 模型可能需要幾個月的時間。NVIDIA 的新產品旨在解決該問題。
在其年度 GTC 會議上，NVIDIA 宣布了一系列新的 AI 專用 GPU 和 CPU，包括 Hopper H100 GPU，他們聲稱這將大大加快企業(yè)部署最復雜的 AI 應用的方式，例如 BERT 和 GPT-3使用Transformer模型 。但該公告引出了一個問題：圍繞人工智能的所有挑戰(zhàn)是否可以簡單地通過更多的計算能力來解決？NVIDIA聚焦Transformer問題
在 NVIDIA 的公告中，Dave Salvator 寫道：“最大的 AI 模型可能需要幾個月的時間才能在當今的計算平臺上進行訓練。這對企業(yè)來說太慢了?！边@種巨大的訓練滯后背后的主要原因是什么？這些 Transformer 模型的絕對復雜性最初是為自然語言處理 (NLP) 應用而開始的，但現在已被用于其他復雜用途，例如用于自動駕駛汽車的計算機視覺。這些模型及其訓練集可以達到數十億個參數，所有這些參數都需要經過計算才能將看似隨機的數據轉化為計算機智能。英偉達的新芯片擁有 800 億個晶體管，并且基于臺積電的 4nm 工藝，但英偉達表示，這款新芯片的最大變化實際上在于它如何利用一種新的 8 位浮點數據格式，稱為 FP8。因為 AI 訓練取決于它可以多快地處理帶有小數部分的浮點數，所以能夠混合 8 位精度和 16 位“半”精度 (FP16) 是一個巨大的優(yōu)勢。這些芯片還可以在特殊情況下使用 32 位“單”精度 (FP32) 和 64 位“雙”精度 (FP64)。將其與將許多 Hopper H100 連接在一起的新數據中心硬件相結合，NVIDIA 似乎有信心在參數競賽中領先數萬億。Salvator 寫道：“當與 Hopper 架構中的其他新功能（例如 NVLink Switch 系統(tǒng)，它提供節(jié)點之間的直接高速互連）相結合時，H100 加速的服務器集群將能夠訓練幾乎不可能訓練的巨大網絡以企業(yè)所需的速度。”NVIDIA 對具有 3950 億個參數的混合專家 (MoE) Transformer Switch-XXL 變體進行的測試顯示“更高的吞吐量和 9 倍的訓練時間減少，從 7 天縮短到 20 小時”。更大的人工智能總是更好嗎？
并非所有人都同意。馬薩諸塞大學研究人員 2019 年的一項研究發(fā)現，訓練一個具有 213M 參數的TransformerAI 模型需要 84 小時才能完成，并產生 626,155 磅的二氧化碳當量，這大致相當于 17 個美國人一年的消耗量.雖然一開始可能看起來不多，但請記住，GPT-3 使用了高達 160-1750 億個參數，具體取決于您詢問的對象。谷歌已經使用 1.4 萬億個參數訓練了一個新的語言模型，在與 Wired 交談時，Cerebras 的創(chuàng)始人兼首席執(zhí)行官 Andrew Feldman 分享了一個信息，即 OpenAI 的下一次迭代 GPT-4 將擁有超過 100 萬億個參數。我們將在此處省略計算，但很容易看出 AI 應用如何產生巨大的環(huán)境影響，而執(zhí)行工作的處理器的速度和可訪問性只會加劇這種影響。但對于那些比溫室氣體更注重成本的人，馬薩諸塞大學的同一項研究發(fā)現，同樣的Transformer訓練僅在云計算成本方面的成本也在 942,973 美元到 3,201,722 美元之間。在數百個 H100 GPU 引領潮流的情況下，這些數字如何變化尚無定論，但人工智能訓練的整體計算使用量肯定會在未來很多年擴大。 NVIDIA 正在推廣其新芯片架構作為新用例的首選解決方案，例如組學（基因組學或藥物發(fā)現的生物學研究）、自主機器人的路線優(yōu)化，甚至調整 SQL 查詢以縮短執(zhí)行時間。另一方面，研究人員呼吁進行更多的成本效益（準確性）分析，更公平地訪問計算資源，以及更大的行業(yè)推動優(yōu)化算法以使用盡可能少的計算能力。
但是，在具有環(huán)保意識的大學研究人員和戴著有色眼鏡投入數十億美元人工智能研究的科技公司之間的斗爭中——更不用說數以萬億計的參數了——我們可能會繼續(xù)大芯片、大算法和大承諾的循環(huán)。
免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。
