計算激變:當華為跨過一切走向星空

“恒有二者,余畏敬焉。位我上者,燦爛星空;道德律令,在我心中?!?/p>

這句寫在《純粹理性批判》一書和康德墓碑上的話,可以被看作是康德哲學思想的精煉。其中康德將外部世界概括為Starry heaven——充滿星星的蒼穹。在很多時候,人們對于這個世界的探索精神,都被抽象成了對星辰大海的追逐。星星為什么會閃耀?星河的黑暗之處,又隱藏著什么秘密?這些疑問,是我們與生俱來的好奇心的最好表現(xiàn)。

在天性的指引之下人類不斷踏平一切阻礙,去踐行探索。例如用豐富的交通工具踏平物理距離,讓人類可以真正地踏步星云之中,或是用數(shù)字化記錄踏平時間的阻隔,把一切轉(zhuǎn)瞬即逝記錄成永生的數(shù)據(jù)。

在跨越空間與時間障礙之后,下一個攔在我們與星空之間的障礙,便是計算了。

讓星光穿越大洋洲

故事要從一個天文望遠鏡說起。

從17世紀開始,天文望遠鏡就成了人們觀測宇宙星空的絕佳工具。隨著技術(shù)不斷發(fā)展,直到今天,這一工具讓我們的目光更加深遠,透徹地了解到宇宙與星體。到了如今的射電天文觀測時代,我們已經(jīng)能通過望遠鏡接受宇宙中的無線電波,捕捉光年之外的信號。但從自然科學的角度來說,很多時候工具越發(fā)達、我們發(fā)現(xiàn)的信息越多,也就愈發(fā)認識到自己的渺小。

想象一下,當考古學家們發(fā)現(xiàn)龐大的墓群時,除了驚喜與驚嘆,他們所做的更多是潛心研究,不斷推翻自己的認知體系。同樣天文望遠鏡所捕捉到的每一點信息,也都值得被分析研究。尤其和靜止于時空中的文物不同,無線電波處于動態(tài)之中,有時需要對大面積星空進行實時觀測,才能捕捉到天文現(xiàn)象。而這其中所需要的算力支持,幾乎是難以想象的。

基礎(chǔ)研究并不會因為配套設(shè)施的不足而停止,近年以來,我們進入了“SKA時代”。

所謂SKA既平方公里射電陣(Square Kilometre Array),由眾多碟形天線構(gòu)成的巨型射電望遠鏡陣列。

憑借超高靈敏度、超大視場、超快巡天速度和超高分辨率來獲取、觀測到那些以往未知的信息,甚至有望在宇宙起源、生命起源、宇宙磁場起源、引力本質(zhì)、地外文明等“終極問題”中獲得突破。

而SKA望遠鏡所產(chǎn)生的數(shù)據(jù)也是巨大的,資料顯示SKA建成后每年存檔大約600PB的數(shù)據(jù),遠超于今天的互聯(lián)網(wǎng)。

這樣龐大體量的數(shù)據(jù),先不提計算,光是傳輸就是一個巨大的問題。曾經(jīng)有一種說法稱,把100PB的數(shù)據(jù)從北京傳輸?shù)缴虾?,最快的速度是順豐快遞。這并非是笑談。

而目前SKA望遠鏡的兩個中心區(qū)域一個在澳大利亞一個在南非,我們要如何將這些數(shù)據(jù)跨越大洋洲與其他研究機構(gòu)共享,是飛機?輪船?或是傳說中的6G網(wǎng)絡(luò)?

數(shù)據(jù)熔爐中,宇宙與星空之秘

我們已經(jīng)有了能力將宇宙中的訊號記錄成數(shù)據(jù),但如果無法從這些數(shù)據(jù)中得出結(jié)論,它們便會塵封于數(shù)據(jù)庫之中,像一個個未解的謎團。

如何解開這些數(shù)據(jù)謎團,挖掘其中的價值信息?上海天文臺給出了答案——華為云AI

如果參加過今年華為HC大會的人一定記得,在現(xiàn)場展示了華為云與上海天文臺合作利用華為云AI昇騰集群服務(wù)對南半球星空的射電星系進行搜索和識別, SKA先導項目所產(chǎn)生的海量數(shù)據(jù)被安置在了云端,華為云AI昇騰集群服務(wù)如同一座鋼鐵熔爐,輸入數(shù)據(jù)燃料,煉出關(guān)于宇宙與星空的秘密。

在最近的SKA上海大會暨第六屆SKA工程大會上,我們得以瞥見有關(guān)這一答案的更多消息,也能看到華為云AI究竟是如何帶領(lǐng)人類破壁,解密星空。

作為當前全球最大的科研項目,SKA項目所面臨的問題其實也集科研領(lǐng)域于一處。

首要的,是計算能力本身。正如前文所說,科研數(shù)據(jù)往往體量巨大,甚至超出現(xiàn)有計算能力。對這些數(shù)據(jù)進行挖掘、將其訓練成AI模型以提升未來的研究效率更是困難;其次還有科研協(xié)作。龐大數(shù)據(jù)量不僅僅受計算能力影響,同時也在影響協(xié)作效率。很多天文類的科研項目都和SKA一樣,需要把望遠鏡或望遠鏡陣列建設(shè)在世界各地,對于這些科研項目來說,想要實現(xiàn)分布式的協(xié)作研究,往往要耗費大量成本在本地建立數(shù)據(jù)中心。最后還有軟件效率,面對深度學習這一新興工具,科研項目所建立的AI模型是否兼?zhèn)涓咝阅芎透邔嵱眯裕匾氖鞘欠窬邆淇梢浦残?。然而這一切都是伴隨海量數(shù)據(jù)而來的問題。

從計算宇宙到計算世界:華為給出的三層方法論

在和上海天文臺的合作上,華為云給出了很好的解答樣本。我們不妨從雙方的合作中提煉出若干方法論,看看這些方法論是否能在人類探索世界的整個過程中奏效。

第一層方法論,是巨大計算引擎本身帶來的效率升級。

基于Atlas900,華為云AI昇騰集群服務(wù)在合作過程中起到重要作用。它是當前全球最快的AI訓練集群,由上千顆有“最強AI處理器”之稱的昇騰910 AI處理器搭建而成。強大計算力匯聚之下,讓它獲得了世界頂級算力。當“地表最強”集群服務(wù)碰撞上同樣“地表最強”的科研項目,帶來的結(jié)果是非常震撼的。

就拿宇宙中星體定位、分類這一項工作來說,在處理SKA先導項目星空觀測數(shù)據(jù)時,使用傳統(tǒng)方法天文學家需要169天才能完成一次對南半球星空中大約20多萬顆星體的定位和識別。而在上海天文臺與華為的合作中,通過深度學習方法訓練AI模型,并利用華為云AI昇騰集群服務(wù),僅需10秒就能完成任務(wù)。

從169天到10秒,其效率提升的意義無異于穿梭于時空之間的時間機器。

第二層方法論,來自全新的部署未來。

華為云之于SKA項目的意義,一方面來自于昇騰910帶來的強大算力,另一方面則來自于“云”。我們都知道云化對于產(chǎn)業(yè)帶來的意義——將數(shù)據(jù)跨越空間進行寫作部署,根據(jù)自身需求變化彈性化的購置資源,隨時在云端共享軟件能力的更新……但一旦涉及科研這種數(shù)據(jù)量巨大的領(lǐng)域,似乎很難依賴于云端。實際上昇騰集群采用的100G以太高速集群互聯(lián)網(wǎng)絡(luò),可以讓星海高速行走于云間,便于諸如澳洲-上海之間的科研協(xié)作。

這種彈性存儲的部署模式,相比建立數(shù)據(jù)庫成本更加低廉、效率也更高,同時也降低了數(shù)據(jù)的訪問門檻。或許未來其他科研機構(gòu)也可以登錄云端平臺訪問SKA數(shù)據(jù),從星海之中找到自己想要的答案。

第三層方法論,來自AI這一出發(fā)點。

海量天文數(shù)據(jù),需要的是暴力的計算,同樣也需要“聰明的計算”。在華為云的全棧AI能力之下,上海天文臺也得以將更多AI能力帶入科研之中。例如現(xiàn)在,華為云和上海天文臺正在嘗試使用AI對射電望遠鏡接收的脈沖星信號進行識別。倚仗華為云AI能力和數(shù)以萬計脈沖星信號數(shù)據(jù),昇騰集群在短時間內(nèi)完成訓練并建立AI脈沖星識別模型,判斷圖像是否為脈沖星信號,精準率和召回率均高達98%以上。

暴力計算解放人力,讓科學家們將時間投入到更多有價值的研究領(lǐng)域中。而智能則解放算力,算的更聰明,就能算的更高效。

探索之途,停在下個時代門前

這一系列方法論,顯然不只適用于天文一個領(lǐng)域。

康德將一切外物定義為“燦爛星空”,是因為人類探索一切,就像探索星空。實際上SKA項目上出現(xiàn)的巨大計算需求,僅僅是人類探索世界過程中的一個階段縮影。

之所以會出現(xiàn)算力需求的裂谷,是因為我們走向了數(shù)字化的頂峰。傳感器與互聯(lián)網(wǎng)的遍布,加上基礎(chǔ)科學的進步,讓我們有了將宇宙中的一切轉(zhuǎn)換成數(shù)據(jù)的能力。大到用射電望遠鏡捕捉光年之外的脈沖信號,小到一條公路的智慧化,甚至一顆藥物的研發(fā),幾乎都可以利用數(shù)據(jù)化模擬整個過程。自動駕駛、氣象研究、地質(zhì)研究、工業(yè)數(shù)字孿生……這些領(lǐng)域正在各自形成數(shù)據(jù)洪流,滾滾向前。

更何況我們還有此前累積下的海量數(shù)據(jù)——2018年Forrest報告稱,大多數(shù)公司認為自己只分析了12%的大數(shù)據(jù)。也就是說,這個世界上有88%的大數(shù)據(jù)都被塵封了起來,在悶熱的機房中無聲嘆息。

這一切或許不會都像天文領(lǐng)域一樣,能夠通過暴力計算獲得如此巨大的改變。但當前的計算供應(yīng),與未來趨勢一定是不匹配的。

算力硬件不僅昂貴,從生產(chǎn)者到應(yīng)用者之間還包含著多個復雜的產(chǎn)業(yè)環(huán)節(jié)。甚至即使其中加工者無數(shù),最后的解決方案也不一定能很好的適應(yīng)場景需求。更何況還有復雜的配套搭建過程——動輒占地上百平米的數(shù)據(jù)中心和復雜的日常運維,無一不需要周期漫長的資金和人力投入。

萬事萬物的數(shù)字化明明到來的那么自然,為什么在下一個時代的門口會出現(xiàn)如此難以跨越的門檻?

激變發(fā)生、打破桎梏:觸碰星空的華為云

這個世界的奇妙之處就在于,我們似乎一直在闖關(guān)升級,難以解決的矛盾一旦集中起來浮出水面,便會得以解決。

華為云AI昇騰集群服務(wù)的出現(xiàn)就是如此。

如果華為云AI昇騰集群服務(wù)提早幾年出現(xiàn),我們可能會認為這只“AI算力怪獸”有炫技之嫌。而在2019年,我們真正直觀的感受到了SKA項目帶來的海量天文數(shù)據(jù),看到近在咫尺的自動駕駛,看到5G網(wǎng)絡(luò)即將帶來的萬物互聯(lián),才真正感知到,人類的計算力,還需要更強一點。

同樣華為也是在這一年發(fā)布了他們的計算戰(zhàn)略——一邊是利用基礎(chǔ)研究創(chuàng)新架構(gòu),推出適應(yīng)算力增長的達芬奇架構(gòu),另一邊推出了昇騰、鯤鵬、麒麟、鴻鵠四款分別應(yīng)對AI計算、通用計算、移動終端和智慧屏需求的芯片。加上對于華為云AI昇騰集群服務(wù)在AI訓練計算的布局,華為已經(jīng)對未來計算市場形成了一種籠罩式的布局,預(yù)判產(chǎn)業(yè)的下一步發(fā)展,然后做好準備。

就拿SKA項目為例,華為云給出的三條方法論實際上已經(jīng)顛覆了“算力”這種資源的獲取方式,將算力和存儲從數(shù)據(jù)中心、超算中心轉(zhuǎn)移到云上,無異于把蘋果樹苗變成貨架上的蘋果。獲取地表最強的算力,不再需要漫長的植樹耕耘,只需隨手拿取。這種激變,如同刀耕火種與食品工業(yè)化的對照。

激變還發(fā)生在更多地方。

我們看到達芬奇架構(gòu)在改變每一款芯片中矩陣計算的效率;看到不同領(lǐng)域的芯片正在鉚住產(chǎn)業(yè)關(guān)節(jié),深深植入計算;看到工程能力、網(wǎng)絡(luò)技術(shù)等等其他儲備也與計算集群或芯片結(jié)合,去解決散熱、集成等等問題。

星空當前,華為云正在集中一切力量去打破計算的桎梏。

或許在五年或十年之后,以華為云為代表的桎梏打破者會為我們的生活帶來天翻地覆的變化,我們可能在AI的幫助下從宇宙中捕捉到另一個種族的聲音,可能能夠預(yù)測很多自然災(zāi)害,或是精準預(yù)知明年的天氣變化……但當我們把歷史的坐標拉長,再回頭看看,可能早已對這一切習以為常。今天的一切幻想,總有一天會變成不起眼的日常細節(jié)。于是我們才不停探索,永遠向往未知。

但人們總會記得,在一次悄然無息或轟轟烈烈的計算升級后,我們距離頭頂?shù)男强?,又近了一點。

在這場旅途之中,我們每一個人都是探索者。而華為也提供了我們與其他探索者相遇的機會——2020年2月11日到12日,華為將在深圳面向開發(fā)者召開華為開發(fā)者大會2020(Cloud)。參與者可以與開發(fā)高手現(xiàn)場交流,并體驗豐富的黑科技。宇宙旅途,時刻發(fā)生。

免責聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-11-28
計算激變:當華為跨過一切走向星空
我們已經(jīng)有了能力將宇宙中的訊號記錄成數(shù)據(jù),但如果無法從這些數(shù)據(jù)中得出結(jié)論,它們便會塵封于數(shù)據(jù)庫之中,像一個個未解的謎團。

長按掃碼 閱讀全文