“天池”挖掘 宇內(nèi)探秘

危樓高百尺，手可摘星辰。

不敢高聲語，恐驚天上人。

李白的這首《夜宿山寺》道出了自古人們對太空探索的渴望。借本次國家天文臺與阿里云天文大數(shù)據(jù)聯(lián)合研究中心共同舉辦“天文數(shù)據(jù)挖掘”天池大賽的機(jī)會(huì)，我們拜訪了國家天文臺懷柔太陽觀測站。在這個(gè)“手可摘星辰”的地方，深入了解一下，如何借助阿里云的大數(shù)據(jù)挖掘能力，去深入探索宇宙的秘密。

“天眼”尋天 數(shù)據(jù)挑戰(zhàn)

國家重大科技基礎(chǔ)設(shè)施 500米口徑球面射電望遠(yuǎn)鏡（FAST），位于貴州省黔南布依族自治州州平塘縣克度鎮(zhèn)金科村的“大窩凼”洼地

在本次活動(dòng)中，中國科學(xué)院國家天文臺研究員、信息與計(jì)算中心主任崔辰州博導(dǎo)向我們介紹了在天文觀測中遇到的數(shù)據(jù)挑戰(zhàn)：

被譽(yù)為“中國天眼”的FAST是世界最大單口徑、最靈敏的射電望遠(yuǎn)鏡。理論上說，F(xiàn)AST能接收到137億光年以外的電磁信號，這個(gè)距離接近于宇宙的邊緣。FAST這將是一個(gè)100億光年的數(shù)字宇宙。

在FAST早期科技的時(shí)候，將會(huì)采用漂移掃描的觀測模式，這種觀測模式會(huì)采用19波束的接收機(jī)，它的帶寬是400兆赫茲，通過1G的頻率進(jìn)行采料，原始數(shù)據(jù)的產(chǎn)生率是38個(gè)GB每秒，壓縮后會(huì)小大概是原來的1/5到1/6，也就是6GB每秒。進(jìn)入正式科學(xué)觀測后，每天將產(chǎn)生50TB（1TB=1000GB）的數(shù)據(jù)。這樣計(jì)算下來，每年會(huì)有數(shù)百PB（1PB=1000TB）的數(shù)據(jù)資料產(chǎn)生。國內(nèi)除了FAST，我們還有像郭守敬望遠(yuǎn)鏡、悟空天眼衛(wèi)星，以及在南極的天文臺等等很多的項(xiàng)目。這些國內(nèi)外的項(xiàng)目，其實(shí)帶給我們的就是大數(shù)據(jù)。這些數(shù)據(jù)是天文學(xué)家做科學(xué)研究、探索宇宙奧秘的精神食糧。

現(xiàn)在一塊3.5英寸的存儲硬盤容量在8-12TB之間，以10TB來計(jì)算，數(shù)百PB的數(shù)據(jù)量，就至少需要數(shù)萬塊硬盤來進(jìn)行支持?？梢哉f，“天文數(shù)字”一詞直觀體現(xiàn)了天文學(xué)面臨的首要挑戰(zhàn)：海量數(shù)據(jù)存儲和超大規(guī)模計(jì)算。根據(jù)預(yù)測，到2025年，天文觀測相關(guān)的數(shù)據(jù)采集量將達(dá)到每年250億TB。在一般的數(shù)據(jù)中心中，即便是將這些數(shù)據(jù)存儲下來，可能都是一件無能為力的事情。更何況還需要對這些海量的天文數(shù)據(jù)進(jìn)行分析處理，從中挖掘出對我們有用的天文信息。

用云存儲 天文數(shù)據(jù)

云計(jì)算可以通過統(tǒng)一計(jì)算的方式提供出強(qiáng)大分析計(jì)算能力，還可以利用分布式存儲提供海量數(shù)據(jù)的存儲。這些天文數(shù)字的天文數(shù)據(jù)，是不是也可以通過云存儲技術(shù)來進(jìn)行存儲呢？可是在國內(nèi)又哪家云計(jì)算廠商可以提供如此巨大規(guī)模的云計(jì)算系統(tǒng)呢？

阿里云直面了這個(gè)挑戰(zhàn)。阿里云自主研發(fā)的飛天超大規(guī)模通用計(jì)算操作系統(tǒng)，能夠?qū)偃f級的服務(wù)器連成一臺超級計(jì)算機(jī)，提供強(qiáng)大的計(jì)算能力。2016年10月云棲大會(huì)·杭州峰會(huì)上，中科院國家天文臺與阿里云宣布結(jié)為戰(zhàn)略合作伙伴，雙方將共同開展跨領(lǐng)域的前沿科學(xué)研究和應(yīng)用合作。成立“國家天文臺-阿里云天文大數(shù)據(jù)聯(lián)合研究中心”；共同完成中國虛擬天文臺上云項(xiàng)目，打造全生命周期的天文大數(shù)據(jù)管理與開放共享平臺；開發(fā)云上天文應(yīng)用軟件與服務(wù)；推進(jìn)數(shù)據(jù)驅(qū)動(dòng)的天文科普教育，通過互聯(lián)網(wǎng)與大眾共享數(shù)字宇宙；針對光學(xué)天文、射電天文、數(shù)值模擬和數(shù)據(jù)挖掘等領(lǐng)域的大數(shù)據(jù)技術(shù)與應(yīng)用開展深度合作等。雙方將以中國虛擬天文臺為抓手，逐步實(shí)現(xiàn)國家天文臺科技資源“上云”。

阿里云總裁胡曉明表示：“中國射電望遠(yuǎn)鏡的能力，加上中國的計(jì)算能力，將通過互聯(lián)網(wǎng)分享給全世界的天文科研工作者及愛好者。這正是我們所追求的普惠科技和無法計(jì)算的價(jià)值。

在阿里云國家天文臺的合作中，中國天文臺主節(jié)點(diǎn)已成功上云，涉及10億個(gè)天體的數(shù)據(jù)通過云端的虛擬天文臺向全球開放，包括LAMOST郭守敬望遠(yuǎn)鏡。未來“中國天眼”FAST數(shù)據(jù)也將傳輸?shù)桨⒗镌粕?。上云后，虛擬天文臺生成數(shù)據(jù)產(chǎn)品的周期將由原來的180天縮短到20天；數(shù)據(jù)的處理效率提升了20多倍（由一周縮減為8小時(shí)）。

天池助力 探索宇宙

天文數(shù)據(jù)不只需要在云上進(jìn)行存儲，同時(shí)還需要對這些數(shù)據(jù)進(jìn)行分析，從而獲得對宇宙的新發(fā)現(xiàn)。這就需要借助非常精準(zhǔn)的大數(shù)據(jù)分析算法來對這些海量的天文數(shù)據(jù)進(jìn)行深度的挖掘。然而對天文數(shù)據(jù)的分析，無論在中國還是在全球，都可以算得上是一個(gè)創(chuàng)舉，也都是處于摸索之中。如何為天文數(shù)據(jù)找到理想的數(shù)據(jù)分析算法，也是一個(gè)全新的天文科學(xué)探索課題。

天池大數(shù)據(jù)競賽是阿里云為深度挖掘大數(shù)據(jù)分析潛力而推出的一項(xiàng)競賽活動(dòng)，讓參賽選手用算法解決社會(huì)或業(yè)務(wù)問題。在2018年1月19日，在國家天文臺-阿里云天文大數(shù)據(jù)聯(lián)合研究中心共同宣布啟動(dòng)“天文數(shù)據(jù)挖掘”天池大賽，面向公眾開放天文科學(xué)探索課題，為選手提供云計(jì)算、人工智能技術(shù)，分析望遠(yuǎn)鏡收集的真實(shí)天文數(shù)據(jù)，大賽吸引了近千人報(bào)名。

我們在這里也希望，通過這項(xiàng)賽事，可以為宇宙的探索尋找到適用的算法，讓“手可摘星辰”的夢想可以早日實(shí)現(xiàn)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。