什么是科學(xué)計(jì)算平臺(tái)？
科學(xué)研究是人們探索新事物、認(rèn)知新規(guī)律、創(chuàng)造新技術(shù)的重要途徑，隨著人類(lèi)社會(huì)的不斷進(jìn)步，今天科學(xué)研究已經(jīng)前進(jìn)到一個(gè)更加復(fù)雜深?yuàn)W的世界，研究的對(duì)象也向著大范圍、多領(lǐng)域的復(fù)雜系統(tǒng)工程進(jìn)軍。例如，航天工程、全球氣候、生態(tài)環(huán)境問(wèn)題等，對(duì)科研方法和手段也提出了新的挑戰(zhàn)。
科學(xué)計(jì)算作為現(xiàn)代科研主要手段，廣泛應(yīng)用于信息檢索、環(huán)境模擬、數(shù)值計(jì)算、數(shù)據(jù)分析等場(chǎng)景中，同時(shí)，機(jī)器學(xué)習(xí)的迅猛發(fā)展也推動(dòng)著科學(xué)計(jì)算平臺(tái)進(jìn)入了百家爭(zhēng)鳴的時(shí)代：各類(lèi)統(tǒng)計(jì)軟件、數(shù)據(jù)分析軟件、仿真軟件、制圖軟件多如牛毛……然而這種傳統(tǒng)的、分散的科研方式，給科研工作帶來(lái)了巨大挑戰(zhàn)：
· 知識(shí)碎片化、孤島化，難以建立起關(guān)聯(lián)關(guān)系；
· AI模型搭建對(duì)編程技能要求高，時(shí)間成本巨大且后期訓(xùn)練優(yōu)化費(fèi)時(shí)費(fèi)力；
· 人工處理復(fù)雜建模操作，效率低，高維方程求解難度大，精度和性能無(wú)法兼顧；
· 大量機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)的采集、清洗和治理工作繁瑣而枯燥；深度學(xué)習(xí)框架缺乏租戶(hù)功能，難以實(shí)現(xiàn)資源的有效隔離和集群算力的有效管理。
工欲善其事，必先利其器。為了快速、實(shí)時(shí)的分析海量科學(xué)數(shù)據(jù)背后的意義、最大限度地滿(mǎn)足科研機(jī)構(gòu)和人員之間交流與協(xié)作的需要，基于現(xiàn)代信息技術(shù)的科研平臺(tái)對(duì)于提高科研水平、促進(jìn)學(xué)科交叉和融合、加強(qiáng)高層次創(chuàng)新人才的培養(yǎng)起著至關(guān)重要的作用。
軒轅研究院：
聯(lián)合鯤鵬打造AI科學(xué)計(jì)算平臺(tái)DataLab
軒轅研究院
是軒轅網(wǎng)絡(luò)旗下的全資子公司，是圍繞人工智能的科研和實(shí)訓(xùn)教學(xué)的新型研發(fā)機(jī)構(gòu)，深耕教育行業(yè)23年，是國(guó)內(nèi)領(lǐng)先的AI+產(chǎn)教融合服務(wù)商。該機(jī)構(gòu)依托多年的高校的技術(shù)成果，以及豐富的產(chǎn)學(xué)研合作方式，將國(guó)內(nèi)外先進(jìn)的技術(shù)成果轉(zhuǎn)化為科研應(yīng)用技術(shù)和產(chǎn)品，助力科學(xué)技術(shù)的研究和創(chuàng)新。
軒轅AI科學(xué)計(jì)算平臺(tái)DataLab是軒轅研究院聯(lián)合廣州“鯤鵬+昇騰”生態(tài)創(chuàng)新中心共同打造的輔助科研工作的一體化解決方案。該方案集鯤鵬算力、多領(lǐng)域科研樣本數(shù)據(jù)、算法模型研發(fā)以及管理工具于一身，能有效支撐機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、知識(shí)抽取、關(guān)聯(lián)規(guī)律、智能預(yù)測(cè)、決策推理和高清科研圖表輸出等任務(wù)?？捎糜谧匀豢茖W(xué)與社會(huì)科學(xué)研究，以及計(jì)算機(jī)、軟件、電子、自動(dòng)化相關(guān)科研團(tuán)隊(duì)進(jìn)行計(jì)算機(jī)技術(shù)原理性的驗(yàn)證場(chǎng)景，基于算法、數(shù)據(jù)進(jìn)行科研實(shí)驗(yàn)，并形成圖形化界面呈現(xiàn)實(shí)驗(yàn)結(jié)果，攻關(guān)技術(shù)難題項(xiàng)目，助力科技成果轉(zhuǎn)化和推廣。
【軒轅AI科學(xué)計(jì)算平臺(tái)DataLab解決方案架構(gòu)】
伴隨著科研數(shù)據(jù)持續(xù)爆炸性增長(zhǎng)，科學(xué)家們需要更高的計(jì)算效率、數(shù)據(jù)處理效率以及工程效率，從而更好地支撐跨領(lǐng)域科研，這也對(duì)IT平臺(tái)的算力提出了更高挑戰(zhàn)。
· 鯤鵬天然的多核多并發(fā)、高性能、高算力以及低功耗等優(yōu)勢(shì)，能夠很好的滿(mǎn)足科研平臺(tái)海量數(shù)據(jù)處理、并行計(jì)算、低時(shí)延、綠色計(jì)算等要求；
· 作為軒轅研究院AI科學(xué)計(jì)算平臺(tái)DataLab的算力底座，鯤鵬還提供完善的鯤鵬DevKit開(kāi)發(fā)套件以及專(zhuān)業(yè)服務(wù)，能夠幫助用戶(hù)快速完成應(yīng)用的遷移、開(kāi)發(fā)、編譯和調(diào)優(yōu)，支撐科研平臺(tái)的高效創(chuàng)新。
鯤鵬DevKit 1人天/應(yīng)用
快速遷移AI科學(xué)計(jì)算平臺(tái)
在項(xiàng)目實(shí)施初期，開(kāi)發(fā)人員需要將DataLab平臺(tái)快速遷移到鯤鵬。由于整個(gè)系統(tǒng)的模塊眾多給遷移工作帶來(lái)不少挑戰(zhàn)：
· 代碼量大：5個(gè)子模塊\15個(gè)微服務(wù)，共計(jì)100萬(wàn)行左右代碼；
· 第三方軟件多：包含redis、rabbitmq、nacos、datax、hadoop，500+JAR包，手工查找兼容版本非常耗時(shí)；
經(jīng)分析，采用手動(dòng)遷移的話(huà)整個(gè)系統(tǒng)15個(gè)微服務(wù)需要30人天才能完成。
而鯤鵬DevKit代碼遷移工具可以實(shí)現(xiàn)依賴(lài)文件自動(dòng)識(shí)別、兼容JAR包一鍵下載、代碼修改建議一鍵替換，無(wú)須耗時(shí)耗力檢查跟進(jìn)。在鯤鵬DevKit的幫助下整個(gè)系統(tǒng)只用了10人天，平均每個(gè)服務(wù)不到1人天即可完成自動(dòng)遷移。
【使用鯤鵬DevKit代碼遷移工具進(jìn)行代碼分析】
基于鯤鵬DevKit高效開(kāi)發(fā)建筑違章檢測(cè)算法模型，性能提升89%
遷移完成之后，軒轅研究院需要針對(duì)DataLab平臺(tái)中GIS領(lǐng)域科研場(chǎng)景，在鯤鵬平臺(tái)上新開(kāi)發(fā)建筑違章檢測(cè)算法模型。在開(kāi)發(fā)過(guò)程中，為進(jìn)一步提升業(yè)務(wù)性能和穩(wěn)定性，將平臺(tái)之前使用的OpenJDK換成畢昇JDK，畢昇JDK在鯤鵬架構(gòu)中提供了更好的版本穩(wěn)定性、GC（Gabarage Collector）性能、加解密性能，能夠提升DataLab平臺(tái)數(shù)據(jù)處理應(yīng)用的運(yùn)行效率。
此外，針對(duì)系統(tǒng)出現(xiàn)的性能瓶頸，軒轅研究院的技術(shù)人員使用了鯤鵬性能分析工具進(jìn)行了調(diào)優(yōu)，對(duì)操作系統(tǒng)、JVM的運(yùn)行狀態(tài)進(jìn)行了分析和優(yōu)化，提升DataLab平臺(tái)AI計(jì)算模型相關(guān)業(yè)務(wù)的運(yùn)行效率：
在系統(tǒng)性能分析中創(chuàng)建系統(tǒng)全景分析任務(wù)
通過(guò)采集系統(tǒng)軟硬件配置信息，以及系統(tǒng)CPU、內(nèi)存、存儲(chǔ)IO、網(wǎng)絡(luò)IO資源的運(yùn)行情況，識(shí)別出CPU單次利用率高和兩處熱點(diǎn)函數(shù)占比較大的瓶頸，并給出了優(yōu)化建議 ，解決了DataLab平臺(tái)93093線(xiàn)程的38-CPU單次利用率高的問(wèn)題，提高了平臺(tái)運(yùn)行性能。
【AI科學(xué)計(jì)算平臺(tái)DataLab系統(tǒng)性能調(diào)優(yōu)-全景分析】
通過(guò)訪(fǎng)存分析功能高階分析能力
分析到應(yīng)用存在跨片跨DIE的內(nèi)存訪(fǎng)問(wèn)，并在系統(tǒng)建議下進(jìn)行了進(jìn)程綁核，從而優(yōu)化各個(gè)微服務(wù)的硬件資源分配，提升計(jì)算資源利用率。
通過(guò)微架構(gòu)分析對(duì)DataLab平臺(tái)的操作系統(tǒng)進(jìn)行采樣分析
發(fā)現(xiàn)了badSpeculation的branchMispredic占比較高，以及代碼中for循環(huán)嵌套的if判斷存在大量分支預(yù)測(cè)響應(yīng)失敗情況，并針對(duì)上述問(wèn)題給出了優(yōu)化建議，對(duì)平臺(tái)程序響應(yīng)時(shí)間、內(nèi)存分配等方面進(jìn)行了性能優(yōu)化。
通過(guò)Java性能分析
對(duì)平臺(tái)的Java方法采樣、線(xiàn)程轉(zhuǎn)儲(chǔ)、老年代對(duì)象采樣等多種采樣分析方式，經(jīng)過(guò)調(diào)整垃圾回收器的配置策略，改善查詢(xún)業(yè)務(wù)的吞吐量；
通過(guò)上述一系列的優(yōu)化分析，軒轅研究院DataLab平臺(tái)在鯤鵬上運(yùn)行性能得到有效提升：比如對(duì)比鯤鵬DevKit優(yōu)化前后，模型查詢(xún)業(yè)務(wù)的平均響應(yīng)時(shí)間典型場(chǎng)景下（1分鐘200并發(fā)）縮短27%，極限壓測(cè)場(chǎng)景下（1分鐘10000并發(fā)）縮短89%；
 |  |
【模型查詢(xún)業(yè)務(wù)平均響應(yīng)時(shí)間對(duì)比】
模型查詢(xún)業(yè)務(wù)的吞吐量在鯤鵬DevKit優(yōu)化后也整體提升了30%。
【模型查詢(xún)業(yè)務(wù)吞吐量對(duì)比】
此外，數(shù)據(jù)集檢索、數(shù)據(jù)集上傳、模型訓(xùn)練等業(yè)務(wù)的綜合性能均得到明顯提升。軒轅研究院在進(jìn)行鯤鵬原生開(kāi)發(fā)過(guò)程中，通過(guò)鯤鵬DevKit優(yōu)化了DataLab平臺(tái)數(shù)據(jù)處理能力，有效提升了違章建筑檢測(cè)的查詢(xún)速度，同時(shí)也讓GIS領(lǐng)域的科研工作更加便捷和高效。
軒轅研究院的AI科學(xué)計(jì)算平臺(tái)DataLab能夠在地理遙感、生物醫(yī)藥、地球科學(xué)、工業(yè)互聯(lián)網(wǎng)以及社會(huì)科學(xué)等眾多領(lǐng)域發(fā)揮重要作用，該方案已經(jīng)在2021年鯤鵬應(yīng)用創(chuàng)新大賽廣東賽區(qū)斬獲了金獎(jiǎng)，成為2022年科研領(lǐng)域唯一入選鯤鵬精選解決方案。作為鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)重要伙伴，軒轅研究院也與廣州“鯤鵬+昇騰”生態(tài)創(chuàng)新中心建立了長(zhǎng)期合作關(guān)系，后續(xù)也將持續(xù)基于鯤鵬原生開(kāi)發(fā)實(shí)現(xiàn)科學(xué)計(jì)算領(lǐng)域的應(yīng)用創(chuàng)新。
鯤鵬原生開(kāi)發(fā)是指使用鯤鵬DevKit的原生開(kāi)發(fā)能力，如鯤鵬開(kāi)發(fā)框架（含場(chǎng)景化SDK）、編譯調(diào)試工具、云測(cè)服務(wù)、調(diào)優(yōu)&診斷工具等，在鯤鵬平臺(tái)上開(kāi)發(fā)新軟件/新功能，充分發(fā)揮鯤鵬架構(gòu)優(yōu)勢(shì)，從而獲得開(kāi)發(fā)效率/運(yùn)行性能提升。
未來(lái)，鯤鵬DevKit將持續(xù)增強(qiáng)開(kāi)發(fā)體驗(yàn)、優(yōu)化工具能力，提升鯤鵬開(kāi)發(fā)效率，促進(jìn)千行百業(yè)數(shù)字化轉(zhuǎn)型。
【掃碼登錄鯤鵬社區(qū)DevKit專(zhuān)區(qū)，了解更多】
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
