什么是科學計算平臺？
科學研究是人們探索新事物、認知新規(guī)律、創(chuàng)造新技術的重要途徑，隨著人類社會的不斷進步，今天科學研究已經(jīng)前進到一個更加復雜深奧的世界，研究的對象也向著大范圍、多領域的復雜系統(tǒng)工程進軍。例如，航天工程、全球氣候、生態(tài)環(huán)境問題等，對科研方法和手段也提出了新的挑戰(zhàn)。
科學計算作為現(xiàn)代科研主要手段，廣泛應用于信息檢索、環(huán)境模擬、數(shù)值計算、數(shù)據(jù)分析等場景中，同時，機器學習的迅猛發(fā)展也推動著科學計算平臺進入了百家爭鳴的時代：各類統(tǒng)計軟件、數(shù)據(jù)分析軟件、仿真軟件、制圖軟件多如牛毛……然而這種傳統(tǒng)的、分散的科研方式，給科研工作帶來了巨大挑戰(zhàn)：
· 知識碎片化、孤島化，難以建立起關聯(lián)關系；
· AI模型搭建對編程技能要求高，時間成本巨大且后期訓練優(yōu)化費時費力；
· 人工處理復雜建模操作，效率低，高維方程求解難度大，精度和性能無法兼顧；
· 大量機器學習訓練數(shù)據(jù)的采集、清洗和治理工作繁瑣而枯燥；深度學習框架缺乏租戶功能，難以實現(xiàn)資源的有效隔離和集群算力的有效管理。
工欲善其事，必先利其器。為了快速、實時的分析海量科學數(shù)據(jù)背后的意義、最大限度地滿足科研機構(gòu)和人員之間交流與協(xié)作的需要，基于現(xiàn)代信息技術的科研平臺對于提高科研水平、促進學科交叉和融合、加強高層次創(chuàng)新人才的培養(yǎng)起著至關重要的作用。
軒轅研究院：
聯(lián)合鯤鵬打造AI科學計算平臺DataLab
軒轅研究院
是軒轅網(wǎng)絡旗下的全資子公司，是圍繞人工智能的科研和實訓教學的新型研發(fā)機構(gòu)，深耕教育行業(yè)23年，是國內(nèi)領先的AI+產(chǎn)教融合服務商。該機構(gòu)依托多年的高校的技術成果，以及豐富的產(chǎn)學研合作方式，將國內(nèi)外先進的技術成果轉(zhuǎn)化為科研應用技術和產(chǎn)品，助力科學技術的研究和創(chuàng)新。
軒轅AI科學計算平臺DataLab是軒轅研究院聯(lián)合廣州“鯤鵬+昇騰”生態(tài)創(chuàng)新中心共同打造的輔助科研工作的一體化解決方案。該方案集鯤鵬算力、多領域科研樣本數(shù)據(jù)、算法模型研發(fā)以及管理工具于一身，能有效支撐機器學習、神經(jīng)網(wǎng)絡、知識抽取、關聯(lián)規(guī)律、智能預測、決策推理和高清科研圖表輸出等任務。可用于自然科學與社會科學研究，以及計算機、軟件、電子、自動化相關科研團隊進行計算機技術原理性的驗證場景，基于算法、數(shù)據(jù)進行科研實驗，并形成圖形化界面呈現(xiàn)實驗結(jié)果，攻關技術難題項目，助力科技成果轉(zhuǎn)化和推廣。
【軒轅AI科學計算平臺DataLab解決方案架構(gòu)】
伴隨著科研數(shù)據(jù)持續(xù)爆炸性增長，科學家們需要更高的計算效率、數(shù)據(jù)處理效率以及工程效率，從而更好地支撐跨領域科研，這也對IT平臺的算力提出了更高挑戰(zhàn)。
· 鯤鵬天然的多核多并發(fā)、高性能、高算力以及低功耗等優(yōu)勢，能夠很好的滿足科研平臺海量數(shù)據(jù)處理、并行計算、低時延、綠色計算等要求；
· 作為軒轅研究院AI科學計算平臺DataLab的算力底座，鯤鵬還提供完善的鯤鵬DevKit開發(fā)套件以及專業(yè)服務，能夠幫助用戶快速完成應用的遷移、開發(fā)、編譯和調(diào)優(yōu)，支撐科研平臺的高效創(chuàng)新。
鯤鵬DevKit 1人天/應用
快速遷移AI科學計算平臺
在項目實施初期，開發(fā)人員需要將DataLab平臺快速遷移到鯤鵬。由于整個系統(tǒng)的模塊眾多給遷移工作帶來不少挑戰(zhàn)：
· 代碼量大：5個子模塊\15個微服務，共計100萬行左右代碼；
· 第三方軟件多：包含redis、rabbitmq、nacos、datax、hadoop，500+JAR包，手工查找兼容版本非常耗時；
經(jīng)分析，采用手動遷移的話整個系統(tǒng)15個微服務需要30人天才能完成。
而鯤鵬DevKit代碼遷移工具可以實現(xiàn)依賴文件自動識別、兼容JAR包一鍵下載、代碼修改建議一鍵替換，無須耗時耗力檢查跟進。在鯤鵬DevKit的幫助下整個系統(tǒng)只用了10人天，平均每個服務不到1人天即可完成自動遷移。
【使用鯤鵬DevKit代碼遷移工具進行代碼分析】
基于鯤鵬DevKit高效開發(fā)建筑違章檢測算法模型，性能提升89%
遷移完成之后，軒轅研究院需要針對DataLab平臺中GIS領域科研場景，在鯤鵬平臺上新開發(fā)建筑違章檢測算法模型。在開發(fā)過程中，為進一步提升業(yè)務性能和穩(wěn)定性，將平臺之前使用的OpenJDK換成畢昇JDK，畢昇JDK在鯤鵬架構(gòu)中提供了更好的版本穩(wěn)定性、GC（Gabarage Collector）性能、加解密性能，能夠提升DataLab平臺數(shù)據(jù)處理應用的運行效率。
此外，針對系統(tǒng)出現(xiàn)的性能瓶頸，軒轅研究院的技術人員使用了鯤鵬性能分析工具進行了調(diào)優(yōu)，對操作系統(tǒng)、JVM的運行狀態(tài)進行了分析和優(yōu)化，提升DataLab平臺AI計算模型相關業(yè)務的運行效率：
在系統(tǒng)性能分析中創(chuàng)建系統(tǒng)全景分析任務
通過采集系統(tǒng)軟硬件配置信息，以及系統(tǒng)CPU、內(nèi)存、存儲IO、網(wǎng)絡IO資源的運行情況，識別出CPU單次利用率高和兩處熱點函數(shù)占比較大的瓶頸，并給出了優(yōu)化建議 ，解決了DataLab平臺93093線程的38-CPU單次利用率高的問題，提高了平臺運行性能。
【AI科學計算平臺DataLab系統(tǒng)性能調(diào)優(yōu)-全景分析】
通過訪存分析功能高階分析能力
分析到應用存在跨片跨DIE的內(nèi)存訪問，并在系統(tǒng)建議下進行了進程綁核，從而優(yōu)化各個微服務的硬件資源分配，提升計算資源利用率。
通過微架構(gòu)分析對DataLab平臺的操作系統(tǒng)進行采樣分析
發(fā)現(xiàn)了badSpeculation的branchMispredic占比較高，以及代碼中for循環(huán)嵌套的if判斷存在大量分支預測響應失敗情況，并針對上述問題給出了優(yōu)化建議，對平臺程序響應時間、內(nèi)存分配等方面進行了性能優(yōu)化。
通過Java性能分析
對平臺的Java方法采樣、線程轉(zhuǎn)儲、老年代對象采樣等多種采樣分析方式，經(jīng)過調(diào)整垃圾回收器的配置策略，改善查詢業(yè)務的吞吐量；
通過上述一系列的優(yōu)化分析，軒轅研究院DataLab平臺在鯤鵬上運行性能得到有效提升：比如對比鯤鵬DevKit優(yōu)化前后，模型查詢業(yè)務的平均響應時間典型場景下（1分鐘200并發(fā)）縮短27%，極限壓測場景下（1分鐘10000并發(fā)）縮短89%；
 |  |
【模型查詢業(yè)務平均響應時間對比】
模型查詢業(yè)務的吞吐量在鯤鵬DevKit優(yōu)化后也整體提升了30%。
【模型查詢業(yè)務吞吐量對比】
此外，數(shù)據(jù)集檢索、數(shù)據(jù)集上傳、模型訓練等業(yè)務的綜合性能均得到明顯提升。軒轅研究院在進行鯤鵬原生開發(fā)過程中，通過鯤鵬DevKit優(yōu)化了DataLab平臺數(shù)據(jù)處理能力，有效提升了違章建筑檢測的查詢速度，同時也讓GIS領域的科研工作更加便捷和高效。
軒轅研究院的AI科學計算平臺DataLab能夠在地理遙感、生物醫(yī)藥、地球科學、工業(yè)互聯(lián)網(wǎng)以及社會科學等眾多領域發(fā)揮重要作用，該方案已經(jīng)在2021年鯤鵬應用創(chuàng)新大賽廣東賽區(qū)斬獲了金獎，成為2022年科研領域唯一入選鯤鵬精選解決方案。作為鯤鵬計算產(chǎn)業(yè)生態(tài)重要伙伴，軒轅研究院也與廣州“鯤鵬+昇騰”生態(tài)創(chuàng)新中心建立了長期合作關系，后續(xù)也將持續(xù)基于鯤鵬原生開發(fā)實現(xiàn)科學計算領域的應用創(chuàng)新。
鯤鵬原生開發(fā)是指使用鯤鵬DevKit的原生開發(fā)能力，如鯤鵬開發(fā)框架（含場景化SDK）、編譯調(diào)試工具、云測服務、調(diào)優(yōu)&診斷工具等，在鯤鵬平臺上開發(fā)新軟件/新功能，充分發(fā)揮鯤鵬架構(gòu)優(yōu)勢，從而獲得開發(fā)效率/運行性能提升。
未來，鯤鵬DevKit將持續(xù)增強開發(fā)體驗、優(yōu)化工具能力，提升鯤鵬開發(fā)效率，促進千行百業(yè)數(shù)字化轉(zhuǎn)型。
【掃碼登錄鯤鵬社區(qū)DevKit專區(qū)，了解更多】
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
