8月20日，在中國圖象圖形大會的華為昇思MindSpore技術論壇上，中國科學院空天信息創(chuàng)新研究院（以下簡稱“空天院”）發(fā)布了首個面向跨模態(tài)遙感數(shù)據(jù)的生成式預訓練大模型“空天.靈眸”（RingMo，Remote Sensing Foundation Model）。
“空天.靈眸”大模型現(xiàn)場發(fā)布圖
“空天.靈眸”大模型是空天院聯(lián)合北京昇騰人工智能生態(tài)創(chuàng)新中心技術團隊，基于人工智能計算中心的昇騰AI澎湃算力訓練而完成。在昇騰AI基礎軟硬件平臺的支持下，尤其是依托昇思MindSpore AI框架原生支持大模型的能力，“空天.靈眸”大模型的并行訓練及下游任務開發(fā)得以加速實現(xiàn)，已在8個國際標準數(shù)據(jù)集上達到領先水平，填補了跨模態(tài)生成式預訓練模型在遙感領域的空白。
在模型設計、模型訓練、推理優(yōu)化等方向均進行了獨特的技術創(chuàng)新，“空天.靈眸”大模型
深入結合光學、SAR（合成孔徑雷達）等跨模態(tài)遙感數(shù)據(jù)的成像機理和目標特性，并在場景分類、檢測定位、細粒度識別、要素提取及變化檢測等典型下游任務中得到有效驗證。
總體來看，“空天.靈眸”大模型具備如下四大亮點：
（1）以遙感特性為研發(fā)驅動
不同于現(xiàn)有遙感預訓練模型大都采用有監(jiān)督或者對比式學習的模式，基于昇騰AI的“空天.靈眸”大模型依托掩膜自編碼結構，是面向復雜場景且更具通用表征能力的遙感生成式自監(jiān)督預訓練模型。
由于采用的是ViT和Swin Transformer等Transformer類骨干網(wǎng)絡，該大模型可對遙感數(shù)據(jù)的局部和全局特征的依賴關系進行有效建模，并結合目標特性引導的自監(jiān)督學習方法，通過引入幾何、電磁、目標結構等多特性約束，讓遙感地物通用特征可被自動提取。
（2）擁有跨模態(tài)遙感數(shù)據(jù)集
為提升遙感預訓練模型的特征表達能力，“空天.靈眸”大模型的數(shù)據(jù)集包含了200多萬幅分辨率為0.1m到30m的遙感影像，分別來源于中國遙感衛(wèi)星地面站、航空遙感飛機等平臺，以及高分系列衛(wèi)星、吉林衛(wèi)星、QuickBird衛(wèi)星等。
同時，在數(shù)據(jù)集中包含了1億多具有任意角度分布的目標實例，覆蓋全球150多個典型城市、鄉(xiāng)鎮(zhèn)以及常用機場、港口等場景。所用樣本數(shù)據(jù)具備遙感專業(yè)特色，且整個樣本集都無需標注，能大幅節(jié)省訓練數(shù)據(jù)標注成本。
（3）具備應用任務泛化能力
“空天.靈眸”大模型具備遙感數(shù)據(jù)理解、復原能力，可實現(xiàn)對跨模態(tài)遙感數(shù)據(jù)的共性語義空間進行表征。
針對不同的下游任務僅需修改預測頭部網(wǎng)絡，即可靈活快速遷移到不同領域的下游任務中，進行簡單微調后可適應多目標細粒度分類、小目標檢測識別、復雜地物提取等任務。
（4）廣泛的產業(yè)應用方向
從目標檢測識別、地物要素分類等任務的實測比較看，相對于業(yè)界通用的視覺模型，“空天.靈眸”大模型對遙感數(shù)據(jù)應用效果的提升是顯著的。
可預見，在未來，基于昇騰AI的“空天.靈眸”大模型的應用不止于在實景三維等領域，或將進一步推廣至國土資源、住建交通、水利環(huán)保等更多行業(yè)，為天臨空地一體化應用提供整套解決方案。
“空天.靈眸”大模型的相關成果已在遙感領域頂刊《IEEE Transactions on Geoscience and Remote Sensing》上公開發(fā)表。
相關論文信息：
"RingMo: A Remote Sensing Foundation Model with Masked Image Modeling," in IEEE Transactions on Geoscience and Remote Sensing, 2022, doi: 10.1109/TGRS.2022.3194732.
論文鏈接：https://ieeexplore.ieee.org/abstract/document/9844015
（免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
