多樣計(jì)算時(shí)代的新起點(diǎn),openEuler的開源之路

原標(biāo)題:多樣計(jì)算時(shí)代的新起點(diǎn),openEuler的開源之路

文 |魏啟揚(yáng)

來源 | 智能相對論(ID:aixdlun)

開源對于計(jì)算產(chǎn)業(yè)很重要,但到底有多重要,特別是基礎(chǔ)軟件開源,很少有人能完全解釋清楚。

開源發(fā)展至今,無數(shù)的參與者為之貢獻(xiàn),產(chǎn)生了無數(shù)的軟件和庫類,同時(shí)又有無數(shù)人在使用,其中受益的不僅僅是企業(yè)組織、開發(fā)者群體,更是這個(gè)世界上的每一個(gè)你我。

有關(guān)開源的討論實(shí)在太多,在剛剛結(jié)束的由CCF主辦的計(jì)算領(lǐng)域年度盛會(huì),中國計(jì)算機(jī)大會(huì)(CNCC 2020)開源操作系統(tǒng)分論壇上,由教育部國產(chǎn)基礎(chǔ)軟件工程研究中心主任、麒麟操作系統(tǒng)常務(wù)副總師吳慶波和openEuler社區(qū)理事長江大勇聯(lián)手主持,來自國內(nèi)頂尖高校和行業(yè)領(lǐng)軍企業(yè)的19位學(xué)術(shù)大咖和資深技術(shù)專家?guī)砹藖碜蚤_源項(xiàng)目一線的干貨分享。

開源,一個(gè)沒有結(jié)局的故事

在本次論壇上,優(yōu)麒麟操作系統(tǒng)負(fù)責(zé)人余杰博士、清華大學(xué)計(jì)算機(jī)系長聘副教授陳渝、統(tǒng)信軟件副總裁張磊、華為計(jì)算產(chǎn)品線鯤鵬openEuler操作系統(tǒng)首席SE管延杰分別做了主題演講。

內(nèi)容包括從開源操作系統(tǒng)在產(chǎn)業(yè)實(shí)踐的經(jīng)驗(yàn)體會(huì),到通用操作系統(tǒng)發(fā)展趨向的探討,再到開源操作系統(tǒng)推廣及高校人才培養(yǎng)的深入探索。專家們將開源操作系統(tǒng)的現(xiàn)狀、困境和趨勢以及openEuler如何構(gòu)建最具活力的開源社區(qū)等話題進(jìn)行了深入剖析。

開源操作系統(tǒng)現(xiàn)狀到底怎樣,行業(yè)中最具分量的Linux內(nèi)核維護(hù)項(xiàng)目很能說明問題。

在今年7月的線上開源峰會(huì)與嵌入式Linux大會(huì)上,Linux締造者Linus Torvalds親口承認(rèn)這個(gè)項(xiàng)目正在面臨著繼任者難尋的窘境。其中很大一個(gè)原因在于隨著Linux系統(tǒng)的不斷成長,系統(tǒng)內(nèi)核維護(hù)這件事正變得越來越難。

雖然這件事情很難,但開發(fā)者將其視為提升自己技術(shù)和影響力、為技術(shù)圈做出一些貢獻(xiàn)的選擇;有企業(yè)和組織將其視為展示公司技術(shù)實(shí)力、對行業(yè)產(chǎn)生影響力的一種方式,因而目前仍有21000多人參與Linux內(nèi)核開發(fā),貢獻(xiàn)代碼,華為就是其中的一員。

最新發(fā)布的Linux Kernel 5.8版本中,華為成為內(nèi)核代碼貢獻(xiàn)排名第二。

從公司貢獻(xiàn)角度來說,華為提交的補(bǔ)丁數(shù)量位列第二名,占比8.6%,代碼修改行位列第一,占比達(dá)27.8%。

事實(shí)上,華為為社區(qū)貢獻(xiàn)代碼已經(jīng)足足10年時(shí)間了,目前華為在社區(qū)已經(jīng)擁有20+Maintainer,在容器所使用的核心功能Cgroup,軟硬件解耦A(yù)CPI on ARM64,文件系F2FS/EROFS,RAS EDAC框架,Media子系統(tǒng),IIO子系統(tǒng),以及Perfon ARM64等子系統(tǒng)上,華為都為社區(qū)貢獻(xiàn)了代碼。

此次發(fā)布的Linux Kernel 5.8版本,華為貢獻(xiàn)的1399個(gè)補(bǔ)丁中,除了前文中提及的系統(tǒng)特性外,還有包括網(wǎng)絡(luò)、文件系統(tǒng)、perf調(diào)測、安全等關(guān)鍵子系統(tǒng)的200+的bugfix補(bǔ)丁,這些都是Linux能夠正常運(yùn)行所需的基礎(chǔ)軟件系統(tǒng),對于Linux是非常重要的。

華為持續(xù)釋放著自己在基礎(chǔ)軟件上的實(shí)力。去年年底宣布Linux內(nèi)核開發(fā)的服務(wù)器操作系統(tǒng)EulerOS正式開源,在本次開源操作系統(tǒng)論壇上,華為計(jì)算產(chǎn)品線鯤鵬openEuler操作系統(tǒng)首席SE管延杰詳細(xì)講解了openEuler當(dāng)前的能力建設(shè)與未來展望,分享了華為構(gòu)建最具活力開源社區(qū)的經(jīng)驗(yàn)與方法。

很明顯,通過openEuler,華為又開啟了一段新的開源征程。

打造最具活力的開源社區(qū),openEuler是如何做到的?

openEuler開源之前,華為在這個(gè)項(xiàng)目上的技術(shù)投入和積累已經(jīng)超過10年,當(dāng)時(shí)這套操作系統(tǒng)就能夠滿足企業(yè)全云化、多場景業(yè)務(wù)、智能化彈性部署等一系列ICT產(chǎn)業(yè)變革需求。

2019年華為全聯(lián)接大會(huì)上,華為首次宣布了計(jì)算產(chǎn)業(yè)“硬件開放、軟件開源”的核心戰(zhàn)略,openEuler成為軟件開源的第一站。同年12月,openEuler操作系統(tǒng)源代碼正式上線,宣布開源之路啟動(dòng)。今年3月,openEuler開源社區(qū)發(fā)布o(jì)penEuler 20.03 LTS版本,9月發(fā)布o(jì)penEuler 20.09創(chuàng)新版。如今,openEuler開源社區(qū)已經(jīng)取得了階段性成果。openEuler吸引到越來越多的全球開發(fā)者參與,社區(qū)整體朝向“共建、共享、共治”的目標(biāo)穩(wěn)健發(fā)展。

在分論壇的演講中,華為計(jì)算產(chǎn)品線鯤鵬openEuler操作系統(tǒng)首席SE管延杰詳細(xì)解讀了20.09版本的幾大特點(diǎn),其中包括:

1、支持多處理架構(gòu)

新版本增加了新的架構(gòu)和芯片支持,除了之前的X86和ARM架構(gòu)之外,還與中科院軟件所合作,發(fā)布了國內(nèi)首個(gè)RISC-V Linux嘗鮮版,同時(shí)還增加對中科海光芯片的支持。對于開源開發(fā)者,20.09版本增加了對樹莓派的支持。

支持的架構(gòu)和芯片越來越多,在一定程度上說明openEuler正在以更開放的心態(tài)和更低的開發(fā)門檻迎接開發(fā)者們加入項(xiàng)目。

2、性能更強(qiáng)

針對目前核與核之間,物理CPU與物理CPU之間,越來越不均衡的現(xiàn)狀,新版本為了更好的去釋放這些硬件的算力,對內(nèi)核進(jìn)行了協(xié)同反饋式的調(diào)度,通過內(nèi)核共享資源并行優(yōu)化等技術(shù)手段,進(jìn)一步釋放多核之間的算力,實(shí)現(xiàn)性能提升20%。

新版本在為行業(yè)提供新的多核算力解決方案的同時(shí),也進(jìn)一步在外界展示在華為在開源操作系統(tǒng)領(lǐng)域的硬實(shí)力。

3、使用更易

在虛擬化方面,新版本通過StratoVirt+iSula組合構(gòu)建了一個(gè)極致輕量化的安全容器全棧,甚至可以說是下一代的虛擬化技術(shù)。

通過RUST語言和VMware的接口,針對數(shù)據(jù)的遷移,包括鏡像的構(gòu)建,提供了比較豐富應(yīng)用的一個(gè)工具,通過這些構(gòu)建,讓容器使用起來更加簡單。

這個(gè)方案既有虛擬機(jī)的隔離性,又有相關(guān)實(shí)時(shí)和輕量化,面對未來的Severless計(jì)算平臺,特別是函數(shù)計(jì)算這一方面,是一個(gè)非常完美的選擇。

4、效率更高

為了更好地對OS進(jìn)行基于業(yè)務(wù)場景的調(diào)優(yōu),新版本的A-Tune工具針對于應(yīng)用業(yè)務(wù)場景進(jìn)行了系統(tǒng)畫像,把所支持的應(yīng)用場景擴(kuò)大到了10大類20多款應(yīng)用,可以調(diào)節(jié)的對象參數(shù)達(dá)到200多個(gè)。

由于A-Tune是對運(yùn)行在操作系統(tǒng)上的業(yè)務(wù)建立精準(zhǔn)模型,動(dòng)態(tài)感知業(yè)務(wù)特征并推理出具體應(yīng)用,根據(jù)業(yè)務(wù)負(fù)載情況動(dòng)態(tài)調(diào)節(jié)給出最佳的參數(shù)配置組合,從而使業(yè)務(wù)運(yùn)行于最佳系統(tǒng)性能狀態(tài)下,大大提升了調(diào)優(yōu)效率。

總的來說,除了增加新的架構(gòu)和芯片支持之外,新版本的大多數(shù)升級都是圍繞提升易用性展開的,其目的也是為了降低了開發(fā)者參與到openEuler開源項(xiàng)目的門檻。

2020年9月30日,openEuler開源社區(qū)發(fā)布o(jì)penEuler 20.09創(chuàng)新版。本次版本發(fā)布是openEuler社區(qū)中的多個(gè)公司、團(tuán)隊(duì)、獨(dú)立開發(fā)者協(xié)同開發(fā)的成果,在openEuler社區(qū)的發(fā)展進(jìn)程中具有里程碑式的意義,也是中國開源歷史上具有標(biāo)志性的事件。比如此次新版本的更新中:中科院軟件所貢獻(xiàn)了RISC-V新指令集架構(gòu)支持;麒麟軟件為社區(qū)共享了賞心悅目的桌面UKUI系統(tǒng);云原生虛擬化平臺StratoVirt和iSula容器升級版,兩者的結(jié)合重構(gòu)了輕量級云原生基礎(chǔ)架構(gòu);BiSheng JDK為Java應(yīng)用帶來更強(qiáng)的性能;IMA完整性度量架構(gòu)和secGear機(jī)密計(jì)算框架,給開發(fā)者在多平臺安全應(yīng)用的開發(fā)效率帶來倍級提升。

從內(nèi)核探索到行業(yè)場景,一個(gè)更加紛繁壯麗的未來

20.09版本是openEuler開源以來的一個(gè)高峰, 從管延杰在分論壇中的演講內(nèi)容來看,openEuler未來還將經(jīng)歷更多高峰。

根據(jù)openEuler的版本發(fā)布規(guī)劃,今后每2年會(huì)發(fā)布一個(gè)LTS版本,每年3月和9月份還會(huì)各發(fā)布一個(gè)創(chuàng)新版本。

對于下一個(gè)21.03版本的展望,管延杰表示,新版本將進(jìn)行更多的內(nèi)核探索。

比如,目前Memory最大的變化在于新介質(zhì),以SCM為代表的廉價(jià),超大容量,較高性能的存儲(chǔ)介質(zhì)給體系結(jié)構(gòu)也帶來一些變化,21.03版本將對新介質(zhì)的內(nèi)存管理進(jìn)行更加深入的探索。

再比如,Linux Kernel代碼快速增長,CVE數(shù)量也同步走高,而這些CVE只有不到20%的CVE能夠用熱補(bǔ)丁來進(jìn)行修復(fù),超過80%只能用冷補(bǔ)丁,冷補(bǔ)丁給大家?guī)淼膯栴}就是整個(gè)系統(tǒng)需要復(fù)位、重啟,OS的修復(fù)需要很長一段時(shí)間,或?qū)τ脩魳I(yè)務(wù)造成影響。

在這一背景下,21.03版本將推出內(nèi)核熱替換技術(shù),對內(nèi)核熱的替換之后,系統(tǒng)能夠快速恢復(fù),包括PCI的設(shè)備狀態(tài),以及內(nèi)存里的業(yè)務(wù)數(shù)據(jù)等,整個(gè)替換時(shí)間在百毫秒到2秒之間,用戶業(yè)務(wù)在“飛行途中換引擎”的同時(shí),Bug修復(fù)效率也會(huì)有一個(gè)質(zhì)的提升。

此外,openEuler 21.03版本還將有麒麟、DDE、Gnome三個(gè)桌面供使用者選擇,增加repo倉庫,讓ISV的發(fā)布、分發(fā)效率更高,用戶這更容易獲取。

新版本面向云、邊緣和端側(cè)將提供一整套完善方案,支持在云上實(shí)現(xiàn)極致性能、高效運(yùn)維和安全可靠;在邊緣上提供輕量、敏捷、實(shí)時(shí)的系統(tǒng);在端側(cè),提供一整套的工具集,讓用戶可以自由地對OS進(jìn)行定制。

降低進(jìn)入門檻仍然是21.03版本的重要任務(wù),除此之外,在用戶體驗(yàn)和落地連接側(cè),21.03版本則力圖變得更“好用”,這也讓我們對openEuler明年的這次更新產(chǎn)生了更多的期待。

在整個(gè)項(xiàng)目最難的生態(tài)建設(shè)和人才培養(yǎng)方面,華為表示將從學(xué)習(xí)扶持、構(gòu)建扶持、上市扶持全面支持合作伙伴提升商業(yè)競爭力,同時(shí)聯(lián)合清華大學(xué)發(fā)布o(jì)penEuler、openGauss專業(yè)技術(shù)書籍,普及操作系統(tǒng)和數(shù)據(jù)庫的基礎(chǔ)知識,并融入國內(nèi)重點(diǎn)大學(xué)的相關(guān)課程中,從高校教育開始,賦能個(gè)人開發(fā)者。

未來復(fù)旦大學(xué)、同濟(jì)大學(xué)、華中科技大學(xué)等十所院校會(huì)第一批開設(shè)相關(guān)課程。此外,openEuler認(rèn)證計(jì)劃也于10月正式啟動(dòng),首批HCIA認(rèn)證開放30位openEuler認(rèn)證。

openEuler一路走來,完成了從上線到開源,從社區(qū)建設(shè)到OSV合作體系建設(shè)等一系列工作,完成了從0到1的起步,正在進(jìn)行著從1到10,到100,到1之后無數(shù)個(gè)0的生態(tài)生態(tài)建設(shè),從上文提到的openEuler版本發(fā)行節(jié)奏以及社區(qū)建設(shè)規(guī)劃來看,openEuler的開源之路還將長期進(jìn)行。

無論是開發(fā)者、合作伙伴們還是華為自己,他們都清楚這是一條充滿挑戰(zhàn)且不能回頭的荊棘之路,如今還算順利的開始,并不代表著以后也會(huì)一帆風(fēng)順,他們追求的是自我成長的一種可能,也是多樣計(jì)算產(chǎn)業(yè)的一種可能。

在這個(gè)過程中,多樣計(jì)算時(shí)代未來模樣逐漸清晰的同時(shí),openEuler的價(jià)值也將得到更大程度的釋放。

*本文圖片均來源于網(wǎng)絡(luò)

此內(nèi)容為【智能相對論】原創(chuàng),

僅代表個(gè)人觀點(diǎn),未經(jīng)授權(quán),任何人不得以任何方式使用,包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。

部分圖片來自網(wǎng)絡(luò),且未核實(shí)版權(quán)歸屬,不作為商業(yè)用途,如有侵犯,請作者與我們聯(lián)系。

智能相對論(微信ID:aixdlun):

?AI產(chǎn)業(yè)新媒體;

?今日頭條青云計(jì)劃獲獎(jiǎng)?wù)逿OP10;

?澎湃新聞科技榜單月度top5;

?文章長期“霸占”鈦媒體熱門文章排行榜TOP10;

?著有《人工智能 十萬個(gè)為什么》

?【重點(diǎn)關(guān)注領(lǐng)域】智能家電(含白電、黑電、智能手機(jī)、無人機(jī)等AIoT設(shè)備)、智能駕駛、AI+醫(yī)療、機(jī)器人、物聯(lián)網(wǎng)、AI+金融、AI+教育、AR/VR、云計(jì)算、開發(fā)者以及背后的芯片、算法等。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2020-10-23
多樣計(jì)算時(shí)代的新起點(diǎn),openEuler的開源之路
openEuler開源之前,華為在這個(gè)項(xiàng)目上的技術(shù)投入和積累已經(jīng)超過10年,當(dāng)時(shí)這套操作系統(tǒng)就能夠滿足企業(yè)全云化、多場景業(yè)務(wù)、智能化彈性部署等一系列ICT產(chǎn)業(yè)變革需求。

長按掃碼 閱讀全文