萬(wàn)億流量轉(zhuǎn)發(fā)引擎BFE開源,技術(shù)派百度再次秀肌肉

國(guó)內(nèi)開源圈里剛剛發(fā)生了兩個(gè)標(biāo)志性的事件。

一是曾在2019年春晚紅包中扛住超大用戶壓力、數(shù)次流量波峰的轉(zhuǎn)發(fā)引擎——百度的統(tǒng)一七層流量轉(zhuǎn)發(fā)平臺(tái)BFE,在內(nèi)部演化了七個(gè)年頭后,將以開源的形式幫助開發(fā)者們構(gòu)建屬于自己的全局負(fù)載均衡系統(tǒng)。在業(yè)界掀起了巨大的聲浪。

二是KE meng在知乎回答中曬出了自己寫的“狗屁不通文章生成器”,意外受到了無數(shù)網(wǎng)友的“愛戴”,紛紛好奇這個(gè)富有靈魂的“生成器”可以制造出什么樣的魔幻主義大作。短短一周的時(shí)間,該項(xiàng)目便沖上了GitHub趨勢(shì)榜榜首。

發(fā)生在同一時(shí)間點(diǎn)的兩起事件,無疑揭示了中國(guó)開源文化的兩個(gè)側(cè)面:我們從不缺少令人稱道的“民間高手”,但大眾對(duì)開源的認(rèn)知仍局限在淺顯的名詞上,還要娛樂化來吸引關(guān)注;我們并不缺少百度這樣在開源世界里的標(biāo)桿企業(yè),但“開源貢獻(xiàn)主要來源于外國(guó)科技巨頭”的偏見仍然屢見不鮮。

歸根結(jié)底,“開源”雖然是當(dāng)前互聯(lián)網(wǎng)行業(yè)的共識(shí),但中國(guó)相比歐美巨頭,在業(yè)界的眼中依然是一個(gè)“后來者”的姿態(tài),潛力尚待挖掘。原因固然有主觀意識(shí)上的偏見,但更深層次的誘因在于評(píng)判的標(biāo)尺,我們已經(jīng)習(xí)慣按照市值論資排輩,技術(shù)能力幾乎視而不見,對(duì)開源社區(qū)的貢獻(xiàn)也鮮有提及。

想要走出這樣的認(rèn)知誤區(qū),還要從“工程師文化”開始說起。

“工程師文化”的秘密

百度之所以走開源世界里收關(guān)注,并非是一個(gè)偶然事件。暫不談別的,僅在萬(wàn)億流量轉(zhuǎn)發(fā)引擎BFE的開源,一個(gè)技術(shù)團(tuán)隊(duì)默默堅(jiān)持7年的心路歷程,就能讓我們有機(jī)會(huì)認(rèn)識(shí)了百度工程師文化的精神內(nèi)核。

2012年百度BFE團(tuán)隊(duì)正式創(chuàng)建,定位是搭建統(tǒng)一的七層流量轉(zhuǎn)發(fā)平臺(tái),應(yīng)用場(chǎng)景包括流量的接入和轉(zhuǎn)發(fā)、流量全局調(diào)度、安全和防攻擊、實(shí)時(shí)數(shù)據(jù)分析等等?;仡^來看,BFE團(tuán)隊(duì)的成果不無豐碩,但過程中也冒著失敗的風(fēng)險(xiǎn)。

特別是在2014年初,團(tuán)隊(duì)開始對(duì)BFE進(jìn)行重構(gòu),最大的爭(zhēng)議點(diǎn)就在于是否要基于新興的Go語(yǔ)言來編寫。彼時(shí)Golang的普及程度并不高,不少人還站在Golang的大門外,但BFE團(tuán)隊(duì)相信Golang將成為互聯(lián)網(wǎng)創(chuàng)業(yè)公司的必備利器,憑借對(duì)編程語(yǔ)言和系統(tǒng)知識(shí)的了解,硬著頭皮拍了板。

事實(shí)證明Go語(yǔ)言是一個(gè)正確的選擇,與業(yè)界普遍使用的Nginx相比,BFE有著更高的研發(fā)效率,特別是Go語(yǔ)言沒有C語(yǔ)言固有的緩沖區(qū)溢出隱患,規(guī)避了大量的穩(wěn)定性漏洞和安全風(fēng)險(xiǎn),同時(shí)對(duì)于異??梢圆蹲?,保證程序在快速迭代上線的情況下也不崩潰。

從長(zhǎng)遠(yuǎn)的趨勢(shì)來看,硬件資源的價(jià)格正在逐漸降低,開發(fā)人力成本、項(xiàng)目研發(fā)風(fēng)險(xiǎn)、系統(tǒng)穩(wěn)定性在決策中的權(quán)重會(huì)進(jìn)一步提升,基于C語(yǔ)言的Nginx勢(shì)必會(huì)走向衰落,而BFE等基于更高級(jí)編程語(yǔ)言的開源軟件將逐步成為主流。

值得一提的是,一位親歷BFE起步到開源過程的工程師,在BFE開源后寫下了一段意味深長(zhǎng)的話:

“無論外人如何評(píng)說,我必須要說,到目前為止,我仍然堅(jiān)定的認(rèn)為,百度是中國(guó)最適合做技術(shù)的公司。百度給了工程師最大的尊重和自由,也愿意為了技術(shù)研發(fā)承擔(dān)最大的風(fēng)險(xiǎn)。BFE團(tuán)隊(duì)的另一個(gè)項(xiàng)目GTC(全局流量調(diào)度),前后研發(fā)了5年時(shí)間。曾經(jīng)有一個(gè)朋友告訴我,也就只有百度可以給這么多時(shí)間,在其它公司1年做不出來就cancel了?!?/p>

或許這就是工程師文化的秘密,一家企業(yè)的技術(shù)底色不在于招了多少程序員,不在于網(wǎng)羅了多少技術(shù)大牛,甚至不在于每年有多少錢投入到研發(fā)中,而是愿不愿意放權(quán)給一線的技術(shù)負(fù)責(zé)人,愿不愿意承擔(dān)技術(shù)研發(fā)的風(fēng)險(xiǎn),有沒有科學(xué)而系統(tǒng)的方法論,有沒有重視過程而非結(jié)果的價(jià)值觀。

至于為何要將歷經(jīng)多次大流量洗禮的BFE開源貢獻(xiàn)社區(qū)?因?yàn)檫@才是技術(shù)價(jià)值體現(xiàn)的重要方式,百度和百度的工程師們篤信于此。

為什么需要重視開源?

有百度這樣工程師文化綻放的公司,可以說是中國(guó)互聯(lián)網(wǎng)之幸,如果只有百度一家相信開源力量的企業(yè),無疑會(huì)是中國(guó)最大的悲哀。

站在全人類的立場(chǎng)上,如果沒有開源運(yùn)動(dòng),沒有Linux、GCC、Android、瀏覽器…….整個(gè)互聯(lián)網(wǎng)世界將不復(fù)存在,軟件和工具被少數(shù)幾家企業(yè)牢牢控制在手中,人們的生活仍然會(huì)像20世紀(jì)之前那樣“枯燥無味”。

站在中國(guó)企業(yè)的立場(chǎng)上,當(dāng)人口紅利的消失成為既定事實(shí),歷史的車輪駛向產(chǎn)業(yè)互聯(lián)網(wǎng),開源恰恰是爭(zhēng)奪的下一個(gè)制高點(diǎn)?!耙涣髌髽I(yè)定標(biāo)準(zhǔn)、二流企業(yè)做品牌、三流企業(yè)做產(chǎn)品”,樸實(shí)而簡(jiǎn)單的道理影響著互聯(lián)網(wǎng)世界里的每一家企業(yè),想要在未來的商業(yè)博弈中掌握話語(yǔ)權(quán),就要讓自己的產(chǎn)品被更多人使用,不斷加速產(chǎn)品研發(fā)的速度,積極參與技術(shù)標(biāo)準(zhǔn)的制定,開源不失為一條“捷徑”。

人工智能就是一個(gè)例子。

根據(jù)科技部發(fā)布的《中國(guó)新一代人工智能發(fā)展報(bào)告2019》,中國(guó)已經(jīng)是全球AI專利數(shù)量最多的國(guó)家,呈現(xiàn)出了中美雙寡頭競(jìng)爭(zhēng)的格局??杉?xì)究一下的話,中國(guó)的AI專利主要集中在應(yīng)用層面,AI基礎(chǔ)技術(shù)的核心力量仍然在美國(guó)企業(yè)手中。原因不無直接,倘若中國(guó)的人工智能創(chuàng)業(yè)者只知道在TensorFlow、PyTorch等框架上“縫縫補(bǔ)補(bǔ)”,專利申請(qǐng)自然會(huì)向應(yīng)用層傾斜。

然而開源社區(qū)和開源軟件的中立終究都是相對(duì)的,有如谷歌重金加持的全球第二大開源代碼托管平臺(tái)GitLab,在最近的一份公開聲明中直言不會(huì)給中國(guó)、俄羅斯公民提供offer,那些有權(quán)限訪問客戶數(shù)據(jù)的員工,現(xiàn)在也不能移居到中國(guó)或俄羅斯。如果中國(guó)沒有自己的開源力量,終究無法擺脫受制于人的魔咒。

同時(shí)BFE又證明了另一個(gè)道理,盡管歷史上很多優(yōu)秀的開源軟件都出自“外國(guó)人”之手,但中國(guó)的開源力量并非沒有彎道超車的可能。

不只是比Nginx使用了更高級(jí)的編程語(yǔ)言,BFE在設(shè)計(jì)中特別增加了對(duì)企業(yè)級(jí)應(yīng)用場(chǎng)景的優(yōu)化。比如與Nginx從Web Server轉(zhuǎn)型為Proxy的進(jìn)化路徑不同,BFE直接為轉(zhuǎn)發(fā)場(chǎng)景設(shè)計(jì),從轉(zhuǎn)發(fā)模型和轉(zhuǎn)發(fā)配置方面更滿足轉(zhuǎn)發(fā)場(chǎng)景的需求;針對(duì)云計(jì)算場(chǎng)景下多租戶復(fù)用的需求,BFE在設(shè)計(jì)中內(nèi)置提供了多租戶的支持;考慮到線上監(jiān)控的需求,BFE通過HTTP方式向外暴露數(shù)千個(gè)內(nèi)部狀態(tài)變量......

除了BFE之外,百度在AI領(lǐng)域不乏頂級(jí)開源項(xiàng)目:中國(guó)唯一的功能完備的開源深度學(xué)習(xí)平臺(tái)飛槳;全球首個(gè)自動(dòng)駕駛開源項(xiàng)目;中國(guó)首個(gè)開源的邊緣計(jì)算框架BAETYL……

當(dāng)百度等技術(shù)派在開源世界中豎起大旗,當(dāng)越來越多企業(yè)開始意識(shí)到開源技術(shù)的必要性,在中國(guó)程序員絕對(duì)的數(shù)量?jī)?yōu)勢(shì)下,讓外界看到開源世界里的中國(guó)力量,需要的可能只是時(shí)間上的發(fā)酵。

寫在最后

每每談到中國(guó)在開源世界里的定位時(shí),總是有人以重復(fù)造輪子為由辯駁,百度BFE團(tuán)隊(duì)的工程師們?cè)俅巫C明了這樣一個(gè)道理:技術(shù)迭代的浪潮從未停歇,每一個(gè)新的歷史時(shí)期都需要新的輪子出現(xiàn)。

何況商業(yè)和技術(shù)本就有著辯證的關(guān)系,也許搬運(yùn)和拿來主義可以在短時(shí)間內(nèi)低成本獲取巨大的收益,可當(dāng)紅利消失的時(shí)候,技術(shù)又屢屢被證實(shí)是最可靠的驅(qū)動(dòng)引擎,二者沒有孰優(yōu)孰劣之分,卻有著短期和長(zhǎng)期的差別。

即便是從自身利益的角度出發(fā),中國(guó)的互聯(lián)網(wǎng)企業(yè)也需要像百度這樣,打造適合做技術(shù)的土壤,給工程師最大的開放和自由,讓程序員們?cè)敢饣〞r(shí)間做開源項(xiàng)目、維護(hù)開源項(xiàng)目,在開源世界里占據(jù)一席之地。

免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2019-11-19
萬(wàn)億流量轉(zhuǎn)發(fā)引擎BFE開源,技術(shù)派百度再次秀肌肉
國(guó)內(nèi)開源圈里剛剛發(fā)生了兩個(gè)標(biāo)志性的事件。一是曾在2019年春晚紅包中扛住超大用戶壓力、數(shù)次流量波峰的轉(zhuǎn)發(fā)引擎——百度的統(tǒng)一七層流量轉(zhuǎn)發(fā)平臺(tái)BFE,在內(nèi)部演化了七個(gè)年頭后,將以開源的形式幫助開發(fā)者們構(gòu)建屬于自己的全局負(fù)載均衡系統(tǒng)。在業(yè)界掀起了巨大的聲浪。

長(zhǎng)按掃碼 閱讀全文