從下載到區(qū)塊鏈，迅雷分布式技術(shù)解讀

作為一名計(jì)算機(jī)技術(shù)宅和迅雷下載重度用戶，從當(dāng)年迅雷剛推出的時(shí)候就開始用它，那種眼看著一部幾個(gè)GB大小的電影在瞬間就下完的感覺特別爽，可以說迅雷是唯一一個(gè)陪伴了我十幾年到現(xiàn)在還在用的軟件了。

十五年來，迅雷憑借自己獨(dú)家的P2P和P2SP技術(shù)，陸續(xù)超越了網(wǎng)際快車、QQ旋風(fēng)、VeryCD、電驢等對(duì)手，成為擁有幾億量級(jí)用戶的國(guó)民軟件。但下載之外向游戲、影音等領(lǐng)域的轉(zhuǎn)型屢屢遇挫……

直到2014年，迅雷成立了一家全新的子公司網(wǎng)心科技開始探索共享計(jì)算，這家互聯(lián)網(wǎng)老兵才算是找到了一條正確的轉(zhuǎn)型之路。到2017年，網(wǎng)心科技推出結(jié)合共享計(jì)算和區(qū)塊鏈的智能硬件玩客云，今年又正式推出底層區(qū)塊鏈平臺(tái)迅雷鏈，將原有的分布式技術(shù)優(yōu)勢(shì)在全新的共享計(jì)算和區(qū)塊鏈的領(lǐng)域發(fā)揮得淋漓盡致。

迅雷的分布式技術(shù)究竟有何獨(dú)特之處?為什么說迅雷天生就適合做區(qū)塊鏈?筆者結(jié)合自己在技術(shù)領(lǐng)域的理解和思考，將在下文中一一剖析。

P2P下載起家

互聯(lián)網(wǎng)的發(fā)展是分組交換、分布計(jì)算技術(shù)和無中心思想的結(jié)果，當(dāng)年各自擁有一萬顆核導(dǎo)彈的美蘇之間的博弈逼出了無中心、分散控制的互聯(lián)網(wǎng)。

然而，縱觀互聯(lián)網(wǎng)數(shù)據(jù)傳輸方式的發(fā)展，去中心化卻是一個(gè)漫長(zhǎng)的過程。在互聯(lián)網(wǎng)發(fā)展早期，由于連接到網(wǎng)絡(luò)里的的計(jì)算機(jī)配置不高，計(jì)算能力和存儲(chǔ)能力不足，因此相當(dāng)長(zhǎng)一段時(shí)間我們更傾向于使用基于客戶端(client)和服務(wù)器(server)的C/S模式及瀏覽器(Browser)和服務(wù)器(server)的B/S模式。

HTTP和FTP等協(xié)議便是針對(duì)中心化服務(wù)器提出的互聯(lián)網(wǎng)數(shù)據(jù)傳輸協(xié)議，用戶通過客戶機(jī)程序向服務(wù)器程序發(fā)出命令，服務(wù)器程序執(zhí)行用戶發(fā)出的命令，并將執(zhí)行的結(jié)果返回到客戶機(jī)，即數(shù)據(jù)都存儲(chǔ)在中心服務(wù)器中，用戶都向中心服務(wù)器尋求信息，而不是用戶和用戶彼此之間發(fā)布指令尋找信息。

雖然該類協(xié)議使得用戶獲得了接觸數(shù)據(jù)的渠道，但是，這種傳輸方式所面臨的問題是：一旦中心服務(wù)器出現(xiàn)故障或者數(shù)據(jù)被限制，那么用戶便無法看到網(wǎng)頁(yè)，出現(xiàn)404錯(cuò)誤。其次，當(dāng)文件被同時(shí)大量使用時(shí)，將使得下載文件的使用效率變低。

隨著計(jì)算機(jī)的高并發(fā)數(shù)據(jù)處理速度的提高，P2P協(xié)議，即點(diǎn)對(duì)點(diǎn)的傳輸方式逐漸被廣泛使用于文件下載和在線視頻領(lǐng)域，解決了中心化傳輸方式的資源和速度等瓶頸。

P2P模式分為中心化拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)、半中心化拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)等。BitTorrent便是P2P技術(shù)在文件共享上的一種中心化拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)的網(wǎng)絡(luò)協(xié)議應(yīng)用，BitTorrent軟件用戶首先從Web服務(wù)器上獲得下載文件的種子文件，種子文件中包含下載文件名及數(shù)據(jù)部分的哈希值，還包含一個(gè)或者多個(gè)的索引(Tracker)服務(wù)器地址。其工作過程如下：客戶端向索引服務(wù)器發(fā)布請(qǐng)求，索引服務(wù)器根據(jù)請(qǐng)求的查找內(nèi)部的數(shù)據(jù)索引，隨機(jī)地向客戶返回有該文件的一組節(jié)點(diǎn)，客戶端連接這些節(jié)點(diǎn)，下載需要的文件片段。

這種方式中心索引服務(wù)器承擔(dān)的是索引功能，并不存儲(chǔ)任何數(shù)據(jù)資源。但是由于中國(guó)用戶大多使用ADSL上網(wǎng)，ADSL的上傳速度并不快，僅幾十K速度，一些用戶還會(huì)人為限制上傳速度，這導(dǎo)致了P2P方式的上傳帶寬資源的缺乏，因此中國(guó)用戶會(huì)普遍感覺P2P的速度較慢。也正因此，中國(guó)當(dāng)時(shí)盛行的幾大P2P下載軟件都逐漸退出市場(chǎng)。

之后，迅雷首創(chuàng)的P2SP技術(shù)實(shí)際上對(duì)P2P技術(shù)的延伸，它不但支持基本的HTTP、FTP下載，還支持同一個(gè)資源的多種P2P協(xié)議下載，例如BT和電驢協(xié)議。它通過檢索數(shù)據(jù)庫(kù)把原本孤立的服務(wù)器和其鏡像資源(一個(gè)磁盤上的數(shù)據(jù)在另一個(gè)磁盤上存在一個(gè)完全相同的副本即為鏡像)以及P2P資源整合到了一起。用戶下載某一個(gè)文件的時(shí)候，會(huì)自動(dòng)搜索其他資源，選擇合適的資源進(jìn)行加速，這使得迅雷在下載的穩(wěn)定性和下載的速度上，比傳統(tǒng)的P2P有了非常大的提高。

這里面的核心就是迅雷的智能資源選擇。也就是說，在傳統(tǒng)P2P模式下，索引服務(wù)器為用戶分配的文件節(jié)點(diǎn)是隨機(jī)的，而在P2SP模式下，當(dāng)某文件被第一次下載后，服務(wù)器將記錄下這個(gè)節(jié)點(diǎn)信息，形成一個(gè)龐大的下載鏈接庫(kù);當(dāng)下一次其他用戶下載同一個(gè)文件時(shí)，服務(wù)器就會(huì)根據(jù)用戶具體的網(wǎng)速為其分配最優(yōu)化的下載節(jié)點(diǎn)，因此用戶感覺下載速度的確非?？臁?/p>

可以說，迅雷從誕生之初起，就是一家技術(shù)創(chuàng)新公司?；诩夹g(shù)優(yōu)勢(shì)，迅雷在眾多競(jìng)爭(zhēng)者林立的環(huán)境下，仍能夠快速發(fā)展了大量用戶。在網(wǎng)際快車大半年不更新的情況下，迅雷卻以25天一個(gè)版本的速度不斷更新，每更新一次，用戶量就翻一番。到2007年，其用戶規(guī)模僅次于騰訊QQ。用戶越多資源越多，下載速度越快。而其競(jìng)爭(zhēng)對(duì)手，如電驢、快車、QQ旋風(fēng)等則相繼退出了市場(chǎng)。

共享計(jì)算——轉(zhuǎn)型的開始

隨著互聯(lián)網(wǎng)基礎(chǔ)設(shè)施和垂直性信息平臺(tái)的發(fā)展，用戶越來越看重信息獲取的及時(shí)性，云計(jì)算成了迅雷的重要轉(zhuǎn)型方向。

2014年，迅雷成立了全資子公司網(wǎng)心科技，邀請(qǐng)?jiān)诿绹?guó)微軟和谷歌工作多年、回國(guó)后擔(dān)任騰訊云計(jì)算公司總裁的陳磊擔(dān)任網(wǎng)心科技CEO，推出了創(chuàng)新的云計(jì)算模式——共享計(jì)算，通過已授權(quán)的智能硬件設(shè)備收集社會(huì)普通家庭中閑置的帶寬、存儲(chǔ)等計(jì)算資源，并通過跨平臺(tái)、低功耗的虛擬化技術(shù)、以及節(jié)點(diǎn)就近訪問的智能調(diào)度技術(shù)，實(shí)現(xiàn)更快、更易擴(kuò)展、更環(huán)保的計(jì)算方式。

相比傳統(tǒng)的依靠大型數(shù)據(jù)中心和中心化服務(wù)器的云計(jì)算，共享計(jì)算的節(jié)點(diǎn)更多、成本更低、更為環(huán)保、且隨著節(jié)點(diǎn)數(shù)量的增多邊際成本不斷下降;相比傳統(tǒng)的依靠電腦作為臨時(shí)傳輸節(jié)點(diǎn)的P2P CDN，共享計(jì)算采用專門的智能硬件設(shè)備，性能更加穩(wěn)定、可靠、強(qiáng)大。

迅雷賺錢寶和星域CDN是該技術(shù)的一次嘗試。迅雷賺錢寶這款能讓用戶將家中閑置的上行帶寬資源變現(xiàn)的智能硬件，一經(jīng)推出便受到用戶熱搶、供不應(yīng)求。而這些賺錢寶便形成了分布均勻、在線穩(wěn)定的共享計(jì)算節(jié)點(diǎn)網(wǎng)絡(luò)，用戶貢獻(xiàn)出來的閑置資源，經(jīng)過網(wǎng)心科技的創(chuàng)新技術(shù)，轉(zhuǎn)化為了星域CDN的云計(jì)算服務(wù)。

星域CDN的推出，不僅重新定義了CDN市場(chǎng)的價(jià)格體系，也被譽(yù)為“網(wǎng)絡(luò)傳輸技術(shù)的一次革命”，極大降低了網(wǎng)絡(luò)傳輸高峰時(shí)的擁塞情況，提升了用戶訪問響應(yīng)速度和命中率，迅速獲得小米電視、愛奇藝、嗶哩嗶哩、熊貓直播等眾多對(duì)網(wǎng)絡(luò)內(nèi)容傳輸要求極高的企業(yè)的認(rèn)可。而后星域CDN又升級(jí)為星域云，提供邊緣計(jì)算、函數(shù)計(jì)算等更多云計(jì)算產(chǎn)品。

不管是直接面向用戶的下載軟件，還是為互聯(lián)網(wǎng)企業(yè)提供內(nèi)容傳輸?shù)脑朴?jì)算產(chǎn)品，迅雷的分布式下載技術(shù)都為其提供了核心的技術(shù)根基，從而打造了難以超越的產(chǎn)品體驗(yàn)。

共享計(jì)算+區(qū)塊鏈，下一代技術(shù)浪潮

在發(fā)展共享計(jì)算的過程中，迅雷一直在探尋讓用戶分享資源和獲取回報(bào)的過程更加公開、可信的機(jī)制，而同為去中心化技術(shù)體系的區(qū)塊鏈以其公開、透明、不可篡改的特性，進(jìn)入了迅雷的視野。

在中本聰2008年發(fā)表的《比特幣：一種點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)中的電子現(xiàn)金》一文中，明確指出了區(qū)塊鏈網(wǎng)絡(luò)是一“P2P”，即點(diǎn)對(duì)點(diǎn)的網(wǎng)絡(luò)。區(qū)塊鏈技術(shù)來源于P2P，解決了分布式計(jì)算容錯(cuò)的問題。而迅雷作為在分布式技術(shù)上影響力最大的一家企業(yè)，進(jìn)入?yún)^(qū)塊鏈領(lǐng)域有著得天獨(dú)厚的優(yōu)勢(shì)，而區(qū)塊鏈技術(shù)也為迅雷的共享計(jì)算生態(tài)提供了完善的信任機(jī)制和激勵(lì)機(jī)制。因此經(jīng)過大量的技術(shù)分析和預(yù)研，迅雷的區(qū)塊鏈布局拉開帷幕。

2017年8月，迅雷推出了玩客云，既融合了私人云盤、遠(yuǎn)程下載等功能，也是一款基于區(qū)塊鏈技術(shù)的共享計(jì)算智能硬件。用戶除了能夠搭建真正屬于自己的云盤服務(wù)器、享受到迅雷終身免費(fèi)下載技術(shù)外，還能通過分享閑置的帶寬、存儲(chǔ)和計(jì)算等資源，獲取基于區(qū)塊鏈技術(shù)的鏈克，用于兌換共享計(jì)算生態(tài)中的產(chǎn)品和服務(wù)。玩客云一經(jīng)推出就成為年度最暢銷的智能硬件，受到超過3500萬用戶的熱搶。

玩客云象征著共享計(jì)算技術(shù)和區(qū)塊鏈技術(shù)的結(jié)合，使得共享計(jì)算的節(jié)點(diǎn)數(shù)量提升到了150多萬，這意味著迅雷的區(qū)塊鏈云計(jì)算網(wǎng)絡(luò)更加密集和強(qiáng)大。在此基礎(chǔ)上，2018年4月，迅雷推出了底層區(qū)塊鏈技術(shù)平臺(tái)迅雷鏈，首家達(dá)到百萬TPS(每秒處理次數(shù))性能、秒級(jí)確認(rèn)的處理能力。而后迅雷又推出了自主研發(fā)的迅雷鏈文件系統(tǒng)TCFS(Thunder Chain File System)，使得文件和大塊數(shù)據(jù)上鏈成為可能。

迅雷的區(qū)塊鏈技術(shù)有效解決了區(qū)塊鏈行業(yè)面臨的擴(kuò)容問題和速度問題。

一方面，由于目前大多數(shù)區(qū)塊鏈系統(tǒng)同步處理的數(shù)量較低，極易造成系統(tǒng)崩潰的情況。比特幣每秒處理的速度便只有7筆左右，以太坊也大概在15-35左右，相比起來傳統(tǒng)的電子支付巨頭如VISA每秒交易數(shù)量可達(dá)數(shù)萬次。而迅雷鏈采用同構(gòu)多鏈框架，不同用戶的數(shù)據(jù)會(huì)落到不同的鏈上，單個(gè)節(jié)點(diǎn)只需負(fù)責(zé)單一鏈上的相關(guān)數(shù)據(jù)，縮小了存儲(chǔ)需求;多鏈?zhǔn)强梢詿o限擴(kuò)展的，再加上了同構(gòu)的特性，由此得以拓展到百萬TPS，有效避免了系統(tǒng)性能過低造成的應(yīng)用崩潰的現(xiàn)象，可以支持大規(guī)模的現(xiàn)象級(jí)區(qū)塊鏈應(yīng)用。同時(shí)采用“DPOA+PBFT”的共識(shí)機(jī)制，挑選出網(wǎng)絡(luò)更穩(wěn)定、速度更快的節(jié)點(diǎn)，實(shí)現(xiàn)秒級(jí)確認(rèn)。

另一方面， 隨著區(qū)塊鏈的發(fā)展，節(jié)點(diǎn)存儲(chǔ)的數(shù)據(jù)會(huì)越來越大，存儲(chǔ)與計(jì)算負(fù)擔(dān)越來越重，以比特幣為例，其完整數(shù)據(jù)在2016年便已經(jīng)達(dá)到了63.61GB，用戶如果使用客戶端同步數(shù)據(jù)的話，可能三天三夜都無法完成。而迅雷鏈文件系統(tǒng)整合了IPFS熱門文件永不丟失和Filecoin避免冷門文件丟失的兩大技術(shù)特性，自帶激勵(lì)機(jī)制，實(shí)現(xiàn)存儲(chǔ)效果最大化。

迅雷鏈和TCFS大大降低了區(qū)塊鏈開發(fā)者的開發(fā)門檻、開發(fā)成本與開發(fā)難度，可以實(shí)現(xiàn)更高效率的區(qū)塊鏈場(chǎng)景應(yīng)用落地。目前迅雷鏈的行業(yè)解決方案已經(jīng)覆蓋了商品溯源、數(shù)據(jù)分享、版權(quán)分發(fā)、知識(shí)經(jīng)濟(jì)、社會(huì)公益和征信等多個(gè)領(lǐng)域，吸引了壹基金、來電科技、HGBC、4K花園等多家合作伙伴，還與新大陸集團(tuán)合作在數(shù)字公民和在線支付等領(lǐng)域探索區(qū)塊鏈解決方案。

當(dāng)前巨頭紛紛布局區(qū)塊鏈，但在技術(shù)研發(fā)及應(yīng)用中表現(xiàn)最為突出的，還是要數(shù)迅雷?？梢哉f迅雷在分布式技術(shù)上的十幾年積累，促使其在云計(jì)算和區(qū)塊鏈上領(lǐng)先了一大步，而且體現(xiàn)出標(biāo)桿企業(yè)的發(fā)展態(tài)勢(shì)。下一代區(qū)塊鏈的技術(shù)世界里，將會(huì)是怎樣的格局，我們拭目以待。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。