分布式技術“上位”進行時

我們身處數據大爆炸的時期，想必沒人會質疑這一點。網絡用戶規(guī)模越來越大，由此產生的訪問數據也在指數倍增長，最典型的，每逢大型年度購物節(jié)、流量明星出軌、春晚搶紅包等特殊事件，都如同一場服務器系統(tǒng)性能的“極限挑戰(zhàn)”，某幾家互聯網公司總會被拉出來示眾，成則頂禮膜拜，敗則集體吐槽。

如何在極限繁忙的情況下，依然能流暢、安全地提供服務，又不過度增加服務器成本？想要解決這一問題，傳統(tǒng)的服務器架構就有些力不從心了。

分布式技術，作為一種專門針對海量數據場景的解決方案，就成為了一劑“特效藥”。

在基礎“療效”之外，更關鍵的是，技術本身還埋藏著交給未來的“彩蛋”。

分布式技術為什么“上位”？

如果關注一下互聯網公司的技術趨勢，會發(fā)現大規(guī)模或超大規(guī)模的分布式應用已經成為主流，而隨著云計算逐步向大眾生活滲透，中小規(guī)模的分布式應用也在各個領域開始廣泛出現。最為直接的體現就是，今天的開發(fā)工程師想要找到一份工作，“熟悉分布式系統(tǒng)”“能對分布式常用技術進行合理應用”等都是常規(guī)要求了。

但對于非專業(yè)人群來說，恐怕就有不少疑問了，分布式技術為什么會上位，它是如何運行的，相比傳統(tǒng)系統(tǒng)究竟強在哪里，又是如何影響我們的“沖浪”體驗的？

簡單來說，所謂分布式（distributed），就是將不同的服務模塊部署在多臺不同的服務器上，然后通過遠程調用協同工作，共同對外提供服務。對于用戶來說，就像是一臺計算機在服務一樣。

我們知道，初代的服務器架構往往比較簡單，應用程序、數據庫、文件、代碼等所有資源都放在一臺服務器上，也就是單機結構。隨著企業(yè)業(yè)務量的增多，一臺服務器已經難以滿足數據處理的需求了，那么就對單機進行“復制粘貼”，就能收獲一個處理能力高出好幾倍的“服務器集群”。

不過，集群式擴展很容易到達物理上限，最直接的反映就是無論怎么增加節(jié)點，整個集群的性能似乎也沒有被提升多少，這時候，就需要分布式系統(tǒng)登場了。

在實際業(yè)務中，分布式系統(tǒng)可以將不同的業(yè)務功能對應到一個個獨立的子系統(tǒng)中去，比如針對電商平臺，可以將用戶服務、產品服務、店鋪管理、數據分析等不同的數據處理項目部署在不同的計算機集群上。這些獨立的集群可能是在不同的機房，甚至是不同的城市中，有的大型數據中心還會分布在不同的國家和地區(qū)。它們之間通過RPC消息傳遞進行通信和協調，再向用戶提供服務。

通過幾種架構的運行邏輯不難發(fā)現，分布式系統(tǒng)至少具備三個特點：

首先是能夠實現高并發(fā)、低延遲的網絡服務需求。面對超大規(guī)模的訪問請求，很容易造成網頁打開很慢、游戲擁堵卡頓甚至App直接宕機的情況。這時候需要多臺服務器共同高效協作，去處理盡可能多的任務，才能達到相應流量的吞吐量。這就要企業(yè)需要將多個服務器部署在不同的地域，才有可能規(guī)避全球用戶可能導致的網絡擁堵和延遲問題。換句話說，分布式系統(tǒng)是全球網絡業(yè)務發(fā)展的基礎前提。

另外，分布式系統(tǒng)的可擴展性能夠大幅度降低企業(yè)的網絡成本。由于分布式系統(tǒng)的多臺計算機可以在空間位置上隨意分布，機器性能也可以獨立運行和隨時變動，這就使得多個獨立服務可以得到針對性地升級，而不是傳統(tǒng)架構下的“大鍋飯”。比如在商城大促期間，只需要針對產品系統(tǒng)、訂單系統(tǒng)等跟下單量級直接相關的節(jié)點，其他服務模塊維持原有水平，可以有效降低網絡使用成本。一些基礎模塊也可以為其他新增服務所復用，無需重復開發(fā)，又進一步降低了企業(yè)的經營風險?？梢哉f，在各行業(yè)競爭進入精益時期和白熱化的當下，分布式系統(tǒng)無疑是競爭力的前提。

更關鍵的一點，是分布式系統(tǒng)的高安全性。由于該系統(tǒng)中計算機沒有主／從之分，也就是說所有計算機節(jié)點都是對等的，在對外服務時分布式系統(tǒng)都會對數據和服務進行副本處理，從而直接有效地防止了企業(yè)關鍵數據丟失無法找回等“慘劇”，也因此成為網絡防災的重要保障。

正是出于這些技術特征，毫不夸張地說，計算機系統(tǒng)正在經歷一場從集中式向分布式過渡的整體變革。

分布式云計算：受益人與鼓吹手

如果說分布式系統(tǒng)代表著網絡服務的發(fā)展方向，那么云計算的社會化，可能是其快速普及的重要推手。

今天，我們在諸多云服務商的技術架構里，能夠看到不少分布式技術的身影，比如分布式存儲、分布式數據庫、分布式消息中間件等等。某種程度上，分布式系統(tǒng)在資源池化、硬件故障容錯能力、性能提升等方面的技術優(yōu)勢，賦予了云計算真正觸摸服務市場的可能性。

這種影響，主要體現在三個關鍵環(huán)節(jié)：

一是分布式存儲。云服務作為智能化的輸出載體，對數據的存儲和分析是不可或缺的能力之一，而傳統(tǒng)的數據存儲模式往往都有容量大小限制或是空間局限，云端需要的可支撐龐大數據的存儲方案恰恰只有分布式能夠實現，比如 Apache Hadoop HDFS。

二是分布式計算。資源池的規(guī)模越大，對于資源使用效率，即計算效率的要求也就提出了更高的要求。傳統(tǒng)的集群結構采用的并行計算往往需要耗費相當長的時間，而分布式計算會將任務拆分成諸多子任務再分配給多臺計算機，這種高效率的計算方式也有效提升了云服務的整體性能。

三是分布式管理。我們知道，云服務的核心價值之一，就是能夠幫助客戶隨時獲得IT資源及應用，并且按需付費。這意味著云廠商的應用和服務，也需要基于可擴張性、靈活性與可靠性來進行設計。因此，能夠將不同服務模塊進行分割、復用的分布式框架就顯得非常必要了。

當然，除了以受益人角色不斷與分布式技術產生化學反應之外，云服務商也成為企業(yè)部署分布式系統(tǒng)的最佳選擇。

之所以大部分企業(yè)需要借助云廠商的力量，核心原因還是在于分布式系統(tǒng)的復雜性，大大提升了網絡運維和調用的難度。

對于大中型企業(yè)來說，越來越多的服務和業(yè)務被切割和部署在不同的網絡計算單元上時，服務間的依賴關系也因此變得錯蹤復雜，不僅管理配置的難度變得越來越大，有時候甚至連編寫系統(tǒng)的架構師都不能完整描述應用之間的關系，分不清應用啟動的先后順序，進而引發(fā)一系列擴容、調用、線路故障等問題。

另外，敏捷開發(fā)模式要求工程師不斷更新程序，來滿足新業(yè)務、新功能的網絡需求。要讓企業(yè)自己緊跟IT產業(yè)的前沿技術，及時引入最新算法模型，修正安全bug，并對成千上百個服務器完成迭代升級，無疑是一個極其龐大且效率低下的工作。

在這種背景下，引入云服務模式，借助虛擬服務器操作系統(tǒng)，即SaaS技術，在云服務商的統(tǒng)一運行環(huán)境下實現部署，就大大降低了需要維護的硬件數量，從而讓分布式系統(tǒng)管理不再消耗企業(yè)大量時間和精力。

從這個角度來講，云計算和分布式技術捆綁在一起，兩種技術方案相互補益，成就了新數據規(guī)模背景下最佳收益比的網絡基礎設施。

走入“硬件虛擬化”的美妙時代

前面我們感受到了云計算與分布式技術相結合所蘊含的可能性，隨著基礎設施迭代升級的完成，技術如何向應用端釋放自己的迷人之處，恐怕才是我等普通人真正關心的焦點。

目前看來，分布式系統(tǒng)與云計算結合，首先帶來的就是服務能力的共享。

云端計算能力結合虛擬化技術，能夠將許多業(yè)務端模型抽象成的固定軟件統(tǒng)一起來，進而利用分布式系統(tǒng)進行管理和輸出。

許多原本需要專門開發(fā)對應應用才能實現的功能，比如AI運算，通過云端進行虛擬化之后就能夠變成共享資源。比如Nvidia 與 VMWare 針對 VMWare Cloud on AWS 推出的GPU加速服務，就能夠讓AWS的客戶將各種VMware vSphere 的應用與容器無需變更即可無縫轉移至云端，實現AI運算分析。

除此之外，終端能力也可以被虛擬化到云端，再通過分布式技術釋放給其他硬件。

舉個例子，智能音箱的語音功能、智能手機的視頻功能、無人機的實時拍攝功能、筆記本電腦的多功能操作，這些原本各自獨立的終端能力通過云端虛擬化之后，再借助分布式系統(tǒng)進行調用，就能夠實現終端之間不同能力的靈活組裝。

比如手機來電可以通過車載音箱來接聽，無人機畫面可以實時通過視頻通話直播，手機與電腦無縫傳輸……對于用戶來說，不再需要浪費精力去考慮某個產品的性能，只需要看當下場景需要什么硬件能力發(fā)出調用指令就好。同時，分布式系統(tǒng)的分工協同調用，能將硬件設備之間通訊的功耗降到最低。

從為不同場景設計不同硬件，到不同硬件主動適配不同場景，AIoT智能互聯后可能面臨的跨終端體驗割裂問題，正在被分布式技術消弭于無形之中。

同時，分布式系統(tǒng)也讓不同機器之間的安全通訊成為可能，從而進一步推動萬物智聯的到來。

我們知道，如果攻擊者利用漏洞獲取對整個主機的存取權，那么在很長一段時間內就可以攻擊主機上運行的其他每個設備，從而危害整個系統(tǒng)的安全。由于這種攻擊方式很難被標準的IDS/IPS檢測到，正在變得越來越流行。

試想一下，如果在車聯網、工業(yè)物聯等場景中發(fā)生遷移式攻擊，亦或是黑客通過空調/咖啡機訪問家中任何一個聯網設備，這將會引發(fā)怎樣可怕的連鎖反應？

因此，不少云服務商和硬件廠商都已經開始著手將分布式技術引入安全服務。一方面分布式系統(tǒng)各個網絡節(jié)點之間之間通訊都需要驗證并批準，能夠有效保護和控制復雜設備網絡，在惡意軟件進行控制之前實現檢測和隔離；與此同時，分布式網絡的“副本”模式，也能夠很好地保證數據被復制并存儲在每個設備中，避免因黑客入侵而發(fā)生無可挽回的損失。

今天，我們看到萬物智聯已經在AI、5G、云計算等基礎設施的共同鋪陳下，展示出了越來越清晰的未來圖景。

如何讓其變得可靠、可用、可信，還需要像分布式技術這樣的助攻攙扶下，邁出實用化的關鍵一步。

生成海報

免責聲明：此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權歸作者所有，且僅代表作者個人觀點，與極客網無關。文章僅供讀者參考，并請自行核實相關內容。投訴郵箱：editor@fromgeek.com。

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。