技術(shù)解析：UCloud云主機網(wǎng)絡(luò)增強特性如何煉成？

引子

隨著產(chǎn)品交互需求越來越頻繁，數(shù)據(jù)量也越來越大，高并發(fā)成為了一種常態(tài)，給網(wǎng)絡(luò)帶來了極大的挑戰(zhàn)。特別是，大量頻繁用戶請求和數(shù)據(jù)交互、體積小的網(wǎng)絡(luò)包通信的新業(yè)務(wù)場景下，單個云主機網(wǎng)絡(luò)包處理能力已經(jīng)無法滿足需求。

為解決單個云主機網(wǎng)絡(luò)包處理能力存在的瓶頸，UCloud云主機發(fā)布了網(wǎng)絡(luò)增強新特性，可以支撐數(shù)倍在線請求，將單臺PPS提高數(shù)倍，從而保證網(wǎng)絡(luò)性能的穩(wěn)定。

舉個例子：就游戲而言，輕微的網(wǎng)絡(luò)波動就會造成在線玩家掉線和卡頓，單臺云主機平均更是有幾萬的包轉(zhuǎn)發(fā)，單臺云主機的網(wǎng)絡(luò)包處理能力明顯不足。但是，打開網(wǎng)絡(luò)增強特性后，對于游戲商來說就能一個區(qū)服承載數(shù)倍游戲玩家，而對于不注重單機能力的情況也能起到一臺頂多臺的作用，所以網(wǎng)絡(luò)增強特性不僅可以提高單臺主機的包處理能力，還能減少云主機的部署數(shù)量與相應(yīng)的成本。

初識網(wǎng)絡(luò)增強

那么，UCloud云主機網(wǎng)絡(luò)增強特性具體能為高包量并發(fā)的數(shù)據(jù)處理帶來哪些優(yōu)化呢？ 在介紹UCloud云主機的網(wǎng)絡(luò)增強新特性，先介紹數(shù)據(jù)包和并發(fā)的概念，了解一條消息的旅程：

• 包(Packet)，是TCP/IP協(xié)議通信傳輸中的數(shù)據(jù)單位，一般也稱“數(shù)據(jù)包”。在網(wǎng)絡(luò)中，數(shù)據(jù)被劃分為多個數(shù)據(jù)包，這些包沿著不同的路徑在一個或多個網(wǎng)絡(luò)中傳輸，在傳輸?shù)穆吠旧?，每個小數(shù)據(jù)包還可能會被繼續(xù)分片。當這些小數(shù)據(jù)包到達目標機器時，他們會被重新拼裝到一起。

簡單的說，用戶瀏覽網(wǎng)頁、打開App、玩聯(lián)網(wǎng)手機游戲，實際上就是數(shù)據(jù)包的交換，因為這些簡單動作背后，你完成了給網(wǎng)站發(fā)送數(shù)據(jù)包，而網(wǎng)站接收到了之后，根據(jù)你發(fā)送的數(shù)據(jù)包的IP地址，返回給你網(wǎng)頁的數(shù)據(jù)包這兩個過程，即數(shù)據(jù)包的交換。

• 并發(fā)，在操作系統(tǒng)中，是指一個時間段中有幾個程序都處于已啟動運行到運行完畢之間，且這幾個程序都是在同一個處理機上運行，但任一個時刻點上只有一個程序在處理機上運行，即兩個或多個事件在同一時間間隔內(nèi)發(fā)生。

簡單的說，當春運期間，12306網(wǎng)站開放購票，1秒內(nèi)10000個人點擊購買按鈕，此時12306網(wǎng)站服務(wù)器就收到了10000個并發(fā)請求。

UCloud云主機的網(wǎng)絡(luò)增強新特性，優(yōu)化的就是數(shù)據(jù)包并發(fā)處理的能力，打開網(wǎng)絡(luò)增強配置，創(chuàng)建的新主機可以擁有網(wǎng)絡(luò)高包量多隊列并發(fā)特性，使帶寬能力大幅提升，能并行處理和接受批量連接的報文，極大提升了虛擬機的包處理能力。

技術(shù)實現(xiàn)

云主機的網(wǎng)絡(luò)增強特性，利用的是網(wǎng)卡多隊列特性，讓多核CPU配合多隊列網(wǎng)卡驅(qū)動的支持，將各個隊列通過中斷綁定到不同的核上，使得CPU的各個核實現(xiàn)并發(fā)收包，所以在網(wǎng)絡(luò)流量大的時候，數(shù)據(jù)包可以被分散到各個核上，避免了CPU成為瓶頸的尷尬。

那多隊列網(wǎng)卡特性又是如何實現(xiàn)的呢？事實上，以往的內(nèi)核是不支持多隊列的，而不支持多隊列的內(nèi)核中的每個網(wǎng)卡都擁有一個排隊的規(guī)則，根據(jù)排隊規(guī)則的過濾器將數(shù)據(jù)包區(qū)分為一個個類，類中還可以嵌套新的更細的排隊規(guī)則，但這種以網(wǎng)卡為中心的方式實際上不適應(yīng)如今的網(wǎng)絡(luò)應(yīng)用，從而誕生了多隊列特性的網(wǎng)卡。

實現(xiàn)了多隊列的網(wǎng)卡圖示如下：

數(shù)據(jù)被劃分為數(shù)據(jù)包在網(wǎng)絡(luò)傳輸，到達目標機器時，先通過網(wǎng)卡轉(zhuǎn)發(fā)給內(nèi)核，內(nèi)核包括驅(qū)動和內(nèi)存，最終到達CPU，CPU對數(shù)據(jù)包進行處理。對于普通的云主機來說，網(wǎng)卡只有一個根隊列，所有的數(shù)據(jù)包進來都要進入這個根隊列進行排隊，由一個CPU進行處理。所以當數(shù)據(jù)量大的時候，就會造成瓶頸，以致CPU來不及處理數(shù)據(jù)包，最終導致丟包。

而多隊列網(wǎng)卡是一種技術(shù)，將各個隊列通過中斷綁定到不同的核上，實現(xiàn)了多隊列，就不再逼迫數(shù)據(jù)包強擠到網(wǎng)卡的根隊列進行排隊，使得每個網(wǎng)卡擁有很多的根隊列，甚至每個應(yīng)用一個隊列都有可能，從而增強并發(fā)處理能力，使帶寬能力大幅提升，能并行處理和接受批量連接的報文，極大提升了虛擬機的包處理能力。

實現(xiàn)上，我們主要是通過負載均衡方法論，升級宿主機和虛擬機操作系統(tǒng)Linux 的內(nèi)核，實現(xiàn)對網(wǎng)卡驅(qū)動多隊列的支持，并利用多核CPU的性能，讓原來的一個隊列變成四個隊列，使得數(shù)據(jù)包的調(diào)度變得更加有效，同時也由多個CPU進行處理，從而提升并發(fā)處理的能力。

（注：目前只支持在部分Linux發(fā)行版4核CPU以上的標準機型上開啟。）

性能測試

對于UCloud云主機網(wǎng)絡(luò)增強的性能，我們也進行了測試。主要是通過使用通用網(wǎng)絡(luò)性能測試工具netperf對UHost標準版機型在是否開啟網(wǎng)絡(luò)增加配置的兩種情況下進行網(wǎng)絡(luò)性能測試得到的結(jié)果，最新的測試數(shù)據(jù)如下圖所示（鑒于是測試環(huán)境，該數(shù)據(jù)僅供參考）：

圖解：
1. ucloud-yg: 未開啟網(wǎng)絡(luò)增強的云主機
2. ucloud-gre: 開啟網(wǎng)絡(luò)增強的云主機
3. 未標注的數(shù)據(jù)為業(yè)內(nèi)其他云主機

經(jīng)過測試，網(wǎng)絡(luò)增強配置的特性，會讓帶寬利用率更是大幅提升，內(nèi)網(wǎng)帶寬接近4Gb/s，是業(yè)內(nèi)平均水平的7倍以上。

經(jīng)過測試，網(wǎng)絡(luò)增強配置的特性，可以極大的提升包處理能力，是業(yè)內(nèi)平均水平的3倍以上，最大包吞吐能力高達18萬。

總結(jié)

本文簡單的介紹了利用多隊列網(wǎng)卡特性使得云主機擁有網(wǎng)絡(luò)高包量多隊列并發(fā)特性的實現(xiàn)過程。希望通過分析數(shù)據(jù)包傳輸路徑以及處理過程讓大家直觀的看到，UCloud云主機網(wǎng)絡(luò)增強新特性帶來的高包量并發(fā)處理能力的提升。

未來，UCloud還會對網(wǎng)絡(luò)增強配置進行升級，隨著硬件提升和可能的內(nèi)核優(yōu)化，高包量處理能力還將有持續(xù)提升空間。希望此特性能夠滿足新場景下通訊頻繁、數(shù)據(jù)包體積小但數(shù)量大的新需求。