ZStack實踐匯 | 高效開發(fā)測試打造產(chǎn)品化私有云

　　前言

隨著越來越多的企業(yè)將云計算產(chǎn)品應(yīng)用到基礎(chǔ)設(shè)施及其核心業(yè)務(wù)中，如何提高和保證軟件交付質(zhì)量、減少軟件開發(fā)迭代周期、加速軟件發(fā)布頻率成為所有云廠商面臨的關(guān)鍵問題。

根據(jù)IDC 2018年的預測，中國云計算市場在未來5年將持續(xù)高速發(fā)展的態(tài)勢，主要表現(xiàn)為：中國傳統(tǒng)的非云計算IT基礎(chǔ)架構(gòu)占整體IT基礎(chǔ)架構(gòu)的投入比例將從2018年的50.3%下降到2022年的40.7%;中國私有云平臺建設(shè)的市場規(guī)模將以年均24.8%的復合增長率快速增長;中國云計算IT基礎(chǔ)架構(gòu)支出占全球市場比將從2018年的12%上升到2022年的25%，屆時中國私有云IT基礎(chǔ)架構(gòu)支出將超過美國，成為全球第一大市場。在這一輪新的迭代更新中，更多的企業(yè)和行業(yè)開始部署或者建立更大規(guī)模的私有云;而新應(yīng)用(數(shù)據(jù)分析，AI，IoT，移動)和新場景(邊緣計算，智慧/平安城市，行業(yè)云)也對云平臺提出了更高的需求。

ZStack憑借創(chuàng)新的產(chǎn)品化理念，在業(yè)內(nèi)率先提出云計算的4S標準 – 簡單Simple，健壯Strong，彈性Scalable，智能Smart。同時，ZStack企業(yè)版從第一版發(fā)布到最新的3.5.0版本，一直以每六周一次的周期迭代更新軟件版本，快速提升和擴展產(chǎn)品功能，積極應(yīng)對云計算市場對私有云產(chǎn)品不斷增長的需求。而保證其私有云產(chǎn)品化的關(guān)鍵要素有以下三點：

　　1、 流程 – 快速敏捷

　　2、 運維 – 智能高效

　　3、測試 – 嚴謹全面

注：ZStack堅持快速、簡潔、高效的開發(fā)、運維、測試流程，確保新需求六周便可實現(xiàn)

　　1. 流程-快速敏捷

ZStack開發(fā)流程依然定義了傳統(tǒng)開發(fā)模式中的幾個關(guān)鍵階段 - FF、CF、RC和GA。同時針對不同階段的任務(wù)和目標，進行有的放矢地優(yōu)化。在Feature Freeze階段，主要以需求分析為主，要求產(chǎn)品經(jīng)理將客戶的需求分片化、分級化，需求描述本地化，更有效地將需求安排到不同發(fā)布版本周期中。開發(fā)和測試工程師則需要將Code Freeze和Release Candidate的任務(wù)提前到Feature Freeze階段中，減少互相之間任務(wù)的依賴，提高各個階段的并發(fā)度。而測試不僅需要滲透到開發(fā)的每個環(huán)節(jié)中，同時也要通過模型測試、路徑測試、穩(wěn)定性測試等方法，提高代碼的覆蓋度和測試效率。每個發(fā)布周期通過反復地從需求->開發(fā)->測試的快速迭代，保證了產(chǎn)品的新需求和問題始終能夠被快速滿足和解決。

注：ZStack產(chǎn)品開發(fā)流程高度并發(fā)，保證版本之間快速迭代

　　2. 運維-智能高效

作為私有云產(chǎn)品開發(fā)的基礎(chǔ)保證，一套快速、穩(wěn)定、高并發(fā)、可伸縮的運維系統(tǒng)是必要的。而傳統(tǒng)運維提供的簡單CI和CD功能是顯然無法滿足這樣快速迭代的需求。ZStack產(chǎn)品化過程中，搭建了一套以ZStack + Kubernetes為基礎(chǔ)、面向公司各個部門的整體性服務(wù)框架。這套框架中所包括的服務(wù)內(nèi)容涵蓋從開發(fā)&測試人員使用的測試環(huán)境、到整個項目的管理工具?？蚣艿牡讓右訸Stack作為IaaS提供給上層可靠的、可擴展的物理資源，同時結(jié)合Kubernetes，將容器運行于云主機中，既保證了隔離性、又充分利用了ZStack和Kubernetes對云主機和Docker調(diào)度的優(yōu)勢，起到了對上層服務(wù)高可用、高并發(fā)及可伸縮的雙重保障。

注：ZStack作為IaaS層向上層服務(wù)提供可靠的物理資源，而更重要的是，內(nèi)部的ZStack環(huán)境也會隨著發(fā)布版本更新，真正做到了自己的產(chǎn)品自己先用起來。

注：實際生產(chǎn)環(huán)境中，一次自動化測試至少在Jenkins上并發(fā)創(chuàng)建500+個請求，每個請求包含10~50個測試用例，ZStack + Kubernetes保證了這些請求幾秒內(nèi)可以被處理

　　3. 測試-嚴謹全面

打造一個產(chǎn)品化的私有云軟件需要全面且嚴謹?shù)臏y試，這不僅僅是單元測試和集成測試能保證的。ZStack從以下四個方面入手強化測試：

3.1 測試高效化：整個產(chǎn)品流程中開發(fā)和測試要同步進行，這包括了對不同的開發(fā)分支需要有不同深度的測試代碼保證其質(zhì)量——例如，對于Release分支，必須有持續(xù)性的Nightly測試把控每天進入的代碼質(zhì)量;對于Feature分支，需要能快速檢測出patch對代碼核心功能影響的BAT測試。同時測試系統(tǒng)和CI系統(tǒng)要高度集成并且做到同步觸發(fā)。

高效化的另一個重點就是要做到所有測試都能運行在云端，提高測試的并發(fā)度和資源利用率。ZStack內(nèi)部的測試都是跑在云端的，而云端環(huán)境也是基于ZStack自身搭建的，利用其對底層硬件資源的抽象和管理，模擬出測試中需要的不同的硬件配置場景，包括網(wǎng)絡(luò)、存儲、虛擬化平臺、甚至不同的ZStack高級功能配置，如企業(yè)管理、災備服務(wù)等。同時，為了滿足大規(guī)模資源需求的測試場景，例如1萬臺或10萬臺云主機的測試場景，ZStack測試中還實現(xiàn)了simulator機制，即不真實分配硬件資源，而使用mock后端API的方式提供了對后端資源的調(diào)配，真正做到了有針對性的測試。

注：ZStack云端測試的環(huán)境構(gòu)建是通過XML配置文件實現(xiàn)的，測試工程師可以非常簡單地用幾分鐘配置出一臺自動化環(huán)境。

3.2 測試標準化：ZStack所涵蓋的測試內(nèi)容不僅包括功能性測試，還包括一套完整測試體系所需要的各種測試，如開發(fā)工程師需要做的集成/單元測試，測試工程師需要做的系統(tǒng)測試中的壓力、性能、可靠性測試、以及針對不同版本定制的發(fā)布測試。例如ZStack的可靠性測試就包括了兩類測試 – MTBF和DPMO測試，MTBF會對ZStack平臺進行15,000小時長時間的真實用戶操作模擬;DPMO測試則會對ZStack平臺進行高達10,000次的斷/上電、重啟等測試。

標準化的另一方面體現(xiàn)在對關(guān)鍵節(jié)點的標準把控上，對FF、CF、RC和GA各個階段都會有相應(yīng)的代碼準入和驗收標準，例如CF階段后功能開發(fā)代碼禁止進入發(fā)布分支而只能進入下一個發(fā)布版本的周期;又例如各個階段驗收時要求的bug數(shù)量限制，CF階段要求小于5個P0，GA階段要求沒有P0的bug。

3.3 測試覆蓋智能化：軟件測試沒法達到100%的覆蓋率，所以我們要做的是在資源有限的情況下，以盡量少的代價做到盡可能高的覆蓋率。要提高覆蓋率，需從兩方面入手，一方面是對代碼進行覆蓋率檢查，我們在日常CI的包中插入了代碼不同模塊的覆蓋率，不管是手動還是自動測試，或是日常bug的驗證，都會為覆蓋率提供數(shù)據(jù)。

另一方面我們增加了模型測試，它可以產(chǎn)生由隨機API組合構(gòu)成的場景，會持續(xù)運行直到遇到預定義的退出條件或者找到一個缺陷。這種模型測試很好地彌補了人為定義用例的不足，提高了測試場景和路徑的覆蓋率。由這種測試模型，也衍生出了三種不同場景的覆蓋率提高測試：

3.3.1 覆蓋率測試：

除常規(guī)有序的測試步驟外，運用模型測試，收集無序測試步驟下的測試覆蓋率。

3.3.2 MTBF測試:

從有序和無序兩種測試維度，對系統(tǒng)穩(wěn)定性及可靠性進行測試。

3.3.3 路徑測試

通常一個系統(tǒng)測試用例最多5~6個操作步驟，而最終客戶的問題場景是極其復雜的，通常需要10~20個以上的步驟才能重現(xiàn)，運用模型測試的方法，可以有效減少構(gòu)建測試用例的代碼量。

注：一個典型路徑測試，只需要將測試對象和操作步驟寫到測試用例中即可完成

3.4 報告立體化：主要從兩方面實現(xiàn)，一是測試報告的結(jié)果自動化、可讀化，是通過對測試用例中插入DITA描述實現(xiàn)的。另一方面是結(jié)果的可追溯和可回放，這是通過記錄測試過程中API的調(diào)用順序和參數(shù)實現(xiàn)的。

注：一個測試結(jié)果的操作記錄及回放方法，能夠有效幫助開發(fā)測試工程師重現(xiàn)bug

　　總結(jié)

作為產(chǎn)品化的云計算公司，ZStack一直致力于打造自研的ZStack私有云、ZStack混合云、ZStackMini超融合一體機、ZStack CMP多云管理平臺、ZStack企業(yè)級分布式存儲等產(chǎn)品和方案。本文從開發(fā)流程、基礎(chǔ)運維以及測試能效等角度，介紹了 ZStack 團隊如何高效打造一個產(chǎn)品化的私有云。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。