撲朔迷離的云評估——至頂網云能力評估辦法公示

“雄兔腳撲朔,雌兔眼迷離;雙兔傍地走,安能辨我是雄雌?”木蘭辭的最后一句十分形象的對公有云主機的評測困難——對物理服務器而言,我們可以采用多種測試方法對其計算、存儲、網絡的最大性能進行測試,并對其結果進行比較。但是對于一個正在運行當中的云計算系統而言,我們又應該如何去分辨它的“雄雌”?

對于云計算系統的網絡和網絡應用測試,至頂網這兩年已經積累了一些比較成功的測試經驗。但是對于云主機計算處理性能評估,還只能是摸著石頭過河。甚至某些同學認為這根本就是多此一舉,性能不夠做一下擴展就好,測試本就是多此一舉。最終我們云能力評估小組在刨根問底的精神指導下,充分溝通,達成共識。在對云主機WAN網Web應用請求響應測試的基礎上,嘗試對云主機的計算處理性能同樣進行測試。

因此,本次至頂網公有云云主機的橫向對比測試,既是對公有云主機的一次評估,也是對云主機測試方法的一次摸底?,F在特地把本次云主機測試方案及評估辦法公示出來,希望可以起到一個拋磚引玉的做用,共同促進公有云評估技術的進步。

云主機計算性能測試——GeekBench

在以往服務器計算性能測試中,通常是采用Windows操作系統下的性能測試軟件,但是在公有云主機中,大多支持的是Linux操作系統。因此,選用一個可以跨平臺,支持多種操作系統的測試工具就變得十分必要了。而且還要考慮搭建測試環(huán)境的便捷性,有些專業(yè)性的CPU測試工具雖然好,但測試環(huán)境的搭建復雜,耗時很長,如果出現舊版本測試沒跑完,新版本系統已上市的情況,哪就成了評測笑話了。因此,這樣的測試方法,再專業(yè)、再先進,我們肯定也不會去進行考慮。最后是測試用例的代表性,可以體現出當前比較主流的計算應用性能。

基于上述通用性、便捷性、代表性的綜合考慮,我們云能力評估小組最終選定可以在Windows、Linux和安卓操作系統上使用的計算性能測試工具GeekBench3.4.2來完成本次公有云主機的整數和浮點計算性能測試工作。

(Geekbench是通過一系列數據加密、數據壓縮、圖像壓縮、圖形計算、腳本處理和路徑計算的方式,對CPU的整數類型計算能力進行測試;并通過期權價格模似、圖像生成、銳化和模糊以及物理仿真、3D幾何場景描述等浮點計算功能對CPU的浮點計算能力進行測試。并將各個測試結果綜合后,統一對CPU的整數計算和浮點計算能力進行打分。)

Web應用響應測試——聽云

GeekBench的測試項目雖多,但缺少對網頁處理能力的測試。而Web應用響應能力,是我們運維同學最關注的測試項目。因此所選用的測試工具,也是充滿著運維色彩的聽云。為什么要用一個APM(應用性能管理)軟件來進行Web應用測試?主要是因為現實網絡環(huán)境測試和實驗室環(huán)境測試有著很大的不同。在實驗室環(huán)境中,我們要考驗的是設備的極限承受能力。在這種測試中,有很大幾率會造成破壞性后果。但是在現實網絡應用環(huán)境中是很難對這種破壞性后果進行承受的。因此,在現實網絡環(huán)境測試中,必須注意以下幾點:

1、不能對現實網絡中正在運營的業(yè)務產生過高的影響。

2、測試數據的采集點要盡量部署全面,以便于全方位的對網絡傳輸信息進行收集。

3、測試數據的精度越高,結果越詳細,可以分析出潛在問題的可能性就會越大。

從上述幾點來分析,作為一款APM軟件,聽云本身對現實網絡環(huán)境所造成影響較小(基本可以忽略不記)。發(fā)出的應用請求流量可以進行控制,便于對測試強度進行靈活掌控。最主要的是聽云的監(jiān)控點遍布全國各地,可以很好的對云主機全國范圍內應用響應能力進行評估。至于數所采集的精度和細粒度,則需要在測試后,通過測試結果再進一步進行分析。

云計算系統平臺應用體驗——云能力評估專家組

云計算系統,不是一個簡單的Web Server的服務器,而是為用戶提供業(yè)務應用處理能力的平臺。用戶的應用流量是否可以平滑接入,有效分配到各個云主機上進行業(yè)務應用處理;業(yè)務數據可否快捷高效的進行調用;還有域名備份、問題溝通、平臺使用的難易度等等。要想搞清這些問題,就需要一一對不同的公有云平臺進行實際使用的體驗。

為此,我們至頂網云能力小組運維專家樂樂同學、首度技術官書葆老師共同承擔了這項任務,從實際應用的角度出發(fā),對不同云計算系統平臺分別進行體驗,并一一進行評價。只有通過實際的應用才能產生最直觀的體現。這也是他們在百忙的工作之中,一定要抽出時間進行這項測試的一個最主要原因。希望通過我們絕對可以稱得上是一線技術專家的體驗測試,能向大家提供出一份絕對實用的應用體驗資料。

梳理云評估辦法,讓云計算有理可依

計算性能、Web應用響應和系統平臺應用體驗,是云能力評估小組在公有云技術評估道路上的又一次嘗試。云計算從誕生到現在,已經經歷了十多年的技術發(fā)展,然而可以公開的評估指標和規(guī)范,卻始終是鳳毛麟角。梳理出一套切實可用,真正對用戶有指導意義的云計算評估辦法,是至頂網云能力評估小組當前最熱切的追求。

但是也不能為了評測而評測,還需要對測試結果進行更加深入的分析。云是一個具有高度靈活性的產品,公有云廠商產品為什么會有這樣的技術指標設計,需要在測試中深入挖掘。不但要有測試的方法,還要了解測試的道理,確保評估指標的有效性,這樣才可以更加全面的真實的去進行評估。

因此,我們云能力評估小組在對公有云主機性能進行評測的同時,還舉行了一次大規(guī)模的公有云用戶實施情況調研。從中收集到了上千份有效調研問卷,從而獲得第一手的用戶公有云使用情況。相關報告將先于公有云評測報告對外公開發(fā)布。

除用戶調研外,我們也非常重視有關技術專家對公有云的觀點。為此我們還將征集一批知名企業(yè)的網絡技術專家,來傾聽一下他們對公有云技術的真知灼見,并邀請他們參與對公有云廠商的技術點評。通過這些工作在第一線的技術專家,對各大公有云廠商產品技術產生更深入的了解。

最后,我們將把本次的公有云評測結果按廠商生成獨立的測試報告。由于時間和精力有限,本次公有云主機評測我們只選擇了十家當前比較主流的國內外公有云廠商產品進行測試。它們分別是AWS、Azure、阿里云、百度云、華為云、金山云、京東云、青云、騰訊云以及UCloud(廠商排名不分先后)。接下來我們將對這些公有云主機測試結果一一進行分析,并逐一呈現給廣大用戶。希望通過這次公有云主機評估辦法的梳理,可以讓云計算更加有理可依,讓用戶可以更有針對性的對云主機加以選擇。

——————————————————

至頂網云能力評估小組是以至頂網技術部為主導,評測實驗室為輔助的第三方媒體評測機構。云能力評估小組力求從用戶實際應用需求維度出發(fā),以客觀、公正、真實、開放的態(tài)度,對當前云計算產品、技術及應用進行測試、評估和分析。以實際產品應用能力為基準,站在第三方的立場上,對當前最新云計算及相關技術,進行客觀、公平、公正的評論,并將測試方法、測試結果和結論公開對外展示。

極客網企業(yè)會員

免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。

2018-08-21
撲朔迷離的云評估——至頂網云能力評估辦法公示
“雄兔腳撲朔,雌兔眼迷離;雙兔傍地走,安能辨我是雄雌?”木蘭辭的最后一句十分形象的對公有云主機的評測困難——對于一個正在運行當中的云計算系統而言,我們又應該如何去分辨它的“雄雌”?

長按掃碼 閱讀全文