SPEC(StandardPerformanceEvaluationCorporation，標(biāo)準(zhǔn)性能評(píng)估組織)近期公布了最新一批SPEC Cloud®IaaS 2018測試成績，浪潮云海OS創(chuàng)造新的最高紀(jì)錄，在全部四項(xiàng)關(guān)鍵指標(biāo)中均獲得第一，成為全球性能、擴(kuò)展性等綜合性技術(shù)水平最高的云平臺(tái)軟件，為未來智算中心的建設(shè)提供全球領(lǐng)先水準(zhǔn)的系統(tǒng)平臺(tái)。
SPEC Cloud測試基準(zhǔn) 對(duì)現(xiàn)實(shí)最好的模擬
SPEC Cloud®IaaS 2018 Benchmark是SPEC開發(fā)的評(píng)估基于大數(shù)據(jù)場景下的云基準(zhǔn)標(biāo)準(zhǔn)測試(SPEC Cloud IaaS 2018是SPEC的第二個(gè)基準(zhǔn)測試套件來衡量云計(jì)算的性能，以原始2016版本為基礎(chǔ)，具有各種增強(qiáng)功能和新的主要指標(biāo))，采用Yahoo的YCSB與HiBench的K-Means模擬實(shí)際的工作負(fù)載。主要測試的是IaaS云平臺(tái)性能，選用兩類最重要的和最具代表性的負(fù)載：云平臺(tái)上運(yùn)行IO密集型和計(jì)算密集型負(fù)載，通過加壓測試數(shù)據(jù)面性能、可擴(kuò)展性以及控制面性能來得到測試結(jié)果。
圖1 SPEC Cloud®IaaS 2018測試邏輯架構(gòu)
IO密集型負(fù)載測試：YCSB是Yahoo公司的一個(gè)用來對(duì)云服務(wù)進(jìn)行基礎(chǔ)測試的工具，SPEC Cloud®IaaS 2018通過創(chuàng)建NoSQL(Cassandra)實(shí)例實(shí)現(xiàn)YCSB架構(gòu)。其測試項(xiàng)包括吞吐量、插入響應(yīng)時(shí)間、讀取響應(yīng)時(shí)間、平均應(yīng)用實(shí)例(Application Instance)配置時(shí)間。
計(jì)算密集型負(fù)載測試：K-Means算法是機(jī)器學(xué)習(xí)中常用的一種聚類算法。SPEC Cloud®IaaS 2018基準(zhǔn)測試使用HiBench K-Means實(shí)現(xiàn)計(jì)算密集型測試。其測試項(xiàng)包括完成時(shí)間、每個(gè)應(yīng)用實(shí)例運(yùn)行的Hadoop迭代計(jì)數(shù)、平均應(yīng)用實(shí)例配置時(shí)間。
SPEC Cloud具體測什么
SPEC Cloud®IaaS 2018具有完善技術(shù)測試框架，是云計(jì)算性能測試的基準(zhǔn)，是企業(yè)級(jí)客戶云產(chǎn)品選型的重要參考標(biāo)準(zhǔn)。測試框架主要指標(biāo)包含如下4個(gè)方面：
1. 復(fù)制的應(yīng)用實(shí)例數(shù)：復(fù)制的應(yīng)用實(shí)例數(shù)表示在測試結(jié)束時(shí)已完成至少一個(gè)有效應(yīng)用的實(shí)例總數(shù)?？倧?fù)制數(shù)是K-Means與YCSB的應(yīng)用實(shí)例總和，但二者任何一項(xiàng)的有效應(yīng)用實(shí)例不能超過總數(shù)的60%。
2. 性能得分：性能得分是所有有效應(yīng)用實(shí)例的得分總和，代表了所有應(yīng)用在云環(huán)境的總體表現(xiàn)。它是SPEC Cloud®IaaS 2018規(guī)范的YCSB和K-Means性能得分的總和。
3. 相對(duì)可擴(kuò)展性：相對(duì)的伸縮度是當(dāng)多個(gè)應(yīng)用實(shí)例同時(shí)運(yùn)行，云環(huán)境未引入其他負(fù)載時(shí)，每個(gè)應(yīng)用實(shí)例能提供與baseline階段的應(yīng)用實(shí)例相同運(yùn)行水平的百分比。相對(duì)可擴(kuò)展性是IO密集型負(fù)載和計(jì)算密集型負(fù)載兩種負(fù)載的相對(duì)可伸縮度的平均值，它以百分比表示，結(jié)果越高代表相對(duì)可擴(kuò)展性越好。
4. 平均實(shí)例的配置時(shí)間：平均實(shí)例的配置時(shí)間表示有效應(yīng)用實(shí)例中，所有實(shí)例的平均配置時(shí)間。每個(gè)實(shí)例的配置時(shí)間都是從創(chuàng)建實(shí)例請(qǐng)求開始到cbtool驅(qū)動(dòng)可以ssh到實(shí)例的時(shí)間間隔。
根據(jù)公布的測試結(jié)果，基于浪潮NF5280M5雙路服務(wù)器基礎(chǔ)計(jì)算平臺(tái)，浪潮云海OS平均虛擬機(jī)部署時(shí)長僅為36秒，復(fù)制的應(yīng)用實(shí)例數(shù)達(dá)到18個(gè)，性能得分達(dá)到20.1分，相對(duì)可擴(kuò)展性達(dá)到85.5%，也就是說，平臺(tái)可以隨著業(yè)務(wù)負(fù)載的提高保持近線性的擴(kuò)展性能，具備強(qiáng)大的彈性部署能力、極低的響應(yīng)時(shí)間，充分保證業(yè)務(wù)連續(xù)性。
圖2 浪潮云海OS SPEC Cloud®IaaS 2018測試結(jié)果
精細(xì)優(yōu)化負(fù)載調(diào)度算法 提高大規(guī)模場景下虛擬機(jī)性能穩(wěn)定性及資源利用率
測試環(huán)境采用1個(gè)控制節(jié)點(diǎn)、9個(gè)計(jì)算節(jié)點(diǎn)的部署架構(gòu)，計(jì)算節(jié)點(diǎn)上通過虛擬機(jī)運(yùn)行實(shí)例，并在其中2臺(tái)虛擬機(jī)上分別運(yùn)行Cbtool基準(zhǔn)測試工具與Time-server服務(wù)(時(shí)間同步服務(wù))。
圖3 SPEC Cloud®IaaS 2018測試部署架構(gòu)
浪潮工程師基于Ubuntu系統(tǒng)制作了Cbtool鏡像、Time-server 鏡像、Hadoop鏡像及Cassandra鏡像，其中Hadoop鏡像與Cassandra鏡像安裝了Cloud-init、相應(yīng)的Hadoop/Cassandra應(yīng)用，并針對(duì)應(yīng)用報(bào)錯(cuò)對(duì)應(yīng)用的配置文件及相關(guān)代碼做了調(diào)整。另外，為了快速啟動(dòng)虛擬機(jī)修改grub為系統(tǒng)立即啟動(dòng)，并將Hadoop鏡像與Cassandra鏡像上傳到浪潮云海OS環(huán)境。
在測試過程中，浪潮工程師分別通過限制每個(gè)計(jì)算節(jié)點(diǎn)運(yùn)行的虛擬機(jī)數(shù)量、分組調(diào)度、IO密集型和計(jì)算密集型兩種業(yè)務(wù)的親和性策略等進(jìn)行參數(shù)的調(diào)優(yōu)，但效果都不明顯。通過對(duì)實(shí)際的負(fù)載進(jìn)行監(jiān)控，浪潮工程師發(fā)現(xiàn)負(fù)載對(duì)CPU、內(nèi)存及磁盤的調(diào)度不均衡，因此對(duì)調(diào)度算法進(jìn)行了優(yōu)化，調(diào)整了對(duì)于CPU、內(nèi)存及磁盤的調(diào)度權(quán)重。通過算法優(yōu)化，保證每個(gè)應(yīng)用實(shí)例的正常運(yùn)行前提下提高了整體的應(yīng)用實(shí)例數(shù)，為大規(guī)模場景高密度虛擬機(jī)管理提供實(shí)踐案例參考。
另外，通過對(duì)磁盤IO進(jìn)行監(jiān)控，浪潮工程師發(fā)現(xiàn)在負(fù)載的情況下，虛擬機(jī)的磁盤IO性能有所降低。根據(jù)多次定位分析，發(fā)現(xiàn)虛擬機(jī)后端與宿主機(jī)系統(tǒng)盤處于相同存儲(chǔ)的情況下會(huì)導(dǎo)致IO性能降低，因此為了保證讀寫不受宿主機(jī)系統(tǒng)盤干擾，選擇將虛擬機(jī)后端與宿主機(jī)系統(tǒng)盤分離部署。同時(shí)，為了保證應(yīng)用在云環(huán)境的整體表現(xiàn)，浪潮工程師對(duì)虛擬機(jī)規(guī)格(CPU、內(nèi)存、硬盤)進(jìn)行多次調(diào)整，且關(guān)閉了KVM的內(nèi)存共享,防止因搶占導(dǎo)致性能降低，關(guān)閉了CPU預(yù)留和CPU綁定,防止CPU不能被充分利用，最終實(shí)現(xiàn)負(fù)載的情況下虛擬機(jī)的CPU、內(nèi)存、硬盤都能保持較高的利用率，提高了大規(guī)模場景下虛擬機(jī)性能穩(wěn)定性和資源利用率。
圖4 某一節(jié)點(diǎn)內(nèi)存共享關(guān)閉示例
為了降低平均實(shí)例的配置時(shí)間，浪潮工程師增大了nova并發(fā)任務(wù)個(gè)數(shù)上限，并實(shí)現(xiàn)了鏡像緩存機(jī)制。其中，增大nova并發(fā)任務(wù)個(gè)數(shù)減少了虛擬機(jī)建的排隊(duì)時(shí)間，鏡像緩存解決了同一個(gè)鏡像創(chuàng)建多臺(tái)虛擬機(jī)的流程中頻繁地下載、刪除、再下載鏡像導(dǎo)致耗時(shí)嚴(yán)重的問題，節(jié)約了鏡像下載到本地所消耗的時(shí)間，從而有效提高了創(chuàng)建虛擬機(jī)的速度，滿足客戶快速、批量創(chuàng)建虛擬機(jī)需求。
圖5 增加nova-conductor的worker數(shù)，提高nova處理能力示例
圖6 鏡像緩存配置示例
為了優(yōu)化并發(fā)場景，浪潮工程師還優(yōu)化了haproxy的線程數(shù)、連接池中保持打開狀態(tài)的最大SQL連接數(shù)、最大允許超出的連接數(shù)。
卓越線性擴(kuò)展能力 全面支持新型業(yè)務(wù)應(yīng)用上云
SPEC在評(píng)估了線程計(jì)數(shù)和操作計(jì)數(shù)后，選擇了40個(gè)線程計(jì)數(shù)和400萬個(gè)操作計(jì)數(shù)作為SPEC Cloud®IaaS 2018 Benchmark的基準(zhǔn)。其目標(biāo)是反映I/O性能的改進(jìn)，并使YCSB工作負(fù)載AI運(yùn)行周期時(shí)間與當(dāng)前云中的K-Means工作負(fù)載保持平衡。
SPEC在擴(kuò)展階段，為每個(gè)應(yīng)用實(shí)例生成數(shù)據(jù)，插入的總記錄保持在1000000。默認(rèn)記錄長度為1KB，數(shù)據(jù)大小為1GB。復(fù)制的有效數(shù)據(jù)大小至少為3 GB，跨越6個(gè)Cassandra seeds。
K-Means生成的數(shù)據(jù)集的大小約為415Mb，運(yùn)行結(jié)束時(shí)數(shù)據(jù)的總大小約為900MB。使用Hadoop的三副本復(fù)制，磁盤上的大小約為2.8GB。使用中等大小的實(shí)例，K-Means完成時(shí)間和數(shù)據(jù)生成時(shí)間與每次運(yùn)行的YCSB完成時(shí)間和數(shù)據(jù)生成時(shí)間大致相同。
測試結(jié)果顯示，浪潮云海OS可以高效完成I/O、計(jì)算等各類負(fù)載的調(diào)度，并且性能增長還具有領(lǐng)先的線性擴(kuò)展能力，完全可以滿足用戶從傳統(tǒng)業(yè)務(wù)到新型大數(shù)據(jù)、人工智能等創(chuàng)新應(yīng)用的上云需求。
浪潮云海OS在此次SPEC Cloud®IaaS 2018測試全部四項(xiàng)關(guān)鍵指標(biāo)中均獲得全球第一絕非偶然，是多年研發(fā)積累的體現(xiàn)：浪潮云海OS在全球第二大開源項(xiàng)目OpenStack中持續(xù)位居社區(qū)黃金會(huì)員，近幾個(gè)版本的社區(qū)貢獻(xiàn)排名穩(wěn)定在全球前十，在最新Ussuri版本社區(qū)貢獻(xiàn)中國第一。2019年浪潮云海OS實(shí)現(xiàn)了基于OpenStack Rocky版本的全球最大規(guī)模單一集群實(shí)踐，通過國家級(jí)權(quán)威機(jī)構(gòu)測試認(rèn)證，被國際知名數(shù)據(jù)分析機(jī)構(gòu)GlobalData評(píng)定為“Very Strong(超強(qiáng)勁)”級(jí)別。以云海OS為代表的OpenStack作為上云首選已進(jìn)入大規(guī)模落地實(shí)踐期，助力用戶數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新基礎(chǔ)設(shè)施。
關(guān)于 SPEC
SPEC是由全球幾十所知名大學(xué)、研究機(jī)構(gòu)、IT企業(yè)組成的第三方測試組織，擁有SPEC CPU、SPEC Power、SPECCloud、SPEC ML等多項(xiàng)公開的標(biāo)準(zhǔn)化測試規(guī)范和模型。并由SPEC網(wǎng)站上公開測試結(jié)果，是全球企業(yè)級(jí)客戶進(jìn)行IT產(chǎn)品、方案選型的主要技術(shù)依據(jù)。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
