看騰訊如何建設(shè)微模塊數(shù)據(jù)中心

騰訊的數(shù)據(jù)中心至少發(fā)展了三代。

據(jù)騰訊IDC平臺(tái)部高級(jí)總監(jiān)楊曉偉介紹,騰訊的第一代數(shù)據(jù)中心采用傳統(tǒng)的電信解決方案,數(shù)據(jù)中心PUE差不多在1.6左右;第二代數(shù)據(jù)中心以天津?yàn)I海(一期)為代表,開啟了騰訊超大規(guī)模數(shù)據(jù)中心的建設(shè)歷程,采用水側(cè)自然冷卻技術(shù),PUE降到1.4;2012年,騰訊進(jìn)一步創(chuàng)新,自行研發(fā)了第三代的數(shù)據(jù)中心技術(shù)--TMDC.

TMDC即騰訊模塊化數(shù)據(jù)中心(Tencent Modular Data Center),指完全按照模塊化設(shè)計(jì)思路搭建的可快速部署的數(shù)據(jù)中心模型,數(shù)據(jù)中心內(nèi)部由多個(gè)完全相同的微模塊(Micro Module)組成;微模塊則是以若干機(jī)架為基本單位,包含制冷模塊、供配電模塊及網(wǎng)絡(luò)、布線、監(jiān)控在內(nèi)的獨(dú)立的運(yùn)行單元,全部組件可在工廠預(yù)制,并可靈活拆卸,快速組裝。

換句話說,微模塊數(shù)據(jù)中心就是IT設(shè)施(服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、機(jī)架)加上部分基礎(chǔ)設(shè)施,如高壓直流UPS、末端精密空調(diào)、末端配電等,是一個(gè)對(duì)外部有部分依賴的微型數(shù)據(jù)中心。工信部2013年11月中對(duì)騰訊寶安數(shù)據(jù)中心的實(shí)測(cè)表明,TMDC 2.0內(nèi)部(不含外部空調(diào)系統(tǒng)如水的損耗,市電+高壓直流)的PUE達(dá)到1.066,要注意這不能代表整個(gè)數(shù)據(jù)中心的PUE水平。

微模塊的關(guān)鍵是產(chǎn)品化、模塊化,把數(shù)據(jù)中心里偏I(xiàn)T的部分打包成一個(gè)標(biāo)準(zhǔn)化的產(chǎn)品,從“風(fēng)火水電”等數(shù)據(jù)中心基礎(chǔ)設(shè)施中獨(dú)立出來,主要組件如行間空調(diào)、直流電源、電池等,都是普通的標(biāo)準(zhǔn)化產(chǎn)品,商業(yè)化程度高,方便靈活配置,隨時(shí)減配或增配,還支持在線擴(kuò)容。如果說集裝箱數(shù)據(jù)中心的應(yīng)用場(chǎng)景優(yōu)勢(shì)在室外,那么微模塊主要是解決數(shù)據(jù)中心內(nèi)部的快速部署。微模塊在結(jié)構(gòu)上與集裝箱數(shù)據(jù)中心最大的區(qū)別是可拆卸,能夠適應(yīng)國(guó)內(nèi)大多數(shù)廠房的條件,對(duì)建筑基本沒有特殊要求,而且方便拼裝、改造、搬運(yùn)。每一個(gè)微模塊可以看作一個(gè)微型的數(shù)據(jù)中心,可以相對(duì)獨(dú)立運(yùn)行,具備自愈的能力。

產(chǎn)品化和模塊化意味著去工程化,TMDC實(shí)際上把原來數(shù)據(jù)中心工程建設(shè)中機(jī)房精裝修、高架地板、回風(fēng)天花板、列頭柜、配電柜、空調(diào)、消防、監(jiān)控、現(xiàn)場(chǎng)測(cè)試驗(yàn)證等工作全部集成在微模塊這樣一個(gè)產(chǎn)品里,以前的大部分現(xiàn)場(chǎng)工程都可以在工廠預(yù)制完成,現(xiàn)場(chǎng)組裝所需人力和時(shí)間都大為縮短。

騰訊天津數(shù)據(jù)中心3號(hào)樓一層和樓頂?shù)墓艿溃@是典型的工程,很難模塊化。整個(gè)天津數(shù)據(jù)中心有上千個(gè)閥門,清楚的了解上千個(gè)閥門的具體位置,也成為天津運(yùn)營(yíng)團(tuán)隊(duì)的工作難點(diǎn)之一(來源:騰訊提供)

這樣還實(shí)現(xiàn)了數(shù)據(jù)中心IT建設(shè)與土建的解耦,不用等待機(jī)房工藝條件明確再做建筑設(shè)計(jì)。因此,騰訊拿到一塊地之后,可以先以最簡(jiǎn)單的廠房形式報(bào)建,把樓先蓋起來,也不用考慮分割機(jī)房,可以是一個(gè)大開間。廠房蓋起來,把一些基礎(chǔ)的水電配套管路做好,再把柴發(fā)、冷機(jī)等基礎(chǔ)設(shè)施裝好,整個(gè)土建部分就完成了。IT部分完全根據(jù)需求去下單定制,即土建部分先行,虛位以待微模塊,從而可以免受機(jī)房建設(shè)進(jìn)度的影響。譬如前面提到的上海青浦?jǐn)?shù)據(jù)中心,是騰訊首次對(duì)外采用與運(yùn)營(yíng)商合建數(shù)據(jù)中心的模式:騰訊負(fù)責(zé)土建建設(shè)、電信負(fù)責(zé)工藝建設(shè),土建與工藝解耦、同步展開,將項(xiàng)目建設(shè)工期從30個(gè)月減少到24個(gè)月,節(jié)省了半年的時(shí)間。

微模塊的靈活性和效率也是騰訊看重的優(yōu)勢(shì)。傳統(tǒng)數(shù)據(jù)中心設(shè)計(jì)時(shí)不知道機(jī)器的布局,采取就高不就低的原則,每一個(gè)機(jī)架都得按照高功耗的需求(供電、制冷)設(shè)計(jì),可能造成數(shù)據(jù)中心設(shè)計(jì)容量遠(yuǎn)超實(shí)際使用的容量,造成很大的浪費(fèi);投產(chǎn)之后,可能會(huì)出現(xiàn)高功耗和低功耗的機(jī)柜混雜在一起的情況,也會(huì)產(chǎn)生一些局部的熱點(diǎn)。TMDC把制冷系統(tǒng)從整個(gè)機(jī)房離散到微模塊里,可以自行配制高低功耗類型,設(shè)計(jì)不同功耗等級(jí)的微模塊;或者把所有微模塊的功耗密度都設(shè)計(jì)成一樣的,不用去區(qū)分高功耗模塊和低功耗模塊。微模塊內(nèi)部可以同時(shí)有高功耗和低功耗的服務(wù)器,因?yàn)槲⒛K內(nèi)部的制冷空間非常小,行間制冷的優(yōu)勢(shì)得以體現(xiàn),可以在一個(gè)小空間里形成一個(gè)相對(duì)均衡的靜壓箱。

天津?yàn)I海數(shù)據(jù)中心3號(hào)樓里的騰訊微模塊(TMDC),可以看到近處的這兩個(gè)都使用了整機(jī)柜(共8個(gè))。TMDC采用冷通道密閉的方式,便于發(fā)揮行間制冷的優(yōu)勢(shì),對(duì)南方炎熱潮濕的氣候和非自建數(shù)據(jù)中心的適應(yīng)性較好(來源:騰訊提供)

從數(shù)據(jù)中心運(yùn)營(yíng)的角度來看,微模塊的顆粒度比數(shù)據(jù)中心小,又比服務(wù)器乃至整機(jī)柜大,作為標(biāo)準(zhǔn)化的資源居于二者之間,便于全局調(diào)度。以微模塊作為一個(gè)資源運(yùn)作單位,可以整體上架、整體改造(如服務(wù)器機(jī)型發(fā)生變化)、整體退役,并且方便搬遷,不受服務(wù)器與數(shù)據(jù)中心生命周期不一致的影響;業(yè)務(wù)需要分布冗余的時(shí)候,可以微模塊而不是服務(wù)器作為容災(zāi)的基本單位,同一個(gè)園區(qū)可以跨微模塊分布,更靈活和節(jié)省投資。數(shù)據(jù)中心基礎(chǔ)設(shè)施(風(fēng)火水電)的運(yùn)營(yíng)與IT運(yùn)營(yíng)也分開了,可以大幅度簡(jiǎn)化管理。

下一步是數(shù)據(jù)中心監(jiān)管控系統(tǒng)的南向和北向接口的標(biāo)準(zhǔn)化工作。南向接口是面向微模塊內(nèi)部的控制單元接口,北向接口是到運(yùn)營(yíng)管理平面的接口,騰訊希望把這兩個(gè)軟件接口標(biāo)準(zhǔn)化,這樣就可以用運(yùn)營(yíng)管理系統(tǒng)把海量的數(shù)據(jù)中心智能、有效地運(yùn)營(yíng)管理起來,化解運(yùn)營(yíng)方面日益嚴(yán)峻的挑戰(zhàn)。前兩章中我們已經(jīng)粗略談過Google和Facebook在這個(gè)方向上的努力,可見大勢(shì)所趨。

在各種新業(yè)務(wù)層出不窮、快速發(fā)展的互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)中心建設(shè)速度只有更快,沒有夠快。美國(guó)和中國(guó)的互聯(lián)網(wǎng)巨頭都將模塊化數(shù)據(jù)中心作為發(fā)展方向,即數(shù)據(jù)中心建設(shè)盡量由傳統(tǒng)的工程項(xiàng)目變成工廠生產(chǎn)、現(xiàn)場(chǎng)組裝的方式,標(biāo)準(zhǔn)化、快速部署、降低成本。從這一點(diǎn)來說,騰訊的微模塊數(shù)據(jù)中心與Facebook的RDDC(Rapid Deployment Data Center,快速部署數(shù)據(jù)中心)基于同樣的思想,只是由于國(guó)情不同而在技術(shù)路線上各有側(cè)重。

在大環(huán)境允許的情況下,像Facebook這樣的公司,已經(jīng)在嘗試包括基礎(chǔ)設(shè)施在內(nèi)的整個(gè)數(shù)據(jù)中心的模塊化。中國(guó)則不同,單憑水循環(huán)管道的存在,就很難實(shí)現(xiàn)數(shù)據(jù)中心基礎(chǔ)設(shè)施的模塊化。在這種情況下,圍繞IT設(shè)施的模塊化工作便成了BAT的重點(diǎn)。以機(jī)架為單元的天蝎項(xiàng)目是一例,而將多個(gè)機(jī)柜連同冷/熱通道組件等作為一個(gè)整體是更大范圍上的模塊化,如百度的預(yù)模塊、騰訊的微模塊,F(xiàn)acebook的RDDC也包括相應(yīng)的部分。

浪潮宣稱,微模塊數(shù)據(jù)中心(MDC)的部署速度可以是整機(jī)柜的三倍

微模塊數(shù)據(jù)中心不僅具有模塊化數(shù)據(jù)中心標(biāo)準(zhǔn)化、部署靈活快速的優(yōu)點(diǎn),還方便遷移,對(duì)使用第三方數(shù)據(jù)中心格外有幫助。當(dāng)然,百度和騰訊的業(yè)務(wù)情況不同,運(yùn)用起來側(cè)重點(diǎn)有所差異:騰訊的產(chǎn)品很多,一個(gè)業(yè)務(wù)上線初期很難估計(jì)其使用量,微模塊顆粒度相對(duì)較細(xì)(又比整機(jī)柜粗,交付更快),小量部署也更具經(jīng)濟(jì)性;百度預(yù)模塊的做法更像Facebook和Google,便于快速大規(guī)模部署--Facebook在瑞典實(shí)踐RDDC,動(dòng)因就是瑞典人工和物料貴,F(xiàn)acebook希望用模塊化預(yù)制方式解決當(dāng)?shù)厝耸侄倘钡膯栴}。

注:本部分參考了騰訊IDC平臺(tái)部技術(shù)發(fā)展中心副總監(jiān)朱華、騰訊數(shù)據(jù)中心架構(gòu)師李典林的演講和時(shí)任騰訊天津數(shù)據(jù)中心高級(jí)經(jīng)理閆昆的介紹。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2015-07-05
看騰訊如何建設(shè)微模塊數(shù)據(jù)中心
騰訊的數(shù)據(jù)中心至少發(fā)展了三代。據(jù)騰訊IDC平臺(tái)部高級(jí)總監(jiān)楊曉偉介紹,騰訊的第一代數(shù)據(jù)中心采用傳統(tǒng)的電信解決方案,數(shù)據(jù)中心PUE差不多在1 6左右;第二代數(shù)據(jù)中心以天津?yàn)I海(一期)為代表,開啟了騰訊超大規(guī)模數(shù)據(jù)中心的建設(shè)歷程,采用水側(cè)自然冷卻技術(shù),PUE降到1 4;2012年,騰訊進(jìn)

長(zhǎng)按掃碼 閱讀全文