6月9日,信服云容災技術負責人XiaSiming 在信服云《Tech Talk · 云技術有話聊》系列直播課上分享了《深信服混合云容災技術解析》,詳細介紹了信服云容災的價值、混合云容災技術介紹、容災場景實踐等內容。以下是他分享的內容摘要,想要了解更多可以關注“深信服科技”公眾號觀看直播回放。
一、容災價值
隨著互聯(lián)網(wǎng)業(yè)務的蓬勃發(fā)展,云計算平臺承載著用戶的更多業(yè)務,容災在很大程度上可以保障用戶的業(yè)務安全。
容災包括合規(guī)要求、安全事件、災難故障等,針對運維人員少、技術水平有限、預算有限等問題,信服云容災技術方案為用戶打造了簡單、可靠、靈活、高性價比的解決方案。
信服云容災主要以下四個特點:
簡單易用:為用戶提供云平臺一體化的運維體驗,不需要專業(yè)的災備能力也能實現(xiàn)災備。
安全可靠:確保數(shù)據(jù)一致性,容災恢復效果,閑時可驗證,及時可恢復。
靈活配置:靈活的災備策略(CDP、定時備份)、保留策略,滿足本異地分級保護需求。
高性價比:相比自建機房,整體成本更優(yōu),上限實施更快,且可提供貼身運維式服務,降低用戶自身運維壓力。
混合云容災技術介紹
容災是指虛擬機在生產中心(主站點)保存一份備份,同時在容災中心(備站點)保存一份副本。隨時可以在主站點和備站點根據(jù)需要通過備份來恢復虛擬機,當用戶虛擬機業(yè)務因意外停止工作時,可以通過切換站點使業(yè)務繼續(xù)正常工作的系統(tǒng)。
深信服混合云容災當前實現(xiàn)的是虛擬機級別的容災。在容災過程中,用戶虛擬機業(yè)務不會受到影響。
根據(jù)業(yè)務重要程度的不同,可以實現(xiàn)不同RPO(Recovery Point Object)的容災保護級別。容災保護可以分為備份保護和CDP保護(持續(xù)數(shù)據(jù)保護)。容災恢復包括災難恢復和計劃內恢復;恢復后虛擬機運行在備站點。當主站點恢復正常后,可將業(yè)務虛擬機從備站點回遷到主站點運行。
容災流程操作的第一步是創(chuàng)建一個容災保護策略。將需要保護的虛擬機加入到容災保護策略中。根據(jù)虛擬機業(yè)務的重要程度,定義容災保護的RPO。創(chuàng)建容災保護策略后,會在備站點同時創(chuàng)建一個對應的容災備機。容災保護根據(jù)RPO的不同要求,有備份保護和CDP保護。
在備份保護過程中,會通過bitmap來讀取虛擬機磁盤上新增的I/O數(shù)據(jù),轉化成qcow2保存在主站點的備份存儲上。同時定時將該備份文件傳輸?shù)絺湔军c的備份存儲上進行保存。
在CDP保護過程中,當受保護的業(yè)務有IO操作時,會將所有的IO操作通過日志文件的形式保存到主站點存儲塊上。同時實時將IO文件傳輸?shù)絺湔军c的存儲塊上進行保存。當主站點發(fā)生災難時,需要在備站點恢復虛擬機業(yè)務。通過傳輸?shù)絺湔军c的備份點快速恢復虛擬機,同時對虛擬機進行開機操作。主站點恢復正常后,將運行在備站點的虛擬機回遷到主站點。此外,也會對備站點虛擬機進行一次備份,確保回遷后的虛擬機不丟失數(shù)據(jù),然后再將備站點的增量備份傳輸回主站點,最后在主站點進行覆蓋恢復。
備份分為全量備份、增量備份。在全量備份過程中,虛擬機會在BITMAP將磁盤數(shù)據(jù)的全部數(shù)據(jù)塊都標記為臟,然后將全量數(shù)據(jù)從虛擬機運行存儲中讀取出來,寫入到qcow2備份文件中。在此期間,虛擬機在備份過程中會監(jiān)控磁盤數(shù)據(jù)塊的變化情況,并記錄在BITMAP中,便于后續(xù)進行增量備份。在增量備份中,虛擬機會通過BITMAP讀取磁盤上的增量臟數(shù)據(jù),將數(shù)據(jù)寫入備份存儲的qcow2文件中,同時通過BITMAP記錄新的臟數(shù)據(jù)塊。一般情況下,在某個存儲首次備份或者某個備份點損壞時,才會進行全量備份,其他情況一般都進行增量備份。
對于CDP備份,虛擬機所有的I/O操作落盤后,復制出一份I/O,寫入到指定配置的I/O日志存儲中,將I/O操作記錄成I/O日志文件保存。
CDP備份過程中,會實時記錄I/O日志,定期(最短1s)生成一致性的RP點。CDP只記錄用戶進行的I/O操作,但并不會去記錄原始磁盤的狀態(tài)。需要依賴虛擬機所做的備份點。IOLOG和備份點相結合,才能真實還原某個時間點磁盤的真實狀態(tài)。
信服云CDP備份優(yōu)勢體現(xiàn)在這五個方面:
1.同時進行虛擬機IO數(shù)據(jù)備份
虛擬機啟動時,不需要等待CDP數(shù)據(jù)同步完成,就可以開啟業(yè)務,同時進行虛擬機IO數(shù)據(jù)的備份。
2.緩存異步復制
對虛擬機的IO數(shù)據(jù)采用了緩存異步復制技術,開啟CDP功能后,會從qemu的block層復制IO數(shù)據(jù)到iolog buffer,然后由cdp_worker服務異步寫入到iolog系統(tǒng),整個過程對虛擬機的io性能無任何影響。
3.虛擬機的CDP能夠動態(tài)開啟和關閉
虛擬機的CDP能夠動態(tài)開啟和關閉,在實際使用中會比較靈活。例如,對正在運行的虛擬機,不需要重啟或中斷業(yè)務,就可以開啟CDP。
4.虛擬機與CDP在邏輯上進行故障隔離
虛擬機與CDP在邏輯上進行了故障隔離,當CDP模塊出現(xiàn)故障時,不會影響虛擬機的業(yè)務。當故障消除后,CDP模塊會自動恢復運行。
5.快速瀏覽指定CDP備份內的文件
支持快速瀏覽指定CDP備份內的文件,方便用戶快速從CDP備份中獲取數(shù)據(jù)文件。
由于備份記錄的是一段時間磁盤數(shù)據(jù)的變化量,那么備份點就會存在冗余數(shù)據(jù),為了盡量減少冗余量,合理利用存儲資源,需要對備份進行定期清理。清理備份是根據(jù)備份點的時間,從最早的備份點開始清理。依賴QEMU COMMIT的原理,將前一個備份跟后一個備份進行合并,去掉其中重復的數(shù)據(jù)。容災主站點的IOLOG的清理,是直接刪除I/O日志。而備站點是通過回放的方式,將IOLOG合并成一個備份。
在數(shù)據(jù)傳輸優(yōu)化上,信服云使用性能更高的lz4來替換原生的zlib壓縮算法,將單核的壓縮性從100MB/s提升到700MB/s,同時滿足萬兆帶寬場景,QEMU壓縮線程的CPU消耗從1000%降低到200%。
三、容災場景實踐
容災場景實踐分為本地數(shù)據(jù)中心容災到云上、云上跨區(qū)域容災、云上容災到本地數(shù)據(jù)中心。
本地數(shù)據(jù)中心容災到云上
該場景主要針對的是用戶的業(yè)務運行在線下資源池,需要將線下的資源池的業(yè)務容災到線上的信服云上。此時需要在用戶線下和線上之間,打通鏈路后將線下的業(yè)務數(shù)據(jù)備份通過容災網(wǎng)關傳輸?shù)骄€上的數(shù)據(jù)中心中,然后保存在線上的共享存儲中,當用戶出現(xiàn)故障時,即可隨時從線上的共享存儲拉起虛擬機,將業(yè)務恢復到線上的數(shù)據(jù)中心。當需要將線上的數(shù)據(jù)回遷回線下數(shù)據(jù)中心時,可將線上數(shù)據(jù)中心虛擬機產生的臟數(shù)據(jù)通過容災網(wǎng)關回遷到線下的數(shù)據(jù)中心,整個流程即可對用戶的線下資源池進行業(yè)務保護。
云上跨區(qū)域容災
云上跨區(qū)域容災該場景主要針對的是用戶本身的業(yè)務虛擬機已經(jīng)運行在信服云的云平臺上。當用戶需要將信服云平臺上的數(shù)據(jù)容災到另外一個資源池,實現(xiàn)異地容災,以確保數(shù)據(jù)的安全性。此時需要將線上的兩個數(shù)據(jù)中心之間鏈路進行打通,打通后線上數(shù)據(jù)中心A可以將用戶的業(yè)務數(shù)據(jù)通過容災網(wǎng)關容災到線上數(shù)據(jù)中心B以達到容災的效果。
云上容災到本地數(shù)據(jù)中心
此場景主要針對的是用戶的業(yè)務運行已經(jīng)運行在信服云的云平臺上。用戶需要將云上的業(yè)務容災到異地的線下的私有云場景,此時用戶的業(yè)務運行在信服云的云平臺上,需要先打通信服云平臺跟線下的私有云之間的網(wǎng)絡鏈路,通過信服云容災網(wǎng)關將線上的業(yè)務數(shù)據(jù)從共享存儲中讀取出來生成備份,然后將備份傳輸?shù)骄€下資源池中,存儲到線下資源池的備份存儲中。當出現(xiàn)業(yè)務故障時,可隨時在線下資源池通過恢復拉起的方式將線下虛擬機在線下資源池進行拉起,拉起完成后可隨時將線下的數(shù)據(jù)通過容災網(wǎng)關回遷到線上的數(shù)據(jù)中心,以達到故障容災的效果。
以上是信服云在混合云容災過程中的技術方案和實踐介紹。想要了解更多可以關注“深信服科技”公眾號觀看直播回放。
(免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )