KubeCon + CloudNativeCon帶你深入Kubernetes: 從可觀察性、性能、安全身份策略、機(jī)器學(xué)習(xí)數(shù)據(jù)入手

引言

“我們應(yīng)該忘記小的效率，在大約97%的時(shí)間里：過早的優(yōu)化是萬惡之源。

----Donald Knuth《結(jié)構(gòu)化編程與go to語句》

圍繞 Kubernetes 所構(gòu)建起來的項(xiàng)目儼然已經(jīng)成為了現(xiàn)代基礎(chǔ)設(shè)施的骨干。下圖來自 Kubernetes 在 GitHub 網(wǎng)站的代碼相關(guān)度的圖示(來源：阿里巴巴開源治理辦公室 趙笙雨)：

從這個(gè)角度來看，Kubernetes 像傳統(tǒng)意義上的計(jì)算機(jī)操作系統(tǒng)一樣，不僅要承載底層的網(wǎng)絡(luò)、存儲(chǔ)、資源調(diào)度等功能，還要擔(dān)起各種應(yīng)用調(diào)用的管理、性能的監(jiān)控、以及身份/安全/策略等，一個(gè)分布式的操作系統(tǒng)儼然已經(jīng)成型。那么我們不妨以這樣的一個(gè)角度來切入，來試圖探究 Kubernetes 的衡量與效用。

分論壇主題介紹　　

可觀察性　　

你很難想象沒有衡量的世界是什么樣的?從人體的溫度、心臟跳動(dòng)的次數(shù)、大氣的壓力、計(jì)算機(jī)的運(yùn)算能力、磁盤的存儲(chǔ)能力、電商網(wǎng)站的交易量……毋寧說這個(gè)世界由可觀察性 - 衡量來驅(qū)動(dòng)的，你知道目前人類百米速度可以達(dá)到多少、超級(jí)計(jì)算機(jī)可以每秒計(jì)算多大的數(shù)據(jù)、人類距離火星有多遠(yuǎn)、距離下一次哈雷彗星略過地球還有多少天……沒有衡量，現(xiàn)代人恐怕連門都出不了，今天的交通是否擁堵?空氣濕度如何?風(fēng)力多大?飛機(jī)是否延時(shí)?現(xiàn)在時(shí)刻是幾時(shí)?我昨天下的訂單，今天什么時(shí)候可以拿到?

回到計(jì)算機(jī)本身，回到分布式系統(tǒng)本身，我們要知道 Kubernetes 的網(wǎng)絡(luò)流量、服務(wù)發(fā)現(xiàn)、性能調(diào)度等等諸多指標(biāo)項(xiàng)，方能進(jìn)行改進(jìn)和優(yōu)化。本屆 KubeCon + CloudNativeCon 帶來的關(guān)于可觀察性的議題有關(guān)于圍繞 Kubernetes 的各種監(jiān)控工具的介紹和實(shí)踐：

來自 Improbable 的兩位工程師 Dominic Green 和 趙一凡，給我們介紹Improbable 如何能成功擴(kuò)展指標(biāo)平臺(tái)，達(dá)到全球規(guī)模。Prometheus 是Improbable平臺(tái)的堅(jiān)實(shí)基礎(chǔ)，Thanos 是一個(gè) OSS 項(xiàng)目，可確保 Prometheus 抓取工具的全球查詢和高可用性。通過添加 Envoy，Improbable 可以解鎖跨集群、跨云通信，支持工程師全面監(jiān)控遍布全球的 Kubernetes 平臺(tái)。

Alibaba 因?yàn)橛须p11背書，有著全球罕見的交易高峰挑戰(zhàn)，所以對(duì)性能的可觀察性、可用性、故障的快速恢復(fù)有著難以項(xiàng)背的經(jīng)驗(yàn)，這次峰會(huì)帶來兩場關(guān)于此方面的分享，分別是：　　

關(guān)于 Prometheus 和 Thanos 的擴(kuò)展，來自阿里巴巴的工程師 Tao Li 和他的同事 Guo'an Qin 來分享：1、如何使用 Prometheus 支持大規(guī)模場景?2、如何使用 Thanos 實(shí)現(xiàn)低查詢延遲，從而解決多個(gè) Prometheus 實(shí)例導(dǎo)致的數(shù)據(jù)查詢問題?3、我們從 Prometheus 和 Thanos 配置中汲取的經(jīng)驗(yàn)教訓(xùn)，例如目標(biāo)發(fā)現(xiàn)以及記錄和警報(bào)規(guī)則管理。

關(guān)于超大規(guī)模的容器故障恢復(fù)，由阿里巴巴的工程師 Xiong Huan 帶來：如何利用 1-5-10 提高大規(guī)模容器的可靠性：1、如何在本地建立一個(gè)有效代理，在 1 分鐘內(nèi)檢測到問題;2、如何借助專家知識(shí)庫智能診斷容器問題;3.如何以故障驅(qū)動(dòng)型方式自動(dòng)恢復(fù)容器問題。

來自 Apache 基金會(huì)的頂級(jí)項(xiàng)目 SkyWalking 項(xiàng)目展示，這充分體現(xiàn)了社區(qū)的寬容性，來自 Apache 成員，SkyWalking 的 PMC Sheng Wu，將和他在 Tetrate 的同事 Lizan Zhou 來和大家分享 SkyWalking 和 Envoy 配合，在沒有代碼注入技術(shù)或 Istio Mixer 的情況下，我們可以從 Envoy 構(gòu)建遙測并在 SkyWalking 中進(jìn)行分析，并且性能良好。用戶可以獲得清晰直觀的服務(wù)拓?fù)鋱D、指標(biāo)圖、請(qǐng)求詳細(xì)信息和錯(cuò)誤消息。充分體現(xiàn)開源的開放優(yōu)勢(shì)，無縫整合所有兼容性的項(xiàng)目。

那么，KubeCon + CloudNativeCon 的可觀察性論壇都有哪些精彩演講呢?

內(nèi)容更新請(qǐng)參閱選擇：KC+CNC - 可觀察性。

身份 + 安全 + 策略

似乎所有人都會(huì)在開源的易用性和安全性上下功夫，就在整個(gè)行業(yè)趨于開源和基于云的大勢(shì)之下，唯有一個(gè)領(lǐng)域巍然不動(dòng)，甚至還有上升的趨勢(shì)，那就是關(guān)于身份/安全/策略的問題，這其中的永恒平衡之道，確實(shí)也是充滿商業(yè)機(jī)會(huì)的空間。看看這次有何精彩的平衡之道：

Isaku Yamahata – Intel云軟件架構(gòu)師

來自 Intel 的 Isaku Yamahata 和來自阿里巴巴的 Xiaoning Li 將給我們帶來，Software Guard Extention (SGX) 提供只信任英特爾和 SGX 實(shí)施，連 OS / VMM / BIOS 都不信任的可信執(zhí)行環(huán)境 (TEE)。它需要修改應(yīng)用，但由于各種原因有時(shí)很難修改應(yīng)用。理想情況下，未修改的用戶二進(jìn)制文件可以在 SGX 安全區(qū)中運(yùn)行。帶來允許未修改的二進(jìn)制文件在 SGX TEE 中運(yùn)行的庫操作系統(tǒng)。它通過替換共享庫來掛鉤系統(tǒng)調(diào)用。Go 是云原生應(yīng)用的最流行語言，具有使用靜態(tài)鏈接的獨(dú)特能力。對(duì) Graphene LibOS 進(jìn)行了增強(qiáng)以支持 golang 二進(jìn)制，并將其硬化以供生產(chǎn)使用。將分享為 Graphene - SGX LibOS 添加 golang 支持的經(jīng)驗(yàn)以及未來的計(jì)劃。

Torin Sandall – Styra軟件工程師

來自微軟公司的 Nikhil Bhatia 和 Styra 的 Torin Sandall 將介紹由 Google、Microsoft 和 CNCF 的開放策略代理 (OPA) 項(xiàng)目與社區(qū)共同開發(fā)的全新 Gatekeeper 項(xiàng)目。在這次分享中，作為聽眾的您將會(huì)了解如何著手使用上游策略庫，其中包括適用于常見場景的規(guī)則，例如鏡像注冊(cè)表白名單、標(biāo)簽管理等。還將了解如何使用自己的自定義規(guī)則擴(kuò)展 Gatekeeper，然后將其貢獻(xiàn)回社區(qū)。最后，如何在軟件生命周期的不同階段(例如CI / CD 和審計(jì))應(yīng)用相同的策略。

Google 提出的 SPIFFE，該提議使用 SPIFFE 提出的信任域和捆綁標(biāo)準(zhǔn)解決了不同信任域之間的基本身份聯(lián)合問題。作為 SPIFFE / SPIRE 的重要協(xié)作者，Istio 采用此標(biāo)準(zhǔn)來支持與 SPIRE 和其他身份系統(tǒng)的聯(lián)合。這一新提出的標(biāo)準(zhǔn)可支持多個(gè)服務(wù)網(wǎng)格安全地建立信任，從而進(jìn)行跨網(wǎng)格安全通信。以上內(nèi)容將由 Google 的工程師 Yonggang Liu 和 Wenchenglu 來共同分享。

Brandon Lum – IBM軟件工程師

來自IBM的工程師則會(huì)介紹關(guān)于加密容器鏡像方面的內(nèi)容，他們會(huì)向觀眾展示用戶如何在構(gòu)建過程中創(chuàng)建加密容器的端到端流程，以使用建議的 ImageDecryptSecrets 在 Kubernetes 集群上運(yùn)行加密容器鏡像。以及還將展示加密鏡像 OCI 規(guī)范如何通過容器鏡像的分層來進(jìn)行細(xì)粒度加密。最后，會(huì)討論下 Image Encryption 將如何集成到容器生態(tài)系統(tǒng)中，并討論容器 DevSecOps 管道創(chuàng)新的幾種可能性。他們是 Brandon Lum 和 Harshal Patil。

那么，KubeCon + CloudNativeCon 的安全 + 身份 + 策略論壇都有哪些精彩演講呢?

內(nèi)容更新請(qǐng)參閱選擇：KC+CNC - 安全 + 身份 + 策略。

性能　　

從匠藝的角度來講，工程師恨不能榨干計(jì)算機(jī)的每一份能力，但是往往事情并不是那么理想的狀態(tài)，還是需要根據(jù)實(shí)際的場景進(jìn)行適當(dāng)?shù)恼{(diào)整，這個(gè)世界沒有適合所有人腳的鞋子的，只能具體的情況具體分析。

Scott Zhou –騰訊 專家工程師

Serverless 是騰訊云押寶的重要技術(shù)領(lǐng)域，所以總要和這個(gè)扯上點(diǎn)關(guān)系，不過 Serverless 確實(shí)遇到很大的挑戰(zhàn)就是如何快速的響應(yīng)突入起來的代碼請(qǐng)求，即所謂的冷啟動(dòng)問題，騰訊的工程師 Scott Zhou 和 Yanbo Li 分三個(gè)部分來講解他們的實(shí)踐：首先，會(huì)介紹下騰訊云的 SCF 架構(gòu) - 包括網(wǎng)絡(luò)、基礎(chǔ)設(shè)施和功能部署 - 以及導(dǎo)致冷啟動(dòng)延遲的因素。接著會(huì)介紹下為改進(jìn)冷啟動(dòng)而正在進(jìn)行的架構(gòu)更改，包括對(duì)彈性網(wǎng)絡(luò)接口的改進(jìn)、從容器到微虛擬機(jī)的遷移、功能代碼部署和資源重用。最后，會(huì)介紹下如何將 ML 與自動(dòng)縮放相結(jié)合，以避免冷啟動(dòng)。

Google 這個(gè)環(huán)節(jié)仍然不會(huì)缺席，由 Jingyi Hu 和 Wenjia Zhang 帶來的是 etcd 相關(guān)的內(nèi)容，首先，必須監(jiān)控是否存在 leader，否則系統(tǒng)將變得不可用。此外，頻繁的領(lǐng)導(dǎo)變動(dòng)可能會(huì)影響共識(shí)系統(tǒng)的性能。因此，leader 相關(guān)指標(biāo)至關(guān)重要。其他一些 etcd 指標(biāo)也需要特別注意。磁盤 I / O 和網(wǎng)絡(luò) I / O 相關(guān)指標(biāo)提示物理約束。延遲和吞吐量指標(biāo)只有在硬件配置中進(jìn)行交叉引用時(shí)才有意義。我們將向大家介紹 etcd 基準(zhǔn)測試工具，解釋重要的 etcd 指標(biāo)，并最終幫助您了解如何在一些案例研究中應(yīng)用 etcd 指標(biāo)。

Josh Berkus – Red Hat社區(qū)領(lǐng)導(dǎo)

云原生改變了一些過去的基準(zhǔn)測試，比如數(shù)據(jù)庫，紅帽作為企業(yè)開源的帶頭人，敢為身先也是絕了，Josh Berkus 將會(huì)和大家分享在過去幾個(gè)月中，紅帽對(duì) PostgreSQL、CockroachDB 和文件系統(tǒng)的基準(zhǔn)測試結(jié)果，以便讓聽眾可以做出最好的權(quán)衡。甚至還會(huì)教您如何對(duì)自己的平臺(tái)進(jìn)行基準(zhǔn)測試。

阿里巴巴認(rèn)為自己是 Kubernetes 的不錯(cuò)的實(shí)踐者了，甚至開始改進(jìn)原生的功能，比如 Kubernetes Master 節(jié)點(diǎn)的性能，這次帶來的分享是如何進(jìn)行各種基準(zhǔn)測試和性能分析的。又是如何對(duì)主設(shè)備進(jìn)行調(diào)整/微調(diào)，并將主設(shè)備的性能提升 100 倍以上。目前，運(yùn)行 10K 節(jié)點(diǎn) kubernetes 集群同運(yùn)行 2k 節(jié)點(diǎn)集群一樣流暢。

那么，KubeCon + CloudNativeCon 的性能論壇都有哪些精彩演講呢?

內(nèi)容更新請(qǐng)參閱選擇：KC+CNC - 性能?！　?/p>

機(jī)器學(xué)習(xí) + 數(shù)據(jù)　　

毫無諱言，人工智能相關(guān)的技術(shù)需要分布式的計(jì)算環(huán)境，基于 Kubernetes 的相關(guān)內(nèi)容也在不斷的不工程師們所挖掘和探討，比如 Kubeflow 就是基于此形式下的一次很好的嘗試，Kubeflow 提供了在 Kubernetes下做 TensorFlow 的相關(guān)計(jì)算，而 TensorFlow 則也是炙手可熱的開源項(xiàng)目，我們就來介紹三個(gè)相關(guān)的議題：

Google 的 Richard Liu 和思科的 Johnu George 將向我們介紹關(guān)于 Kubeflow 的最佳實(shí)踐：在機(jī)器學(xué)習(xí)中，超參數(shù)調(diào)優(yōu)是指為訓(xùn)練模型找到最優(yōu)約束的過程。選擇最優(yōu)超參數(shù)可以大幅提高算法的性能，但是該過程既耗時(shí)又昂貴。有鑒于此，發(fā)起了 Katib 開源項(xiàng)目，在 Katib - Kubeflow 平臺(tái)中推出了超參數(shù)調(diào)優(yōu)服務(wù)。Katib 以自定義資源的形式提供了一套豐富的管理 API。我們將演示如何在筆記本環(huán)境中訓(xùn)練模型、配置超參數(shù)調(diào)優(yōu)研究，以及如何在 UI 儀表板中比較實(shí)驗(yàn)結(jié)果。

Lei Xue – Momenta技術(shù)負(fù)責(zé)人　　

自動(dòng)駕駛汽車需要硬件加速機(jī)器學(xué)習(xí)來解決跟蹤和分類等關(guān)鍵問題。Momenta 在本地和公共云中訓(xùn)練 ML 模型，每個(gè)模型有著不同的 GPU 和網(wǎng)絡(luò)接口(Infiniband，RoCE)。在本次演講中，來自 Momenta 的 Lei Xue 和 Google Fei Xue 將討論如何使用 Kubernetes 構(gòu)建多云ML 平臺(tái)，特別是如何在不同環(huán)境中管理訓(xùn)練數(shù)據(jù);如何處理多用戶和群組調(diào)度;以及如何支持異構(gòu)硬件。

深度學(xué)習(xí)任務(wù)既是網(wǎng)絡(luò)密集型又是 GPU 密集型，因此對(duì)編排進(jìn)行適當(dāng)優(yōu)化非常重要。易發(fā)的不平衡會(huì)導(dǎo)致閑置計(jì)算容量，這對(duì)于 GPU 節(jié)點(diǎn)來說成本太高昂了(與 CPU 相比)。通過分享的經(jīng)驗(yàn)，希望可提供有用的洞察，幫助從機(jī)器學(xué)習(xí)任務(wù)中獲得更好的經(jīng)濟(jì)效益。來自螞蟻金服的 Yuan Tang 和 MobileIron 的 Yong Tang 將帶來將分享他們的一線經(jīng)驗(yàn)，并比較兩個(gè)開源 Kubernetes 運(yùn)算符：tf - operator 和 mpi - operator。這兩個(gè)運(yùn)算符都為 TensorFlow 管理訓(xùn)練任務(wù)，但有著不同的分配策略，這就造成了 CPU、GPU 和網(wǎng)絡(luò)利用率方面的不同性能結(jié)果。解決這些問題的實(shí)踐就是這次要和大家分享的。

那么，KubeCon + CloudNativeCon 的機(jī)器學(xué)習(xí) + 數(shù)據(jù)論壇都有哪些精彩演講呢?

內(nèi)容更新請(qǐng)參閱 https://kccncosschn19chi.sched.com 選擇：KC+CNC - 機(jī)器學(xué)習(xí) + 數(shù)據(jù)。

總結(jié)

300+ 的演講者分享，任誰也無法照顧到所有，我們會(huì)盡最大努力幫助你梳理，根據(jù)你的興趣來找到對(duì)應(yīng)的分享嘉賓，讓你有所成長、有所收獲。

在即將迎來的 Kubernetes 五周年之際，知名媒體《財(cái)富》發(fā)文總結(jié)了 Kubernetes 帶給開源社區(qū)的五大業(yè)績，確實(shí)是實(shí)至名歸：

1.Kubernetes 獲得了開源社區(qū)的青睞;

2.Kubernetes 開創(chuàng)了新的市場和生態(tài);

3.Kubernetes 贏得了企業(yè)級(jí)市場;

4.Kubernetes 正在成為現(xiàn)代基礎(chǔ)設(shè)施的骨干;

5.Kubernetes 創(chuàng)建了數(shù)萬個(gè)工作崗位。

再回到我們文章開頭的部分，有人如此下結(jié)論說，一個(gè)開源項(xiàng)目的成熟和壯大，不僅僅是很多巨頭參與進(jìn)來，而是圍繞此產(chǎn)生的利基市場的創(chuàng)業(yè)公司開始豐富起來了，從可觀察性、安全/身份/策略、性能、機(jī)器學(xué)習(xí)和數(shù)據(jù)這幾大塊來說，可以明顯的證明這個(gè)強(qiáng)相關(guān)性。期待作為觀眾的你不要錯(cuò)過這樣的機(jī)會(huì)。圍繞 Kubernetes 的生態(tài)尚處于早期，從跨域鴻溝的理論即市場生命周期來講，尚處于早期采用者階段，加入這個(gè)生態(tài)是有很多機(jī)會(huì)存在的，值得去奮斗并把握!

出乎意料的是，本次大會(huì)的售票異?；鸨?，出于會(huì)場的安全考慮，參加大會(huì)的人數(shù)是被嚴(yán)格限制的，會(huì)務(wù)組將根據(jù)注冊(cè)的人數(shù)提前關(guān)閉超過限額的售票通道，所以千萬不要等到通道被關(guān)閉后再追悔莫及，且現(xiàn)在的票價(jià)還有優(yōu)惠。　　

標(biāo)準(zhǔn)票價(jià)優(yōu)惠只到6月6日，欲購從速：　　

標(biāo)準(zhǔn)注冊(cè)：2000人民幣(晚注冊(cè)2400，即時(shí)可省400!)

貴賓注冊(cè)：5000人民幣(晚注冊(cè)6000，即時(shí)可省1000!)

個(gè)人或?qū)W術(shù)注冊(cè)：500人民幣(需要發(fā)送電子郵件至events@cncf.io申請(qǐng)批準(zhǔn)。晚注冊(cè)600，即時(shí)可省100!)

請(qǐng)!注!意!6月7日下周五就要實(shí)行晚注冊(cè)票價(jià)了，切勿猶豫不決，抓住最后標(biāo)準(zhǔn)票的機(jī)會(huì)。

2019年 6月24日~26日，請(qǐng)大家抓住機(jī)會(huì)，我們?cè)谏虾Ｊ啦┲行牟灰姴簧?

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。