Kubernetes是云計算發(fā)展演進(jìn)的一次徹底革命性的突破。如今，已經(jīng)有越來越多的企業(yè)逐漸接受并將自己的核心業(yè)務(wù)系統(tǒng)遷移到Kubernetes平臺。本期智匯華云，華云數(shù)據(jù)為大家?guī)鞬ubernetes特性——In-Tree to CSI Volume Migration。
背景
In-tree
kubernetes早期通過in-tree的方式來為容器提供存儲，in-tree可以理解為對接外部存儲的plugin的代碼集成在kubernetes中，在k8s的代碼目錄里面我們可以看到大量的關(guān)于外部存儲的plugin集成的代碼k8s.io/pkg/volume。可以通過in-tree的代碼與這些外部存儲進(jìn)行對接，這些plugin提供了volume的create/delete/attach/detach/mount/unmount/recyle以及卷監(jiān)控等volume的管理。In-tree支持20+種volume plugin，例如比較常用的iscsi/nfs/fc/ceph/azure/aws/gce/glusterfs/openstack等等。
CSI
In-tree的方式對于新增一種volume plugin變得很困難，廠商期望在kubernetes中新支持一種volume plugins需要考慮kubernetes的發(fā)布過程，另外第三方存儲的代碼在kubernetes倉庫中對于kubernetes穩(wěn)定性以及測試和維護(hù)帶來了挑戰(zhàn)。所以kubernetes社區(qū)提出了CSI規(guī)范用于更好的支持其他廠商的外部存儲。
CSI定義了一套接口規(guī)范，各個外部廠商可以根據(jù)自身存儲開發(fā)自身的CSIDriver插件，來完成對于整個卷生命周期的管理。引入對 CSI 驅(qū)動的支持，使得 Kubernetes 和存儲后端技術(shù)之間的集成工作更易建立和維護(hù)，集群管理員可以只選擇集群需要的存儲驅(qū)動。
CSI Volume Migration
CSI Volume Migration特性是支持in-tree定義的PVC&PV資源對象對應(yīng)的功能可以由外部的對應(yīng)的CSI插件來替代完成，例如之前集群中使用provision=kubernetes.io/cinder創(chuàng)建的pvc以及pv對象卷的生命周期管理可以由Cinder CSI Plugin來完成，而不是之前in-tree來完成。
為什么需要引入CSI Volume Migration
In-tree方式過渡到csi方式對接外部存儲：csi driver越來越普遍以及成熟，可以替代in-tree的方式，對于存儲插件的開發(fā)者，減少維護(hù)in-tree方式的插件，并最終將這些插件從kubernetes倉庫的代碼中移除。
平滑的過渡：遷移到CSI driver的方式，而不破壞與現(xiàn)有存儲 API 類型的 API 兼容性。由特性來實現(xiàn)將in-tree存儲 API 翻譯成等效的 CSI API，將操作委托給一個替換的 CSI 驅(qū)動來完成。之前創(chuàng)建的in-tree的PV/PVC對象可以繼續(xù)工作，只是實際的工作由in-tree的邏輯實現(xiàn)替代成CSI來驅(qū)動完成。未來計劃將在 Kubernetes v1.26 和 v1.27 之前移除云提供商提供的in-tree存儲插件的代碼。
//CSI migrate各個plugin的最新的進(jìn)展
怎么使用CSI Volume Migration特性
打開CSIMigration以及CSIMigration{provider}的特性開發(fā)(1.17),{provider}是in-tree的cloud provider storage type.
打開InTreePlugin{provider}Unregister，該feature是可注銷參數(shù)名稱中 {provider} 部分所指定的in-tree存儲插件。InTreePlugin{provider}Unregister 是一種特性，可以獨立于 CSI 遷移功能來啟用或禁用。當(dāng)啟用此種特性時，組件將不會把相應(yīng)的in-tree存儲插件注冊到支持的列表中。如果集群操作員只啟用了這種參數(shù)，終端用戶將在使用該插件的 PVC時會遇到錯誤，提示其找不到插件。如果集群操作員不想支持過時的in-tree存儲 API，只支持 CSI，那么他們可能希望啟用這種特性。在k8s 1.21之前這個feature名稱是CSIMigration{provider}Complete，在v1.21版本棄用了CSIMigration{provider}Complete,而是改用InTreePlugin{vendor}Unregister，功能上二者是一致的。
安裝對應(yīng)的csi driver
以openstack-cinder in-tree為例演示
在kubernetes 1.22版本上需要打開如下三個特性
K8s.io/Kubernetes/pkg/features/kube_features.go
// Enables the in-tree storage to CSI Plugin migration feature.
CSIMigration featuregate.Feature = "CSIMigration"
// Enables the OpenStack Cinder in-tree driver to OpenStack Cinder CSI Driver migration feature.
CSIMigrationOpenStack featuregate.Feature = "CSIMigrationOpenStack"
// Disables the OpenStack Cinder in-tree driver.
InTreePluginOpenStackUnregister featuregate.Feature = "InTreePluginOpenStackUnregister"
安裝cinder-csi-plugin
查看csinodes，存在annotations
之后創(chuàng)建一個in-tree的pvc，查看cinder-csi-plugin日志，是否是由cinder-csi來完成
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: csi-sc-cinderplugin
provisioner: kubernetes.io/cinder
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: csi-pvc-cinderplugin
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: csi-sc-cinderplugin
---
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
nodeSelector:
kubernetes.io/hostname: node4
containers:
- image: nginx
imagePullPolicy: IfNotPresent
name: nginx
ports:
- containerPort: 80
protocol: TCP
volumeMounts:
- mountPath: /var/lib/www/html
name: csi-data-cinderplugin
volumes:
- name: csi-data-cinderplugin
persistentVolumeClaim:
claimName: csi-pvc-cinderplugin
readOnly: false
如何實現(xiàn)CSI Volume Migration
kubernetes 1.22代碼分析主要是針對每個in-tree的插件實現(xiàn)type InTreePlugin interface k8s.io/Kubernetes/staging/src/k8s.io/csi-translation-lib/plugins/in_tree_volume.go
// InTreePlugin handles translations between CSI and in-tree sources in a PV
type InTreePlugin interface {
// TranslateInTreeStorageClassToCSI takes in-tree volume options
// and translates them to a volume options consumable by CSI plugin
TranslateInTreeStorageClassToCSI(sc *storage.StorageClass) (*storage.StorageClass, error)
// TranslateInTreeInlineVolumeToCSI takes a inline volume and will translate
// the in-tree inline volume source to a CSIPersistentVolumeSource
// A PV object containing the CSIPersistentVolumeSource in it's spec is returned
// podNamespace is only needed for azurefile to fetch secret namespace, no need to be set for other plugins.
TranslateInTreeInlineVolumeToCSI(volume *v1.Volume, podNamespace string) (*v1.PersistentVolume, error)
// TranslateInTreePVToCSI takes a persistent volume and will translate
// the in-tree pv source to a CSI Source. The input persistent volume can be modified
TranslateInTreePVToCSI(pv *v1.PersistentVolume) (*v1.PersistentVolume, error)
// TranslateCSIPVToInTree takes a PV with a CSI PersistentVolume Source and will translate
// it to a in-tree Persistent Volume Source for the in-tree volume
// by the `Driver` field in the CSI Source. The input PV object can be modified
TranslateCSIPVToInTree(pv *v1.PersistentVolume) (*v1.PersistentVolume, error)
// CanSupport tests whether the plugin supports a given persistent volume
// specification from the API.
CanSupport(pv *v1.PersistentVolume) bool
// CanSupportInline tests whether the plugin supports a given inline volume
// specification from the API.
CanSupportInline(vol *v1.Volume) bool
// GetInTreePluginName returns the in-tree plugin name this migrates
GetInTreePluginName() string
// GetCSIPluginName returns the name of the CSI plugin that supersedes the in-tree plugin
GetCSIPluginName() string
// RepairVolumeHandle generates a correct volume handle based on node ID information.
RepairVolumeHandle(volumeHandle, nodeID string) (string, error)
}
之后在原有的卷調(diào)度以及卷生命周期管理的時候，通過各個plugin提供的TranslateInTreexxx函數(shù)轉(zhuǎn)換成CSI對象，按照CSI對象的操作流程進(jìn)行操作。如果是支持遷移的卷類型，則原來的流程將會被忽略。下面是volume調(diào)度策略node-limit來看CSI mirgrate特性是如何讓用戶無感知的遷移的
Nodevolumelimits調(diào)度策略主要是限制單個node上相同類型的卷的數(shù)量不能超過一定的數(shù)量，可以在CSINode里面定義數(shù)量的大小。Nodevolumelimits-plugin代碼的位置在k8s.io/Kubernetes/pkg/scheduler/framework/plugins/nodevolumelimits/csi.go
Filter()
filterAttachableVolumes
pl.getCSIDriverInfo(csiNode, pvc)中
csiSource := pv.Spec.PersistentVolumeSource.CSI
if csiSource == nil {
// We make a fast path for non-CSI volumes that aren't migratable
if !pl.translator.IsPVMigratable(pv) {
return "", ""
}
pluginName, err := pl.translator.GetInTreePluginNameFromSpec(pv, nil)
if err != nil {
klog.V(5).InfoS("Unable to look up plugin name from PV spec", "err", err)
return "", ""
}
if !isCSIMigrationOn(csiNode, pluginName) {
klog.V(5).InfoS("CSI Migration of plugin is not enabled", "plugin", pluginName)
return "", ""
}
csiPV, err := pl.translator.TranslateInTreePVToCSI(pv)
if err != nil {
klog.V(5).InfoS("Unable to translate in-tree volume to CSI", "err", err)
return "", ""
}
if csiPV.Spec.PersistentVolumeSource.CSI == nil {
klog.V(5).InfoS("Unable to get a valid volume source for translated PV", "PV", pvName)
return "", ""
}
csiSource = csiPV.Spec.PersistentVolumeSource.CSI
}
獲取pvc in-intree對應(yīng)的csi對象。之后Nodevolumelimits-plugin中去判斷node所在的in-tree或者csi對象總的volume的數(shù)量有沒有超過limit的限制。
總結(jié)
CSIMigration可以使得in-tree的pvc&pv可以由csi來管理，但是卷的管理能力只僅限于in-tree本身具備的一些能力，csi中具有的一些高級的功能，例如snapshot等，是沒有辦法針對in-tree的pvc&pv來進(jìn)行操作的。
截止k8s 1.24 release，CSIMigration特性處于beta狀態(tài)，目前支持migration的in-tree插件有GCE/AWS/AzureDisk/AzureFile/vSphere/Openstack/RBD/Portworx，可以看出將所有in-tree的代碼從kubernetes代碼中剝離出來仍然還有很多工作要做，并且CSIMigration特性引入了很多過渡的代碼。同時思考是否可以通過直接convert將in-tree的pvc、pv對象直接轉(zhuǎn)化成csi規(guī)范的對象，是不是也是一種更好的思路。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
