比Milvus還要快6倍?Zilliz Cloud 掀起向量數(shù)據(jù)庫性能“龍卷風(fēng)”!

它就是由 Zilliz 原廠打造的可提供全托管的向量數(shù)據(jù)庫云服務(wù)產(chǎn)品—— Zilliz Cloud。此前,大家已經(jīng)對 Zilliz Cloud 升級版本的諸多實用新特性有所了解,例如dynamic schema、partition key、支持更多樣的集群類型等。與此同時,Zilliz Cloud 還采用了全新的定價策略,旨在以更經(jīng)濟實惠的價格提高更高質(zhì)量的服務(wù)。

不過,Zilliz Cloud 最為人稱道的還要數(shù)它的性能,其向量檢索速度比 Milvus 要快 3-6 倍。今天,我們將從性能方面全面拆解 Zilliz Cloud。

Zilliz Cloud 有多快?

想要回答這個問題,首先需要明確定義使用場景和參照對比的產(chǎn)品。

明確完這兩點后,便需要借助工具來進行性能測試。這里,我們可以用開源的向量數(shù)據(jù)庫性能測試工具——VectorDBBench來測速。VectorDBBench 支持多樣的測試場景,允許用戶通過直觀的前端交互界面測試許多開源向量數(shù)據(jù)庫或者云服務(wù)(如 Milvus、Zilliz Cloud 等),并通過直觀的交互界面大大降低了性能測試的門檻。

以下是關(guān)于 Zilliz Cloud 的一些性能測試的對比結(jié)果:

●比 Milvus 快 6 倍

上圖展示了在 100 萬 768 維數(shù)據(jù)集上,使用不同資源配置的 Milvus 和不同 CU 大小的 Zilliz Cloud 的性能表現(xiàn)。從結(jié)果來看,Zilliz Cloud 的速度是 Milvus 的 3 倍。

現(xiàn)在,我們進一步增加數(shù)據(jù)量,采用 1000 萬 768 維數(shù)據(jù)集。Zilliz Cloud 同樣展示了強勁的性能,QPS 是 Miluvs 的 6 倍。

●比其他開源向量數(shù)據(jù)庫快 4-191 倍

在與其他主流向量數(shù)據(jù)庫的對比中,Zilliz Cloud 的性能也是一騎絕塵。根據(jù)性能測試結(jié)果,在 100 萬 768 維數(shù)據(jù)集的條件下,Zilliz Cloud 的 QPS 是其他產(chǎn)品的 4 - 191 倍。

而在更大的數(shù)據(jù)集下,Zilliz Cloud 的表現(xiàn)同樣亮眼。例如,Zilliz 的 QPS 是 Pinecone 和 Qdrant 的 3 倍左右。

Zilliz Cloud 為什么這么快?

Zilliz Cloud 為什么這么快?接下來讓我們來一探究竟。

●強大的向量索引引擎

如大家所知,向量數(shù)據(jù)庫是一種典型的計算量很大的應(yīng)用,因此其中負責(zé)向量計算的向量檢索算法會吃走絕大部分資源,并很大程度上決定了一個向量數(shù)據(jù)庫的性能。

ANN-Benchmark 是業(yè)內(nèi)最權(quán)威的向量檢索算法性能測試工具,它可以展示不同算法在不同真實數(shù)據(jù)集下的表現(xiàn)。而 Milvus 集成的算法庫 Knowhere 和來自 Zilliz Cloud 的 Glass,最近登頂霸榜了這份榜單。

Glass 是 Zilliz Cloud 在自研索引算法探索中的一個歷史版本。作為向量數(shù)據(jù)庫最核心的引擎,它亮眼的表現(xiàn)為 Zilliz Cloud 實現(xiàn)性能上的飛躍提供了重要支持。

上圖是來自ANN-Benchmark的最新向量檢索算法性能測試結(jié)果,測試結(jié)果基于兩個不同的數(shù)據(jù)集:

●gist-960-euclidean:100 萬 960 維向量數(shù)據(jù),使用歐式距離。

●fashion-mnist-784-euclidean: 6 萬 784 維向量,使用歐式距離。

曲線越高意味著每秒算法可處理的查詢越多。同樣,曲線越向右延展意味著算法的召回率越高。

通過結(jié)果,我們可以看出,Glass(粉色曲線)的 QPS 和召回兩個指標都位列榜首。因此,Zilliz Cloud 閃電般的向量檢索速度,有一大部分可以歸功于 Glass 索引引擎的出色表現(xiàn)。

●代碼結(jié)構(gòu)優(yōu)化

除了強力的索引外,Zilliz Cloud 在之前版本的基礎(chǔ)上進行了大量的代碼結(jié)構(gòu)的優(yōu)化,包括對冗余查詢鏈路的清理、查詢合并邏輯的調(diào)度策略優(yōu)化、并發(fā)策略優(yōu)化和引入高效實現(xiàn)等。這些工作幫助 Zilliz Cloud 最大化地利用了其強大的索引算法能力,減少了開支。

同時,新版本的 Zilliz Cloud 還解決了一些出現(xiàn)性能問題的場景,比如過濾搜索等。

●高效的 AutoIndex

在討論系統(tǒng)性能時,召回率是一個重要且不可忽視的話題。不夠理想的召回率會使得檢索結(jié)果無法滿足需求,進而使檢索行為失去其意義。然而,過高的召回率可能會極大犧牲性能。穩(wěn)定的召回率能幫我們在性能和準確性之間找到平衡,使得結(jié)果可預(yù)測,從而更好地支持各類生產(chǎn)生活場景。

召回率受多種因素影響,包括數(shù)據(jù)集本身、建立索引的參數(shù)、查詢參數(shù)、數(shù)據(jù)分布,甚至 topK 的大小等。因此,如何控制召回率,是一個復(fù)雜而重要的問題。大部分數(shù)據(jù)庫系統(tǒng)為解決這一問題,通常會采用以下兩種方案:

●讓用戶提供參數(shù):這種方式靈活但使用門檻高。

●提供經(jīng)驗參數(shù):這種方法易用但靈活性較差,對于不同的數(shù)據(jù)和 topK 等場景無法做到精細控制。

為了解決這個問題,Zilliz Cloud 的 AutoIndex 提供了一個既簡便又靈活的解決方案:一方面可以基于模型對實際應(yīng)用案例進行全方位分析,另一方面能為每次檢索請求定制一套參數(shù)。這樣一來,Zilliz Cloud 不僅能夠?qū)崿F(xiàn)穩(wěn)定的召回率,而且還能確保優(yōu)秀的性能,滿足用戶在實際應(yīng)用中的需求。

總體而言,Zilliz Cloud 的升級版本無論從功能還是性能來說都有了里程碑式的提高,點擊體驗更加便捷高效的的全新向量數(shù)據(jù)庫。未來,我們也會持續(xù)提升產(chǎn)品的性能、不斷進步,歡迎大家持續(xù)關(guān)注!

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )