利用RAG有效解決大模型幻覺,向量數(shù)據(jù)庫公司Zilliz做對了什么?

過去一年,大模型的爆火讓越來越多的人關(guān)注到向量數(shù)據(jù)庫這一賽道。一時間,與向量數(shù)據(jù)庫有關(guān)的諸多問題頻頻引發(fā)熱議:被 NVIDIA CEO 黃仁勛公開提及的 Milvus 是什么?向量數(shù)據(jù)庫如何減少大模型幻覺?向量數(shù)據(jù)庫的原理是什么?向量數(shù)據(jù)庫的應用場景有哪些?向量數(shù)據(jù)庫的排名如何?主流的向量數(shù)據(jù)庫有哪些?云原生分布式向量數(shù)據(jù)庫有哪些優(yōu)勢?……行業(yè)對于向量數(shù)據(jù)庫的諸多討論無不釋放出一個信號:向量數(shù)據(jù)庫正在大模型時代扮演著重要的角色。

近期, 全球領(lǐng)先的向量數(shù)據(jù)庫公司 Zilliz 發(fā)布了 2023 年度總結(jié)。作為賽道的龍頭公司,Zilliz 的每一步都是業(yè)界關(guān)注的焦點,因此其年度復盤一經(jīng)公布,便引起行業(yè)側(cè)目。總體來看,Zilliz 無論在產(chǎn)品打磨、社區(qū)發(fā)展還是商業(yè)化進程方面,都取得了亮眼的成績,具體可以從技術(shù)迭代、產(chǎn)品更新、商業(yè)化進程、社區(qū)發(fā)展、生態(tài)建設、技術(shù)布道等 9 個維度進行解讀。

1. 里程碑事件

過去一年,Zilliz 經(jīng)歷了 4 個重要的節(jié)點:

生態(tài)方面,與 OpenAI、NVIDIA 等成為戰(zhàn)略合作伙伴;

社區(qū)方面,Milvus 2.3.0 版本上線,Milvus Github Star 數(shù)實現(xiàn) 25,000,用戶數(shù)超 10,000,000 人;

商業(yè)化方面,Zilliz Cloud 在海內(nèi)外上線,并覆蓋全球 前TOP 四朵云,云上注冊的企業(yè)用戶數(shù)超 40,000 人;

技術(shù)布道方面:全年舉行/參與近百場線上線下活動、累計發(fā)布 百余篇 技術(shù)文章,賦能開發(fā)者。

2. 社區(qū)建設再上新臺階

Milvus 作為最受歡迎的開源向量數(shù)據(jù)庫,全年共實現(xiàn) 20 次版本迭代,平均每 2 周迭代 1 次,持續(xù)建設強大的社區(qū)支持能力。

3. 商業(yè)化實現(xiàn)從 0 到 1,迅速開疆辟土

2023 年對于 Zilliz 而言是重要一年,不僅實現(xiàn)了從 0 到 1 的商業(yè)化進程的跨越,商業(yè)化產(chǎn)品 Zilliz Cloud 更是實現(xiàn)了 AWS、Azure、GCP、阿里云全球 4 大云 10 個節(jié)點的全覆蓋,至此,Zilliz 成為全球首個提供海內(nèi)外多云服務的向量數(shù)據(jù)庫企業(yè)。2024 年,Zilliz Cloud 計劃持續(xù)增加對更多云和節(jié)點的支持,滿足用戶進行全球化業(yè)務布局的需求。

從用戶方面來看,Zilliz Cloud 廣受海內(nèi)外用戶好評,云上注冊用戶超 40K,覆蓋全球大多數(shù)主流國家與地區(qū)。同時,Zilliz Cloud 的付費用戶覆蓋各行各業(yè),分布在北美、歐洲、中國、日韓、東南亞等國家和地區(qū),成為主流大模型公司及需處理不同規(guī)模的非結(jié)構(gòu)化數(shù)據(jù)公司的首選產(chǎn)品。

2024 年,伴隨著 Zilliz Cloud 的海內(nèi)外付費用戶數(shù)量的不斷增長,Zilliz 的商業(yè)化進程亦將踏入下一個快速發(fā)展的新階段。

4. 技術(shù)上新,從未止步

Milvus 迭代

過去一年,Milvus 始終保持著每 1-2 周更新一次版本的迭代速度,在 Zilliz 技術(shù)團隊和社區(qū)成員的共同努力下,Milvus 也向著更穩(wěn)、更輕、更強的方向演進:

2023 年 2 月,Milvus 發(fā)布 2.2.3 系列,上線不停機滾動升級、Coordinator 高可用(HA)等新功能,后續(xù)通過在多個版本中持續(xù)改進,逐漸變得更加穩(wěn)定,最終實現(xiàn)了零停機時間的滾動升級。

2023 年 3 月,Milvus 2.3 Beta(GPU) 版本上線,相比于 CPU 版本,性能提升 10 倍。

2023 年 4 月,輕量版 Milvus——Milvus Lite 上線,為沒有專業(yè)運維團隊支撐、安裝部署環(huán)境受限的群體提供了新的可能。

2023 年 5 月 Milvus 發(fā)布 2.2.9 版本,支持 JSON 數(shù)據(jù)類型,增加了 Dynamic Schema、PartitionKey 等。

2023 年 8 月,Milvus 2.3.0 正式上線,帶來了如 GPU 支持、Query 架構(gòu)升級、更強的負載均衡調(diào)度能力、新的消息隊列、Arm 版本鏡像、可觀測性、運維工具升級 MMap 等能力。其中,與傳統(tǒng)的內(nèi)存索引相比,MMap 可以實現(xiàn)內(nèi)存節(jié)省10倍以上,對 RAG 應用尤其有益。

2023 年 12 月,Milvus 2.3.4 版本上線,對內(nèi)存管理、協(xié)程處理和 CPU 優(yōu)化進行了顯著改進。這些改進使得在單個集群中創(chuàng)建數(shù)萬個 Collection 變得可行,從而可以使用一個 Collection 一個租戶的方式支持多租戶。

向量數(shù)據(jù)庫評測產(chǎn)品上線

2023 年 6 月,全球首個向量數(shù)據(jù)庫性能測評軟件 VectorDB Bench 正式開源及上線,收錄了包括 Milvus、Zilliz Cloud、Elastic Cloud、PgVector 、Redis 等在內(nèi)的 9 大主流產(chǎn)品,可幫助開發(fā)者全面、客觀、高效地評估向量數(shù)據(jù)庫。

大模型時代的其他開源產(chǎn)品

除了 Milvus,在大模型浪潮下,Zilliz 技術(shù)團隊也相應推出了如 OSSChat、GPTCache 這樣適配技術(shù)趨勢的產(chǎn)品:

2023 年 4 月,業(yè)界首個服務于開源項目的知識問答機器人 OSSChat 上線,接入 Kafka、Elasticsearch、Spark 等熱門開源項目,用戶數(shù)量達 20K,覆蓋中國、美國、印度、德國等多個國家。同時,Zilliz 也開放了 OSSChat 背后的技術(shù)——開源的 RAG 框架 Akcio,持續(xù)為大模型時代的開發(fā)者賦能。

與此同時,大模型的語義緩存層 GPTCache 上線,在有效提升大模型性能、提升開發(fā)效率的同時,還可幫助用戶減少開發(fā)成本。上線短短 30 天,GitHub Star 數(shù)便突破 3K,目前下載量近 1.35M。

Zilliz Cloud 迭代

2023 年,Zilliz Cloud 先后登陸 GCP、AWS、阿里云、Azure,為海內(nèi)外用戶提供基于 Milvus 的云原生服務。同時,Zilliz Cloud 通過一次次的技術(shù)迭代,真正實現(xiàn)了“更強、更快”“更易用、更智能”:

更強、更快

Zilliz Cloud 可提供百億級向量數(shù)據(jù)毫秒級檢索能力。

Zilliz 綜合性能是Milvus 開源引擎的 2 倍以上,引擎針對典型場景進行深度優(yōu)化,性能可提升 3-5 倍。

2023 年 9 月,支持 ElasticSearch to Zilliz Cloud、Data Migration Across Zilliz Cloud Clusters 和 Advance Pay。

2023 年 11 月,支持系列內(nèi)核新功能:Range Search、Consine、Upsert 等。

更易用、更智能

2023 年 5 月,上線 Serverless 免費實例,為用戶提供企業(yè)級能力(Organization、Collaboration、RBAC)。

2023 年 12月,上線全托管的 BYOC 向量數(shù)據(jù)庫服務。

2023 年 12 月,上線 Pipelines 助力 RAG 應用開發(fā)。

5. 深入線上線下活動,賦能開發(fā)者

2023 年,Zilliz 累計發(fā)布 100+ 技術(shù)文章,各個渠道累計閱讀量 150K+:

2023 年,Zilliz 共策劃了 15 場線上直播 & 線下 Meetup,參與者超 30K:

2023 年,Zilliz 在 Bilibili 共發(fā)布技術(shù)視頻 25個,累計播放量達 47K+:

此外,Zilliz 參與/舉辦了近百場技術(shù)大會、活動:

6. 論文持續(xù)入選頂會

截止目前,Zilliz 技術(shù)團隊多篇論文入選數(shù)據(jù)庫三大國際頂會,引領(lǐng)向量數(shù)據(jù)庫技術(shù)的發(fā)展

—— ICDE、VLDB、SIGMOD

7. 合規(guī)方面成果顯著

在合規(guī)方面,Zilliz 也走在行業(yè)前列:

通過 SOC 2 Type Ⅱ 有關(guān)安全性、可用性及保密性的體系認證

通過 ISO27001 有關(guān)信息安全的 ANNB 和 UKAS 認證(美國和國際雙認證)

GDPR 合規(guī)標準完善中,并將于 2024 年上半年完成

8. 獲得行業(yè)及專業(yè)媒體的高度肯定

9. 贏得 5000 +企業(yè)級用戶信賴

很榮幸,截止 2023 年 12 月31 日,Zilliz 已經(jīng)贏得了 5000+ 企業(yè)級用戶的信賴。

踏上 2024 年的征程,Zilliz 期待與諸位繼續(xù)同行,一路繁花!

(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )