科技云報道原創(chuàng)。
每逢淘金熱,最后的贏家都是賣鏟人,而非淘金者。在近兩年的大模型風(fēng)口下,向量數(shù)據(jù)庫就成了這把鏟子。
隨著大模型快速發(fā)展,向量數(shù)據(jù)庫正在成為企業(yè)便捷使用大模型、最大化發(fā)揮數(shù)據(jù)價值的關(guān)鍵工具。據(jù)IDC調(diào)查數(shù)據(jù)顯示,全球在AI技術(shù)和服務(wù)上的支出2023年將達(dá)到1540億美元,到2026年將超過3000億美元。其中,向量數(shù)據(jù)庫為AI的開發(fā)、增強內(nèi)容生成的準(zhǔn)確性提供了重要技術(shù)支撐。
在今年數(shù)據(jù)庫領(lǐng)域所有的技術(shù)趨勢中,向量數(shù)據(jù)庫無疑成為了最受資本熱捧的一個。隨著5月份大模型廠商掀起一輪又一輪價格戰(zhàn),接連調(diào)低大模型API的價格,高性價比的大模型+向量數(shù)據(jù)庫,在行業(yè)應(yīng)用、企業(yè)市場又顯現(xiàn)出了商業(yè)價值。
為什么向量數(shù)據(jù)庫會隨著大模型的發(fā)展而爆發(fā)?它又將給AI行業(yè)帶來怎樣的機會?
大模型的必經(jīng)之路
首先,我們需要厘清向量數(shù)據(jù)庫在大模型當(dāng)中扮演了什么角色。
大模型解決的是計算問題,而向量數(shù)據(jù)庫則解決存儲問題。這是從2023年初向量數(shù)據(jù)庫崛起開始,至今為止行業(yè)內(nèi)公認(rèn)的看法。
人們常常把大語言模型比喻成大腦,但這是一個被切除了顳葉的大腦,缺乏記憶,并且常常出現(xiàn)幻覺。為了解決這些問題,常常需要借助向量數(shù)據(jù)庫。
現(xiàn)實生活中兩人進(jìn)行對話,大致需要三步流程:一方首先拋出話題作引子;另一方會先調(diào)動記憶判斷自己是否了解這個話題,然后再分析給出應(yīng)該做出何種回答。如此循環(huán)往復(fù)直到互動結(jié)束。
為讓計算機完成這樣的互動過程,并持續(xù)在一對一或一對多的情況下變成日常,AI科學(xué)家提出了CVP結(jié)構(gòu),即“ChatGPT(以ChatGPT為代表的大模型)+Vector Database(向量數(shù)據(jù)庫)+Prompt(提示詞)”,分別承擔(dān)計算機分析、記憶、引子的功能。
放到大模型上,針對其有可能出現(xiàn)的幻覺問題,可以將所需領(lǐng)域的專業(yè)知識存入向量數(shù)據(jù)庫,當(dāng)要prompt時,系統(tǒng)自動的從向量數(shù)據(jù)庫中根據(jù)相似度查找最相關(guān)的專業(yè)知識,把這些知識和你的提示詞一同提交給大模型,這樣就可以有效減少幻覺的出現(xiàn)。記憶的問題也類似,可以選擇把部分你和大模型的聊天記錄存入向量數(shù)據(jù)庫。這是向量數(shù)據(jù)庫近期出現(xiàn)熱度的原因。
向量數(shù)據(jù)庫和傳統(tǒng)數(shù)據(jù)庫的不同點之一是,傳統(tǒng)的數(shù)據(jù)庫只能處理計算機容易了解和處理的數(shù)據(jù)、字符串等結(jié)構(gòu)化數(shù)據(jù),通過點查和范圍查進(jìn)行精確匹配,輸出只有符合查詢條件和不符合條件的答案,而向量數(shù)據(jù)庫處理的是各種AI應(yīng)用產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù),通過近似查進(jìn)行模糊匹配,輸出的是概率上的提供相對最符合條件的答案,而非精確的標(biāo)準(zhǔn)答案。
以O(shè)penAI背后的GPT模型預(yù)訓(xùn)練所用的數(shù)據(jù)為例,GPT-3.5的“知識庫”共包含3000億單詞的數(shù)據(jù),匯聚了來自開源語料庫、維基百科、各類圖書與新聞報道、Reddit與Twitter平臺文章等大量互聯(lián)網(wǎng)文本數(shù)據(jù)。GPT-4在此基礎(chǔ)上體量更大,且為了支持多模態(tài)專門收集各類圖像、視頻素材,這其中非結(jié)構(gòu)化數(shù)據(jù)應(yīng)占有極大比重。
正如冰山效應(yīng)所喻示的“巨大的冰山往往是八分之一浮在水面上,八分之七沉沒在水面之下”,真實世界中絕約80%的數(shù)據(jù)都為非結(jié)構(gòu)化數(shù)據(jù),只有約20%的數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)復(fù)雜且難處理,反而導(dǎo)致有效利用率遠(yuǎn)低于結(jié)構(gòu)化數(shù)據(jù)。因此,打造面向非結(jié)構(gòu)化數(shù)據(jù)的向量數(shù)據(jù)庫也變成了一場從0到1的拓荒。
近年來,一些數(shù)據(jù)庫廠商已經(jīng)開始原生支持向量嵌入和向量搜索的功能,并提供了相應(yīng)的向量索引和查詢優(yōu)化技術(shù)。這使得開發(fā)人員能夠更方便地在數(shù)據(jù)庫中存儲和查詢向量數(shù)據(jù),而無需依賴額外的工具或庫。
除了大語言模型的推動外,向量數(shù)據(jù)庫在自身技術(shù)上也取得了重大突破,特別是在性能優(yōu)化、數(shù)據(jù)處理能力和安全性方面。各數(shù)據(jù)庫廠商和研究機構(gòu)都在致力于改進(jìn)向量數(shù)據(jù)庫的算法和架構(gòu),以提高其處理大規(guī)模數(shù)據(jù)的能力。
ChatGPT的爆發(fā)徹底改變了向量數(shù)據(jù)庫的發(fā)展速度。2023年3月,在英偉達(dá)全球開發(fā)者大會上,CEO黃仁勛力挺向量數(shù)據(jù)庫對構(gòu)建專有大型語言模型的重要價值,“向量數(shù)據(jù)庫的一個新型重要用例是大型語言模型,在文本生成過程中可用于檢索領(lǐng)域特定事實或?qū)S惺聦?。英偉達(dá)將推出一個新的庫,即RAFT,用于加速索引、數(shù)據(jù)加載和近鄰檢索。我們正在將RAFT的加速引入到Meta的AI向量相似性搜索FAISS、Milvus開源向量數(shù)據(jù)庫以及Redis?!彼缡钦f。
在資本市場,近一年來向量數(shù)據(jù)庫是當(dāng)之無愧的“資本寵兒”,Qdrant、Chroma、Weaviate先后獲得融資,成立短短幾年的Pinecone宣布1億美元B輪融資,估值達(dá)到7.5億美元??梢?,無論從技術(shù)演進(jìn)還是資本市場來看,向量數(shù)據(jù)庫都是這兩年最亮眼的技術(shù)。
向量數(shù)據(jù)庫的商業(yè)化探索
在大模型興起之前,傳統(tǒng)數(shù)據(jù)庫已經(jīng)在不斷嘗試與AI結(jié)合,主要涉及以下幾個方向:AI for DB、DB for AI、預(yù)測估算。隨著大模型的興起,可以看到在這些方向上,數(shù)據(jù)庫與AI間的關(guān)聯(lián)比以往任何時候都要密切。
在“AI for DB”方面,將AI技術(shù)嵌入到傳統(tǒng)數(shù)據(jù)庫中,使其具備更智能的功能。例如,通過大模型,數(shù)據(jù)庫可以實現(xiàn)更高級的數(shù)據(jù)分析、智能搜索和推薦等功能。AI技術(shù)的應(yīng)用使得數(shù)據(jù)庫能夠更好地理解和處理數(shù)據(jù),提供更精確的查詢結(jié)果和分析報告。
對于“DB for AI”方面,傳統(tǒng)數(shù)據(jù)庫可以為大模型提供結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)高效的存儲和查詢能力。由于大模型通常需要處理大規(guī)模的數(shù)據(jù),傳統(tǒng)數(shù)據(jù)庫的可伸縮性和性能變得尤為重要。數(shù)據(jù)庫可以通過融合查詢和差異化存儲等技術(shù),提供快速的數(shù)據(jù)訪問和處理能力,滿足大模型對數(shù)據(jù)的高效需求。
此外,大模型的興起還為數(shù)據(jù)庫注入了預(yù)測估算的能力。大模型可以通過學(xué)習(xí)歷史數(shù)據(jù)和模式,對未來的趨勢和結(jié)果進(jìn)行預(yù)測和估算。傳統(tǒng)數(shù)據(jù)庫可以集成模型,實現(xiàn)對數(shù)據(jù)的預(yù)測分析。這使得數(shù)據(jù)庫可以不僅提供對歷史數(shù)據(jù)的查詢和分析,還能夠提供對未來數(shù)據(jù)的預(yù)測和估算結(jié)果,幫助用戶做出更準(zhǔn)確的決策。
事實上,不僅是大模型廠商,云計算廠商憑借在AI基礎(chǔ)設(shè)施、商業(yè)生態(tài)、市場規(guī)模效應(yīng)方面的已有優(yōu)勢,也開始聚焦向量數(shù)據(jù)庫市場進(jìn)行各種技術(shù)和商業(yè)化嘗試,這些嘗試或許會讓向量數(shù)據(jù)庫加速走向商業(yè)成功。
首先,多元化部署能力。垂直行業(yè)大模型,數(shù)據(jù)都是私有機密的,客戶一般不愿意放到公有云上,這對一部分支持混合多云的云廠商是一大利好,通過私有部署、分布式、混合云等多種方案,打消行業(yè)客戶將數(shù)據(jù)放到云端的現(xiàn)實疑慮。
其次,一體化AI能力。向量數(shù)據(jù)庫的火爆,本質(zhì)是由AI驅(qū)動的,而AI Native時代的數(shù)據(jù)工程,還有許多復(fù)雜問題尚待解決,比如檢索效率,在處理大規(guī)模數(shù)據(jù)的并行任務(wù)時,保持快速響應(yīng)時間是一個挑戰(zhàn),需要優(yōu)化索引結(jié)構(gòu)和搜索算法;高負(fù)載下的系統(tǒng)穩(wěn)定性,需要確保數(shù)據(jù)庫系統(tǒng)具備高可用性和容錯能力,防止服務(wù)中斷;存儲海量的向量數(shù)據(jù),成本效益比要進(jìn)一步優(yōu)化……目前來看,云廠商具備從底層算力集群、Maas模型平臺到全棧工具鏈的AI能力,有望通過技術(shù)協(xié)同創(chuàng)新,持續(xù)優(yōu)化向量數(shù)據(jù)庫的性能和成本。
第三,產(chǎn)業(yè)服務(wù)能力。各行業(yè)對AI與業(yè)務(wù)的結(jié)合熱情高漲,但大多還處于嘗試探索期,需要結(jié)合自身場景、AI應(yīng)用、IT設(shè)施等多種因素試錯并迭代。這個過程中,隨叫隨到、幫助客戶及時解決問題的ToB服務(wù)能力,也是非常看重的。深耕產(chǎn)業(yè)的公有云,有望降低很多企業(yè)在AI技術(shù)革命中的機會成本。
從某種程度上而言,無論是向量數(shù)據(jù)庫,還是大模型,歸根結(jié)底,人們在追捧它時的心態(tài),焦慮大于需求。而這種焦慮則來源于“害怕被落下”。
而向量數(shù)據(jù)庫的熱潮,在一定程度上外化了人們的焦慮。但這并不能否定向量數(shù)據(jù)庫的實際價值,甚至更長遠(yuǎn)的價值。
雖然,目前向量數(shù)據(jù)庫仍處于發(fā)展初期,但可以確定的是,向量數(shù)據(jù)庫與大模型一定是捆綁關(guān)系。因此,未來其演進(jìn)方向也一定隨著大模型能力的演進(jìn)而發(fā)生變化。
不可否認(rèn)的是,向量數(shù)據(jù)庫的未來有星辰大海,也有曲折的前路。背靠大模型,向量數(shù)據(jù)庫成為資本追捧的“寵兒”。然而,在未來的AGI時代,向量數(shù)據(jù)庫還有更多實事要干。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 乘云而上,OceanBase再越山峰
- 新浪新聞探索大會在京舉行 探索新質(zhì)生產(chǎn)力賦能產(chǎn)業(yè)新路徑
- 銷量差異背后:小米如何在全球競爭中逆襲,國內(nèi)卻遭遇瓶頸?
- OPPO式出海,為全球化講一個“落地生根”的故事
- MLPerf Storage揭榜,「存儲」掛帥,驅(qū)動AI上演“飛馳人生”
- 技術(shù)創(chuàng)新締造產(chǎn)業(yè)應(yīng)用價值,京東何曉冬論文獲CIKM最佳時間檢驗獎
- 高通揭開遮羞布,ARM已失去創(chuàng)新力,壟斷地位被動搖
- 中國制造太厲害,售價降九成,三星被迫再關(guān)閉一項業(yè)務(wù)
- 麥當(dāng)勞、肯德基、星巴克拍短劇,短劇會成為品牌常規(guī)營銷手段嗎?
- 今年雙11大變樣,淘寶京東不卷了!
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。