身處信息爆炸時(shí)代,如何從海量信息中獲取準(zhǔn)確全面的搜索結(jié)果,并以更直觀、可讀的方式呈現(xiàn)出來(lái)是大家期待達(dá)成的目標(biāo)。傳統(tǒng)的搜索增強(qiáng)技術(shù)受限于訓(xùn)練文本數(shù)量、質(zhì)量等問(wèn)題,對(duì)于復(fù)雜或多義詞查詢(xún)效果不佳,更無(wú)法滿(mǎn)足 ChatGPT 等大語(yǔ)言模型應(yīng)用帶來(lái)的大規(guī)模、高并發(fā)的復(fù)雜關(guān)聯(lián)查詢(xún)需求。
在此背景下,悅數(shù)圖數(shù)據(jù)庫(kù)率先實(shí)現(xiàn)了與 Llama Index、LangChain 等大語(yǔ)言模型框架的深度適配并在行業(yè)內(nèi)首次提出了 Graph RAG(基于圖技術(shù)的檢索增強(qiáng))的概念,利用知識(shí)圖譜結(jié)合大語(yǔ)言模型(LLM)為搜索引擎提供更全面的上下文信息,可以幫助用戶(hù)以更低成本獲得更智能、更精準(zhǔn)的搜索結(jié)果。目前,悅數(shù)圖數(shù)據(jù)庫(kù)推出的這項(xiàng)技術(shù)在與向量數(shù)據(jù)庫(kù)結(jié)合的領(lǐng)域也獲得了相當(dāng)不錯(cuò)的效果。
今天我們就一起來(lái)了解下什么是 Graph RAG 以及它與其他 RAG 技術(shù)的對(duì)比,也歡迎進(jìn)入 悅數(shù)圖數(shù)據(jù)庫(kù) 官網(wǎng),通過(guò) Demo 直觀感受這一功能。
傳統(tǒng)檢索增強(qiáng)技術(shù)的瓶頸:缺少訓(xùn)練數(shù)據(jù),文本理解不足
在傳統(tǒng)的搜索引擎中,檢索結(jié)果通常是基于關(guān)鍵詞的匹配。而隨著用戶(hù)對(duì)搜索精確度和詞匯聯(lián)想能力要求的提高,傳統(tǒng)的搜索結(jié)果往往難以滿(mǎn)足用戶(hù)的實(shí)際需求,尤其是在處理復(fù)雜的問(wèn)題和長(zhǎng)尾查詢(xún)時(shí),效果會(huì)明顯降低。
為了解決這類(lèi)問(wèn)題,RAG 搜索增強(qiáng)技術(shù)應(yīng)運(yùn)而生。RAG (Retrieval-Augmented Generation),指的是通過(guò) RAG 模型來(lái)對(duì)搜索結(jié)果進(jìn)行增強(qiáng)的過(guò)程。具體來(lái)說(shuō),它是將檢索技術(shù)和語(yǔ)言生成技術(shù)相結(jié)合來(lái)增強(qiáng)生成過(guò)程的一種技術(shù),可以幫助傳統(tǒng)搜索引擎生成更加準(zhǔn)確、相關(guān)和多樣化的信息來(lái)滿(mǎn)足用戶(hù)的需求。
而為了使搜索結(jié)果更精準(zhǔn),RAG 技術(shù)仍然面臨訓(xùn)練數(shù)據(jù)和文本理解的挑戰(zhàn):
訓(xùn)練數(shù)據(jù):RAG 技術(shù)需要大量的數(shù)據(jù)和計(jì)算資源來(lái)訓(xùn)練和生成模型,尤其是在處理多語(yǔ)言和復(fù)雜任務(wù)時(shí),但是互聯(lián)網(wǎng)上文本的質(zhì)量和準(zhǔn)確性是有限的,訓(xùn)練數(shù)據(jù)的不足會(huì)直接影響生成內(nèi)容的質(zhì)量
文本理解:RAG 需要理解查詢(xún)的意圖,但是對(duì)于復(fù)雜的查詢(xún)或者多義詞查詢(xún),RAG 可能會(huì)出現(xiàn)歧義或不確定性,從而影響生成的質(zhì)量
因此,如何找到更強(qiáng)大的檢索增強(qiáng)技術(shù),以更高效率獲得更符合搜索者的預(yù)期的搜索結(jié)果的問(wèn)題就顯得更迫在眉睫。
什么是 Graph RAG:基于知識(shí)圖譜的檢索增強(qiáng)技術(shù)
「Graph RAG」是由悅數(shù)圖數(shù)據(jù)率先提出的概念,它是一種基于知識(shí)圖譜的檢索增強(qiáng)技術(shù),通過(guò)構(gòu)建圖模型的知識(shí)表達(dá),將實(shí)體和關(guān)系之間的聯(lián)系用圖的形式進(jìn)行展示,然后利用大語(yǔ)言模型 LLM(Large Language Model)進(jìn)行檢索增強(qiáng)。
在之前 和 Llama Index 的直播研討會(huì) 中我們提到,圖數(shù)據(jù)庫(kù)憑借圖形格式組織和連接信息的方式,天然適合存儲(chǔ)及表達(dá)復(fù)雜的上下文信息。通過(guò)圖技術(shù)構(gòu)建知識(shí)圖譜提升 In-Context Learning 的全面性為用戶(hù)提供更多的上下文信息,能夠幫助大語(yǔ)言模型(LLM)更好地理解實(shí)體間的關(guān)系,提升自己的表達(dá)和推理能力。
Graph RAG 將知識(shí)圖譜等價(jià)于一個(gè)超大規(guī)模的詞匯表,而實(shí)體和關(guān)系則對(duì)應(yīng)于單詞。通過(guò)這種方式,Graph RAG 在檢索時(shí)能夠?qū)?shí)體和關(guān)系作為單元進(jìn)行聯(lián)合建模,從而更準(zhǔn)確地理解查詢(xún)意圖,并提供更精準(zhǔn)的檢索結(jié)果。
Demo 演示:檢索強(qiáng)化效果對(duì)比:「悅數(shù)」官網(wǎng)可直接在線體驗(yàn)
下面我們就通過(guò) Demo 演示來(lái)直觀比較下 Graph RAG 與 Vector RAG、Text2Cypher 這三種檢索增強(qiáng)技術(shù)的區(qū)別和對(duì)比——
Vector RAG 與 Graph + Vector RAG 的對(duì)比
首先是 Vector RAG(向量檢索) 與 Graph + Vector RAG(圖技術(shù)增強(qiáng)的向量檢索)的對(duì)比。
左:Vector RAG 右:Graph + Vector RAG
以《銀河護(hù)衛(wèi)隊(duì) 3》的數(shù)據(jù)集為例,當(dāng)我們?cè)儐?wèn)“彼得·奎爾的相關(guān)信息”時(shí),單獨(dú)使用向量檢索引擎只給出了簡(jiǎn)單的身份、劇情、演員信息,而當(dāng)我們使用 Graph RAG 增強(qiáng)后的搜索結(jié)果,則提供了更多關(guān)于主角技能、角色目標(biāo)和身份變化的信息——在這個(gè)例子中我們不難看出, Graph RAG 的方法有效補(bǔ)充了 Embedding、向量搜索等傳統(tǒng)手段的不足。
Graph RAG 與 Text2Cypher 的對(duì)比
基于圖譜的 LLM 的另一種有趣方法是 Text2Cypher,即自然語(yǔ)言生成圖查詢(xún)。這種方法不依賴(lài)于實(shí)體的子圖檢索,而是將任務(wù)/問(wèn)題翻譯成一個(gè)面向答案的特定圖查詢(xún),和我們常說(shuō)的 Text2SQL 本質(zhì)是一樣的。
Text2Cypher 和 Graph RAG 這兩種方法主要在其檢索機(jī)制上有所不同。Text2Cypher 根據(jù)知識(shí)圖譜的 Schema 和給定的任務(wù)生成圖形模式查詢(xún),而 (Sub)Graph RAG 獲取相關(guān)的子圖以提供上下文。兩者都有其優(yōu)點(diǎn),大家可以通過(guò)這個(gè) demo ,更直觀理解他們的特點(diǎn):
左:Text2Cypher 右:Graph RAG
我們可以看到兩者的圖查詢(xún)模式在可視化下是有非常清晰的差異的,基于 Graph RAG 實(shí)現(xiàn)的檢索明顯呈現(xiàn)出更豐富的結(jié)果。用戶(hù)不僅獲得了最基礎(chǔ)的介紹信息,更能得到“彼得·奎爾是銀河護(hù)衛(wèi)隊(duì)的領(lǐng)導(dǎo)者”、“這個(gè)角色暗示自己將在續(xù)集中回歸”以及角色性格等一系列基于關(guān)聯(lián)搜索和上下文進(jìn)行推理得出的結(jié)果。
悅數(shù)圖數(shù)據(jù)庫(kù):率先實(shí)現(xiàn) LLM 適配,一鍵構(gòu)建企業(yè)專(zhuān)屬知識(shí)圖譜應(yīng)用
悅數(shù)圖數(shù)據(jù)庫(kù)不僅是國(guó)內(nèi)首家提出 Graph RAG 概念的廠商,也率先實(shí)現(xiàn)了與大語(yǔ)言模型框架 Llama Index 、LangChain 等的深度適配,因此開(kāi)發(fā)者可以專(zhuān)注于 LLM 的編排邏輯和 pipeline 設(shè)計(jì),而不用親自處理很多細(xì)節(jié)的抽象與實(shí)現(xiàn),一站式生成高質(zhì)量、低成本的企業(yè)級(jí)大語(yǔ)言模型應(yīng)用。
Graph RAG 技術(shù)的出現(xiàn)可以說(shuō)是為海量信息處理和檢索帶來(lái)了全新的思路。通過(guò)將知識(shí)圖譜、圖存儲(chǔ)集成到大語(yǔ)言模型(LLM) 技術(shù)棧中,Graph RAG 把上下文學(xué)習(xí)推向了一個(gè)新的高度。目前,用戶(hù)基于悅數(shù)圖數(shù)據(jù)庫(kù) 僅需要 3 行代碼就可以輕松搭建 Graph RAG,甚至整合更復(fù)雜的 RAG 邏輯,比如 Graph+Vector RAG。
選擇相信隨著圖技術(shù)和深度學(xué)習(xí)算法的進(jìn)一步發(fā)展,Graph RAG 技術(shù)在信息處理和檢索領(lǐng)域的應(yīng)用也會(huì)越來(lái)越廣泛。歡迎大家點(diǎn)擊【聯(lián)系我們】獲取悅數(shù)圖數(shù)據(jù)的免費(fèi)試用機(jī)
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )