英特爾與京東優(yōu)化分布式特征向量檢索系統(tǒng)Vearch，加速AI應(yīng)用創(chuàng)新

原標(biāo)題：英特爾與京東優(yōu)化分布式特征向量檢索系統(tǒng)Vearch，加速AI應(yīng)用創(chuàng)新

有沒有那么一首歌，會(huì)讓你想不起來叫什么？

有那么一首旋律，在你的腦海中縈繞，但你卻想不起來它的名字和演唱者?？吹揭欢涿利惖幕ǎ瑓s不知道它叫什么，屬于什么科目。類似的情形，每個(gè)人都遇到過。不過，現(xiàn)在這些都不成為問題了。打開一個(gè)手機(jī)應(yīng)用，哼一下曲調(diào)，或者用相機(jī)拍一張照片，答案馬上出現(xiàn)在你面前。變身行走的知識(shí)小百科，就這么簡單！

圖片來源：Pexels

聽音識(shí)曲，以圖搜圖，所有這些，都有賴于人工智能的特征向量檢索能力：AI 機(jī)器學(xué)習(xí)算法，可以從圖像、音視頻和文本中抽取大量的特征，再用于視頻相似度檢測、人臉識(shí)別等業(yè)務(wù)場景中，對于 AI 訓(xùn)練與應(yīng)用有重要價(jià)值。

隨著 AI 的開發(fā)和應(yīng)用不斷普及和深入，企業(yè)需要計(jì)算、存儲(chǔ)海量特征向量數(shù)據(jù)，IT 基礎(chǔ)設(shè)施因此面臨沉重的性能壓力。英特爾和京東一起，在基于 英特爾?至強(qiáng)?可擴(kuò)展處理器的服務(wù)器上，開發(fā)了服務(wù)于 AI 時(shí)代的分布式向量搜索系統(tǒng)Vearch，讓京東的業(yè)務(wù)綜合性能獲得顯著提升，從而顯著加速重復(fù)圖片去重、相似性商品圖片搜索、人臉識(shí)別等 AI 應(yīng)用的響應(yīng)速度。

跨越性能挑戰(zhàn)：

軟件算法優(yōu)化+硬件并行計(jì)算

這幾年來，京東一直在落地 AI 技術(shù)，幫助業(yè)務(wù)成長。因此，深度學(xué)習(xí)等 AI 應(yīng)用在企業(yè)內(nèi)部的規(guī)模越來越大，Vearch 應(yīng)運(yùn)而生。

Vearch向量檢索系統(tǒng)架構(gòu)

分布式基礎(chǔ)向量檢索系統(tǒng) Vearch，由京東零售技術(shù)與數(shù)據(jù)中心基礎(chǔ)架構(gòu)團(tuán)隊(duì)在現(xiàn)有業(yè)務(wù)和應(yīng)用場景中提煉得出，面向 AI 時(shí)代，希望可以幫助 AI 算法專家集中精力在算法上。Vearch 廣泛應(yīng)用于圖像、音視頻和自然語言處理等各個(gè)機(jī)器學(xué)習(xí)領(lǐng)域，完整地解決海量特征的存儲(chǔ)與計(jì)算， 以統(tǒng)一的基礎(chǔ)設(shè)施，適用于圖像、視頻、音頻檢索和去重，安防視頻智能監(jiān)控，文本相似度計(jì)算、推薦、搜索召回及排序等。例如，基于 Vearch 的實(shí)時(shí)在線相似性圖片搜索，幫助電商平臺(tái)為用戶提供同款商品搜索服務(wù)，提升用戶體驗(yàn)。

基于Vearch的在線相似性圖片搜索流程

諸如 Vearch 這樣的系統(tǒng)，特征向量的規(guī)模常常會(huì)達(dá)到 10/100 億，甚至千億量級，必須有充足的內(nèi)存和存儲(chǔ)才能滿足，同時(shí)部署大量的容器加以支持。為了最大化利用資源，企業(yè)會(huì)將單個(gè)容器的資源控制在較小范圍內(nèi)。在這種單容器資源有限的情況下，如何有效地整合零碎化 CPU、 內(nèi)存和磁盤資源，并且保證整體系統(tǒng)的高性能是一個(gè)較大的挑戰(zhàn)。

針對 Vearch 的性能問題，京東技術(shù)團(tuán)隊(duì)與英特爾合作，在基于英特爾?至強(qiáng)?可擴(kuò)展處理器的服務(wù)器上，借助下列多種方式在軟件算法層面加以優(yōu)化。

在硬件提升層面，英特爾?至強(qiáng)?可擴(kuò)展處理器也功不可沒。它不但有強(qiáng)大的通用計(jì)算能力，還集成了增強(qiáng)單指令多數(shù)據(jù)流（Single Instruction Multiple Data，簡稱SIMD）的英特爾? AVX-512 指令集等創(chuàng)新技術(shù)，兼顧并行計(jì)算能力，在諸如人工智能、高性能計(jì)算等強(qiáng)調(diào) SIMD 的場景中長袖善舞。

為了驗(yàn)證性能優(yōu)化的實(shí)際效果，京東與英特爾對于Vearch優(yōu)化版IVFPQ和IVFFlat進(jìn)行了測試。測試結(jié)果表明，使用 IVFPQ 算法的 Vearch 性能可以提升 33%-44%，使用 IVFFlat 算法，性能提升最高達(dá)到 5.9 倍。在人臉識(shí)別等實(shí)際應(yīng)用中，不需大幅投資基礎(chǔ)設(shè)施，優(yōu)化后的 Vearch 可以提升特征向量檢索的速度，降低存儲(chǔ)資源消耗，節(jié)約總體擁有成本（TCO）。

Vearch優(yōu)化版IVFPQ（AVX512）與Faiss原生IVFPQ的性能對比

Vearch優(yōu)化版IVFFlat（AVX512）與Faiss原生IVFFlat的性能對比

AI 互聯(lián)網(wǎng)創(chuàng)新，靠大家攜手推動(dòng)

Vearch 開源一年多來，華為、科大訊飛、愛奇藝、趣頭條、OPPO、汽車之家和網(wǎng)易嚴(yán)選等數(shù)十家知名公司的團(tuán)隊(duì)或個(gè)人，已經(jīng)在一些業(yè)務(wù)場景中嘗試或使用。未來，京東還會(huì)在英特爾的支持下，提供更豐富的算法插件，如文本語義 embedding 算法插件，音頻 embedding 算法插件等。

總而言之，借助英特爾架構(gòu)在性能、擴(kuò)展性、穩(wěn)定性、可用性等方面的優(yōu)勢，英特爾愿意和眾多合作伙伴一起，讓 AI 和機(jī)器學(xué)習(xí)技術(shù)在互聯(lián)網(wǎng)、零售和金融行業(yè)不斷發(fā)揮創(chuàng)新推動(dòng)力，改善廣大用戶的日常生活。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。