2025年1月,第31屆國際計算語言學(xué)大會(International Conference on Computational Linguistics,COLING 2025)公布論文錄用結(jié)果,九方智投控股(9636.HK)旗下九方智投人工智能中心1篇長文被錄用,論文評級是Oral,為錄用論文中前5%。
圖:第31屆國際計算語言學(xué)大會頂會背書:AI領(lǐng)域的權(quán)威認(rèn)可
國際計算語言學(xué)大會(COLING),是自然語言處理和計算語言學(xué)領(lǐng)域的重要國際學(xué)術(shù)會議,每兩年召開一次,1965年第一屆召開以來,至今已成功舉辦了31屆。COLING在人工智能及自然語言處理領(lǐng)域享有較高學(xué)術(shù)聲譽,該會議涉及領(lǐng)域包括但不限于文本推理、語言模型、視覺、高效NLP方法、語義解析等研究方向,吸引了來自全球頂尖高校、研究機構(gòu)及科技巨頭的數(shù)千篇論文投稿。據(jù)悉,其論文錄用標(biāo)準(zhǔn)嚴(yán)格,錄用率通常低于25%,而Oral級別論文(需做口頭報告)僅占前5%。
此次,九方智投人工智能中心的研究成果論文以O(shè)ral級別被COLING 2025錄用,標(biāo)志著公司在人工智能基礎(chǔ)研究領(lǐng)域的突破性進(jìn)步獲權(quán)威認(rèn)可,并為長期對話系統(tǒng)的未來發(fā)展開辟了全新路徑。
圖:COLING 2025九方智投控股報告現(xiàn)場 壓縮記憶增強對話系統(tǒng):探索新一代對話系統(tǒng)如何突破記憶瓶頸
本次,九方智投控股旗下九方智投人工智能中心研究成果論文提出了“壓縮記憶增強對話系統(tǒng)(COMEDY)”創(chuàng)新框架。該框架摒棄了傳統(tǒng)的檢索模塊和記憶數(shù)據(jù)庫,轉(zhuǎn)而采用“一體化”方法,利用單一語言模型來管理記憶生成、壓縮和回復(fù)生成。以下為論文簡述:
論文題目:Beyond Retrieval: Embracing Compressive Memory in Real-World Long-Term Conversations(超越檢索記憶:現(xiàn)實世界長期對話中擁抱壓縮記憶)
作者:陳諾,李宏廣,常劍輝,黃居華,王寶元,李佳
類別:主會長文
核心單位:九方智投控股
合作單位:中國香港科技大學(xué)(廣州),中國電信云計算研究院, Xiaobing.AI,Zillow Group
圖:論文框圖
摘要:現(xiàn)有的基于檢索的方法在保持長期對話方面取得了重大進(jìn)展。然而,這些方法在內(nèi)存數(shù)據(jù)庫管理和準(zhǔn)確的記憶檢索方面面臨挑戰(zhàn),影響了它們在動態(tài)、真實世界互動中的效果。本研究提出了一個新穎的框架——壓縮記憶增強對話系統(tǒng)(COMEDY),它摒棄了傳統(tǒng)的檢索模塊和記憶數(shù)據(jù)庫。相反,COMEDY采用“一體化”方法,利用單一語言模型來管理記憶生成、壓縮和回復(fù)生成。該框架的核心是壓縮記憶的概念,它將特定會話的摘要、用戶-機器人互動動態(tài)和過往事件整合成一種簡明的記憶格式。為支持COMEDY,我們收集了最大的中文長期對話數(shù)據(jù)集Dolphin,該數(shù)據(jù)集源自真實的用戶-聊天機器人互動。對比評估表明,COMEDY在產(chǎn)生更細(xì)膩和人性化的對話體驗方面優(yōu)于傳統(tǒng)的基于檢索的方法。
論文貢獻(xiàn):
我們提出了一個名為COMEDY的新框架,它代表著傳統(tǒng)記憶檢索型對話系統(tǒng)的一個突破性轉(zhuǎn)變。它不依賴任何檢索模塊或記憶數(shù)據(jù)庫,而是通過壓縮記憶生成增強的、具有記憶特性的回復(fù)。
我們從實際的在線用戶-聊天機器人互動中標(biāo)注了一個大規(guī)模(10萬條)的長期對話指令調(diào)優(yōu)數(shù)據(jù)集Dolphin。它能夠增強壓縮記憶增強模型適應(yīng)不斷演變的對話風(fēng)格和用戶偏好的能力。據(jù)我們所知,Dolphin是目前最大中文長期記憶對話數(shù)據(jù)集。
COMEDY能夠通過單一模型處理整個長期對話交互,實現(xiàn)更高程度的結(jié)果一致性和可預(yù)測性,減少計算開銷,并消除了多模型之間數(shù)據(jù)傳輸?shù)男枨蟆?/p>
實驗結(jié)果:
壓縮記憶方法的優(yōu)越性:壓縮記憶方法,特別是COMEDY-GPT4,在大多數(shù)指標(biāo)上都持續(xù)優(yōu)于僅基于上下文和基于檢索的方法。例如COMEDY-GPT4在相關(guān)性和用戶吸引度兩個方面都獲得了最高分,表明其能夠生成既符合上下文又具有吸引力的回復(fù)。COMEDY-GPT4在五個評估維度的評分和排名中也取得了最佳平均表現(xiàn)。
DPO(直接偏好優(yōu)化)的增強效果:DPO的應(yīng)用進(jìn)一步提升了壓縮記憶策略,改善了對話的記憶性、一致性和人類自然表達(dá)程度。在壓縮記憶類別中,COMEDY-13B DPO展現(xiàn)出顯著的性能提升。該方法在Top@1排名中獲得最高,并在基于記憶的對話整體質(zhì)量上顯示出實質(zhì)性提升。
圖:不同模型的實驗評分1
SFT模型可以超越ChatGPT:另一個有趣的發(fā)現(xiàn)是,我們微調(diào)COMEDY相比ChatGPT表現(xiàn)更好。更進(jìn)一步,COMEDY-13B DPO甚至展現(xiàn)出與GPT4相當(dāng)?shù)男阅堋＿@些結(jié)果突顯了COMEDY框架和Dolphin數(shù)據(jù)集的價值,它們在相關(guān)性、用戶吸引度和人類自然表達(dá)上帶來了顯著改進(jìn)。
長期對話系統(tǒng)的固有挑戰(zhàn):從實驗可以明顯看出,所有模型在現(xiàn)實世界的長期對話中都難以獲得高分,沒有模型的平均分超過2分。這凸顯了這個研究方向固有的復(fù)雜性和挑戰(zhàn)性,表明還有很大的改進(jìn)空間。
圖:不同模型的實驗評分2
效果示例:
當(dāng)用戶詢問“你在做什么?”時,模型應(yīng)該利用來自之前對話會話中的用戶個人信息來生成一個有吸引力的回應(yīng)。下面的例子凸顯了我們COMEDY在維護(hù)來自過去會話的完整用戶信息和事件摘要方面的能力,幫助模型形成一致性高且基于記憶的回復(fù)。例如,COMEDY-13B DPO可以回應(yīng)“我正在想怎么做你最喜歡的烤雞翅”,這不僅相關(guān)性好且很好的利用了來自用戶壓縮記憶中的有效信息。
相比之下,基于檢索的方法在這種松散結(jié)構(gòu)的對話中遇到困難。缺乏定向和明確話題的對話使這些方法難以從數(shù)據(jù)庫中有效檢索相關(guān)記憶,經(jīng)常導(dǎo)致缺乏對話特色的泛泛而談,就像GPT4-Retrieval的回應(yīng)一樣。
圖:現(xiàn)實世界長期對話典型案例
簡言之,這些模型在現(xiàn)實世界長期對話中還需要不斷探索新的技術(shù)和方法來提高對話系統(tǒng)的性能。就像教孩子社交需要時間,對話AI的成長也需要持續(xù)的數(shù)據(jù)喂養(yǎng)和算法優(yōu)化。 “產(chǎn)學(xué)研用”協(xié)同:頂尖機構(gòu)共筑科技生態(tài)
多年來,九方智投控股始終堅持“科技+投研”雙輪驅(qū)動戰(zhàn)略,不僅注重技術(shù)創(chuàng)新與研發(fā),還深化與高校、科研機構(gòu)及金融機構(gòu)的合作。這種“產(chǎn)學(xué)研用”一體化模式,加強了跨領(lǐng)域、跨行業(yè)的協(xié)同創(chuàng)新,在提升了九方智投控股的核心競爭力的同時,也通過雙向互動共同構(gòu)建了一個充滿活力與潛力的科研生態(tài)。
此前,九方智投控股旗下子品牌九方智投與華為云共同建立科技創(chuàng)新實驗室,進(jìn)行基礎(chǔ)算力和金融業(yè)務(wù)的聯(lián)合研發(fā);還與科大訊飛共建了人工智能實驗室,進(jìn)行基礎(chǔ)語言大模型的繼續(xù)預(yù)訓(xùn)練相關(guān)合作;與多所全球頂級科研高校,如約翰斯霍普金斯大學(xué)、哥倫比亞大學(xué)、復(fù)旦大學(xué)、中國香港科技大學(xué)(廣州),在高效參數(shù)微調(diào)下關(guān)于大語言模型的剪枝和混合精度的量化訓(xùn)練、金融多模態(tài)對話生成基準(zhǔn)、用戶長期記憶構(gòu)建、評測及建模方向等多個具有挑戰(zhàn)性與前沿技術(shù)研發(fā)的項目中進(jìn)行了合作。此外,九方智投與粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院(IDEA研究院)等科研機構(gòu)也建立了良好的合作關(guān)系。
九方智投控股的技術(shù)突破離不開與全球頂尖機構(gòu)的深度合作。這些合作單位不僅提供了前沿算法的支持,還貢獻(xiàn)了大規(guī)模數(shù)據(jù)處理能力,進(jìn)一步加速了技術(shù)從實驗室到證券投顧行業(yè)應(yīng)用的轉(zhuǎn)化。
場景落地:九方靈犀智能體開啟金融對話新范式
面對AI時代的浪潮,九方智投也緊跟AI技術(shù)發(fā)展,不斷探索AI技術(shù)在金融領(lǐng)域的創(chuàng)新應(yīng)用。從2019年的第一代文本對話機器人AI旺財,到2021年的智能話術(shù)引擎,再到2023年的行業(yè)首款智能投顧數(shù)字人“九哥”,2024年推出業(yè)內(nèi)首款“易知股道”股票學(xué)習(xí)機搭載強大的智能AI系統(tǒng),擁有AI推薦、AI筆記、AI腦圖、AI測評等功能,可以幫助投資者高效、有效地完成學(xué)習(xí)目標(biāo)。
目前,九方智投控股旗下九方智投人工智能項目部的研究范圍涵蓋九方金融智能體FinSphere Agent、九章證券領(lǐng)域大模型FinSphere、多模態(tài)圖文匹配FinSphere-V、高效參數(shù)微調(diào)和AutoML&LLM等領(lǐng)域,憑借階段性的行業(yè)人工智能核心技術(shù)成果,九方智投控股旗下品牌九方智投獲批成為中國人工智能學(xué)會的成員單位。
圖:九方智投成為中國人工智能學(xué)會成員單位
2025年1月,九方智投重磅發(fā)布了新款股票學(xué)習(xí)機“易知股道”領(lǐng)航版、九方靈犀、九方智研三款數(shù)智新品,將AI融入金融場景,向市場和投資者展示了公司最新科技研發(fā)應(yīng)用成果,進(jìn)一步助力用戶完善知識體系、搭建投資框架,提升投研效率和投資能力。
九方靈犀是基于九方智能體技術(shù)研發(fā)的擁有自主思維鏈決策推理能力、工具調(diào)用能力、用戶記憶體構(gòu)建和增強能力、圖文回復(fù)能力的金融對話智能體。主要從智能化、專業(yè)投顧和個性化三個方面打造了九方靈犀的產(chǎn)品功能。九方智投人工智能中心的核心前沿技術(shù)COMEDY也將會落地到九方靈犀的產(chǎn)品體系中,面向個性化方向為股票投資者提供千人千面的個性化股票診斷、個性化主動式金融對話服務(wù)等。
新技術(shù)的突破不僅讓聊天機器人更“走心”,更為未來的人機交互打開新可能。當(dāng)機器開始擁有持續(xù)的記憶能力,人類與AI的關(guān)系或?qū)⒂瓉碣|(zhì)的飛躍。COMEDY的出現(xiàn),或許標(biāo)志著對話AI正從“即時應(yīng)答”向“長期持續(xù)關(guān)系構(gòu)建”邁進(jìn),為構(gòu)建具備持續(xù)認(rèn)知能力的人機交互范式奠定了重要基礎(chǔ)。 展望未來:以技術(shù)革新定義金融科技新高度
九方智投控股始終堅信“創(chuàng)新驅(qū)動發(fā)展,科技引領(lǐng)未來”的理念,致力于將最前沿的人工智能技術(shù)應(yīng)用于金融垂直領(lǐng)域,不斷推動金融科技的創(chuàng)新與發(fā)展。此次,論文成果被COLING 2025成功收錄,不僅是九方智投控股在理論研究上的重大突破,更是公司技術(shù)實力和創(chuàng)新能力的有力證明。“COLING 2025的認(rèn)可是起點,而非終點。”九方智投人工智能項目部負(fù)責(zé)人表示,“我們將持續(xù)加碼AI基礎(chǔ)研究,推動COMEDY框架在更多金融場景及工具中落地,為廣大投資者構(gòu)建更開放的智能對話生態(tài)。”
未來,九方智投控股(9636.HK)將持續(xù)加大研發(fā)投入,不斷探索新技術(shù)來提升對話系統(tǒng)的性能和智能化水平。公司也將積極拓展應(yīng)用場景,把更多先進(jìn)技術(shù)應(yīng)用于更多的金融產(chǎn)品和服務(wù)中,推動金融服務(wù)從“標(biāo)準(zhǔn)化”向“智慧化”躍遷,為投資者提供更加全面、智能、高效及個性化的投資顧問服務(wù)。同時,公司還將繼續(xù)深化與高校、科研機構(gòu)及金融機構(gòu)的合作,共同推動金融科技的創(chuàng)新與發(fā)展,為構(gòu)建更加智能、便捷、安全的金融服務(wù)體系貢獻(xiàn)綿薄之力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
