7B的模型也能玩轉(zhuǎn)AI Agents了?近期,快手開源了Kwai Agents,親測發(fā)現(xiàn),問它周末滑雪問題,它不但能幫你找到場地,連當(dāng)天的天氣都幫你考慮周到了。
大語言模型(LLM)通過對語言的建模而掌握了大量知識,并具備一定認(rèn)知和推理能力。但由于無法跟世界保持實時的交互,在單獨使用的情況下,常會出現(xiàn)一本正經(jīng)地胡說八道的現(xiàn)象。而AI Agents就是解決這個問題的道路之一,它通過激發(fā)大模型任務(wù)規(guī)劃、反思、調(diào)用工具等能力,使大模型能夠借助現(xiàn)實世界工具提升生成內(nèi)容的準(zhǔn)確性,甚至有能力解決復(fù)雜問題。
據(jù)了解,KwaiAgents是一個先進的AI智能體系統(tǒng),由快手聯(lián)合哈爾濱工業(yè)大學(xué)研發(fā),通過使用大型語言模型來模仿人類認(rèn)知技能,可應(yīng)用于自然語言處理、語音識別等領(lǐng)域。Kwai Agents可以使7B/13B的“小”大模型也能達到超越GPT-3.5的效果,目前該項目已將系統(tǒng)、模型、數(shù)據(jù)、評測全部開源,使得更多的研究人員可以參與其中。
技術(shù)報告:https://arxiv.org/abs/2312.04889
項目主頁:https://github.com/KwaiKEG/KwaiAgents
從「KwaiAgents」的Github主頁中可以看到,本次開源內(nèi)容包含:
1.系統(tǒng)(KAgentSys-Lite):輕量級AI Agents系統(tǒng),并配備事實、時效性工具集;
2.模型(KAgentLMs):Meta-Agent Tuning后,具有Agents通用能力的系列大模型及其訓(xùn)練數(shù)據(jù);
3.評測(KAgentBench):開箱即用的Agent能力自動化評測Benchmark與人工評測結(jié)果。
KAgentBench通過人工精細化標(biāo)注的上千條數(shù)據(jù),做到了開箱即用,讓大家能夠用一行命令評測一個大模型在不同模板下,各方面的Agents能力。下表顯示了經(jīng)過快手團隊調(diào)優(yōu)后,7B-13B模型各項能力的提升,且超越了GPT-3.5的效果:
同時,作者們還請人類標(biāo)注者在200個事實性和時效性的問題(如“劉德華今年幾歲了”),對不同的大模型和Agent系統(tǒng)進行了交叉評估,可以看到KAgentSys系統(tǒng)和MAT之后模型提升顯著(百分號前為正確率,括號內(nèi)為5分制均分)。
通常僅依賴網(wǎng)頁搜索對一些長尾問題和熱門問題返回結(jié)果不佳。比如問到“安東內(nèi)拉比梅西大多少天?”這類長尾問題,往往搜索結(jié)果返回的都是一些兩者的八卦新聞,而返回不了一些關(guān)鍵信息。而KAgentSys 通過調(diào)用百科搜索工具獲取精準(zhǔn)的出生日期,再調(diào)用time_delta時間差工具算出年齡差,就能精準(zhǔn)回答這個問題了。
快手技術(shù)人員表示,AI Agents是一條非常有潛力的道路,未來一方面會在這個方向持之以恒地沉淀核心技術(shù),并為整個社區(qū)不斷地注入新的活力;另一方面,也會積極探索Agents技術(shù)與快手業(yè)務(wù)的結(jié)合,嘗試更多有趣、有價值的創(chuàng)新應(yīng)用落地。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
