ChatGPT 憑一己之力讓全球?yàn)?AI 沸騰，引發(fā)了科技巨頭之間的聊天機(jī)器人軍備競(jìng)賽。
眾所周知，ChatGPT 的背后技術(shù)是 GPT(Generative Pre-trained Transformer)模型。GPT 是一種基于 Transformer 模型的自然語言處理模型，由 OpenAI 公司開發(fā)。它可以通過學(xué)習(xí)大量的自然語言數(shù)據(jù)來生成自然流暢的文本，例如文章、對(duì)話等。
2019 年 11 月，OpenAI 開源了 GPT-2 語言模型的完整版本(有 15 億個(gè)參數(shù))。GPT-2 是作為 OpenAI 2018 年 GPT 模型的 "直接擴(kuò)展" 而創(chuàng)建的，其參數(shù)和訓(xùn)練數(shù)據(jù)集的大小都增加了 10 倍。
在 GPT-2 之后，OpenAI 又推出了 1750 億個(gè)參數(shù)的 GPT-3，只是其源代碼從未被公開。OpenAI 認(rèn)為 GPT-3 可能被濫用，因此不應(yīng)開源。包括后來的 GPT-3.5、GPT-4 都沒有開源。目前，公開免費(fèi)版 ChatGPT 仍然基于 GPT-3.5，不過按月訂閱 “ChatGPT Plus” 的用戶能夠試用由 GPT-4 提供支持的更新版本的 ChatGPT。
盡管 ChatGPT 沒有開源，但趁著這波熱度，還是有不少類似的開源項(xiàng)目出現(xiàn)，GitHub 已經(jīng)有人做個(gè)了替代 ChatGPT 的開源項(xiàng)目列表。
lucidrains/PaLM-rlhf-pytorch
這是一個(gè)類似于 ChatGPT 的模型，但使用的是 PaLM 架構(gòu)。在 PaLM 架構(gòu)之上實(shí)現(xiàn)了 RLHF(人類反饋強(qiáng)化學(xué)習(xí))。
注：只有源代碼，沒有數(shù)據(jù)，沒有模型權(quán)重，沒有聊天系統(tǒng)。
togethercomputer/OpenChatKit
OpenChatKit 提供了一個(gè)強(qiáng)大的開源基礎(chǔ)，可以為各種應(yīng)用程序創(chuàng)建專用和通用聊天機(jī)器人。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
oobabooga/text-generation-webui
它是一個(gè)用于運(yùn)行 GPT-J 6B、OPT、GALACTICA、LLaMA 和 Pygmalion 等大型語言模型的 gradio web UI。其目標(biāo)是成為文本生成領(lǐng)域的AUTOMATIC1111/stable-diffusion-webui。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
KoboldAI/KoboldAI-Client
這是一個(gè)基于瀏覽器的前端，用于使用多個(gè)本地和遠(yuǎn)程 AI 模型進(jìn)行 AI 輔助寫作。它提供一系列標(biāo)準(zhǔn)工具，包括內(nèi)存、作者筆記、世界信息、保存和加載、可調(diào)整的 AI 設(shè)置、格式化選項(xiàng)，以及導(dǎo)入現(xiàn)有 AI Dungeon 冒險(xiǎn)的能力。您還可以打開冒險(xiǎn)模式并像 AI Dungeon Unleashed 一樣玩游戲。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
LAION-AI/Open-Assistant
OpenAssistant 是一個(gè)基于聊天的助手，可以理解任務(wù)，可以與第三方系統(tǒng)交互，并為此動(dòng)態(tài)檢索信息。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
tatsu-lab/stanford_alpaca
這是 Stanford Alpaca 項(xiàng)目的 repo，該項(xiàng)目旨在構(gòu)建和共享指令遵循的 LLaMA 模型。
注：半開源、非真正開源、基于封閉模型等...
BlinkDL/ChatRWKV
ChatRWKV 類似于 ChatGPT，但由 RWKV(100% RNN)語言模型提供支持，并且是開源的。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
THUDM/ChatGLM-6B
ChatGLM-6B 是一個(gè)基于通用語言模型(GLM)框架的開放式雙語語言模型，擁有 62 億個(gè)參數(shù)。借助量化技術(shù)，用戶可以在消費(fèi)級(jí)顯卡上進(jìn)行本地部署(INT4 量化級(jí)別僅需 6GB GPU 顯存)。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
bigscience-workshop/xmtf
此存儲(chǔ)庫概述了用于創(chuàng)建 BLOOMZ & mT0 和 xP3 的所有組件，這些組件在通過多任務(wù)微調(diào)進(jìn)行跨語言泛化一文中介紹。
注：有數(shù)據(jù)，有模型權(quán)重，通過 API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
carperai/trlx
這是一個(gè)用于通過人類反饋(RLHF)進(jìn)行語言模型分布式訓(xùn)練的代碼庫，用于微調(diào) GPT 模型以生成聊天文本的工具，支持在線 RL 訓(xùn)練多達(dá) 20 億個(gè)參數(shù)的模型，以及離線 RL 訓(xùn)練更大的模型。
注：只有源代碼，沒有數(shù)據(jù)，沒有模型權(quán)重，沒有聊天系統(tǒng)。
databrickslabs/dolly
該模型基于 pythia-12b 進(jìn)行訓(xùn)練，使用了約 15,000 條指令 / 響應(yīng)微調(diào)記錄，這些記錄是由 Databricks 員工在 InstructGPT 論文的能力領(lǐng)域中生成的 databricks-dolly-15k。
注：有數(shù)據(jù)，有模型權(quán)重，通過 API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
LianjiaTech/BELLE
本項(xiàng)目的目標(biāo)是推動(dòng)中文大型會(huì)話模型開源社區(qū)的發(fā)展。該項(xiàng)目在原有的 Stanford Alpaca 基礎(chǔ)上優(yōu)化了中文性能。模型微調(diào)僅使用通過 ChatGPT 生成的數(shù)據(jù)(沒有其他數(shù)據(jù))。此 repo 包含 175 個(gè)用于生成數(shù)據(jù)的中文種子任務(wù)、用于生成數(shù)據(jù)的代碼、用于微調(diào)模型的 0.5M 生成數(shù)據(jù)等等。
注：有數(shù)據(jù)，有模型權(quán)重，通過 API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
ethanyanjiali/minChatGPT
這個(gè)示例演示了如何使用 RLHF 技術(shù)對(duì)齊語言模型，使其能夠生成類似于 ChatGPT 的聊天文本。
注：有數(shù)據(jù)，有模型權(quán)重，通過 API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
cerebras/Cerebras-GPT
7 個(gè)開源 GPT-3 樣式模型，參數(shù)范圍從 1.11 億到 130 億，使用 Chinchilla 公式 訓(xùn)練。模型權(quán)重已在寬松許可下發(fā)布(特別是 Apache 2.0 許可)。
注：有數(shù)據(jù)，有模型權(quán)重，通過 API 可以實(shí)現(xiàn)基礎(chǔ)的聊天功能。
TavernAI/TavernAI
一款主題風(fēng)格是冒險(xiǎn)和探險(xiǎn)的聊天機(jī)器人，默認(rèn) AI 語言模型是 Pygmalion，還包括其他語言模型，比如 KoboldAI、ChatGPT、GPT-4 等。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
Cohee1207/SillyTavern
SillyTavern 是 TavernAI 1.2.8 的一個(gè)分支，目前正在積極開發(fā)中，并添加了許多主要功能?，F(xiàn)在，它們可以被視為完全獨(dú)立的程序。Tavern 是一個(gè)用戶界面，它需要與一個(gè) AI 系統(tǒng)后端配合使用，才能發(fā)揮作用。有多種支持的后端可供選擇，包括 OpenAPI API(GPT)、KoboldAI(可以在本地運(yùn)行或在 Google Colab 上運(yùn)行)等。
注：有完整數(shù)據(jù)，有模型權(quán)重，包括 TUI 和 GUI 的精致聊天系統(tǒng)。
ChatGPT 這陣風(fēng)刮得這么猛，GOTC 2023 怎會(huì)錯(cuò)過?
5 月 27 日至 28 日，GOTC 2023 將在上海召開，AIGC (AI Generated Content，AI 生成內(nèi)容) 將成為本次大會(huì)的重頭戲。尤其是在 “AI is Everywhere” 分論壇上，諸多 AI 專家將深入探討 AIGC 背后的技術(shù)。
全球開源技術(shù)峰會(huì)(Global Open-source Technology Conference)，簡(jiǎn)稱 GOTC，是由開放原子開源基金會(huì)、 Linux 基金會(huì)亞太區(qū)、上海浦東軟件園和開源中國(guó)聯(lián)合發(fā)起的，面向全球開發(fā)者的一場(chǎng)盛大開源技術(shù)盛宴。 5 月 27 日至 28 日，GOTC 2023 將于上海舉辦為期 2 天的開源行業(yè)盛會(huì)。大會(huì)將以行業(yè)展覽、主題發(fā)言、特別論壇、分論壇的形式展現(xiàn)，與會(huì)者將一起探討元宇宙、3D 與游戲、eBPF、Web3.0、區(qū)塊鏈等熱門技術(shù)主題，以及開源社區(qū)、AIGC、汽車軟件、開源商業(yè)化、開源教育培訓(xùn)、云原生等熱門話題，探討開源未來，助力開源發(fā)展。
GOTC 2023報(bào)名通道現(xiàn)已開啟，誠(chéng)邀全球各技術(shù)領(lǐng)域開源愛好者共襄盛舉!
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
