近日，超對稱與UCloud優(yōu)刻得合作，將公司推出的3個大模型開源到UCloud官網(wǎng)，以“大模型+大算力“的方式，共同推進AICG創(chuàng)新應用。
2022年5月超對稱技術公司發(fā)布大語言模型BigBang Transformer【乾元】的第一版BBT-1，10億參數(shù)預訓練語言模型，在中文金融語料上訓練而成，發(fā)布之后即獲得經(jīng)濟金融領域客戶熱烈反饋，作為大模型底座已經(jīng)為多家中國和海外機構提供服務。
近期，超對稱公司再推出BBT-2，這是一個基于120億參數(shù)的通用大語言模型，并在BBT-2的基礎上，訓練出代碼、金融、文生圖等專業(yè)模型。
超對稱技術公司將發(fā)布基于BBT-2的系列模型：
•BBT-2-12B-Text：120億參數(shù)的中文通用語言模型
•BBT-2.5-13B-Text: 130億參數(shù)的中文+英文雙語基礎模型
•BBT-2-12B-TC-001-SFT 經(jīng)過指令微調的代碼模型，可以進行對話
•BBT-2-12B-TF-001 在120億模型上訓練的金融模型，解決金融領域任務
•BBT-2-12B-Fig：文生圖模型
•BBT-2-12B-Science 科學論文模型
通過與UCloud優(yōu)刻得在算力和開源方面的合作，超對稱還將3個大模型開源到官網(wǎng)、github和UCloud，后續(xù)用戶可直接在UCloud官方平臺通過GPU云主機的行業(yè)鏡像或算力平臺直接開箱使用這些模型：
●BBT-1-0.2B：2億參數(shù)金融模型，包括三個不同預訓練方式進行訓練的模型, 訓了600億Tokens：
(1)BBT-1-0.2B-001：2億參數(shù)，金融模型，T5Decoder+Encoder架構
(2)BBT-1-0.2B-002: 2億參數(shù)，金融模型，T5+GPT
(3)BBT-1-0.2B-003: 2億參數(shù)，金融模型，T5+UL2
●BBT-1-1B：10億參數(shù)金融模型，T5Encoder+Decoder架構，使用金融中文語料庫1000億tokens進行預訓練，包含社交媒體，財經(jīng)新聞，券商研報，公司公告財報等數(shù)據(jù)
●BBT-2-12B-Text：120億參數(shù)基礎模型，GPT Decoder-Only 架構，未經(jīng)指令微調，完成2000億token預訓練，模型性能還有較大提升空間，開發(fā)者可在通用模型上繼續(xù)訓練或進行下游任務微調
●BBT-2.5-13B-Text: 130億參數(shù)基礎模型，GPT Decoder-Only 架構，未經(jīng)指令微調，完成2000億中文+英文tokens預訓
(UCloud官網(wǎng)開源模型使用流程)
以下是超對稱技術公司基于BBT-2的系列模型介紹：
1、BBT-2-12B-Text 通用模型
BigBangTransformer[乾元]是基于GPT Decoder-only架構的大規(guī)模預訓練模型。繼2022年開源BBT-1-0.2B模型之后，正式開源最新系列的BBT模型：BBT-1-1B，BBT-2-12B-Text，BBT-2.5-13B-Text。預訓練語料庫覆蓋14個高質量數(shù)據(jù)源，覆蓋書籍、百科、論文、小說、新聞、政策文件、中文博客、社交媒體等多個數(shù)據(jù)源種類。BBT-2-12B-Text基于中文700億tokens進行預訓練，經(jīng)過指令微調的BBT-2基礎模型可以回答百科類和日常生活的問題。BBT-2.5-13B-Text基于中文+英文2000億tokens進行預訓練,暫時不開放基礎模型的問答對話接口。
模型開源后所有開發(fā)者可以：
•可以直接調用大模型進行對話
•在我們訓練的基礎上使用自由語料庫繼續(xù)訓練
•對大模型進行微調訓練以滿足各種下游任務
2.BBT-2-12B-Text+Code 代碼模型
BBT-TC，是超對稱技術公司近期發(fā)布的BBT-2大模型系列中的代碼模型，在百億基座模型BBT-2-12B-Text接續(xù)訓練代碼數(shù)據(jù)集，通過有監(jiān)督指令微調(Supervised Fine-Tuning)解鎖模型的推理能力。該模型在專業(yè)評測中分數(shù)超過其他中國公司開發(fā)的同類模型，僅次于GPT-3.5。
開發(fā)者可以在超對稱公司官網(wǎng)https://www.ssymmetry.com測試BBT模型的代碼問答(僅應用于代碼生成場景，無法回答與代碼無關的問題)
詳情可見文章《超對稱技術公司的代碼大模型CodeBBT在專業(yè)評測中位居前列，僅次于GPT-3.5》
3、BBT-2-12B-TF-001 金融模型
超對稱公司于2021年便開始針對金融投資領域的應用，著手設計和訓練了一個大規(guī)模參數(shù)預訓練語言模型Big Bang Transformer乾元(BBT)，目前發(fā)布了Base 版本2.2億參數(shù)和Large 版本10億參數(shù)以及最新的BBT2，120億參數(shù)通用模型。BBT模型的目標是為金融投資建立統(tǒng)一的人工智能算法框架，基于transformer構建能融合訓練金融投資涉及的不同模態(tài)數(shù)據(jù)的架構。在統(tǒng)一架構的基礎上訓練大規(guī)模參數(shù)預訓練模型，隨著模型參數(shù)和訓練數(shù)據(jù)集繼續(xù)增大，超對稱團隊有希望開發(fā)出在金融領域接近人類智能水平的模型。作為金融領域的基石模型，BBT模型為所有金融投資，經(jīng)濟分析，商業(yè)咨詢等場景的深度學習下游任務提供微調服務。
金融投資領域有大量從業(yè)機構和人員，大廠有財力雇傭算法工程師，小團隊卻用不起基本的文本抽取算法。BBT模型作為金融領域的算法基礎設施，讓所有從業(yè)者配備同級別的武器，讓全行業(yè)站在同一起跑線去競爭更優(yōu)的投資策略，從而推動金融和經(jīng)濟市場更高效的信息和要素流動。
為了更好地推進中文金融自然語言處理的發(fā)展，超對稱搜集和爬取了幾乎所有公開可以獲得的中文金融語料數(shù)據(jù):
1)過去20年所有主流媒體平臺發(fā)布的財經(jīng)政治經(jīng)濟新聞
2)所有上市公司公告和財報
3)上千萬份研究院和咨詢機構的研究報告
4)百萬本金融經(jīng)濟政治等社會科學類書籍
5)金融社交媒體平臺用戶發(fā)帖
經(jīng)測試，BBT-TF在公告摘要任務場景超越ChatGPT：使用ChatGPT和BBT-TF對同一份公告，相同輸入，生成摘要并對比效果，發(fā)現(xiàn)BBT-TF更滿足實際運用場景。BBT-TF還可進行四舍五入的計算。在金融行業(yè)對數(shù)字高精度要求下，BBT-TF可對單位進行準確的換算。
超對稱已開發(fā)了11種已落地應用的下游任務，面向專業(yè)金融開發(fā)者API，已獲得中國及海外金融機構付費
4.BBT-2-12B-Image文生圖模型
基于BBT2大語言模型，超對稱和中國專業(yè)圖庫公司聯(lián)合開發(fā)文生圖AIGC模型BBT-Fig，目前該模型向紡織行業(yè)，印刷，廣告，游戲等行業(yè)客戶提供文生圖應用，經(jīng)過專業(yè)評測，BBT-Fig在紡織行上的應用效果比Stable Diffusion和文心一格，明顯更優(yōu)。
BBT-Fig能夠生成非常逼真的圖像，并且具有可控的樣式和風格。在紡織行業(yè)中，BBT-Fig可以通過對不同紡織材料的圖像進行學習，生成具有紋理(可無縫拼接)、色彩(色彩亮度不會受訓練樣本明暗影響，為標準化設計用樣式)和設計元素(可隨意組合元素)的紡織品圖案，提高紡織品設計的效率和創(chuàng)新性。該技術還可用于家裝等等需要圖案設計的行業(yè)。
用于生成人造大理石花紋
5、BBT-2-12B-Science 科學論文模型
馬斯克認為AGI的終極測試是模型能發(fā)現(xiàn)新的物理定律。GPT-4在醫(yī)生資格考試、律師資格考試、AP考試、GRE上獲得不錯的分數(shù)，但目前還沒有證明其能有效地發(fā)現(xiàn)或輔助人類知識庫尚未存在的知識。
對于中國的大模型研發(fā)團隊，直接瞄準大語言模型用于科學發(fā)現(xiàn)是超越GPT-4的一個可能路徑。在科學研究上，研究人員可以使用語言模型來自動提取和分析論文中的主題、實驗方法、結果和結論，從而發(fā)現(xiàn)新的科學發(fā)現(xiàn)和研究方向。
BBT-Science大模型是基于BBT大模型在幾千萬篇科研論文上訓練構建的輔助科學發(fā)現(xiàn)的大模型，應用于物理、化學、生物、數(shù)學等不同學科的科研知識問題，可以提供三方面的能力
1、快速精準的知識檢索。這項能力和大模型在其他領域的對話能力相近。
2、針對所研究領域的前沿問題提供新的ideas. 這種新ideas產(chǎn)生于大模型在該領域的海量數(shù)據(jù)檢索和重新組合，發(fā)現(xiàn)前人未發(fā)現(xiàn)的可能性。
3、利用多學科知識訓練出的能力提供跨學科的建議和洞見。這項能力潛力最大。
為了對科學大模型進行評測，超對稱技術公司與復旦、上海交大、浙大、南航、中山大學、北師大等多所大學合作，正在號召全球一線的科研人員共同構建一個最大的科研問題評測數(shù)據(jù)集ResearchQA。該數(shù)據(jù)集覆蓋數(shù)學、物理、化學、生物、地理地質、計算機、電子工程等主流科研領域。該數(shù)據(jù)集直接采集科研領域里前沿的研究課題作為問題，重點考察大模型回答的創(chuàng)新性?？茖W大模型將成為全球科研能力的底層引擎，帶來科研生產(chǎn)力的加速。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
