天翼云打造云智一體智算服務(wù)體系，加速大模型應(yīng)用落地

11月10日消息（水易）今日，以“數(shù)字科技,煥新啟航”為主題的“中國電信2023數(shù)字科技生態(tài)大會暨2023數(shù)字科技生態(tài)展”在廣州盛大啟幕。

在上午的主論壇環(huán)節(jié)，天翼云公司總經(jīng)理胡志強(qiáng)正式對外發(fā)布了天翼云構(gòu)建的全棧大模型智算服務(wù)。

胡志強(qiáng)表示，2023年是大模型高速發(fā)展的一年，大模型不斷擴(kuò)大的參數(shù)規(guī)模和快速迭代的技術(shù)路線跨越式地提升了模型的能力，但是同時(shí)也為大模型的訓(xùn)練和應(yīng)用帶來了很多挑戰(zhàn)。比如算力利用率的瓶頸日益凸顯、算力成本壓力進(jìn)一步增大、模型的構(gòu)建難度不斷提升，模型的行業(yè)落地更加復(fù)雜。

為順應(yīng)大模型時(shí)代對于云服務(wù)商的新要求，天翼云全面升級，構(gòu)建了全棧大模型智算服務(wù)，包括打造智算數(shù)據(jù)中心AIDC、升級云智超一體化基礎(chǔ)設(shè)施平臺“云驍”、推出一站式智算服務(wù)平臺“慧聚”，構(gòu)建國云大模型生態(tài)，形成云智一體的智算服務(wù)體系。

升級云智超基礎(chǔ)設(shè)施平臺“云驍”

整個(gè)體系的基石是智算基礎(chǔ)設(shè)施。胡志強(qiáng)表示，針對AI高強(qiáng)度運(yùn)算帶來的散熱問題，天翼云推出液冷DC艙，融合定制化液冷智算服務(wù)器，實(shí)現(xiàn)低至1.12的PUE。

與此同時(shí)，天翼云將云驍升級成為云智超一體化基礎(chǔ)設(shè)施服務(wù)平臺，構(gòu)建高性能RoCE網(wǎng)絡(luò)、并行文件存儲等服務(wù)；重點(diǎn)提升訓(xùn)練加速、網(wǎng)絡(luò)加速等核心能力，同時(shí)升級了運(yùn)維體系，實(shí)現(xiàn)對基礎(chǔ)設(shè)施的全面故障預(yù)測和感知。國產(chǎn)化方面，云驍平臺率先在公有云加載天翼云RoCE網(wǎng)絡(luò)+國產(chǎn)GPU方案并實(shí)現(xiàn)商用。

打造一站式智算服務(wù)平臺“慧聚”

為加速大模型在行業(yè)的應(yīng)用落地，天翼云正式發(fā)布一站式智算服務(wù)平臺“慧聚”。據(jù)了解，慧聚平臺將大模型開發(fā)訓(xùn)練過程中的關(guān)鍵流程、復(fù)雜技術(shù)和寶貴實(shí)踐經(jīng)驗(yàn)進(jìn)行總結(jié)和抽取，構(gòu)建出一站式全鏈路的大模型生產(chǎn)應(yīng)用的流水線。大幅降低大模型訓(xùn)練、微調(diào)、部署、推理的門檻，讓客戶能夠更專注于模型升級和應(yīng)用落地。

技術(shù)層面，慧聚平臺成功突破了算子加速、模型并行、斷點(diǎn)續(xù)訓(xùn)等技術(shù)難點(diǎn)，將高性能計(jì)算能力、分布式算力調(diào)度能力、訓(xùn)練和推理多環(huán)節(jié)加速技術(shù)、高性能數(shù)據(jù)存儲技術(shù)進(jìn)行封裝；實(shí)現(xiàn)了萬卡集群調(diào)度，穩(wěn)定性、訓(xùn)練推理速度等核心指標(biāo)大幅提升。

功能層面，慧聚平臺基于數(shù)據(jù)平臺、模型訓(xùn)練平臺、模型服務(wù)平臺和應(yīng)用服務(wù)平臺四大平臺，提供數(shù)據(jù)準(zhǔn)備、模型開發(fā)、任務(wù)管理、模型優(yōu)化等七大主要產(chǎn)品功能模塊，每個(gè)功能模塊又包含多級組件。功能與組件之間可以靈活組裝，幫助用戶打造針對不同場景的專屬工具集。

共建繁榮的國云大模型創(chuàng)新生態(tài)

基于全新的基礎(chǔ)設(shè)施服務(wù)平臺云驍和智算服務(wù)平臺慧聚，天翼云已經(jīng)為大模型開發(fā)者、大模型提供者、應(yīng)用廠商、政府與科研機(jī)構(gòu)、行業(yè)協(xié)會等合作伙伴提供多種生態(tài)模式支持。

胡志強(qiáng)表示，依托國云智算底座，發(fā)揮國云安全優(yōu)勢，天翼云愿與產(chǎn)業(yè)各方合作伙伴緊密協(xié)作，廣泛匯聚國內(nèi)外AI芯片伙伴、各類通用大模型及行業(yè)大模型伙伴及廣大開發(fā)者，共建繁榮的大模型創(chuàng)新生態(tài)，攜手打造先進(jìn)的智算生產(chǎn)力，全面賦能經(jīng)濟(jì)社會的數(shù)字化和智能化。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。