還在玩只限于人臉的AR玩法嗎?一鍵美體塑形、視頻體感游戲、用手機就能玩虛擬形象全身驅(qū)動……隨著5G即將全面普及以及智能圖形技術(shù)的不斷創(chuàng)新，原本受限于高端硬件的全身AR技術(shù)，現(xiàn)在用智能手機就能玩，視頻AR玩法也將全面進(jìn)入了全身時代。
相芯科技此次對人體AI技術(shù)進(jìn)行全面升級，在視頻AR特效的功能基礎(chǔ)上進(jìn)行玩法升級，同時新增開放7大功能的算法接口，分別是2D人體關(guān)鍵點、3D人體骨骼、人像分割、頭部分割、頭發(fā)分割、動作識別、手勢識別。每項技術(shù)革新背后都能帶來新的應(yīng)用層的火花，相芯更新的技術(shù)效果到底如何，一起來看下吧。
一、2D人體關(guān)鍵點
通過2D人體關(guān)鍵點算法接口，實現(xiàn)人體全身2D關(guān)鍵點的跟蹤效果，點位準(zhǔn)確性高，即使做大幅度動作、遮擋以及轉(zhuǎn)身的情況下，也能準(zhǔn)確穩(wěn)定跟蹤。同時針對用戶在短視頻、直播拍攝時的自拍場景，2D人體關(guān)鍵點還提供半身模式的點位跟蹤，這樣用戶在單手持手機自拍的情況下，也能準(zhǔn)確定位人體數(shù)據(jù)。
在高精度的人體關(guān)鍵點模型的基礎(chǔ)上，對視頻中的人物實現(xiàn)全身美體功能，是這項技術(shù)比較熱門的應(yīng)用場景。相芯的技術(shù)，可以從瘦身、長腿、細(xì)腰、美肩、美臀、小頭、瘦腿等七個美化維度，對人物的身體進(jìn)行精細(xì)化調(diào)整，從而達(dá)到一件瘦身塑形的作用。
二、3D人體骨骼
相芯科技開放的3D人體骨骼的算法接口，主要應(yīng)用于基于3D關(guān)鍵點和3D骨骼，實現(xiàn)3D虛擬形象的全身驅(qū)動。這項技術(shù)不依賴于深度攝像頭，只需要手機的普通攝像頭就能獲得視頻中的人體3D骨骼數(shù)據(jù)，即使人物做大幅度的動作、有動作遮擋、轉(zhuǎn)身等情況都能穩(wěn)定跟蹤。除了身體軀干動作，在手指細(xì)節(jié)上，也能識別和跟蹤常見的14種手勢。讓3D虛擬形象能夠更細(xì)膩地復(fù)原人物的動作。同樣針對他人拍攝和自拍兩種拍攝場景，相芯提供全身和半身兩種模式，支持3D人體骨骼數(shù)據(jù)的輸出。
三、人像分割
通過人像分割的算法接口，可對輸入的視頻進(jìn)行內(nèi)容理解，將人物進(jìn)行高精分割解析，將人像區(qū)域分離出來，并實時追蹤。例如視頻直播過程中，識別用戶的人體輪廓，為人物實時替換各種背景特效。也可以與各具創(chuàng)意的人體AR貼紙相結(jié)合，讓貼紙實時跟隨人體移動，貼紙素材與人體的前后位置關(guān)系可靈活定義，可以充分發(fā)揮運營者的互動創(chuàng)意，為用戶帶來更加豐富的娛樂體驗。
四、頭部分割
通過頭部分割接口，企業(yè)和開發(fā)者可以對人物頭部區(qū)域做更多的特效創(chuàng)意。例如搞笑大頭玩法特效，可以實現(xiàn)視頻中的人物頭部放大的萌態(tài)效果。這項技術(shù)還能和其他技術(shù)進(jìn)行組合實現(xiàn)更加新穎的玩法效果。比如將頭部分割和表情系數(shù)結(jié)合，即可用特點的表情，觸發(fā)大頭效果，并用表情的夸張程度來實時控制頭部的放大程度。用頭部分割+哈哈鏡+AR貼紙這樣的技術(shù)組合，就可以實效惡搞版的效果，充分發(fā)揮腦洞創(chuàng)意。
五、頭發(fā)分割
通過頭發(fā)分割接口，可以在視頻和照片中人物的頭發(fā)區(qū)域高精度地分離出來，可以給頭發(fā)切換各種各樣的顏色，可以是純色，也可以是漸變色，實現(xiàn)一鍵換發(fā)色的特效。同時頭發(fā)的色值支持自定義，并可以進(jìn)行上色程度的調(diào)整，實現(xiàn)想要的發(fā)色，想換就換。
六、動作識別
相芯科技的動作識別接口，能夠支持15種全身動作的識別。將動作識別和匹配算法相結(jié)合，可以開發(fā)出各種體感小游戲，比如“尬舞機”游戲，跟著屏幕的動作提示即可開始跳舞了。同時動作識別也可以與AR貼紙相結(jié)合，用特定動作來觸發(fā)貼紙?zhí)匦?，充分發(fā)揮體感互動的娛樂性。
七、手勢識別
通過手勢識別接口，可精準(zhǔn)識別常見的14種手勢動作。在短視頻直播領(lǐng)域，用戶在拍視頻和拍照過程中，可以通過手勢動作來觸發(fā)各種貼紙?zhí)匦?，從而衍生出?chuàng)意視頻的各種玩法。同時，在智能設(shè)備領(lǐng)域，比如智能家電、智能機器人、可穿戴設(shè)備、智能互動大屏等智能硬件，可以實現(xiàn)用手勢控制對應(yīng)的功能。用戶在不接觸設(shè)備的情況下，通過簡單的手勢，就能實現(xiàn)對設(shè)備的交互和控制，讓人機交互方式更加智能化、自然化。
相芯科技專注于人工智能和計算機圖形學(xué)的融合與創(chuàng)新，致力于為消費級應(yīng)用提供內(nèi)容創(chuàng)作工具、平臺和解決方案。相芯科技的人臉人體AI解決方案目前已累計服務(wù)700多家B端客戶，產(chǎn)品被廣泛應(yīng)用于短視頻、直播、社交、游戲、智能家居、在線教育、廣告營銷、新零售等領(lǐng)域，月均調(diào)用量達(dá)40億。
此次的人體AI SDK大更新，相芯針對不同體驗需求推出了兩個版本的體驗demo，分別是特效版和算法版demo。
【特效版demo】模擬真實的用戶應(yīng)用場景，提供技術(shù)的功能演示和體驗，可以在這個demo里面直觀體驗美顏、美妝、道具貼紙、Animoji、美發(fā)、輕美妝、AR面具、搞笑大頭、海報換臉、表情識別、音樂濾鏡、哈哈鏡、美體、全身Avatar、動作識別、人像分割、手勢識別等功能。
同時針對開發(fā)者用戶，為了能更好地體驗各個功能接口在算法層的效果，相芯全新推出【算法版demo】，使用這個demo就能直觀地看到各種人體關(guān)鍵點、人體骨骼、mask類功能的算法效果，便于進(jìn)一步開發(fā)使用。目前開放的接口為2D人體關(guān)鍵點、3D人體骨骼、人像分割、頭部分割、頭發(fā)分割、動作識別、手勢識別。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
