用百度大腦人體分析技術，幫你監(jiān)督規(guī)范健身

1.方案介紹

百度推出了人體關鍵點識別，檢測圖像中的人體并返回人體矩形框位置，精準定位21個核心關鍵點，包含頭頂、五官、頸部、四肢主要關節(jié)部位，支持多人檢測、大動作等復雜場景。支持多人體檢測，檢測圖像中的所有人體，標記出每個人體的坐標位置;不限人體數量，適應人體輕度遮擋、截斷的情況。

人體關鍵點識別的功能特點可以應用到體育健身，根據人體關鍵點信息，分析人體姿態(tài)、運動軌跡、動作角度等，輔助運動員進行體育訓練，分析健身鍛煉效果，提升教學效率。在這些應用中對人體姿態(tài)的判定是一個關鍵，通過姿態(tài)判定進而判斷運動員或者體育愛好者的動作是否符合要求，對于體操，瑜伽等對姿態(tài)要求比較高的體育活動;甚至是體感游戲都有很好的幫助。

2.方案思路及實現(xiàn)

本攻略通過人體關鍵點，計算出人的 左右手臂，左右肩部，左右腿部以及左右髖部8個夾角，進而與要求標準夾角及允許的誤差范圍進行對比。從而實現(xiàn)人體姿態(tài)的判定及打分。我開發(fā)的功能在提供姿態(tài)打分的同時，提供原圖基礎上的渲染圖及動作分析圖，方便運動員進行分析。主要內容包括以下方面：

2.1平臺接入

具體接入方式比較簡單：

2.2 百度人體關鍵點功能調用：

請參照我的另外一篇文章：第四期【百度大腦新品體驗】人體關鍵點識別

2.3 其他方面：

夾角計算：通過余弦計算。

關鍵點過濾：對于不同置信度的關鍵點以不同的顏色顯示在渲染圖及分析圖上，0.9分以上的用綠色，0.5-0.9用黃色，0.5以下用紅色。方便用戶識別。

渲染圖：在原圖上進行渲染，顯示關鍵點和主要連線，包括身體，四肢，頭部，臉部增加一條中軸線從頭頂到鼻子到頸部。

分析圖：在新的圖片上顯示關鍵點和主要連線，包括身體，四肢，頭部，臉部增加一條中軸線從頭頂到鼻子到頸部，方便用戶查看人臉方向。同時顯示每個位置的夾角及是否滿足要求，如果符合顯示綠色，如果不符顯示紅色。方便運動員進行分析。

判定分數：100*通過的夾角數量/總識別出來的夾角數量

3.實現(xiàn)效果及測試

案例1：一個經典的體操鞍馬動作：

要求四肢平直，右腿與身體平直，左腿75度左右。以下為具體的角度要求：

required_pose1={

'shoulder_left_angle':[15,10],

'shoulder_right_angle':[60,10],

'hip_left_angle':[180,10],

'hip_right_angle':[75,10],

'arm_left_angle':[180,10],

'arm_right_angle':[180,10],

'leg_left_angle':[180,10],

'leg_right_angle':[180,10]

}

上面的每組數值第一個為要求的角度，第二個為允許誤差空間。

下面為渲染圖，分析圖和報告：

處理時長:0.71秒

person_num: 1

左肩：13.0,符合

右肩：57.5,符合

左髖：175.6,符合

右髖：71.6,符合

左臂：171.2,符合

右臂：173.1,符合

左腿：171.9,符合

右腿：178.8,符合

動作評分：100.0

案例2：多人雙手張開動作：

動作模板，雙手張開：

required_pose2={

'shoulder_left_angle':[90,10],

'shoulder_right_angle':[90,10],

'hip_left_angle':[170,10],

'hip_right_angle':[170,10],

'arm_left_angle':[180,10],

'arm_right_angle':[180,10],

'leg_left_angle':[180,10],

'leg_right_angle':[180,10]

}

渲染圖：

分析圖：

報告：

處理時長:4.00秒

person_num: 2

左肩：93.6,符合

右肩：99.5,符合

左髖：165.8,符合

右髖：171.7,符合

左臂：171.9,符合

右臂：180.0,符合

左腿：174.5,符合

右腿：175.2,符合

動作評分：100.0

左肩：116.6,不符

右肩：108.4,不符

左髖：156.8,不符

右髖：164.7,符合

左臂：175.2,符合

右臂：180.0,符合

左腿：nan,不符

右腿：175.2,符合

動作評分：50.0

案例3，瑜伽動作：

動作模板：

required_pose3={

'shoulder_left_angle':[180,10],

'shoulder_right_angle':[80,10],

'hip_left_angle':[110,10],

'hip_right_angle':[80,10],

'arm_left_angle':[45,10],

'arm_right_angle':[45,10],

'leg_left_angle':[30,10],

'leg_right_angle':[55,10]

}

渲染圖：

分析圖：

報告：

處理時長:0.82秒

person_num: 1

左肩：172.1,符合

右肩：79.0,符合

左髖：108.1,符合

右髖：81.9,符合

左臂：37.4,符合

右臂：36.9,符合

左腿：9.0,不符

右腿：48.2,符合

動作評分：87.5

4.關鍵代碼

5.測試結果及與競品的對比

整體測試下來發(fā)現(xiàn)，百度人體關鍵點識別對人體關鍵點有較強的識別能力，在此基礎上構建的人體姿態(tài)判定打分功能的效果很好，速度也很快?？梢詮V泛的應用于體育健身及娛樂互動等方面。

現(xiàn)在國內做人體關鍵點產品的除了百度還有商湯和Face++，在這里也做一個簡單的對比。

FACE++：

Face++對應的功能名稱是：人體骨骼關鍵點檢測 API。效果為傳入圖片進行人體檢測和骨骼關鍵點檢測，定位并返回人體14個關鍵點(頭、頸、肩、肘、手、臀、膝、腳)等部位。支持對圖片中的所有人體進行骨骼檢測

具體點位如下圖所示：

分析效果如圖：

商湯科技：

支持14 點人體關鍵點定位，通過 RGB 圖像輸入超實時給出人體頭、肩、腰、腿等位置。分析效果如圖所示：

通過對比可以發(fā)現(xiàn)，功能方面，F(xiàn)ace++和商湯科技都是檢測14個點，百度是21個點。百度多的點主要是在面部，這對于判定人臉的朝向和面部表情有很大幫助(大家可以對比一下渲染圖，百度可以渲染出臉部朝向，其他的兩個不行)這一點對于一些應用場景是很有用的。性價比方面，百度現(xiàn)在有50000次/天免費調用量，這對于測試和小型應用都足夠了。對于商業(yè)應用的的價格也很低，所以百度性價比的優(yōu)勢也很大。

6.優(yōu)化建議

就像手部有關鍵點識別和手勢識別一樣，建議百度直接建立一個人體姿態(tài)識別的新功能，直接返回人體的姿態(tài)識別的結果。可以在夾角的基礎上增加更多的內容。對于有這方面需要的用戶，用的也更方便。

作者:才能我浪費99

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。