【儀表網 研發快訊】動作捕捉技術廣泛應用于虛擬現實、人體工程學、醫療康復、影視制作等領域。基于慣性傳感器的方法由于對環境要求低、無遮擋問題，在捕捉大規模、復雜多人環境中的人體運動方面具有明顯優勢，尤其是基于少量慣性測量單元的方法由于其簡單性和靈活性而具有更大的研究價值。但是，這類方法往往使用的是深度神經網絡，會給設備帶來較大的計算負擔，提高此類方法的計算效率、減少延遲，并在便攜式終端上進行算法部署具有極大挑戰性。
針對以上問題，清華大學機械系智能制造與精密加工研究室研究人員提出了一種基于六個慣性傳感器的新算法結構FIP(Fast Inertial Poser)，為便攜式終端的部署帶來了一種新的思路。該方法分為兩個階段，關節位置估計和運動學逆解。與之前的方法相比，該方法效率提升的主要原因為：第一，消除了額外的優化設計；第二，基于“最小測量原則”，通過考慮人體形狀參數(身高、腿長、單臂長)和性別，使用運動學逆求解器和不同傳感器的共享模型來增強神經網絡結構的表達能力；第三，去除RNN的雙向傳播機制。在位置估計階段，FIP使用三個獨立的循環神經網絡(RNN)來估計葉節點和其余節點的位置。為了使模型推理過程更接近真實的物理過程，FIP使用傳感器共享積分RNN來估計葉節點的位置。此外，對于每個RNN，人體參數信息通過嵌入式編碼的方式輸入到算法網絡中。
圖1.FIP算法示意圖
網絡具體設計如圖2所示，主要使用的子模塊為單向循環網絡RNN和多層感知機MLP，通過將人體骨架信息輸入到不同的模塊形成人體形狀相關的約束，設計了一種基于人體運動樹的特殊逆運動學求解器，幫助模型求解當前幀中關節的旋轉。
在基于開源數據集的實驗中顯示，FIP在保證重建精度的同時降低了動作重建的延遲和解算時間，在PC上的計算時間僅需要2.7毫秒/幀，在Nvidia NX2TX嵌入式開發板上能夠以15毫秒延遲和65FPS的幀率穩定運行，為在移動終端的實時人體運動重建提供了一種全新的思路。
圖2. FIP算法Pipeline
相關研究成果以“基于稀疏傳感器考慮人體形狀快速重建人體運動”(Fast Human Motion reconstruction from sparse inertial measurement units considering the human shape)為題，于3月18日發表于《自然·通訊》(Nature Communications)雜志。
清華大學機械系碩士畢業生肖軒為論文第一作者，機械系教授張建富為論文通訊作者，機械系本科畢業生宮傲，機械系教授馮平法、副教授王健健、助理研究員張翔宇共同參與了研究工作。研究得到清華大學國強研究院項目的支持。《題圖設計：曾儀》
所有評論僅代表網友意見，與本站立場無關。