【儀表網(wǎng) 研發(fā)快訊】近期，廈門大學信息學院王程教授和溫程璐教授團隊，在激光雷達人體動作和場景捕捉領域取得重要進展，相關研究成果以“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”為題發(fā)表在IEEE Transactions on Pattern Analysis and Machine Intelligence(DOI: 10.1109/TPAMI.2024.3457229)。
為適應開放的城市環(huán)境，智能體需要實時捕捉周邊人群的肢體動作和場景的結構。基于慣性傳感器和相機的傳統(tǒng)感知手段，分別存在長時間數(shù)據(jù)漂移和對光照及環(huán)境動態(tài)變化敏感等問題，難以滿足智能駕駛、服務機器人、體育訓練等應用領域對復雜環(huán)境人體動作和場景捕捉的需求。自2022年起，王程教授和溫程璐教授團隊在國際上首先提出了激光雷達(LiDAR)人體動捕技術(LiDARCap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023)。在本次發(fā)表的成果HiSC4D中，團隊突破了在大規(guī)模室內外開放場景中，捕捉第一人稱視角下的多樣化雙人交互動作和三維場景的方法。該方法通過融合慣導和激光雷達數(shù)據(jù)，構建了多階段聯(lián)合優(yōu)化框架，有效解決了慣導帶來的漂移問題，并顯著提升了場景重建精度，擴展了空間、人體動作和互動捕捉的范圍。同時發(fā)布了首個多模態(tài)雙人交互數(shù)據(jù)集，涵蓋不同場景類型和多樣化人體動作，為相關研究領域提供訓練數(shù)據(jù)資源。HiSC4D技術以激光雷達為核心傳感器，同時重建人體動作和三維場景，為具身智能走向廣闊戶外、融入人群開辟了新的思路。
該論文由戴雨笛博士生、王志勇碩士生、林希平碩士生在溫程璐教授、王程教授、沈思淇副教授、上海科技大學許嵐研究員、馬月昕研究員共同指導下完成。該研究工作得到了國家自然科學基金項目(62171393)等項目的支持。
所有評論僅代表網(wǎng)友意見，與本站立場無關。