【儀表網 研發(fā)快訊】近日，清華大學深圳國際研究生院李星輝副教授團隊在數字光柵結構光三維(Structured light 3D reconstruction technology，SL3D)重建領域實現進展。針對高質量三維重建所依賴的真實數據資源少，構建策略效率低和前沿數據缺乏問題提出了創(chuàng)新性的解決方案。團隊深入研究了場景背景穩(wěn)定性對網絡前景預測精度的影響，并首次系統性探討了樣本空間分布頻率與模型性能之間的關系，從根本上提升了數據集構建的科學性與效率。在此策略指導下，團隊開發(fā)了SL3D-BF(Structuredlight 3D dataset with background-to-foreground enhancement)，一個面向開放工業(yè)環(huán)境的結構光三維點云數據集。數據集涵蓋超過2000多個復雜工業(yè)場景，包含10萬多幀高精度光柵圖像，支持對真實物體如雕塑、法蘭、輪轂、電池板、電機、齒輪和不銹鋼管等物體的高精度重建，全面展現了材質多樣性和工業(yè)實際挑戰(zhàn)。該成果為深度學習驅動的結構光三維重建技術提供了全流程的數據支撐和構建范式，有望顯著推動智能制造、精密檢測等關鍵領域的三維感知能力。
圖1.數據集組成，特征數據和其在現代工業(yè)中的應用場景示意
SL3D-BF不僅是一個大規(guī)模數據集，更是一項具備系統設計理念的數據工程創(chuàng)新。李星輝團隊自研的高精度結構光點云采集系統，其標準球半徑測量誤差控制在十幾微米級別，為數據集的精度基準提供了強有力保障。團隊提出的背景增強與空間頻率分布優(yōu)化策略，有效降低了數據構建成本，同時顯著提升了網絡的預測性能。實驗證明，在統一網絡架構下，白板背景下的前景物體預測誤差相比黑色背景下降了高達82%(從0.45rad降至0.08rad)，凸顯背景穩(wěn)定性在三維重建中的關鍵作用。SL3D-BF是國內外為數不多的覆蓋全過程數據鏈條的高精度數據集，提供從光柵到高密度3D點云的完整閉環(huán)信息，支持陰影抑制、前景顯著性增強等高級研究。數據集中還包含標準球子集，為3D點云重建精度的定量評估提供了客觀基準。
圖2.數據集場景背景對目標前景預測精度的影響。SF-AP代表端到端技術路線，SF-4ND代表分子分母技術路線
SL3D-BF已在多個新系統上完成遷移學習驗證，顯示出良好的泛化能力與廣泛適用性。該研究作為為計算機視覺與智能制造領域的重要公共資源，將推動結構光三維重建技術在缺陷檢測、深度估計、語義分割等領域的跨界融合，并為深度學習模型在真實場景中的穩(wěn)健泛化提供堅實的實驗平臺。該數據集為結構光三維技術的標準化與應用奠定了基礎，助力我國在高端制造與智能感知領域走在國際前沿。
同時，盡管基于深度學習的SL3D技術近幾年來飛速發(fā)展，通過單幀輸入端到端預測的方式獲得高精度的3D點云仍然是一個尚未解決的挑戰(zhàn)。團隊提出了多路物理監(jiān)督輔助的單幀端到端絕對相位預測網絡(Multi-path branch auxiliary supervision network, MPS_XNet)。具體來說，MPS_XNet基于絕對相位時間展開物理模型的三個關鍵階段，分子、分母和包裹相位，作為輔助分支來幫助絕對相位主路進行長距離非線性預測。此外，基于此模型設計了專屬多路損失函數，促使網絡沿著模型定義的方向學習最優(yōu)路徑。MPS_XNet不僅彌補了單幀輸入信息的不足，而且通過將單個長距離預測難題轉換為多個短距離子任務，以可解釋的方式指導網絡訓練，大幅提升了網絡預測精度。
圖3.MPS_XNet網絡模型
實驗表明，MPS_XNet在五個數據集(金屬工件和復雜輪廓)和研究提出的測量系統上均優(yōu)于現有的先進回歸網絡范式，此策略通過物理模型設計和20毫秒內的任務分解消耗，在相位計算中平均誤差突破性的降低了90%。此策略可以用在通用的回歸網絡中，以加強單分支網絡的魯棒性和可解釋性，可以在工業(yè)和科學應用中實現實時、高精度的3D測量。
圖4.MPS_XNet網絡在泛化數據集上的單幀輸入點云輸出
數據集相關研究成果以“SL3D-BF：一個具有背景到前景增強的真實世界結構光3D數據集”(SL3D-BF: A Real-World Structured Light 3D Dataset with Background-to-Foreground Enhancement)為題，于5月19日發(fā)表于《IEEE電路與系統視頻技術匯刊》(IEEE Transactions on Circuits and Systems for VideoTechnology, TCSVT)。
物理監(jiān)督模型機制研究成果以“可靠的三維重建與單次數字光柵和物理模型監(jiān)督機器學習”(Reliable 3D Reconstruction with Single-Shot Digital Grating and Physical Model-Supervised Machine Learning)為題，于6月5日發(fā)表于《IEEE儀器與測量匯刊》(IEEE Transactions on Instrument and Measurement)。
兩篇的論文第一作者為清華大學深圳國際研究生院2021級博士生李一鳴，通訊作者為清華大學深圳國際研究生院副教授李星輝和鵬城實驗室副研究員梁驍俊。其他合作者包括清華大學深圳國際研究生院2023級碩士生陳偉康、李梓楠，2023級博士生王浩；鵬城實驗室高文院士、桂衛(wèi)華院士，助理研究員張超波；清華大學深圳國際研究生院研究員王曉浩。研究得到深圳市穩(wěn)定支持計劃項目、鵬城實驗室重大攻關項目的資助。
所有評論僅代表網友意見，與本站立場無關。