【儀表網 研發快訊】近日，華中科技大學人工智能與自動化學院、多譜信息智能處理技術全國重點實驗室顏露新教授團隊在生成范式神經形態視覺運動感知方面的工作“Injecting Frame-Event Complementary Fusion into Diffusion for Optical Flow in Challenging Scenes”，被人工智能領域頂級會議The Thirty-Ninth AnnualConference on Neural Information Processing Systems(NeurIPS)接收為亮點(spotlight)論文。該研究探索了神經形態視覺傳感器與幀相機之間的互補機制，提出了生成式模型的跨模態融合運動估計方法，其性能在低光、高速等挑戰性場景領先。
以事件相機為代表的神經形態視覺傳感器具有寬動態范圍和高時間分辨率的優勢，在低光、高速等極端場景表現出優越的成像性能；擴散模型在退化場景的圖像生成領域應用廣泛，而在下游視覺任務尚缺探索。研究團隊圍繞極端退化場景運動估計任務，研究了事件相機與幀相機之間的表觀-邊緣互補性，構建了以互補融合特征為條件的擴散模型，迭代生成退化場景的高質量運動場。
圖為基于擴散模型的跨模態融合生成運動估計。
該研究成果具備廣闊應用前景。在自動駕駛、工業檢測和機器人等應用場景，該技術可在夜間、高速環境下實現穩健的運動感知與微秒級實時監測，支撐動態目標檢測、高速避障和精密制造中的質量控制；在生命科學與醫學成像領域，它有望輔助神經活動追蹤和顯微尺度的快速運動觀測，為神經科學研究與醫療診斷提供新工具。
華中科技大學人工智能與自動化學院2025級直博生王浩楠為論文第一作者，博士畢業生周寒宇(現在新加坡國立大學從事博士后研究)和博士生劉昊岳深度參與相關工作。論文工作得到國家自然科學基金聯合基金重點項目(U24B20139)資助。
所有評論僅代表網友意見，與本站立場無關。