【儀表網(wǎng) 研發(fā)快訊】現(xiàn)有自然語言問答的視頻理解研究大多采用離線特征提取方式來進(jìn)行問答推理，然而這種離線的處理方式存在一些缺陷：(1)視頻或文本特征提取器通常是在其他任務(wù)上進(jìn)行訓(xùn)練的，與目標(biāo)任務(wù)存在差異，如將行為識別數(shù)據(jù)集上訓(xùn)練的特征提取器直接用于視頻問答任務(wù)顯然不是最優(yōu)的。(2)各個特征提取器通常是在各自領(lǐng)域數(shù)據(jù)集上單獨(dú)進(jìn)行訓(xùn)練，得到的模態(tài)特征之間缺乏聯(lián)系。(3)為提升問答推理表現(xiàn)，這類方法通常需借助于復(fù)雜的特征提取器或文本分析工具以更有效地處理視頻或問題。因此，采取端到端的方式來對自然語言問題和視頻內(nèi)容進(jìn)行學(xué)習(xí)是解決上述缺陷的一種有效途徑。盡管近年來提出的端到端方法通過同時學(xué)習(xí)特征提取與多模態(tài)信息交互，并在問答推理上取得了優(yōu)異的識別表現(xiàn)。然而，這些方法主要關(guān)注于構(gòu)建參數(shù)量龐大的模型以及探索如何利用大規(guī)模視覺文本語料庫的預(yù)訓(xùn)練來提升任務(wù)性能，而這通常需要耗費(fèi)大量的計算資源，且在數(shù)據(jù)標(biāo)注和模型訓(xùn)練上具有較高的人力成本。
我院研究團(tuán)隊針對現(xiàn)有研究方法存在的上述問題，提出了一種高效的端到端視頻和語言聯(lián)合學(xué)習(xí)方法。該方法結(jié)合了現(xiàn)有研究中所驗證的局部空間信息和時間動態(tài)特性對于提升問答推理準(zhǔn)確性的幫助，通過設(shè)計金字塔式視頻和語言交互結(jié)構(gòu)，將視頻分解成具有不同粒度的空間和時間特征，并堆疊多個多模態(tài) Transformer層提取其與問題之間的交互，實現(xiàn)了視頻和文本之間的局部和全局依賴關(guān)系提取。此外，為更充分地利用各層上的局部和全局交互特征，該方法設(shè)計了一種基于上下文匹配的橫向連接操作以及多步損失約束，以逐步地實現(xiàn)局部和全局語義完整的交互特征的提取。
方法框架圖
本研究方法能夠在無需建立參數(shù)量龐大的特征提取以及交互模型，且在不借助于大規(guī)模視覺文本數(shù)據(jù)對預(yù)訓(xùn)練的情況下，取得與現(xiàn)有方法相比更好或相當(dāng)?shù)耐评肀憩F(xiàn)。同時在模型參數(shù)量和計算效率上具有顯著優(yōu)勢。相關(guān)成果發(fā)表在人工智能頂會議AAAI Conference on Artificial Intelligence(CCF A類)上。上述工作得到國家自然科學(xué)基金項目的支持。
所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。