本發(fā)明屬于視覺問答，尤其涉及一種基于環(huán)境感知和知識庫的視覺問答方法。

背景技術(shù)：

1、視覺問答（visual?question?answer）是一種融合計算機視覺和自然語言處理的交叉學(xué)科任務(wù)，其主要目的是讓機器能夠基于圖像或視頻內(nèi)容回答自然語言的問題。首先，傳統(tǒng)的視覺問答系統(tǒng)在面對復(fù)雜或動態(tài)環(huán)境時表現(xiàn)出一定的局限性。2020年garderes等使用conceptnet作為知識源，并將實體信息嵌入到語言的表示中。2023年cheng等人利用雙線性池化的方法把外部知識嵌入圖像表達之中。2023年liu等人合理的利用檢索到外部知識和視覺問答模型自身隱含的內(nèi)部知識進行效果增強。2024年wu等人通過獲取視覺問答數(shù)據(jù)集中對應(yīng)圖片的無偏場景圖和外部知識庫的知識子圖進行融合。但是它們通常依賴于預(yù)訓(xùn)練的數(shù)據(jù)集，而忽略了實時環(huán)境感知的能力，難以處理環(huán)境變化或動態(tài)場景中的信息。其次，現(xiàn)有系統(tǒng)主要依靠視覺特征和語言特征之間的關(guān)聯(lián)，而缺乏對背景知識的有效利用。許多視覺問答任務(wù)不僅需要對視覺內(nèi)容的理解，還需要對常識性知識的掌握以及推理能力?，F(xiàn)有的系統(tǒng)在知識庫整合和推理方面仍顯不足，導(dǎo)致對問題的回答可能不夠準(zhǔn)確或完整。

2、因此，如何結(jié)合環(huán)境感知能力與知識庫系統(tǒng)，提高視覺問答系統(tǒng)在復(fù)雜場景下的表現(xiàn)，成為該領(lǐng)域亟待解決的問題之一。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的上述缺陷，提供一種基于環(huán)境感知和知識庫的視覺問答方法，以提高系統(tǒng)的環(huán)境適應(yīng)性和回答準(zhǔn)確性。

2、為了達到上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于環(huán)境感知和知識庫的視覺問答方法，包括：

4、步驟1，通過圖像預(yù)處理、resnet特征提取與全局平均池化，并引入空間注意力機制進行視覺特征提取，并生成視覺特征向量v，以供多模態(tài)融合用于問答生成;

5、步驟2，通過文本規(guī)范化、bert分詞、預(yù)訓(xùn)練模型獲取上下文文本表示，并利用transformer編碼層和平均池化生成固定長度的文本特征向量t，以供多模態(tài)融合用于問答生成;

6、步驟3，通過傳感器網(wǎng)絡(luò)采集環(huán)境數(shù)據(jù)并進行預(yù)處理與特征提取，最終融合成統(tǒng)一的環(huán)境特征向量e，以供多模態(tài)融合與視覺和文本特征共同用于答案生成;

7、步驟4，通過線性變換將視覺特征、文本特征和環(huán)境特征投影到相同維度并賦予不同權(quán)重進行加權(quán)求和，隨后通過全連接層處理和非線性激活，最后應(yīng)用dropout正則化，生成綜合特征向量以供后續(xù)答案生成使用;

8、步驟5，通過從wikidata提取匹配的知識信息構(gòu)成結(jié)構(gòu)化向量，然后使用雙向lstm對輸入特征向量和知識向量進行編碼，接著利用lstm解碼器生成輸出答案，并通過上下文向量和注意力機制結(jié)合生成最終每個詞的概率分布，從而生成最終答案。

9、進一步地，步驟1中具體如下：

10、將輸入的圖像調(diào)整到固定尺寸（224×224），該過程包括圖像的裁剪、縮放和填充。對調(diào)整后的圖像進行像素值的歸一化處理，將其標(biāo)準(zhǔn)化到一個固定的范圍[-1,1]。利用預(yù)訓(xùn)練的resnet深度卷積神經(jīng)網(wǎng)絡(luò)模型對經(jīng)過處理的圖像進行特征提取，獲取高維特征向量。在resnet的卷積層之后，采用全局平均池化方式，將高維特征向量壓縮為定長特征表示。引入空間注意力機制，通過對特征圖施加注意力權(quán)重，增強關(guān)鍵區(qū)域在最終決策中的影響。輸出的視覺特征向量v將作為視覺特征輸入供多模態(tài)融合用于問答生成。

11、進一步地，步驟2中具體如下：

12、對用戶輸入的問題進行文本規(guī)范化處理，以去除多余的空格和標(biāo)準(zhǔn)化標(biāo)點符號，并將文本統(tǒng)一為小寫，使用bert的分詞器將輸入的問題分解為子詞單元，以處理未登錄詞和詞綴。加載預(yù)訓(xùn)練的bert模型以獲取富含上下文的文本表示，將輸入的子詞映射到其對應(yīng)的嵌入向量。通過transformer編碼層進行上下文編碼，以生成每個子詞的上下文表示，生成特殊的[cls]標(biāo)記表示，并提取整個輸入序列的特征表示，以捕捉問題中的細(xì)節(jié)信息。進行池化操作以生成固定長度的文本特征向量，所述池化操作為平均池化。引入注意力機制，增強問題中的關(guān)鍵部分的特征表示。輸出的文本特征向量t將作為文本輸入供多模態(tài)融合用于問答生成。

13、進一步地，步驟3中具體如下：

14、使用傳感器網(wǎng)絡(luò)獲取環(huán)境數(shù)據(jù)，包括時間信息、地點信息、光照條件、天氣信息、溫度和濕度信息以及聲音環(huán)境。對采集到的環(huán)境數(shù)據(jù)進行預(yù)處理和特征提取，將時間信息通過正弦和余弦函數(shù)進行周期性編碼，光照條件通過亮度分析提取，地點信息通過gps定位或wi-fi獲取，天氣信息通過天氣api接口獲取，溫度和濕度信息通過溫濕度傳感器獲取，聲音環(huán)境通過音頻信號處理提取;

15、將所有環(huán)境特征通過特征融合機制拼接成統(tǒng)一的環(huán)境特征向量，并使用簡單的全連接層對環(huán)境特征進行編碼，生成與視覺和文本特征兼容的向量表示，作為多模態(tài)融合的輸入，與視覺特征和文本特征共同用于答案生成。

16、進一步地，步驟4中具體如下：

17、接收視覺特征、文本特征和環(huán)境特征，并將其轉(zhuǎn)換為相同維度的特征向量。然后，模型通過加權(quán)求和的方式將這些特征向量融合在一起，賦予不同的權(quán)重，以產(chǎn)生一個綜合特征向量。

18、在融合過程中，模型使用線性變換將每個特征向量投影到相同的維度，然后使用不同的權(quán)重進行加權(quán)求和。融合后的特征向量經(jīng)過全連接層的線性變換和relu激活函數(shù)，以引入非線性特性。

19、最后，模型使用dropout技術(shù)進行正則化操作，以減少過擬合并改善模型的泛化能力。輸出的綜合特征向量包含視覺、文本和環(huán)境信息，供后續(xù)答案生成使用。

20、進一步地，步驟5中具體如下：

21、首先接收多模態(tài)融合的綜合特征向量，包括視覺、文本和環(huán)境信息。然后，系統(tǒng)使用文本特征從wikidata中匹配相關(guān)實體，并提取相關(guān)的屬性和關(guān)系，形成一個結(jié)構(gòu)化的知識向量。

22、接下來，系統(tǒng)使用一個雙向lstm模型將輸入特征向量和知識向量進行編碼，生成隱藏狀態(tài)。解碼器利用編碼器的隱藏狀態(tài)生成輸出答案，并使用注意力機制計算上下文向量，結(jié)合解碼器隱藏狀態(tài)生成最終輸出。

23、最后，系統(tǒng)使用全連接層和softmax層對解碼器的輸出進行處理，生成最終答案的每個詞的概率分布。整個系統(tǒng)旨在將多模態(tài)特征和知識圖譜相結(jié)合，生成準(zhǔn)確的答案。

24、本發(fā)明的有益效果在于：

25、基于上述技術(shù)方案，本發(fā)明提供的一種基于環(huán)境感知和知識庫的視覺問答方法，通過視覺特征、文本特征和環(huán)境特征的多模態(tài)融合，以及wikidata知識庫的引入，解決了傳統(tǒng)視覺問答系統(tǒng)中對環(huán)境感知不足以及回答不夠精確的問題。通過引入環(huán)境感知環(huán)節(jié)，本發(fā)明能夠?qū)崟r獲取并處理環(huán)境數(shù)據(jù)，使得視覺問答系統(tǒng)可以根據(jù)環(huán)境的變化自動調(diào)整其回答，提升了系統(tǒng)的適應(yīng)性和準(zhǔn)確性。同時，結(jié)合wikidata知識庫，通過從外部知識庫中獲取相關(guān)實體的屬性和關(guān)系，本發(fā)明能夠提供更為豐富和精確的答案，顯著提高了視覺問答系統(tǒng)在復(fù)雜場景中的應(yīng)用效果。最終，本發(fā)明通過多模態(tài)數(shù)據(jù)的融合，彌補了現(xiàn)有視覺問答系統(tǒng)在單一數(shù)據(jù)來源下的局限性，提升了回答的準(zhǔn)確性和系統(tǒng)的智能化水平。