本技術(shù)涉及智能家居/智慧家庭領(lǐng)域,具體而言,涉及一種信息的處理方法和裝置、存儲介質(zhì)及電子裝置。
背景技術(shù):
1、目前,機(jī)器閱讀理解(machine?reading?comprehension,mrc)廣泛應(yīng)用于客服機(jī)器人、智能法律、智能教育等領(lǐng)域,其中,交互式機(jī)器閱讀理解(interactive?machinereading?comprehension,imrc)可以應(yīng)對大規(guī)模知識數(shù)據(jù)集,通過知識數(shù)據(jù)集中的信息進(jìn)行融合,充分利用知識數(shù)據(jù)集中的信息,實(shí)現(xiàn)通過強(qiáng)化學(xué)習(xí)的方式學(xué)習(xí)領(lǐng)域知識。
2、然而,在基于動態(tài)知識圖的交互式機(jī)器理解技術(shù)中,僅通過注意力方法進(jìn)行信息融合,融合方式單一,無法充分利用知識數(shù)據(jù)集中的特征信息。由此可見,相關(guān)技術(shù)中的信息的處理方法,存在由于信息融合方式單一導(dǎo)致的信息的利用率低的問題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)實(shí)施例提供了一種信息的處理方法和裝置、存儲介質(zhì)及電子裝置,以至少解決相關(guān)技術(shù)中的信息的處理方法存在由于信息融合方式單一導(dǎo)致的信息的利用率低的問題。
2、根據(jù)本技術(shù)實(shí)施例的一個方面,提供了一種信息的處理方法,包括:獲取對待融合文本信息進(jìn)行文本編碼所得到的待融合文本特征,以及獲取對待融合的第一動態(tài)圖進(jìn)行圖編碼所得到的動態(tài)圖特征,其中,所述第一動態(tài)圖是以文本信息為節(jié)點(diǎn)構(gòu)建的圖狀的數(shù)據(jù)結(jié)構(gòu);按照一組預(yù)設(shè)融合方式對所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征融合,得到一組候選融合特征;根據(jù)所述一組候選融合特征中的各個候選融合特征之間的信息量差,從所述一組候選融合特征選取出一組目標(biāo)融合特征,其中,所述一組目標(biāo)融合特征中的各個目標(biāo)融合特征之間的信息量差大于或者等于預(yù)設(shè)信息量差閾值;使用所述一組目標(biāo)融合特征對所述第一動態(tài)圖進(jìn)行動態(tài)圖更新,得到第二動態(tài)圖。
3、在一個示例性實(shí)施例中,所述根據(jù)所述一組候選融合特征中的各個候選融合特征之間的信息量差,從所述一組候選融合特征選取出一組目標(biāo)融合特征,包括:根據(jù)所述一組候選融合特征,確定一組候選融合特征對中的每個候選融合特征對所對應(yīng)的相對熵,其中,所述每個候選融合特征對包含兩個候選融合特征,所述每個候選融合特征對所對應(yīng)的相對熵為所述每個候選融合特征對中的兩個候選融合特征之間的相對熵;根據(jù)所述每個候選融合特征對所對應(yīng)的相對熵,從所述一組候選融合特征選取出一組目標(biāo)融合特征。
4、在一個示例性實(shí)施例中,所述根據(jù)所述每個候選融合特征對所對應(yīng)的相對熵,從所述一組候選融合特征選取出一組目標(biāo)融合特征,包括:從所述一組候選融合特征中依次選取候選融合特征作為當(dāng)前候選融合特征執(zhí)行以下的特征選取操作,直到所述一組候選融合特征為空:在所述當(dāng)前候選融合特征與已選取的目標(biāo)融合特征之間的相對熵均大于或者等于預(yù)設(shè)相對熵閾值的情況下,將所述當(dāng)前候選融合特征確定為一個目標(biāo)融合特征,并將所述當(dāng)前候選融合特征從所述一組候選融合特征中移除;在所述當(dāng)前候選融合特征與已選取的至少一個目標(biāo)融合特征之間的相對熵小于預(yù)設(shè)相對熵閾值的情況下,并將所述當(dāng)前候選融合特征從所述一組候選融合特征中移除。
5、在一個示例性實(shí)施例中,所述根據(jù)所述每個候選融合特征對的相對熵,從所述一組候選融合特征選取出一組目標(biāo)融合特征,包括:根據(jù)所述每個候選融合特征對所對應(yīng)的相對熵,確定出一組待處理融合特征對,其中,所述一組待處理融合特征對為所對應(yīng)的相對熵小于預(yù)設(shè)相對熵閾值的候選融合特征對;依次將所述一組待處理融合特征對中的每個待處理融合特征對作為當(dāng)前待處理融合特征對執(zhí)行以下的處理操作,直到所述一組待處理融合特征對為空:從所述當(dāng)前待處理融合特征對中選取出待移除的候選融合特征,將所述待移除的候選融合特征從所述一組候選融合特征中移除,并將所述一組待處理融合特征對中包含所述待移除的候選融合特征的待處理融合特征對移除;其中,更新后的所述一組候選融合特征為所述一組目標(biāo)融合特征。
6、在一個示例性實(shí)施例中,所述使用所述一組目標(biāo)融合特征對所述第一動態(tài)圖進(jìn)行動態(tài)圖更新之前,所述方法還包括:以所述一組目標(biāo)融合特征為第一個融合特征層執(zhí)行n次以下的特征更新操作,得到(n+1)個融合特征層,其中,n為大于或者等于1的正整數(shù),在執(zhí)行一次所述特征更新操作時,最高的融合特征層為當(dāng)前融合特征層,所述當(dāng)前融合特征層中的融合特征為當(dāng)前融合特征:按照所述一組預(yù)設(shè)融合方式中的至少一種融合方式對每個所述當(dāng)前融合特征和與每個所述當(dāng)前融合特征對應(yīng)的參考特征進(jìn)行特征融合,得到與每個所述當(dāng)前融合特征對應(yīng)的下一個融合特征,其中,與每個所述當(dāng)前融合特征對應(yīng)的參考特征包括以下至少之一:所述待融合文本特征,所述動態(tài)圖特征,所述當(dāng)前融合特征層之前的融合特征層中的融合特征,其他所述當(dāng)前融合特征;根據(jù)與所有所述當(dāng)前融合特征對應(yīng)的下一個融合特征之間的信息量差,從與所有所述當(dāng)前融合特征對應(yīng)的下一個融合特征選取出所述當(dāng)前融合特征層的下一個融合特征層中的融合特征,得到所述當(dāng)前融合特征層的下一個融合特征層;其中,第(n+1)個融合特征層為更新后的所述一組目標(biāo)融合特征。
7、在一個示例性實(shí)施例中,所述按照一組預(yù)設(shè)融合方式對所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征融合,得到一組候選融合特征,包括以下至少之一:通過至少一種特征融合網(wǎng)絡(luò)中的每種特征融合網(wǎng)絡(luò)分別對所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征融合處理,得到與所述每種特征融合網(wǎng)絡(luò)對應(yīng)的候選融合特征;將所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征維度對齊之后,按照至少一種特征疊加方式中的每種特征疊加方式對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征疊加處理,得到與所述每種特征疊加方式對應(yīng)的候選融合特征。
8、在一個示例性實(shí)施例中,所述通過至少一種特征融合網(wǎng)絡(luò)中的每種特征融合網(wǎng)絡(luò)分別對所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征融合處理,得到與所述每種特征融合網(wǎng)絡(luò)對應(yīng)的候選融合特征,包括以下至少之一:將所述待融合文本特征作為注意力網(wǎng)絡(luò)的第一權(quán)重矩陣、將所述動態(tài)圖特征作為所述注意力網(wǎng)絡(luò)的第二權(quán)重矩陣和第三權(quán)重矩陣輸入到所述注意力網(wǎng)絡(luò),得到所述注意力網(wǎng)絡(luò)輸出的第一候選融合特征;將所述待融合文本特征和所述動態(tài)圖特征輸入到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò),得到所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)輸出的第二候選融合特征,其中,所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)是用于進(jìn)行特征融合的卷積神經(jīng)網(wǎng)絡(luò);所述按照至少一種特征疊加方式中的每種特征疊加方式對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征疊加處理,得到與所述每種特征疊加方式對應(yīng)的候選融合特征包括以下至少之一:對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征執(zhí)行特征相加操作,得到第三候選融合特征;對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征執(zhí)行特征拼接操作,得到第四候選融合特征。
9、在一個示例性實(shí)施例中,在所獲取對待融合文本信息進(jìn)行文本編碼所得到的待融合文本特征之前,所述方法還包括:在所述待融合文本信息中包含否定詞的情況下,對所述待融合文本信息執(zhí)行語義取反處理,得到更新后的所述待融合文本信息。
10、根據(jù)本技術(shù)實(shí)施例的另一個方面,還提供了一種信息的處理裝置,包括:獲取單元,用于獲取對待融合文本信息進(jìn)行文本編碼所得到的待融合文本特征,以及獲取對待融合的第一動態(tài)圖進(jìn)行圖編碼所得到的動態(tài)圖特征,其中,所述第一動態(tài)圖是以文本信息為節(jié)點(diǎn)構(gòu)建的圖狀的數(shù)據(jù)結(jié)構(gòu);融合單元,用于按照一組預(yù)設(shè)融合方式對所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征融合,得到一組候選融合特征;選取單元,用于根據(jù)所述一組候選融合特征中的各個候選融合特征之間的信息量差,從所述一組候選融合特征選取出一組目標(biāo)融合特征,其中,所述一組目標(biāo)融合特征中的各個目標(biāo)融合特征之間的信息量差大于或者等于預(yù)設(shè)信息量差閾值;更新單元,用于使用所述一組目標(biāo)融合特征對所述第一動態(tài)圖進(jìn)行動態(tài)圖更新,得到第二動態(tài)圖。
11、在一個示例性實(shí)施例中,所述選取單元包括:確定模塊,用于根據(jù)所述一組候選融合特征,確定一組候選融合特征對中的每個候選融合特征對所對應(yīng)的相對熵,其中,所述每個候選融合特征對包含兩個候選融合特征,所述每個候選融合特征對所對應(yīng)的相對熵為所述每個候選融合特征對中的兩個候選融合特征之間的相對熵;選取模塊,用于根據(jù)所述每個候選融合特征對所對應(yīng)的相對熵,從所述一組候選融合特征選取出一組目標(biāo)融合特征。
12、在一個示例性實(shí)施例中,所述選取模塊包括:第一執(zhí)行子模塊,用于從所述一組候選融合特征中依次選取候選融合特征作為當(dāng)前候選融合特征執(zhí)行以下的特征選取操作,直到所述一組候選融合特征為空:在所述當(dāng)前候選融合特征與已選取的目標(biāo)融合特征之間的相對熵均大于或者等于預(yù)設(shè)相對熵閾值的情況下,將所述當(dāng)前候選融合特征確定為一個目標(biāo)融合特征,并將所述當(dāng)前候選融合特征從所述一組候選融合特征中移除;在所述當(dāng)前候選融合特征與已選取的至少一個目標(biāo)融合特征之間的相對熵小于預(yù)設(shè)相對熵閾值的情況下,并將所述當(dāng)前候選融合特征從所述一組候選融合特征中移除。
13、在一個示例性實(shí)施例中,所述選取模塊包括:確定子模塊,用于根據(jù)所述每個候選融合特征對所對應(yīng)的相對熵,確定出一組待處理融合特征對,其中,所述一組待處理融合特征對為所對應(yīng)的相對熵小于預(yù)設(shè)相對熵閾值的候選融合特征對;第二執(zhí)行子模塊,用于依次將所述一組待處理融合特征對中的每個待處理融合特征對作為當(dāng)前待處理融合特征對執(zhí)行以下的處理操作,直到所述一組待處理融合特征對為空:從所述當(dāng)前待處理融合特征對中選取出待移除的候選融合特征,將所述待移除的候選融合特征從所述一組候選融合特征中移除,并將所述一組待處理融合特征對中包含所述待移除的候選融合特征的待處理融合特征對移除;其中,更新后的所述一組候選融合特征為所述一組目標(biāo)融合特征。
14、在一個示例性實(shí)施例中,所述方法還包括:第一執(zhí)行單元,用于在所述使用所述一組目標(biāo)融合特征對所述第一動態(tài)圖進(jìn)行動態(tài)圖更新之前,以所述一組目標(biāo)融合特征為第一個融合特征層執(zhí)行n次以下的特征更新操作,得到(n+1)個融合特征層,其中,n為大于或者等于1的正整數(shù),在執(zhí)行一次所述特征更新操作時,最高的融合特征層為當(dāng)前融合特征層,所述當(dāng)前融合特征層中的融合特征為當(dāng)前融合特征:按照所述一組預(yù)設(shè)融合方式中的至少一種融合方式對每個所述當(dāng)前融合特征和與每個所述當(dāng)前融合特征對應(yīng)的參考特征進(jìn)行特征融合,得到與每個所述當(dāng)前融合特征對應(yīng)的下一個融合特征,其中,與每個所述當(dāng)前融合特征對應(yīng)的參考特征包括以下至少之一:所述待融合文本特征,所述動態(tài)圖特征,所述當(dāng)前融合特征層之前的融合特征層中的融合特征,其他所述當(dāng)前融合特征;根據(jù)與所有所述當(dāng)前融合特征對應(yīng)的下一個融合特征之間的信息量差,從與所有所述當(dāng)前融合特征對應(yīng)的下一個融合特征選取出所述當(dāng)前融合特征層的下一個融合特征層中的融合特征,得到所述當(dāng)前融合特征層的下一個融合特征層;其中,第(n+1)個融合特征層為更新后的所述一組目標(biāo)融合特征。
15、在一個示例性實(shí)施例中,所述融合單元包括以下至少之一:第一處理模塊,用于通過至少一種特征融合網(wǎng)絡(luò)中的每種特征融合網(wǎng)絡(luò)分別對所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征融合處理,得到與所述每種特征融合網(wǎng)絡(luò)對應(yīng)的候選融合特征;第二處理模塊,用于將所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征維度對齊之后,按照至少一種特征疊加方式中的每種特征疊加方式對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征進(jìn)行特征疊加處理,得到與所述每種特征疊加方式對應(yīng)的候選融合特征。
16、在一個示例性實(shí)施例中,所述第一處理模塊包括以下至少之一:第一輸入子模塊,用于將所述待融合文本特征作為注意力網(wǎng)絡(luò)的第一權(quán)重矩陣、將所述動態(tài)圖特征作為所述注意力網(wǎng)絡(luò)的第二權(quán)重矩陣和第三權(quán)重矩陣輸入到所述注意力網(wǎng)絡(luò),得到所述注意力網(wǎng)絡(luò)輸出的第一候選融合特征;第二處理子模塊,用于將所述待融合文本特征和所述動態(tài)圖特征輸入到目標(biāo)卷積神經(jīng)網(wǎng)絡(luò),得到所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)輸出的第二候選融合特征,其中,所述目標(biāo)卷積神經(jīng)網(wǎng)絡(luò)是用于進(jìn)行特征融合的卷積神經(jīng)網(wǎng)絡(luò);所述第二處理模塊包括以下至少之一:第一執(zhí)行子模塊,用于對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征執(zhí)行特征相加操作,得到第三候選融合特征;第二執(zhí)行子模塊,用于對特征維度對齊的所述待融合文本特征和所述動態(tài)圖特征執(zhí)行特征拼接操作,得到第四候選融合特征。
17、在一個示例性實(shí)施例中,所述方法還包括:第二執(zhí)行單元,用于在所獲取對待融合文本信息進(jìn)行文本編碼所得到的待融合文本特征之前,在所述待融合文本信息中包含否定詞的情況下,對所述待融合文本信息執(zhí)行語義取反處理,得到更新后的所述待融合文本信息。
18、根據(jù)本技術(shù)實(shí)施例的又一方面,還提供了一種計(jì)算機(jī)可讀的存儲介質(zhì),該計(jì)算機(jī)可讀的存儲介質(zhì)中存儲有計(jì)算機(jī)程序,其中,該計(jì)算機(jī)程序被設(shè)置為運(yùn)行時執(zhí)行上述信息的處理方法。
19、根據(jù)本技術(shù)實(shí)施例的又一方面,還提供了一種電子裝置,包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,其中,上述處理器通過計(jì)算機(jī)程序執(zhí)行上述的信息的處理方法。
20、在本技術(shù)實(shí)施例中,采用多種預(yù)設(shè)融合方式對待融合文本特征和動態(tài)圖特征進(jìn)行特征融合的方式,通過獲取對待融合文本信息進(jìn)行文本編碼所得到的待融合文本特征,以及獲取對待融合的第一動態(tài)圖進(jìn)行圖編碼所得到的動態(tài)圖特征,其中,第一動態(tài)圖是以文本信息為節(jié)點(diǎn)構(gòu)建的圖狀的數(shù)據(jù)結(jié)構(gòu);按照一組預(yù)設(shè)融合方式對待融合文本特征和動態(tài)圖特征進(jìn)行特征融合,得到一組候選融合特征;根據(jù)一組候選融合特征中的各個候選融合特征之間的信息量差,從一組候選融合特征選取出一組目標(biāo)融合特征,其中,一組目標(biāo)融合特征中的各個目標(biāo)融合特征之間的信息量差大于或者等于預(yù)設(shè)信息量差閾值;使用一組目標(biāo)融合特征對第一動態(tài)圖進(jìn)行動態(tài)圖更新,得到第二動態(tài)圖,由于多種預(yù)設(shè)融合方式對待融合文本特征和動態(tài)圖特征進(jìn)行特征融合,可以充分利用待融合文本特征和動態(tài)圖特征中的信息,并且根據(jù)各個融合特征之間的信息量差,對融合特征進(jìn)行篩選,可以得到信息量差較大的融合特征,可以實(shí)現(xiàn)獲取更多信息量的目的,達(dá)到提高信息利用率的技術(shù)效果,進(jìn)而解決了相關(guān)技術(shù)中的信息的處理方法存在由于信息融合方式單一導(dǎo)致的信息利用率低的問題。