用于生成語義標(biāo)注的系統(tǒng)和方法
【專利說明】 用于生成語義標(biāo)注的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求美國臨時(shí)專利申請(qǐng)N0.61/700542 (2012年9月13日提交，標(biāo)題為“Situat1nal awareness for gas stat1ns and similar commercial sites ofinterest”)的權(quán)益，通過引用將其完整地結(jié)合到本文中。
技術(shù)領(lǐng)域
[0002]本文所公開的主題一般涉及生成語義標(biāo)注。更具體來說，本主題涉及用于基于先前事件的語義標(biāo)注來生成事件敘述、即事件的語義標(biāo)注序列的系統(tǒng)和方法。
【背景技術(shù)】
[0003]當(dāng)前智能平臺(tái)接收大量輸入(例如視頻輸入、音頻輸入、地理信號(hào)等)，并且使用基于規(guī)則的系統(tǒng)、有限狀態(tài)機(jī)等從所接收輸入來確定關(guān)鍵事件。例如，制造工廠包括視頻監(jiān)控系統(tǒng)，以用于接收即時(shí)視頻饋送并且從所接收視頻饋送中檢測(cè)犯罪現(xiàn)場(chǎng)。在這種示例中，視頻監(jiān)控系統(tǒng)從即時(shí)視頻饋送來生成元數(shù)據(jù)，并且分析元數(shù)據(jù)是否滿足例如描述犯罪的預(yù)定義規(guī)則。
[0004]這類智能平臺(tái)具有許多問題。例如，這類智能平臺(tái)無法檢測(cè)先前尚未遇到并且由智能平臺(tái)的管理員預(yù)先定義的事件。因此，需要用于生成語義標(biāo)注的增強(qiáng)系統(tǒng)和方法，其將允許超越原始元數(shù)據(jù)的分析、對(duì)事件的推理。

【發(fā)明內(nèi)容】

[0005]按照本技術(shù)的一個(gè)方面，公開一種方法。該方法包括從一個(gè)或多個(gè)傳感器接收新視頻，并且基于新視頻來生成新內(nèi)容圖表(CG)。該方法還包括將新CG與多個(gè)先前CG進(jìn)行比較，其中多個(gè)先前CG從先前接收的視頻來生成。該方法還包括識(shí)別與第一先前CG的一部分匹配的新CG的第一部分以及與第二先前CG的一部分匹配的新CG的第二部分。該方法還包括分析與第一先前CG的部分關(guān)聯(lián)的語義標(biāo)注(SA)的第一集合以及與第二先前CG的部分關(guān)聯(lián)的SA的第二集合。該方法還包括基于SA的第一和第二集合的分析來生成新視頻的SA序列。
[0006]按照本系統(tǒng)的一個(gè)方面，公開一種系統(tǒng)。該系統(tǒng)包括圖表模塊，以用于從一個(gè)或多個(gè)傳感器接收新視頻，并且基于新視頻來生成新內(nèi)容圖表(CG)。該系統(tǒng)還包括比較模塊，以用于將新CG與多個(gè)先前CG進(jìn)行比較，并且識(shí)別與第一先前CG的一部分匹配的新CG的第一部分以及與第二先前CG的一部分匹配的新CG的第二部分，其中多個(gè)先前CG從先前接收的視頻來生成。該系統(tǒng)還包括敘述模塊，以用于分析與第一先前CG的部分關(guān)聯(lián)的語義標(biāo)注(SA)的第一集合以及與第二先前CG的部分關(guān)聯(lián)的SA的第二集合，并且基于SA的第一和第二集合的分析來生成新視頻的SA序列。
[0007]按照本技術(shù)的一個(gè)方面，公開對(duì)指令進(jìn)行編碼的計(jì)算機(jī)程序產(chǎn)品。指令在由處理器運(yùn)行時(shí)使該處理器從一個(gè)或多個(gè)傳感器接收新視頻，并且基于新視頻來生成新內(nèi)容圖表(CG)，其中多個(gè)先前CG從先前接收的視頻來生成。指令還使處理器將新CG與多個(gè)先前CG進(jìn)行比較，其中多個(gè)先前CG從先前接收的視頻來生成。指令還使處理器識(shí)別與第一先前CG的一部分匹配的新CG的第一部分以及與第二先前CG的一部分匹配的新CG的第二部分。指令還使處理器分析與第一先前CG的部分關(guān)聯(lián)的語義標(biāo)注(SA)的第一集合以及與第二先前CG的部分關(guān)聯(lián)的SA的第二集合。指令還使處理器基于SA的第一和第二集合的分析來生成新視頻的SA序列。
【附圖說明】
[0008]通過參照附圖閱讀以下詳細(xì)描述，將會(huì)更好地了解本發(fā)明的這些及其他特征、方面和優(yōu)點(diǎn)，附圖中，相似標(biāo)號(hào)在附圖中通篇表示相似部件，附圖包括:
圖1是示出按照一個(gè)實(shí)施例、用于生成語義標(biāo)注的系統(tǒng)的框圖；
圖2是示出按照一個(gè)實(shí)施例的語義引擎的框圖；
圖3是示出按照一個(gè)實(shí)施例、用于生成語義標(biāo)注的方法的圖形表示；以及圖4是示出按照一個(gè)實(shí)施例、用于生成語義標(biāo)注的方法的流程圖。
【具體實(shí)施方式】
[0009]在以下說明書和權(quán)利要求書中，將參照定義成具有下列含意的多個(gè)術(shù)語。
[0010]單數(shù)形式“一”、“一個(gè)”、“該”和“所述”包括復(fù)數(shù)引用，除非上下文另加明確說明。[0011 ] 如本文所使用的術(shù)語“非暫時(shí)計(jì)算機(jī)可讀介質(zhì)”意在表示按照任何方法或技術(shù)所實(shí)現(xiàn)以用于信息(例如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和子模塊或者任何裝置中的其他數(shù)據(jù))的短期和長(zhǎng)期存儲(chǔ)的任何有形的基于計(jì)算機(jī)的裝置。因此，本文所述的方法可編碼為包含在有形非暫時(shí)計(jì)算機(jī)可讀介質(zhì)(非限制性地包括存儲(chǔ)裝置和/或存儲(chǔ)器裝置)中的可執(zhí)行指令。這類指令在由處理器運(yùn)行時(shí)使該處理器執(zhí)行本文所述方法的至少一部分。此外，如本文所使用的術(shù)語“非暫時(shí)計(jì)算機(jī)可讀介質(zhì)”包括所有有形計(jì)算機(jī)可讀介質(zhì)，非限制性地包括非暫時(shí)計(jì)算機(jī)存儲(chǔ)裝置(非限制性地包括易失性和非易失性介質(zhì)、可拆卸和不可拆卸介質(zhì)，例如固件、物理的虛擬存儲(chǔ)裝置、CD-ROM、DVD)和任何其他數(shù)字源(例如網(wǎng)絡(luò)或因特網(wǎng))以及有待開發(fā)的數(shù)字部件，其中唯一例外是暫時(shí)傳播信號(hào)。
[0012]如本文所使用的術(shù)語“軟件”和“固件”是可互換的，并且包括存儲(chǔ)器中存儲(chǔ)的任何計(jì)算機(jī)程序，以供非限制性地包括移動(dòng)裝置集群、個(gè)人計(jì)算機(jī)、工作站、客戶端和服務(wù)器的裝置執(zhí)行。
[0013]如本文所使用的術(shù)語“計(jì)算機(jī)”及相關(guān)術(shù)語、例如“計(jì)算裝置”并不局限于本領(lǐng)域稱作計(jì)算機(jī)的集成電路，而是廣義地表示至少一個(gè)微控制器、微處理器、可編程邏輯控制器(PLC)、專用集成電路以及其他可編程電路，并且這些術(shù)語在本文中可互換地使用。
[0014]本文所使用的近似語言在本說明書和權(quán)利要求書中通篇可適用于修改可準(zhǔn)許改變的任何定量表示，而沒有引起與其相關(guān)的基本功能的變化。相應(yīng)地，通過諸如“大約”和“基本上”之類的一個(gè)或多個(gè)術(shù)語所修改的值并不局限于所指定的精確值。在至少一些情況下，近似語言可對(duì)應(yīng)于用于測(cè)量該值的儀器的準(zhǔn)確度。在這里并且在整個(gè)說明書和權(quán)利要求書中，范圍限制可以相結(jié)合和/或互換，這類范圍被標(biāo)識(shí)，并且包括其中包含的所有子范圍，除非上下文或語言另加說明。
[0015]本文描述用于生成語義標(biāo)注的系統(tǒng)和方法。圖1示出按照一個(gè)實(shí)施例、用于生成語義標(biāo)注的系統(tǒng)100的框圖。所示系統(tǒng)100包括一個(gè)或多個(gè)傳感器120和語義引擎130，其經(jīng)由網(wǎng)絡(luò)170在通信上耦合。
[0016]傳感器120是任何類型的裝置，其配置成測(cè)量物理量或特征，例如壓力、光、聲、溫度、運(yùn)動(dòng)等。傳感器120可包括圖像傳感器、聲傳感器、接近傳感器、生物傳感器、機(jī)械傳感器、陀螺傳感器、熱傳感器、壓力傳感器等，并且生成輸入數(shù)據(jù)。在一個(gè)實(shí)施例中，傳感器120安裝在商業(yè)場(chǎng)所，例如燃料站、便利店、醫(yī)院等。在這種實(shí)施例中，傳感器120配置成生成與在商業(yè)場(chǎng)所發(fā)生的事件關(guān)聯(lián)的輸入數(shù)據(jù)。
[0017]在一個(gè)示例中，傳感器120包括圖像傳感器(例如攝像機(jī)、閉路電視攝像機(jī)等)，以用于捕獲圖像和/或記錄進(jìn)入燃料站的汽車的視頻。在另一示例中，傳感器120包括機(jī)械傳感器，以用于確定是否移開燃料分配機(jī)并且抽吸汽油。在另一個(gè)示例中，傳感器120包括錄音機(jī)，以用于記錄客戶的語音。在另一個(gè)示例中，傳感器120包括銷售點(diǎn)傳感器，以用于確定客戶是否為汽油付款。在一個(gè)實(shí)施例中，傳感器120還配置成經(jīng)由網(wǎng)絡(luò)170向語義引擎130發(fā)送所生成的輸入數(shù)據(jù)。傳感器120經(jīng)由信號(hào)線125在通信上耦合到網(wǎng)絡(luò)170。信號(hào)線125是為了便于說明而提供的，并且表示一個(gè)或多個(gè)傳感器120通過有線或元件部件經(jīng)由網(wǎng)絡(luò)170進(jìn)行通信。在一個(gè)示例中，傳感器120具有發(fā)出傳感器和成像數(shù)據(jù)的傳輸能力。在另一個(gè)示例中，120耦合到通信裝置(未示出)，其促進(jìn)傳感器數(shù)據(jù)的傳輸。雖然在所示實(shí)施例中示出多個(gè)傳感器120，但是在其他實(shí)施例中，單個(gè)傳感器120可耦合到網(wǎng)絡(luò)170。
[0018]語義引擎130是用于接收輸入數(shù)據(jù)(即，來自傳感器120的傳感器數(shù)據(jù))并且生成所接收輸入數(shù)據(jù)的語義標(biāo)注的任何類型的裝置。語義引擎130基于與先前接收的輸入數(shù)據(jù)關(guān)聯(lián)的語義關(guān)聯(lián)來生成所接收輸入數(shù)據(jù)的語義標(biāo)注序列。在所示系統(tǒng)100中，語義引擎130包括語義應(yīng)用140。語義引擎130經(jīng)由信號(hào)線135在通信上耦合到網(wǎng)絡(luò)170。雖然在所示實(shí)施例中示出一個(gè)語義引擎130，