本發(fā)明涉及計算機(jī)視覺，視頻處理技術(shù)領(lǐng)域，具體地說是涉及一種結(jié)合似物度的無約束視頻中顯著物體檢測方法。

背景技術(shù)：

人類的視覺系統(tǒng)能夠從復(fù)雜的環(huán)境中快速準(zhǔn)確地定位人眼感興趣的區(qū)域，并做出相應(yīng)的反應(yīng)，并且根據(jù)心理學(xué)以及感知科學(xué)的研究，在大多數(shù)情況下，人眼在觀察一幅圖像時，不會在整個圖像上平均分配注意力，而是會將注意力集中在圖像中的某個區(qū)域上，該區(qū)域稱之為顯著對象。顯著對象檢測方法利用與圖像關(guān)注度相對應(yīng)的顯著性圖像將圖像中的顯著對象準(zhǔn)確快速的檢測出來。檢測的結(jié)果表現(xiàn)為在圖像中標(biāo)記出一塊矩形區(qū)域，該矩形區(qū)域盡可能多的包含顯著對象而盡可能少的包含背景。顯著性檢測廣泛用于基于內(nèi)容的顯著對象識別、圖像/視頻自適應(yīng)、圖像/視頻壓縮、圖像/視頻檢索等諸多應(yīng)用。近年來，已經(jīng)提出了多種基于圖像顯著性的對象檢測算法，如Shi等人在2012年4月出版的IEEE SIGNAL PROCESSING LETTERS期刊上發(fā)表的“基于區(qū)域間差異最大化的顯著對象檢測”方法，通過迭代地壓縮ESS(Efficient Subwindow Search)的搜索空間，能夠快速地找到顯著性差異最大的區(qū)域，方法的具體步驟如下：

(1)、輸入原始圖像，利用已有的圖像顯著性模型得到原始圖像的顯著性圖；

(2)、計算顯著性圖上每個像素點(diǎn)到顯著性圖的重心的歐式距離，得到修改后的顯著性圖；

(3)、通過迭代更新顯著性圖，找到與外部區(qū)域差異最大的目標(biāo)矩形，該目標(biāo)矩形內(nèi)部區(qū)域的圖像內(nèi)容為檢測出的顯著對象。

Li等人在2015年12月出版的計算機(jī)應(yīng)用期刊上發(fā)表的“基于視覺顯著性圖與似物性的對象檢測”方法，通過利用顯著性圖、似物性的對象檢測算法和邊緣概率密度等信息檢測出顯著對象區(qū)域，方法的具體步驟如下：

(1)、在圖像上提取大量具有較高似物性度量的矩形窗口，并估算出對象可能出現(xiàn)的位置，將窗口級的似物性度量轉(zhuǎn)換到像素級的似物性度量；

(2)、把原始顯著性圖與像素級的似物性圖進(jìn)行融合，生成加權(quán)顯著性圖，分別二值化得到原始顯著性圖和加權(quán)顯著性圖，利用凸包檢測得到最大查找窗口區(qū)域與種子窗口區(qū)域；

(3)、結(jié)合邊緣概率密度搜索出最優(yōu)的物體窗口。

Luo等人在2016年2月出版的Journal of Visual Communication and Image Representation期刊上發(fā)表的“尋找時空顯著性路徑的視頻顯著對象檢測”方法，通過利用動態(tài)規(guī)劃算法來尋找最優(yōu)的顯著性路徑，得到顯著對象檢測結(jié)果，方法的具體步驟如下：

(1)、輸入原始視頻序列，利用已有的圖像顯著性模型生成空域顯著性圖，再利用稠密光流法算法，通過運(yùn)動矢量場來移除全局運(yùn)動，得到時域顯著性圖；

(2)、根據(jù)時域顯著性圖和空域顯著性圖的相互一致性特征，自適合地將兩者進(jìn)行線性融合，得到最終的時空顯著性圖。

(3)、定義矩形框的顯著性密度，利用已有圖像的顯著對象檢測方法，得到單幀的顯著對象檢測結(jié)果；

(4)、視頻序列的時間一致性，利用動態(tài)規(guī)劃算法來尋找最優(yōu)的顯著性路徑，得到最終的顯著對象檢測結(jié)果。

但是上述方法存在的不足是，三種方法模型對運(yùn)動復(fù)雜的視頻序列不具有魯棒性，依賴于顯著性圖的質(zhì)量。綜上所述，現(xiàn)有的顯著對象檢測方法不能準(zhǔn)確、完整地提取無約束視頻序列中的顯著對象，這影響了顯著對象檢測的廣泛應(yīng)用。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對已有技術(shù)中存在的缺陷，提出一種結(jié)合似物度的無約束視頻中顯著物體檢測方法，該方法能夠較為準(zhǔn)確、完整地檢測出無約束視頻序列中的顯著對象。

為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種結(jié)合似物度的無約束視頻中顯著物體檢測方法，具體步驟如下：

(1)、輸入原始視頻序列F＝{F₁,F₂,...,F_M}，M是視頻的幀數(shù)，對其中的第t幀記為F_t；

(2)、對于視頻幀F(xiàn)_t，利用視頻顯著性模型、似物性的對象檢測算法，得到初始的顯著對象檢測的矩形區(qū)域；

(3)、對于視頻幀F(xiàn)_t，通過迭代更新似物度概率圖和對象概率圖，不斷調(diào)整顯著對象檢測的矩形區(qū)域大小，得到單幀的顯著對象檢測結(jié)果；

(4)、利用稠密光流法算法，得到視頻幀F(xiàn)_t的像素點(diǎn)的運(yùn)動矢量場，計算相鄰幀顯著對象檢測的矩形區(qū)域的重疊度，得到最終的顯著對象檢測結(jié)果。

上述步驟(2)中對于視頻幀F(xiàn)_t，利用視頻顯著性模型、似物性的對象檢測算法，得到初始的顯著對象檢測的矩形區(qū)域，具體步驟如下：

(2-1)、對于視頻幀F(xiàn)_t，利用已有視頻顯著性模型，得到時空顯著性圖S_t(p)，p表示圖像中每個像素；

(2-2)、對于視頻幀F(xiàn)_t，利用似物性的對象檢測算法生成N個候選矩形窗口相應(yīng)地，每一窗口包含對象的概率表示為設(shè)定N＝1000，計算似物性概率圖，其計算式為：

其中，O_t(p)表示第t幀圖像中每個像素p的似物性分?jǐn)?shù)；

(2-3)、對于視頻幀F(xiàn)_t，計算對象概率圖，其計算式為：

OP_t(p)＝S_t(p)·O_t(p) (2)

其中，OP_t(p)表示第t幀圖像中每個像素p的對象概率值；

(2-4)、對于視頻幀F(xiàn)_t，利用自適應(yīng)的最大類間方差法(OSTU)，分別對時空顯著性圖S_t(p)、似物性概率圖O_t(p)和對象概率圖OP_t(p)進(jìn)行二值化，分別得到最小外接矩形計算初始的顯著對象檢測的矩形區(qū)域，其計算式為：

其中，表示第t幀初始的顯著對象檢測的矩形區(qū)域。

上述步驟(3)中對于視頻幀F(xiàn)_t，通過迭代更新似物度概率圖和對象概率圖，不斷調(diào)整顯著對象檢測的矩形區(qū)域大小，得到單幀的顯著對象檢測結(jié)果，具體步驟如下：

(3-1)、設(shè)置迭代的初始值，其具體步驟如下：

(3-1-1)、設(shè)i表示迭代次數(shù)，其中，i為0,1,2,3，……；

(3-1-2)、設(shè)表示N個候選矩形窗口W_t與的重疊度大于等于0.5的候選矩形窗口的集合，初始狀態(tài)其中W_t表示步驟(2-2)中初始的顯著對象檢測的矩形區(qū)域；

(3-1-3)、設(shè)表示在第i次迭代中更新的似物性概率圖，初始狀態(tài)其中O_t表示步驟(2-2)中得到的似物性概率圖；

(3-1-4)、設(shè)表示在第i次迭代中更新的對象概率圖，初始狀態(tài)其中OP_t表示步驟(2-3)中得到的對象概率圖；

(3-1-5)、設(shè)表示第i次迭代中更新的似物性概率圖二值化得到的最小外接矩形區(qū)域，初始狀態(tài)其中表示步驟(2-4)中得到的似物性概率圖二值化得到的最小外接矩形區(qū)域；

(3-1-6)、設(shè)表示第i次迭代中更新的對象概率圖二值化得到的最小外接矩形區(qū)域，初始狀態(tài)其中表示步驟(2-4)中得到的對象概率圖二值化得到的最小外接矩形區(qū)域；

(3-1-7)、設(shè)表示在第i次迭代中獲得的顯著對象檢測的矩形區(qū)域，初始狀態(tài)時其中表示步驟(2-4)中得到得初始的顯著對象檢測的矩形區(qū)域；

(3-2)、通過迭代更新似物度概率圖和對象概率圖，獲得單幀的顯著對象檢測結(jié)果，其具體步驟如下：

(3-2-1)、第i次迭代中，計算更新后的似物度概率圖，其計算式為：

其中，表示第i次迭代中似物性的對象檢測算法生成N個候選矩形窗口W_t與的重疊度大于等于0.5的候選矩形窗口的集合，其計算式為：

其中，r_t^j表示第t幀第j個候選矩形窗口與的重疊度，其計算式為：

其中，|w_j|表示矩形區(qū)域內(nèi)像素的數(shù)目；

(3-2-2)、第i次迭代中，計算更新后的對象概率圖，其計算式為：

(3-2-3)、利用自適應(yīng)的最大類間方差法(OSTU)，分別對似物性概率圖和對象概率圖進(jìn)行二值化，分別得到最小外接矩形計算更新后的顯著對象檢測的矩形區(qū)域，其計算式為：

(3-3)、如果在第i次迭代中獲得的矩形區(qū)域與第i-1次迭代中獲得的矩形區(qū)域完全重合，則為獲得的目標(biāo)矩形W_t^*；否則繼續(xù)步驟(3-2)通過迭代更新似物度概率圖和對象概率圖，獲得目標(biāo)矩形，該目標(biāo)矩形內(nèi)部區(qū)域的圖像內(nèi)容為檢測出的顯著對象。

上述步驟(4)中利用稠密光流法算法，得到視頻幀F(xiàn)_t的像素點(diǎn)的運(yùn)動矢量場，計算相鄰幀顯著對象的矩形區(qū)域的重疊度，得到最終的顯著對象檢測結(jié)果，具體步驟如下：

(4-1)、對于視頻幀F(xiàn)_t，計算(3-3)中得到的矩形區(qū)域W_t^*的對象比例，其計算式為：

OR_t＝|W_t^*|/(w·h) (9)

其中，OR_t表示第t幀的對象比例大小，w和h分別表示視頻序列的寬和高，計算平均對象比例，其計算式為：

其中，MOR表示該視頻序列的平均對象比例大小，先排除對象比例過大的視頻幀，其計算式為：

F_OS＝{F_t|F_t∈F,OR_t＞＝1.2*MOR} (11)

其中，F(xiàn)_OS表示對象比例過大的視頻序列集合，補(bǔ)集在C_FF_OS里重新計算平均對象比例為MOR'，再排除對象比例過小的視頻幀，其計算式為：

F_US＝{F_t|F_t∈C_FF_OS,OR_t＜＝0.8*MOR'} (12)

其中，F(xiàn)_US表示對象比例過小的視頻序列集合；

(4-2)、利用稠密光流法算法，計算相鄰幀顯著對象的矩形區(qū)域的重疊度，其計算式為：

其中，表示第t+1幀顯著對象的矩形區(qū)域與第t幀顯著對象的矩形區(qū)域的重疊度，表示第t+1幀的顯著對象的矩形區(qū)域映射到第t幀的最小外接矩形區(qū)域，由(4-2)和(4-3)得到對象比例適中的視頻序列為設(shè)定相鄰幀的映射跨度為兩幀，在F'里計算第t幀的顯著對象的矩形區(qū)域與相鄰幀的平均重疊度，其計算式為：

排除重疊度過小的視頻幀，其計算式為：

F_SO＝{F_t|F_t∈F',k_meanOverlap(W_t^*)＜＝0.3} (15)

其中，F(xiàn)_SO表示重疊度過小的視頻序列集合，得到重疊度適中的視頻序列集合

(4-3)、通過視頻序列集合F”來恢復(fù)視頻序列集合F_OS,F_US,F_SO，利用稠密光流法算法映射得到所有要恢復(fù)的視頻幀，設(shè)置相鄰幀的映射跨度為兩幀，取所有映射到該幀的最小矩形區(qū)域的交集區(qū)域作為該幀的顯著對象檢測結(jié)果。

本發(fā)明結(jié)合似物度的無約束視頻中顯著物體檢測方法與現(xiàn)有的技術(shù)相比，具有如下優(yōu)點(diǎn)：

本發(fā)明方法通過迭代更新似物度概率圖和對象概率圖，增強(qiáng)空域顯著對象檢測結(jié)果的準(zhǔn)確性；利用序列級的細(xì)化，增強(qiáng)了時間的一致性，能夠更準(zhǔn)確、完整地檢測視頻中的顯著對象。

附圖說明

圖1是本發(fā)明的結(jié)合似物度的無約束視頻中顯著物體檢測方法的流程圖。

圖2是本發(fā)明步驟(2)利用視頻顯著性模型、似物性的對象檢測算法，得到初始的顯著對象檢測的矩形區(qū)域。

圖3是本發(fā)明步驟(3)通過迭代更新似物度概率圖和對象概率圖，不斷調(diào)整顯著對象檢測矩形區(qū)域的大小，得到單幀的顯著對象檢測結(jié)果。

圖4是本發(fā)明步驟(4)利用稠密光流法算法，得到視頻幀F(xiàn)_t的像素點(diǎn)的運(yùn)動矢量場，計算相鄰幀顯著對象檢測矩形區(qū)域的重疊度，得到最終的顯著對象檢測結(jié)果。

具體實(shí)施方式

下面結(jié)合說明書附圖對本發(fā)明的實(shí)施例作進(jìn)一步詳細(xì)說明。

本發(fā)明進(jìn)行的仿真實(shí)驗(yàn)是在CPU為3.4GHz、內(nèi)存為8G的PC測試平臺上編程實(shí)現(xiàn)。

如圖1所示，本發(fā)明結(jié)合似物度的無約束視頻中顯著對象檢測方法，其具體步驟如下：

(1)、輸入原始視頻序列F＝{F₁,F₂,...,F_M}，M是視頻的幀數(shù)，對其中的第t幀記為F_t；

(2)、對于視頻幀F(xiàn)_t，利用視頻顯著性模型、似物性的對象檢測算法，得到初始的顯著對象檢測的矩形區(qū)域；

(3)、對于視頻幀F(xiàn)_t，通過迭代更新似物度概率圖和對象概率圖，不斷調(diào)整顯著對象檢測的矩形區(qū)域大小，得到單幀的顯著對象檢測結(jié)果；

(4)、利用稠密光流法算法，得到視頻幀F(xiàn)_t的像素點(diǎn)的運(yùn)動矢量場，計算相鄰幀顯著對象檢測的矩形區(qū)域的重疊度，得到最終的顯著對象檢測結(jié)果。

上述步驟(2)中對于視頻幀F(xiàn)_t，利用視頻顯著性模型、似物性的對象檢測算法，得到初始的顯著對象檢測矩形區(qū)域，具體步驟如下：

(2-1)、對于視頻幀F(xiàn)_t，利用已有視頻顯著性模型，得到時空顯著性圖S_t(p)，p表示圖像中每個像素，如圖2(b)所示；

(2-2)、對于視頻幀F(xiàn)_t，利用似物性的對象檢測算法生成N個候選矩形窗口相應(yīng)地，每一窗口包含對象的概率表示為設(shè)定N＝1000，計算似物性概率圖，其計算式為：

其中，O_t(p)表示第t幀圖像中每個像素p的似物性分?jǐn)?shù)，如圖2(c)所示；

(2-3)、對于視頻幀F(xiàn)_t，計算對象概率圖，其計算式為：

OP_t(p)＝S_t(p)·O_t(p) (18)

其中，OP_t(p)表示第t幀圖像中每個像素p的概率值，如圖2(d)所示；

(2-4)、對于視頻幀F(xiàn)_t，利用自適應(yīng)的最大類間方差法(OSTU)，分別對時空顯著性圖S_t(p)、似物性概率圖O_t(p)和對象概率圖OP_t(p)進(jìn)行二值化，分別得到最小外接矩形分別對應(yīng)圖2(e)、2(f)、2(g)所示，計算初始的顯著對象檢測的矩形區(qū)域，其計算式為：

其中，表示第t幀初始的顯著對象檢測的矩形區(qū)域，如圖2(h)所示。

上述步驟(3)中對于視頻幀F(xiàn)_t，通過迭代更新似物度概率圖和對象概率圖，不斷調(diào)整顯著對象檢測矩形區(qū)域的大小，得到空域的對象檢測結(jié)果，具體步驟如下：

(3-1)、設(shè)置迭代的初始值，其具體步驟如下：

(3-1-1)、設(shè)i表示迭代次數(shù)，其中，i為0,1,2,3，……；

(3-1-2)、設(shè)表示N個候選矩形窗口W_t與的重疊度大于等于0.5的候選矩形窗口的集合，初始狀態(tài)其中W_t表示步驟(2-2)中初始的顯著對象檢測的矩形區(qū)域；

(3-1-3)、設(shè)表示在第i次迭代中更新的似物性概率圖，初始狀態(tài)其中O_t表示步驟(2-2)中得到的似物性概率圖；

(3-1-4)、設(shè)OP_tⁱ表示在第i次迭代中更新的對象概率圖，初始狀態(tài)OP_t⁰＝OP_t，其中OP_t表示步驟(2-3)中得到的對象概率圖；

(3-1-5)、設(shè)表示在第i次迭代中更新的似物性概率圖二值化得到的最小外接矩形區(qū)域，初始狀態(tài)其中表示步驟(2-4)中得到的似物性概率圖二值化得到的最小外接矩形區(qū)域；

(3-1-6)、設(shè)表示在第i次迭代中更新的對象概率圖二值化得到的最小外接矩形區(qū)域，初始狀態(tài)其中表示步驟(2-4)中得到的對象概率圖二值化得到的最小外接矩形區(qū)域；

(3-1-7)、設(shè)表示在第i次迭代中獲得的顯著對象檢測的矩形區(qū)域，初始狀態(tài)時其中表示步驟(2-4)中得到得初始的顯著對象檢測的矩形區(qū)域；

(3-2)、通過迭代更新似物度概率圖和對象概率圖，獲得矩形區(qū)域，其具體步驟如下：

(3-2-1)、第i次迭代中，計算更新后的似物度概率圖，其計算式為：

其中，表示第i次迭代中似物性的對象檢測算法生成N個候選矩形窗口W_t與的重疊度大于等于0.5的候選矩形窗口的集合，其計算式為：

其中，r_t^j表示第t幀第j個候選矩形窗口與的重疊度，其計算式為：

其中，|w_j|表示矩形區(qū)域內(nèi)像素的數(shù)目；

(3-2-2)、第i次迭代中，計算更新后的對象概率圖，其計算式為：

(3-2-3)、利用自適應(yīng)的最大類間方差法(OSTU)，分別對似物性概率圖和對象概率圖進(jìn)行二值化，分別得到最小外接矩形計算更新后的顯著對象檢測的矩形區(qū)域，其計算式為：

(3-3)、如果在第i次迭代中獲得的矩形區(qū)域與第i-1次迭代中獲得的矩形區(qū)域完全重合，則為獲得的目標(biāo)矩形W_t^*；否則繼續(xù)步驟(3-2)通過迭代更新似物度概率圖和對象概率圖，獲得目標(biāo)矩形，該目標(biāo)矩形內(nèi)部區(qū)域的圖像內(nèi)容為檢測出的顯著對象。如圖3所示，三次迭代后終止，每一行依次表示更新的似物度概率圖，對象概率圖和得到的顯著對象檢測矩形區(qū)域。

上述步驟(4)中利用稠密光流法算法，得到視頻幀F(xiàn)_t的像素點(diǎn)的運(yùn)動矢量場，計算相鄰幀顯著對象的矩形區(qū)域的重疊度，得到最終的顯著對象檢測結(jié)果，具體步驟如下：

(4-1)、對于視頻幀F(xiàn)_t，計算(3-5)中得到的矩形區(qū)域W_t^*的對象比例，其計算式為：

OR_t＝|W_t^*|/(w·h) (25)

其中，OR_t表示第t幀的對象比例大小，w和h分別表示視頻序列的寬和高，計算平均對象比例，其計算式為：

其中，MOR表示該視頻序列的平均對象比例大小，先排除對象比例過大的視頻幀，其計算式為：

F_OS＝{F_t|F_t∈F,OR_t＞＝1.2*MOR} (27)

其中，F(xiàn)_OS表示對象比例過大的視頻序列集合，補(bǔ)集在C_FF_OS里重新計算平均對象比例為MOR'，再排除對象比例過小的視頻幀，其計算式為：

F_US＝{F_t|F_t∈C_FF_OS,OR_t＜＝0.8*MOR'} (28)

其中，F(xiàn)_US表示對象比例過小的視頻序列集合；

(4-2)、利用稠密光流法算法，計算相鄰幀顯著對象的矩形區(qū)域的重疊度，其計算式為：

其中，表示第t+1幀顯著對象的矩形區(qū)域與第t幀顯著對象的矩形區(qū)域的重疊度，表示第t+1幀的顯著對象的矩形區(qū)域映射到第t幀的最小外接矩形區(qū)域，由(4-2)和(4-3)得到對象比例適中的視頻序列為設(shè)定相鄰幀的映射跨度為兩幀，在F'里計算第t幀的顯著對象的矩形區(qū)域與相鄰幀的平均重疊度，其計算式為：

排除重疊度過小的視頻幀，其計算式為：

F_SO＝{F_t|F_t∈F',k_meanOverlap(W_t^*)＜＝0.3} (31)

其中，F(xiàn)_SO表示重疊度過小的視頻序列集合，得到重疊度適中的視頻序列集合

(4-3)、通過視頻序列集合F”來恢復(fù)視頻序列集合F_OS,F_US,F_SO，利用稠密光流法算法映射得到所有要恢復(fù)的視頻幀，設(shè)置相鄰幀的映射跨度為兩幀，取所有映射到該幀的最小矩形區(qū)域的交集區(qū)域作為該幀的顯著對象檢測結(jié)果。如圖4所示，圖4(a)-4(e)依次是視頻序列的第2、3、4、5、6幀，圖4(f)是利用時間的一致性來改善圖4(c)的顯著對象的檢測結(jié)果。