本發(fā)明涉及一種基于最小生成樹(shù)的視頻顯著對(duì)象檢測(cè)方法，屬于視頻檢測(cè)的技術(shù)領(lǐng)域。

背景技術(shù)：

目標(biāo)檢測(cè)技術(shù)是計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域研究的一個(gè)熱門(mén)課題，受到國(guó)內(nèi)外學(xué)者的普遍關(guān)注，具有廣泛的應(yīng)用前景。目標(biāo)檢測(cè)所要實(shí)現(xiàn)的目標(biāo)是，用計(jì)算機(jī)將目標(biāo)物體從含有其它物體背景的二維圖像中檢測(cè)出來(lái)針對(duì)計(jì)算機(jī)視覺(jué)領(lǐng)域中的相同目標(biāo)，顯著性檢測(cè)是通過(guò)模擬人類視覺(jué)系統(tǒng)來(lái)預(yù)測(cè)在人類中最吸引人類的事物，使得可以有效且有效地減少用于進(jìn)一步處理的場(chǎng)景分析的復(fù)雜性。它在圖像重定向，圖像和視頻壓縮，對(duì)象識(shí)別，圖像分類和圖片拼貼等領(lǐng)域的廣泛應(yīng)用已經(jīng)研究了很長(zhǎng)時(shí)間。

目標(biāo)的檢測(cè)是視頻監(jiān)控系統(tǒng)圖像分析的基礎(chǔ)，在準(zhǔn)確檢測(cè)出目標(biāo)的情況下，才可以提取有效特征。通過(guò)檢測(cè)和跟蹤，可以方便地獲得運(yùn)動(dòng)目標(biāo)的姿態(tài)和行為參數(shù)，為圖像理解提供技術(shù)支持。檢測(cè)也是視覺(jué)測(cè)量的基礎(chǔ)。檢測(cè)總是與跟蹤聯(lián)系在一起，在視頻監(jiān)控中占有重要的地位。從視覺(jué)技術(shù)誕生之日起，目標(biāo)檢測(cè)就得到了高度重視，并且積累了大量研究成果，同時(shí)，運(yùn)動(dòng)目標(biāo)的檢測(cè)也是視覺(jué)研究中極富挑戰(zhàn)性的問(wèn)題，有許多理論和實(shí)際的技術(shù)難點(diǎn)需要解決。雖然目標(biāo)檢測(cè)的研究取得了一定的進(jìn)展，但仍然存在顯著性目標(biāo)在光照差異，復(fù)雜背景和尺度變化時(shí)引起的漏檢、誤檢和效率不高的問(wèn)題，究其原因，主要是在研究中存在視點(diǎn)變化，復(fù)雜背景和光照差異等幾個(gè)方面的困難或挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題在于克服現(xiàn)有技術(shù)的不足，提供一種基于最小生成樹(shù)的視頻顯著對(duì)象檢測(cè)方法，解決目標(biāo)間由于顯著性目標(biāo)在光照差異，復(fù)雜背景和尺度變化時(shí)引起的漏檢、誤檢和效率不高的問(wèn)題。

本發(fā)明具體采用以下技術(shù)方案解決上述技術(shù)問(wèn)題：

一種基于最小生成樹(shù)的視頻顯著對(duì)象檢測(cè)方法，包括以下步驟：

步驟a、對(duì)輸入圖像進(jìn)行超像素分割，計(jì)算每個(gè)超像素到邊界的距離，并構(gòu)造圖像的最小生成樹(shù)；將建立的圖像最小生成樹(shù)距離變換規(guī)則和利用快速輪廓檢測(cè)方法提取的外輪廓信息結(jié)合，提取獲得初步顯著圖；

步驟b、利用建立的模糊色差直方圖特征對(duì)步驟a所得初步顯著圖的非固定外輪廓進(jìn)行模糊處理，得到輪廓清晰的顯著圖；

步驟c、對(duì)步驟b所得輪廓清晰的顯著圖中顯著對(duì)象采用適應(yīng)于行人窗口的采樣特征網(wǎng)格的多尺度檢測(cè)，并將其結(jié)合到最終顯著圖。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟a中建立圖像最小生成樹(shù)距離變換規(guī)則采用自底向上遍歷和自頂向下遍歷。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟a中建立模糊色差直方圖特征，具體為:將圖像色彩強(qiáng)度i量化為w級(jí)，在局部相鄰區(qū)域中計(jì)算色彩差分；

將所述色彩差分經(jīng)過(guò)高斯成員函數(shù)進(jìn)行模糊化，及在局部區(qū)域計(jì)算色彩差分直方圖；

利用模糊c-means聚類和色彩差分直方圖形成模糊色彩差分直方圖特征。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟b中利用快速輪廓檢測(cè)方法提取的外輪廓信息，具體為:

將輸入圖像分解成若干分量；

對(duì)每個(gè)分量執(zhí)行形態(tài)學(xué)算子生成具有輪廓信息的區(qū)域；

計(jì)算每個(gè)區(qū)域的輪廓，及選取最大的輪廓后計(jì)算其中每個(gè)像素的顯著性。

進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述每個(gè)區(qū)域的輪廓采用公式計(jì)算：

其中，r0是區(qū)域r的外輪廓，|r0|是r0輪廓的長(zhǎng)度，并且e(x)是像素x的輪廓置信度。

本發(fā)明采用上述技術(shù)方案，能產(chǎn)生如下技術(shù)效果：

本發(fā)明提供的方法，首先對(duì)圖像進(jìn)行超像素分割，接著計(jì)算每個(gè)超像素到邊界的距離，并通過(guò)距離變換來(lái)生成最小樹(shù)，初步提取顯著對(duì)象，然后通過(guò)快速輪廓檢測(cè)方法提取外輪廓信息，最后，用模糊色差直方圖特征對(duì)非固定外輪廓進(jìn)行模糊處理生成顯著圖并將其結(jié)合到最終顯著圖。本發(fā)明基于最小生成樹(shù)的實(shí)時(shí)顯著對(duì)象檢測(cè)方法能夠不受光照變化等外界干擾因素的影響，尋找到一種有效的、魯棒性強(qiáng)的人體行為特征描述，通過(guò)一種計(jì)算量小、實(shí)時(shí)性高并有較好預(yù)測(cè)功能的算法主要解決目標(biāo)間由于顯著性目標(biāo)在光照差異，復(fù)雜背景和尺度變化時(shí)引起的漏檢、誤檢和效率不高的問(wèn)題。本發(fā)明的檢測(cè)速度相較于現(xiàn)有方法更高，綜合檢測(cè)速度和準(zhǔn)確率本發(fā)明的性能優(yōu)于其他現(xiàn)有方法。

附圖說(shuō)明

圖1為本發(fā)明基于最小生成樹(shù)的視頻顯著對(duì)象檢測(cè)方法的流程示意圖。

圖2(a)為本發(fā)明的圖像最小生成樹(shù)構(gòu)造中圖像超像素并且邊緣通過(guò)相鄰像素之間的顏色/強(qiáng)度差來(lái)加權(quán)的平面圖；圖2(b)為通過(guò)順序地去除具有大權(quán)重的邊來(lái)構(gòu)造mst示意圖；圖2(c)為兩個(gè)空心節(jié)點(diǎn)的距離在樹(shù)路徑上定義示意圖。

圖3(a)為本發(fā)明距離變換算法中初始階段最小生成樹(shù)示意圖；圖3(b)為本發(fā)明中自下而上更新遍歷的示意圖；圖3(c)為本發(fā)明中自上而下的更新遍歷的示意圖。

圖4為本發(fā)明提出的基于最小生成樹(shù)的顯著性檢測(cè)過(guò)程的示意圖。

圖5為本發(fā)明適應(yīng)于行人窗口的采樣特征網(wǎng)格的多尺度檢測(cè)的示意圖。

具體實(shí)施方式

下面結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行描述。

如圖1所示，本發(fā)明提出一種基于最小生成樹(shù)的視頻顯著對(duì)象檢測(cè)方法，該方法具體包括以下步驟：

步驟a、對(duì)輸入圖像進(jìn)行超像素分割，計(jì)算每個(gè)超像素到邊界的距離，并構(gòu)造圖像的最小生成樹(shù)；將建立的圖像最小生成樹(shù)距離變換規(guī)則和利用快速輪廓檢測(cè)方法提取的外輪廓信息結(jié)合，提取獲得初步顯著圖。

具體地，本發(fā)明首先定義對(duì)輸入圖像進(jìn)行最小生成樹(shù)構(gòu)造，本發(fā)明將圖像i作為標(biāo)準(zhǔn)4連接的無(wú)向平面圖，其中節(jié)點(diǎn)都是圖像超像素，并且相鄰超像素之間的邊緣通過(guò)顏色/強(qiáng)度差來(lái)加權(quán)，其為絕對(duì)梯度，可以依據(jù)kruskal的算法通過(guò)順序地去除具有大權(quán)重的邊來(lái)構(gòu)造最小生成樹(shù)，留下通過(guò)所有像素連接的剩余邊緣作為樹(shù)。更具體地，令p和q是一對(duì)相鄰超像素，p和q之間的權(quán)重是：

ω(p,q)＝ω(q,p)＝|i(p)-i(q)|.¹(1)

本實(shí)施例在圖2(a)示出了5×5像素的簡(jiǎn)單示例。圖2(a)是其中節(jié)點(diǎn)是圖像超像素并且邊緣通過(guò)相鄰像素之間的顏色/強(qiáng)度差來(lái)加權(quán)的平面圖。圖2(b)是通過(guò)順序地去除具有大權(quán)重的邊來(lái)構(gòu)造最小生成樹(shù)。圖2(c)是兩個(gè)紅色節(jié)點(diǎn)的距離在樹(shù)路徑上定義，即虛線表示。在樹(shù)構(gòu)造期間，如果兩個(gè)相鄰超像素具有大的梯度，則這兩個(gè)節(jié)點(diǎn)之間的邊緣可能被去除，并且遍歷一個(gè)節(jié)點(diǎn)到另一個(gè)節(jié)點(diǎn)的路徑將是長(zhǎng)的，如圖2(c)所示。結(jié)果，對(duì)于這兩個(gè)節(jié)點(diǎn)，最小生成樹(shù)上的距離將是大的。相反，如果兩個(gè)節(jié)點(diǎn)的外觀相似，則它們可能在最小生成樹(shù)上連接，并且距離將很短。

本發(fā)明使用最小生成樹(shù)進(jìn)行距離變換，是一種基于一幅圖片的最小生成樹(shù)表示的新穎的距離變換。所提出的算法能夠應(yīng)用測(cè)地距離和勢(shì)壘距離兩種距離度量。本發(fā)明提出在最小生成樹(shù)上找到最短路徑。所提出的基于最小生成樹(shù)的距離變換是在樹(shù)上定義的距離的精確方法。它包括兩個(gè)遍歷：自底向上遍歷和自頂向下遍歷。圖3(a)至圖(c)給出了使用測(cè)地距離的示意圖。使用勢(shì)壘距離是類似的。給定一組種子節(jié)點(diǎn)s，本發(fā)明將種子節(jié)點(diǎn)的距離值初始化為0，將所有其他節(jié)點(diǎn)的距離值初始化為∞，如圖3(a)所示。圖3(b)和(c)分別是自下而上的遍歷和自頂向下的遍歷。

對(duì)于自下而上的遍，本發(fā)明從葉節(jié)點(diǎn)開(kāi)始，并用下式更新其父節(jié)點(diǎn)的距離值：

m(p)＝min{m(p),f(ζυ∪p)}(2)

其中，p表示υ的父節(jié)點(diǎn)，ζυ表示將υ連接到其最近的種子節(jié)點(diǎn)的當(dāng)前最佳路徑，ζυ∪p表示相同的路徑加一步進(jìn)一步到達(dá)其父p。由于最近的種子節(jié)點(diǎn)p可以來(lái)自其底部或從其頂部，公式2從底部測(cè)試可能的解決方案。如果p有多個(gè)子節(jié)點(diǎn)，公式(2)將針對(duì)每個(gè)子節(jié)點(diǎn)進(jìn)行評(píng)估，并且存儲(chǔ)最小距離。圖3(b)是根節(jié)點(diǎn)的一個(gè)示例。簡(jiǎn)而言之，在每個(gè)節(jié)點(diǎn)中以廣度優(yōu)先搜索(bfs)順序進(jìn)行更新處理。自底向上遍歷直到它到達(dá)根節(jié)點(diǎn)。

從根節(jié)點(diǎn)開(kāi)始，自上而下的過(guò)程是類似的。對(duì)于每個(gè)節(jié)點(diǎn)，本發(fā)明訪問(wèn)其子節(jié)點(diǎn)并用下式更新它們的距離值：

m(υ)＝min{m(υ),f(ζp∪υ)}(3)

其中，公式(3)不僅從頂部測(cè)試可能的解決方案，而且可以從其他分支傳播潛在的更好的解決方案?？梢钥吹綀D3(b)中的圖示。在自下而上的過(guò)程之后，許多節(jié)點(diǎn)和種子節(jié)點(diǎn)的距離仍然是∞。到某一節(jié)點(diǎn)的最近的種子節(jié)點(diǎn)可能位于頂部或在從其上方的節(jié)點(diǎn)分離的分支處。在自底向上通過(guò)之后，期望分割節(jié)點(diǎn)記錄來(lái)自其分支之一的最佳距離值。在自上而下的過(guò)程中，最優(yōu)解將向下傳播到其他分支，如圖3(c)所示。

根據(jù)上述兩種遍歷方式可以確定超像素之間的距離計(jì)算方法，根據(jù)該方法可以得到兩個(gè)超像素節(jié)點(diǎn)之間的距離值。具體為：首先，節(jié)點(diǎn)υ1的距離由種子節(jié)點(diǎn)υ2唯一地確定。這是基于以下事實(shí)：行進(jìn)通過(guò)種子節(jié)點(diǎn)有機(jī)會(huì)增加測(cè)地距離和勢(shì)壘距離的距離,因此υ2是υ1的最優(yōu)種子節(jié)點(diǎn)。對(duì)于測(cè)地距離，行進(jìn)一步再增加一個(gè)絕對(duì)梯度項(xiàng)到其距離計(jì)算，所以更新的距離是不減少。對(duì)于勢(shì)壘距離，跟蹤每個(gè)節(jié)點(diǎn)的最大值和最小值。遍歷一個(gè)節(jié)點(diǎn)可以更新最大值或最小值，從而增加勢(shì)壘值，因此最終距離也不減少。這意味著跨越種子節(jié)點(diǎn)或更新種子節(jié)點(diǎn)的距離將不會(huì)給出更好的結(jié)果，因此是不必要的。

在此基礎(chǔ)上，本發(fā)明可以根據(jù)上述計(jì)算出的兩個(gè)超像素節(jié)點(diǎn)之間的距離值再進(jìn)行距離變換規(guī)則的過(guò)程。建立圖像最小生成樹(shù)距離變換規(guī)則過(guò)程具體為：

(1)執(zhí)行自底向上遍歷，然后執(zhí)行自頂向下遍歷，得到最佳距離變換。

(2)如果種子節(jié)點(diǎn)是唯一的種子節(jié)點(diǎn)并且位于子樹(shù)的根節(jié)點(diǎn)，則子樹(shù)上的節(jié)點(diǎn)的距離變換由該種子節(jié)點(diǎn)唯一地確定。將在自上而下的過(guò)程中獲得相應(yīng)的距離變換。

(3)在遍歷期間，可以忽略種子節(jié)點(diǎn)在公式(2)和公式(3)中的更新步驟。

本發(fā)明測(cè)量邊界連通性，為了補(bǔ)充距離變換的短缺，引入一個(gè)邊界輔助圖，利用快速輪廓檢測(cè)方法提取的外輪廓信息，通過(guò)逐節(jié)點(diǎn)色彩相似性測(cè)量計(jì)算，以提高顯著性檢測(cè)質(zhì)量。其具體過(guò)程如下：

將輸入圖像分解成若干分量，對(duì)每個(gè)分量執(zhí)行形態(tài)學(xué)算子生成具有相似外觀和輪廓信息保存的區(qū)域。如果顯著性對(duì)象所在區(qū)域被其他區(qū)域完全包圍，則區(qū)域的包圍度為1，而如果位于圖像邊界上則區(qū)域的包圍性為0，這對(duì)位于圖像邊界上的顯著區(qū)域不公平?；趪@區(qū)域傾向于具有強(qiáng)外輪廓的觀察，本發(fā)明提出適度測(cè)量以確定區(qū)域的包圍程度，并且通過(guò)其外輪廓的平均輪廓置信度來(lái)測(cè)量。通過(guò)快速輪廓檢測(cè)方法產(chǎn)生輪廓置信圖e。對(duì)于布爾映射b中的每個(gè)連接區(qū)域r，通過(guò)以下公式計(jì)算輪廓：

其中，r0是區(qū)域r的外輪廓，|r0|是r0輪廓的長(zhǎng)度，并且e(x)是像素x的輪廓置信度。

為了進(jìn)一步抑制位于圖像邊界上的區(qū)域的包圍，對(duì)等式(4)添加懲罰：

其中，iborder是設(shè)置在圖像邊框上的像素。外輪廓像素在圖像邊界區(qū)域上越多，懲罰項(xiàng)越大。如果該區(qū)域遠(yuǎn)離圖像邊界，則懲罰項(xiàng)為零。最后，本發(fā)明通過(guò)以下公式計(jì)算每個(gè)像素x的顯著性：

ss(x)＝max{s1(x),...,s|b′|(x)}(6)

步驟b、利用建立的模糊色差直方圖特征對(duì)步驟a所得初步顯著圖的非固定外輪廓進(jìn)行模糊處理，得到輪廓清晰的顯著圖，如圖4所示。

先將圖像色彩強(qiáng)度i(u,v,ch)量化為w級(jí)，i∈{0,1…,w-1},(u,v)為坐標(biāo)，ch為色彩信道。第ch個(gè)色彩信道的強(qiáng)度以(u,v)為中心，i(p,q,ch)表示相鄰像素的強(qiáng)度。

首先，計(jì)算圖像的色彩直方圖：hg(i,j,k)是像素在以坐標(biāo)(u,v)為中心大小為m×m的局部區(qū)域的可能性，具體為：

其次，計(jì)算色彩差分直方圖：可以感知兩個(gè)像素的均勻色彩差分，在一個(gè)小的局部相鄰區(qū)域r×r中計(jì)算色彩差分：

其中，色彩差分d用高斯成員函數(shù)進(jìn)行模糊化：

接著，在局部區(qū)域m×m計(jì)算色彩差分直方圖：

最后，獲得圖像的模糊色差直方圖：

利用模糊c-means聚類和色彩差分直方圖形成模糊色差直方圖特征。

模糊c-means聚類將n個(gè)局部直方圖x＝{x1,x2,...,xn}用模糊成員函數(shù)分為c個(gè)以υi為中心的聚類，可用迭代最小化成本函數(shù)得到：

c維度的fcdh向量h：

hc×1＝γc×nhn×1(12)

因此，利用模糊色差直方圖特征對(duì)初步顯著圖的非固定外輪廓進(jìn)行模糊處理得到輪廓清晰的顯著圖，其中輪廓清晰的顯著圖具有多個(gè)不同大小的顯著對(duì)象。

步驟c、對(duì)步驟b所得輪廓清晰的顯著圖中顯著對(duì)象采用適應(yīng)于行人窗口的采樣特征網(wǎng)格的多尺度檢測(cè)，并將其得到最終顯著圖。

傳統(tǒng)方法對(duì)于固定尺寸的行人模型使用單個(gè)分類器，并且依賴于在多個(gè)尺度上的圖像特征的重新計(jì)算或近似。為了檢測(cè)多個(gè)尺度處的行人，本發(fā)明計(jì)算原始尺度的過(guò)濾通道，并使用1.07的比例因子在多個(gè)尺度應(yīng)用滑動(dòng)窗口，每半個(gè)八度大約10個(gè)尺度，利用多尺度應(yīng)用在本發(fā)明的視頻檢測(cè)中，提高顯著性目標(biāo)在視頻中遠(yuǎn)近變化時(shí)的魯棒性。如圖5所示，本發(fā)明通過(guò)以網(wǎng)格方式從過(guò)濾的通道采樣來(lái)提取分類特征。網(wǎng)格適應(yīng)于檢測(cè)窗口的大小。這樣，對(duì)于任何尺寸的行人，使用不同的網(wǎng)格間隔獲得相同數(shù)量的特征。在分類器訓(xùn)練的情況下，僅在原始尺度計(jì)算圖像特征，并且不調(diào)整行人圖像。特征采樣在圖5中示出，其中可以在所得輪廓清晰的顯著圖中將多個(gè)不同大小的顯著對(duì)象檢測(cè)出，且結(jié)合到顯著圖中最終顯示。

對(duì)于滑動(dòng)窗口，本發(fā)明使用以下自適應(yīng)步長(zhǎng)率：水平窗口寬度的1/16和垂直窗口高度的1/16。通過(guò)將窗口中心調(diào)節(jié)到行140和300之間，搜索空間減小了35％。

濾波的信道特征不是尺度不變的，并且不同尺度的行人將具有不同的表示。行人對(duì)于不同的照明，方向或遮擋情況也具有顯著不同的表示，并且由數(shù)千個(gè)弱學(xué)習(xí)者組成的單個(gè)增強(qiáng)分類器仍然能夠提供一致的結(jié)果。本發(fā)明可以針對(duì)不同大小的行人能夠獨(dú)立學(xué)習(xí)相關(guān)的分類功能為不同的行人表示。

綜上，本發(fā)明基于最小生成樹(shù)的實(shí)時(shí)顯著對(duì)象檢測(cè)方法，能夠不受光照變化等外界干擾因素的影響，尋找到一種有效的、魯棒性強(qiáng)的人體行為特征描述。本發(fā)明的檢測(cè)速度相較于現(xiàn)有方法更高，綜合檢測(cè)速度和準(zhǔn)確率本發(fā)明的性能優(yōu)于其他現(xiàn)有方法。

上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作了詳細(xì)說(shuō)明，但是本發(fā)明并不限于上述實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。