基于二叉樹的單目圖像中物體深度次序估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，具體地，設(shè)及一種基于二叉樹的單目圖像中物體深度 次序估計(jì)方法。
【背景技術(shù)】
[0002] 單目圖像的深度次序推理通常有兩種主要的方法：一種是基于學(xué)習(xí)的方法，另一 種則是基于圖像結(jié)構(gòu)尋找低層次線索推斷的方法。
[0003] 對(duì)于第一類方法，D.Hoiem等（"Recovering occlusion boundaries from a single image", ICCV，2007，pp. 1-8)對(duì)圖像進(jìn)行過度分割，然后針對(duì)每一區(qū)域提取顏色、紋 理、豎直和水平特征，把它們堆積起來，應(yīng)用在馬爾可夫隨機(jī)場(chǎng)(MRF)的框架下來估計(jì)深度 次序。顯然，運(yùn)些方法是基于學(xué)習(xí)的，MRF需要通過真實(shí)深度層次數(shù)據(jù)去訓(xùn)練得到。然而，運(yùn) 類方法的主要缺陷在于它們的作用僅僅局限于和訓(xùn)練圖像的類型相同的圖像。如果測(cè)試圖 像的場(chǎng)景類型與訓(xùn)練集差異大，則效果一般，且無法精準(zhǔn)地定義出物體區(qū)域邊界。
[0004] 對(duì)于第二類方法，M.Dimiccoli 等（"Hierarchical region-based representation for segmentation and filtering with depth in single images''， ICIP，2009，pp. 3497-3500)沒有利用訓(xùn)練方法，而是集中對(duì)例如遮擋或者凹凸性運(yùn)些相關(guān) 深度線索的檢測(cè)來對(duì)場(chǎng)景中的物體進(jìn)行深度排序。運(yùn)類方法雖不能像第一類方法那樣推斷 出絕對(duì)深度，但卻更具一般性，幾乎不受圖像的場(chǎng)景類型限制。圖像中的T角點(diǎn)是強(qiáng)有力的 遮擋線索，然而一個(gè)魯棒的深度感知系統(tǒng)似乎不太可能僅通過使用T角點(diǎn)檢測(cè)就能定義出 來。
[0005] 單目圖像的深度次序推理在計(jì)算機(jī)視覺領(lǐng)域和實(shí)際生產(chǎn)中有諸多應(yīng)用，然而，現(xiàn) 存的一些單目圖像的深度次序推理方法，因?yàn)閳?chǎng)景中=維信息的缺失，深度次序推理的效 果不是很好。M.Dimiccoli等利用二叉分割樹(BPT)對(duì)圖像進(jìn)行區(qū)域合并和有效分割，并在 區(qū)域深度層次推斷后進(jìn)行了 T角點(diǎn)估計(jì)。雖然效果較好，但有些復(fù)雜的T角點(diǎn)卻在初始階段 中估計(jì)錯(cuò)誤。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于，針對(duì)上述問題，提出一種基于二叉樹的單目圖像中物體深度 次序估計(jì)方法，W實(shí)現(xiàn)提高深度層次恢復(fù)效果的優(yōu)點(diǎn)。
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：
[000引一種基于二叉樹的單目圖像中物體深度次序估計(jì)方法，包括：
[0009] 步驟1、定義圖像區(qū)域間的中間距離；
[0010] 步驟2、對(duì)圖像區(qū)域的交界處形成的T角點(diǎn)估計(jì)T角點(diǎn)置信度；
[0011] 步驟3、根據(jù)上述中間距離和T角點(diǎn)置信度構(gòu)造區(qū)域的二叉分割樹從而得到圖像的 區(qū)域性模型；
[0012] 步驟4、選取最優(yōu)的T角點(diǎn)集合，完成深度排序，從而得到深度次序圖。
[oou]優(yōu)選的，步驟I定義圖像區(qū)域間的中：
[0014] 中間距離的吿父式化下：
[0015]
[0016] 其中，表示圖像區(qū)域Rl和R2間的中間距離，表示圖像區(qū)域R巧日R2間的顏 色距離表示圖像區(qū)域Rl和R2間的輪廓距離，a為權(quán)重參數(shù)，權(quán)衡顏色距離和輪廓距 離的分布，為已知參數(shù)。
[0017]優(yōu)選的，步驟帥估計(jì)T角點(diǎn)置信度具體為：
[001 引 P = Plcolor X Pangle Xpicurve;
[001 9] P表示T角點(diǎn)置信度，Pcolor表示顏色差異置信度，Pangle表示角度結(jié)構(gòu)置信度，Pcurve 表示邊界曲率置信度。
[0020] 優(yōu)選的，所述顏色差異置信度PcDiM，假設(shè)該T角點(diǎn)局部的區(qū)域?qū)J) = Kl，2)， (1，3 )，（ 2，3 )}，分別對(duì)其進(jìn)行兩種度量，一是統(tǒng)計(jì)性度量皆<，二是感知性度量皆,根據(jù)統(tǒng)計(jì) 性度量皆''和感知性度量今得出綜合度量
因而 每一個(gè)待檢測(cè)的T角點(diǎn)都能得到巧巾度量即統(tǒng)計(jì)性度量< '3種，感知性度量卻'3種，綜合度 量Cr，1種，每一種度量都是一個(gè)概率，假設(shè)運(yùn)巧巾度量都服從瑞利分布，則運(yùn)巧巾概率值的乘 積即為最終的顏色差異置信度化。1。"
[0021] 優(yōu)選的，定義兩種度量A 0max和A 0min，其分別表示T角點(diǎn)各個(gè)夾角分別與180°和 90°的絕對(duì)差值的最大角度差值和最小角度差值，假設(shè)度量A 0max和A 0min服從瑞利分布，貝U 度量A 0max和A 0min概率值的乘積為最終的角度結(jié)構(gòu)置信度Pangle。
[0022] 優(yōu)選的，估計(jì)T角點(diǎn)置信度具體包括:對(duì)于每一待選T角點(diǎn)n，可W計(jì)算出Pi,n，即角 點(diǎn)n的局部區(qū)域中圖像區(qū)域Ri遮擋其它兩個(gè)圖像區(qū)域的概率，由于關(guān)于圖像區(qū)域Ri和R2的角 點(diǎn)不止一個(gè)，因而綜合它們的判斷信息，得出圖像區(qū)域Ri在化前面的總概率：
[0023]
[0024] 其中化、化為由T角點(diǎn)判斷出的對(duì)應(yīng)圖像區(qū)域Ri、R2在前面的個(gè)數(shù)，由于每一個(gè)Pi, n 是獨(dú)立的，因而化辛1-pi，P2表示圖像區(qū)域R2在Rl前面的總概率。
[0025] 優(yōu)選的，步驟3根據(jù)上述中間距離和T角點(diǎn)置信度構(gòu)造區(qū)域的二叉分割樹從而得到 圖像的區(qū)域性模型具體為：
[0026] 定義出圖像區(qū)域間的相似性度量：
[0027]
[0028] 依據(jù)圖像區(qū)域間的相似性度量，從而得出圖像區(qū)域間的相似性大小，根據(jù)圖像區(qū) 域間的相似性大小合并區(qū)域，更新鄰居即相似性度量，不斷迭代，并用樹結(jié)構(gòu)去存儲(chǔ)記錄， 從單個(gè)像素開始構(gòu)造出一顆區(qū)域的二叉分割樹，直到圖像中只剩一個(gè)區(qū)域，就是整幅圖像， 從而得出圖像的區(qū)域性模型。
[0029] 優(yōu)選的，步驟4選取最優(yōu)的T角點(diǎn)集合，完成深度排序，從而得到深度次序圖具體包 括：
[0030] 定義代價(jià)函數(shù)如下：
[0031]
[0032] 其中3是被舍棄的1'角點(diǎn)的集合，(31表不單個(gè)角點(diǎn)1的代價(jià)函數(shù)，。,=6><11*1(?>;，<),?;.表 示局部窗口的區(qū)域面積，丫 U表示對(duì)在深度次序圖中孤立節(jié)點(diǎn)集U的懲罰系數(shù)，N表示深度排 序圖像中4連通數(shù)目，丫 N為所有歸一化的T角點(diǎn)代價(jià)^的幾何平均值的一半，Pi表示局部 區(qū)域中圖像區(qū)域Ri遮擋其它圖像區(qū)域的概率，Cmax表示所有角點(diǎn)中的最大代價(jià)函數(shù)，通過 最小化回路去迭代最小化代價(jià)函數(shù)進(jìn)行求解，從而得到深度次序圖。
[0033] 優(yōu)選的，所述通過最小化回路去迭代最小化代價(jià)函數(shù)進(jìn)行求解具體包括：
[0034] 就是從現(xiàn)有的最終得到的T角點(diǎn)集中隨機(jī)選取角點(diǎn)產(chǎn)生解的步驟；
[0035] 從構(gòu)造好的二叉分割樹中選取相應(yīng)節(jié)點(diǎn)形成圖像分割，進(jìn)行區(qū)域擴(kuò)展的步驟，分 割的條件是，分割好的區(qū)域要保留所有挑選出的T角點(diǎn)，從而能根據(jù)T角點(diǎn)的深度關(guān)系構(gòu)造 出深度次序圖，深度次序圖即DOG;
[0036] 根據(jù)構(gòu)造出的DOG對(duì)深度次序推斷進(jìn)行修正，通過刪除對(duì)應(yīng)最低概率的T角點(diǎn)來連 續(xù)移除DOG里的圈，從而解決局部層次推斷中的沖突情況的步驟；
[0037] 依據(jù)修正后的DOG中的每一區(qū)域的偏序關(guān)系對(duì)區(qū)域進(jìn)行深度標(biāo)記，即深度次序排 序的步驟。
[0038] 本發(fā)明的技術(shù)方案具有W下有益效果：
[0039] (1)此深度推斷系統(tǒng)不依靠于任何場(chǎng)景結(jié)構(gòu)的先驗(yàn)知識(shí)，而集中關(guān)注于檢測(cè)特定 點(diǎn)來推斷場(chǎng)景物體的深度關(guān)系；（2)提出一種結(jié)合T角點(diǎn)估計(jì)和延伸二叉分割樹的框架作為 分割工具進(jìn)行深度次序推斷，提高了系統(tǒng)估計(jì)的魯棒性；（3)深度推斷圖像通過迭代最小化 一個(gè)特定代價(jià)函數(shù)獲得，每一次迭代過程除了 T角點(diǎn)估計(jì)和二叉分割樹構(gòu)造，還要對(duì)T角點(diǎn) 進(jìn)行有效篩選，從而保證解的收斂，節(jié)省時(shí)間和空間。
[0040] 下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。
【附圖說明】
[0041] 圖1為本發(fā)明【具體實(shí)施方式】所述的基于二叉樹的單目圖像中物體深度次序估計(jì)方 法的流程圖；
[0042] 圖2為T角點(diǎn)示意圖；
[0043] 圖3為最小化回路示意圖.
【具體實(shí)施方式】
[0044] W下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí) 施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
[0045] 如圖1所示，基于二叉樹的單目圖像中物體深度次序估計(jì)方法，包括：
[0046] 步驟1、定義圖像區(qū)域間的中間距離；
[0047] 步驟2、對(duì)圖像區(qū)域的交界處形成的T角點(diǎn)估計(jì)T角點(diǎn)置信度；
[0048] 步驟3、根據(jù)上述中間距離和T角點(diǎn)置信度構(gòu)造區(qū)域的二叉分割樹從而得到圖像的 區(qū)域性模型；
[0049] 步驟4、選取最優(yōu)的T角點(diǎn)集合，完成深度排序，從而得到深度次序圖。
[0050] 本技術(shù)方案主要從W下四個(gè)步驟進(jìn)行說明：定義區(qū)域間的中間距離，T角點(diǎn)估計(jì)， 構(gòu)造區(qū)域的二叉分割樹(BPT)，迭代T角點(diǎn)挑選和深度排序。1、定義區(qū)域間的中間距離dBPT: [00 51 ] 把圖像的單個(gè)像素當(dāng)作初始區(qū)域。根據(jù)M.Dimiccoli等的研究（"Hierarchical region-based representation for segmentation and filtering with depth in single images"，ICIP，2009，pp.3497-3500)，為了構(gòu)造圖像區(qū)域的二叉分割樹(BPT)，需要 定義區(qū)域模型來表示區(qū)域間的相似性度量，從而根據(jù)相似性大小合并對(duì)應(yīng)區(qū)域。在CIE Lab 色彩空間中定義區(qū)域的顏色信息，建立3類直方圖對(duì)應(yīng)3個(gè)顏色通道。初始像素的直方圖使 用M.Dimiccoli等人研究中使用的自相似性去定義。于是區(qū)域間的中間距離dBPT則由顏色、 面積、輪廓和深度信息運(yùn)些特征去度量。區(qū)域扣和32間的顏色距離^4^由地球移動(dòng)距離 化MD)定義，輪廓距離(6/記則按照V. Vilaplana等人的研究（"BinaiT partition trees for object detect ion，，，IEEE Trans.on Image Processing，2008，vol. 17，no . 11， PP. 2201-2216)去定義。運(yùn)一測(cè)量?jī)H僅在兩個(gè)區(qū)域面積都超過50個(gè)像素才進(jìn)行，否則是沒有 意義的。會(huì)*^媒底信?良.^而由1、前；
[0化2]
(J)
[0053] 其中a為權(quán)重參數(shù)，權(quán)衡顏色距離和輪廓距離的分布，為已知參數(shù)。運(yùn)樣中間距離 確定后，就可W引入T角點(diǎn)信息。
[0054] 2、T角點(diǎn)估計(jì)：
[0055] 通常，=個(gè)區(qū)域邊緣的交界處會(huì)形成T角點(diǎn)（如圖2所示），而T角點(diǎn)是判斷遮擋的有 效線索。對(duì)每一T角點(diǎn)估計(jì)其置信度值P(令P表示Pi,n，即角點(diǎn)n的局部區(qū)域中Ri遮擋其它兩 個(gè)區(qū)域的概率），通過顏色差異、角度結(jié)構(gòu)和邊界曲率置信度去綜合衡量P。實(shí)際操作時(shí)，對(duì) 每一T角點(diǎn)處取一適當(dāng)大小的窗口進(jìn)行判定。并且由于=個(gè)特征是相互獨(dú)立的，因而P = Pcolor X Pangle X pcurve 〇
[0056] 對(duì)于顏色置信度，假設(shè)該T角點(diǎn)局部的區(qū)域?qū)?i，j)二{(1，2)，（1，3)，（2,3)}，分別 對(duì)其