一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法
【專利摘要】本發(fā)明公開了一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法，屬于計(jì)算機(jī)視覺領(lǐng)域。該方法包括如下步驟：提取圖像特征；采用無監(jiān)督算法分割原圖像產(chǎn)生超像素圖；通過CRF建模像素標(biāo)注模型并在模型中嵌入顯著性先驗(yàn)信息；求解模型實(shí)現(xiàn)像素標(biāo)注。本發(fā)明采用CRF作為基本模型，在CRF模型中引入顯著性檢測(cè)先驗(yàn)信息，通過顯著性檢測(cè)實(shí)現(xiàn)前景目標(biāo)與背景的分離并在前景目標(biāo)區(qū)域構(gòu)建超像素間全連接關(guān)聯(lián)關(guān)系。由于引入了顯著性檢測(cè)先驗(yàn)信息，有效提高了圖像中前景目標(biāo)的分類精度，于此同時(shí)，前景區(qū)域和背景區(qū)域的分離有效解決了前景與背景的分類“串?dāng)_”問題。因而，本方法可有效地提高像素標(biāo)注的整體分類精度，針對(duì)前景目標(biāo)輪廓相對(duì)復(fù)雜、各子區(qū)域間顏色紋理差異較大的場(chǎng)景效果顯著。
【專利說明】
一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法。
【背景技術(shù)】
[0002] 近年來，計(jì)算機(jī)視覺中的圖像理解獲得了迅速發(fā)展并在許多領(lǐng)域取得了廣泛應(yīng) 用，受到廣大學(xué)者的廣泛關(guān)注?，F(xiàn)有場(chǎng)景圖像標(biāo)注算法往往以無向圖模型條件隨機(jī)場(chǎng)CRF (Conditional Random Field)為基本框架，通過在條件隨機(jī)場(chǎng)CRF中引入局部平滑，位置， 共現(xiàn)，互斥等上下文先驗(yàn)信息實(shí)現(xiàn)像素標(biāo)注?，F(xiàn)有上下文先驗(yàn)信息的引入雖在一定程度上 增強(qiáng)了模型描述能力，但仍然存在不足，難以有效提高分類精度尤其是前景目標(biāo)的分類精 度。經(jīng)研究發(fā)現(xiàn)，現(xiàn)有圖像理解算法難以有效提高像素標(biāo)注精度的原因主要有：
[0003] 1.在場(chǎng)景圖像理解中，背景(天空，草地…）區(qū)域紋理特征相對(duì)一致，變化較小，分 類相對(duì)容易。
[0004] 2.前景目標(biāo)(人，動(dòng)物，建筑，船…）尺寸相對(duì)較小且輪廓復(fù)雜，在前景目標(biāo)邊緣區(qū) 域過平滑問題嚴(yán)重，易導(dǎo)致前景背景分類"串?dāng)_"。
[0005] 3.單個(gè)前景目標(biāo)內(nèi)部各子區(qū)域間的顏色紋理特征差異較大，易導(dǎo)致各子區(qū)域間分 類不一致。
[0006]目前在圖像理解問題中，背景目標(biāo)的分類相對(duì)容易，精度較高，而關(guān)鍵前景目標(biāo)的 分類精度欠佳?，F(xiàn)有算法通過在CRF中引入上下文先驗(yàn)信息雖在一定程度上提高了像素標(biāo) 注的總體分類精度，但對(duì)于相對(duì)復(fù)雜的前景目標(biāo)分類效果欠佳。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明為解決圖像標(biāo)注中復(fù)雜前景目標(biāo)分類精度不高的問題，提出了一種自然場(chǎng) 景圖像的自動(dòng)標(biāo)注方法，可有效解決前景目標(biāo)與背景分類的串?dāng)_問題及由于前景目標(biāo)內(nèi)部 各子區(qū)域間的顏色紋理特征差異較大導(dǎo)致的各子區(qū)域間分類不一致問題。
[0008] 本發(fā)明采用的技術(shù)方案如下：
[0009] -種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法，包括如下步驟：
[0010]步驟1，提取圖像特征；
[0011] 步驟2,采用無監(jiān)督算法分割原圖像產(chǎn)生超像素圖；
[0012] 步驟3,通過CRF建模像素標(biāo)注模型并在模型中嵌入顯著性先驗(yàn)信息；
[0013] 步驟4,求解模型實(shí)現(xiàn)像素標(biāo)注。
[0014] 所述步驟3中，在模型中嵌入顯著性先驗(yàn)信息包括以下步驟：
[0015] ①通過顯著性檢測(cè)算法計(jì)算圖像像素顯著性映射，并基于顯著性映射采用閾值法 分割出前景區(qū)域和背景區(qū)域；
[0016] ②在前景區(qū)域以超像素為基本分類單元，并采用前景區(qū)域超像素類別分布和超像 素內(nèi)像素平均分布的加權(quán)和作為前景區(qū)域超像素類別分布；
[0017] ③構(gòu)建前景區(qū)域超像素間全連接關(guān)聯(lián)關(guān)系，通過任意兩個(gè)超像素間顏色直方圖和 位置特征的高斯核線性組合建模超像素間相似性，具體形式為：
[0019] 其中i，j為超像素索引，lu九為超像素顏色直方圖，Pl，Pj為超像素中心位置在圖 像中的位置，為高斯核參數(shù)為高斯核線性組合系數(shù)，[ Cl#Cj]為指示函數(shù)，其具 體形式為： f〇 if ct ^ Cj
[0020] [c,r：c:] = \
[1 礦 c，G
[0021]其中Cl，U分別為超像素 i，j的類別標(biāo)記；
[0022]④前景區(qū)域分別采用步驟②和③建模超像素一階勢(shì)能和二階勢(shì)能，并結(jié)合背景區(qū) 域單像素一階勢(shì)能，二階平滑項(xiàng)及高階勢(shì)能構(gòu)建CRF分類模型。
[0023]其中，步驟①基于顯著性映射采用閾值法分割出前景區(qū)域和背景區(qū)域，具體包括 如下步驟：
[0024]步驟31，設(shè)定最小像素顯著性閾值n，統(tǒng)計(jì)顯著性映射圖像中顯著性映射大于n的 顯著性像素；
[0025]步驟32,設(shè)定最小超像素顯著性閾值y，統(tǒng)計(jì)所有超像素中顯著性像素占該超像 素的比例，若該比例值大于閾值Y，則該超像素為顯著性超像素，所有顯著性超像素組成的 區(qū)域即為前景區(qū)域。
[0026]本發(fā)明采用CRF作為基本模型，在CRF模型中引入顯著性檢測(cè)先驗(yàn)信息，通過顯著 性檢測(cè)實(shí)現(xiàn)前景目標(biāo)與背景的分離并在前景目標(biāo)區(qū)域構(gòu)建超像素間全連接關(guān)聯(lián)關(guān)系。與現(xiàn) 有技術(shù)相比，本發(fā)明具有以下特征：
[0027] 首先，本發(fā)明實(shí)現(xiàn)了前景與背景的分離，通過在前景目標(biāo)和背景區(qū)域分別建模，相 對(duì)有效地防止了在前景和背景邊緣處的"串?dāng)_"問題，因而可有效提高總體分類精度。
[0028] 其次，本發(fā)明通過閾值算法分割出前景目標(biāo)后，通過在前景目標(biāo)區(qū)域構(gòu)建超像素 全連接關(guān)聯(lián)關(guān)系，并將該關(guān)聯(lián)關(guān)系作為二階勢(shì)能引入CRF框架。超像素全連接將前景目標(biāo)作 為一個(gè)整體約束在一起，可有效解決復(fù)雜由于前景目標(biāo)中局部子區(qū)域間紋理顏色特征差異 較大導(dǎo)致的前景目標(biāo)內(nèi)部分類不一致問題，從而可有效提高前景目標(biāo)分類精度和像素標(biāo)注 總體精度。該方法針對(duì)前景目標(biāo)輪廓相對(duì)復(fù)雜、各子區(qū)域間顏色紋理差異較大的場(chǎng)景效果 顯著。
【附圖說明】
[0029]圖1為本發(fā)明整體流程圖。
[0030]圖2為本發(fā)明中構(gòu)建引入顯著性檢測(cè)先驗(yàn)的圖像理解模型子流程圖。
[0031 ]圖3為本發(fā)明中顯著性前景目標(biāo)分割步驟子流程圖。
【具體實(shí)施方式】
[0032] 以下結(jié)合【附圖說明】本發(fā)明的【具體實(shí)施方式】。
[0033] 如圖1所示，本發(fā)明公開了一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法，需要說明的是，本 發(fā)明的核心步驟是在CRF模型中嵌入顯著性檢測(cè)先驗(yàn)信息，【具體實(shí)施方式】的描述主要側(cè)重 于步驟3，步驟1，2以及步驟4未公開的內(nèi)容可采用已有技術(shù)實(shí)現(xiàn)，具體描述如下：
[0034] 1.提取圖像特征：
[0035] 特征提取是目標(biāo)識(shí)別及圖像理解等視覺任務(wù)的重要內(nèi)容之一，其往往通過將像素 的顏色及采用濾波獲得的周圍紋理等特征值組成向量來表征該像素點(diǎn)(或超像素），有效地 對(duì)具有判別性的特征提取是獲得高準(zhǔn)確率的基礎(chǔ)，具體可采用現(xiàn)有方法實(shí)現(xiàn)圖像特征提 取，如:首先提取圖像紋理特征(基于高斯濾波器組）、Sift特征及LBP等特征描述，進(jìn)而通過 Kmeans等聚類算法對(duì)各個(gè)特征描述進(jìn)行聚類以構(gòu)建圖像視覺字并基于該視覺字構(gòu)建像素 特征描述。
[0036] 2.采用無監(jiān)督算法過分割原圖像產(chǎn)生超像素圖：
[0037] 本發(fā)明所構(gòu)建的模型中涉及高階建模及前景目標(biāo)區(qū)域中超像素稠密連接，因此需 采用無監(jiān)督分割算法分割原圖像產(chǎn)生超像素分割。具體分割算法可采用現(xiàn)有MeanShift算 法實(shí)現(xiàn)圖像分割。
[0038] 3.通過CRF建模像素標(biāo)注模型并在分類模型中嵌入顯著性先驗(yàn)信息：
[0039] 針對(duì)復(fù)雜前景目標(biāo)中由于局部子區(qū)域間顏色紋理差異較大而導(dǎo)致的各子區(qū)域分 類不一致問題，本發(fā)明提出了在CRF模型中嵌入顯著性檢測(cè)先驗(yàn)信息方法。通過顯著性信息 分割出前景目標(biāo)，進(jìn)而建立前景目標(biāo)各子區(qū)域間全連接關(guān)聯(lián)關(guān)系并將該全連接關(guān)聯(lián)關(guān)系作 為二階勢(shì)能項(xiàng)引入CRF模型。前景區(qū)域超像素全連接關(guān)聯(lián)關(guān)系可有效地將復(fù)雜前景目標(biāo)各 子區(qū)域作為一個(gè)整體約束在一起，可有效解決由于局部子區(qū)域間顏色紋理差異較大而導(dǎo)致 的各子區(qū)域分類不一致問題，從而可有效提高前景目標(biāo)分類精度。同時(shí)本方法采用將前景 區(qū)域和背景區(qū)域分離的方式，可有效解決前景和背景分類中的"串?dāng)_"問題，故可提高整體 分類精度。
[0040] 給定訓(xùn)練樣本集? .{Ik，Lk}. ? .，{In，Ln}}，N為訓(xùn)練圖像數(shù)， Ik表示圖像數(shù)據(jù)，U為圖像Ik對(duì)應(yīng)的像素標(biāo)注數(shù)據(jù)。如圖2所示，CRF模型中嵌入顯著性先驗(yàn) 信息的建模過程如下：
[0041] ①通過顯著性檢測(cè)算法計(jì)算圖像像素顯著性映射，并基于顯著性映射采用閾值法 分割出前景和背景；
[0042] ②在前景區(qū)域以超像素作為基本分類單元，并采用前景區(qū)域超像素類別分布和超 像素內(nèi)像素平均分布的加權(quán)和作為前景區(qū)域超像素類別分布。由于前景區(qū)域像素?cái)?shù)目較 多，為降低模型復(fù)雜度，故以超像素作為基本分類單元。在一階勢(shì)能中，單個(gè)像素關(guān)于目標(biāo) 的分布比采用超像素訓(xùn)練得到的目標(biāo)類別分布更準(zhǔn)確，故本發(fā)明采用前景區(qū)域超像素類別 分布和該超像素內(nèi)所有像素的平均分布的加權(quán)和作為該超像素的類別分布以提高超像素 分類精度。超像素類別分布計(jì)算如下：
⑴
[0044]上式中的lamda即為加權(quán)系數(shù)，I,表示前景區(qū)域超像素 Cl的目標(biāo)類別分布，！h為超 像素 Cl內(nèi)像素 i的目標(biāo)類別分布。
[0045]③構(gòu)建前景區(qū)域超像素間全連接關(guān)聯(lián)關(guān)系，通過任意兩個(gè)超像素間顏色直方圖和 位置特征的高斯核線性組合建模超像素間相似性，具體形式為：
[0047]其中i，j為超像素索引，lu，h偽超像素顏色直方圖，口…^兒…為高斯核參數(shù)河 采用經(jīng)驗(yàn)值設(shè)置。W1，W2S高斯核線性組合系數(shù)，可通過網(wǎng)格搜索進(jìn)行優(yōu)化。[Cl# Cj]為指示 函數(shù)，其具體形式為： f〇 if ct^cf
[0048] [c； --r c ] -^ < (3) l1 "
[0049] 其中Cl，Cj分別為超像素 i，j的類別標(biāo)記。
[0050] ④前景區(qū)域分別采用步驟②和③建模超像素一階勢(shì)能和二階勢(shì)能。為實(shí)現(xiàn)圖像標(biāo) 注，結(jié)合背景區(qū)域單像素一階勢(shì)能，二階平滑項(xiàng)及高階勢(shì)能，進(jìn)而構(gòu)建像素標(biāo)注模型，其形 式如式子(4)所示：
[0052] (4)式中心，\2，\3分別為像素一階勢(shì)能，平滑項(xiàng)及超像素高階勢(shì)能項(xiàng)的影響因子，V 表示像素位置集合，i為像素索引，SP分割出的前景目標(biāo)區(qū)域即前景目標(biāo)超像素集合，Cl， 即為前景目標(biāo)區(qū)域超像素索引。前三項(xiàng)針對(duì)背景區(qū)域建模，分別為像素勢(shì)能，位置相鄰像素 平滑項(xiàng)和背景區(qū)域超像素高階勢(shì)能項(xiàng)，該三項(xiàng)勢(shì)能函數(shù)計(jì)算可通過現(xiàn)有技術(shù)實(shí)現(xiàn)(如:可通 過訓(xùn)練Boost分類器構(gòu)建像素及超像素一階勢(shì)能）。（4)式中最后兩項(xiàng)即為本發(fā)明提出的通 過顯著性檢測(cè)構(gòu)建的前景目標(biāo)區(qū)域超像素全連接勢(shì)能項(xiàng)，分別為前景超像素一階勢(shì)能函數(shù) 和前景區(qū)域超像素全連接勢(shì)能函數(shù)。
[0053] 4.求解模型（4)實(shí)現(xiàn)像素標(biāo)注，由式（2)可知，模型（4)滿足子模性，故可通過圖割 法求解。
【主權(quán)項(xiàng)】
1. 一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法，其特征在于，包括如下步驟： 步驟1，提取圖像特征； 步驟2,采用無監(jiān)督算法分割原圖像產(chǎn)生超像素圖； 步驟3，通過CRF建模像素標(biāo)注模型并在模型中嵌入顯著性先驗(yàn)信息； 步驟4，求解模型實(shí)現(xiàn)像素標(biāo)注。2. 如權(quán)利要求1所述的一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法，其特征在于，所述步驟3中， 在模型中嵌入顯著性先驗(yàn)信息包括以下步驟： ① 通過顯著性檢測(cè)算法計(jì)算圖像像素顯著性映射，并基于顯著性映射采用閾值法分割 出前景區(qū)域和背景區(qū)域； ② 在前景區(qū)域以超像素為基本分類單元，并采用前景區(qū)域超像素類別分布和超像素內(nèi) 像素平均分布的加權(quán)和作為前景區(qū)域超像素類別分布； ③ 構(gòu)建前景區(qū)域超像素間全連接關(guān)聯(lián)關(guān)系，通過任意兩個(gè)超像素間顏色直方圖和位置 特征的高斯核線性組合建模超像素間相似性，具體形式為：其中i，j為超像素索引，hi，hj為超像素顏色直方圖，pi，pj為超像素中心位置在圖像中的 位置，Q1J2為高斯核參數(shù)，W1，W2為高斯核線性組合系數(shù)，[ Cl#Cj]為指示函數(shù)，其具體形式 為：其中C1，(^分別為超像素 i，j的類別標(biāo)記； ④ 前景區(qū)域分別采用步驟②和③建模超像素一階勢(shì)能和二階勢(shì)能，并結(jié)合背景區(qū)域單 像素一階勢(shì)能，二階平滑項(xiàng)及高階勢(shì)能構(gòu)建CRF分類模型。3. 如權(quán)利要求2所述的一種自然場(chǎng)景圖像的自動(dòng)標(biāo)注方法，其特征在于，步驟①基于顯 著性映射采用閾值法分割出前景區(qū)域和背景區(qū)域，具體包括如下步驟： 步驟31，設(shè)定最小像素顯著性閾值n，統(tǒng)計(jì)顯著性映射圖像中顯著性映射大于η的顯著 性像素； 步驟32,設(shè)定最小超像素顯著性閾值γ，統(tǒng)計(jì)所有超像素中顯著性像素占該超像素的 比例，若該比例值大于閾值γ，則該超像素為顯著性超像素，所有顯著性超像素組成的區(qū)域 即為前景區(qū)域。
【文檔編號(hào)】G06T7/00GK105931241SQ201610256309
【公開日】2016年9月7日
【申請(qǐng)日】2016年4月22日
【發(fā)明人】楊明, 李志青
【申請(qǐng)人】南京師范大學(xué)