圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明一般涉及圖像處理、計(jì)算機(jī)視覺(jué)和圖形識(shí)別領(lǐng)域，具體地涉及多類別分割 領(lǐng)域，更具體地涉及對(duì)圖像中的每個(gè)區(qū)域進(jìn)行分類的設(shè)備和方法。
【背景技術(shù)】
[0002] 多類別分割是一種將圖像分割為不同區(qū)域的方法。圖像的每個(gè)區(qū)域被分類到預(yù)定 類別，諸如天空、綠色、人體和其他。該方法有助于解析圖像的場(chǎng)景。圖1是多類別分割的 示意圖。如圖1所示，每個(gè)分割區(qū)域?qū)儆陬A(yù)定類別。
[0003] Richard Socher (可以參考 Richard Socher, Cliff Chiung-Yu Lin, Andrew Y. Ng. Pars Natural Scenes and Natural Language with Recursive Neural Networks. Proceed of the28th Internal Conference on Machine Learn, Bellevue, WAj USA, 2011) 提出了一種稱為遞歸神經(jīng)網(wǎng)絡(luò)（RNN)的多類別分割方法。圖2示例性示出RNN分割方法的 流程圖。
[0004] 如圖2所示，首先，該方法在步驟210將圖像分割為多個(gè)區(qū)域。然后，在步驟220， 該方法基于提取的特征和訓(xùn)練的模型針對(duì)每個(gè)區(qū)域計(jì)算每個(gè)類別的分類置信度。分類置信 度代表一個(gè)區(qū)域?qū)儆陬A(yù)定類別的可能性，也稱為分?jǐn)?shù)。最后，在步驟230,每個(gè)區(qū)域被分類到 具有最高分?jǐn)?shù)的類別.
[0005] 因?yàn)楦鶕?jù)提取的特征和訓(xùn)練的模型計(jì)算分?jǐn)?shù)，所以如果某個(gè)區(qū)域的最高分?jǐn)?shù)不是 遠(yuǎn)大于該區(qū)域的次最高分?jǐn)?shù)，則意味者一個(gè)類別的特征不明顯區(qū)別于其他的類別。于是，當(dāng) 兩個(gè)類別的分?jǐn)?shù)接近時(shí)，可能無(wú)法將一個(gè)類別與另一個(gè)類別區(qū)分開(kāi)。如上所述，該方法選擇 具有最高置信度分?jǐn)?shù)的類別作為分類結(jié)果，而如果針對(duì)某一區(qū)域一個(gè)類別的最高分?jǐn)?shù)沒(méi)有 明顯高于其他的類別的分?jǐn)?shù)，則分類結(jié)果將很有可能是錯(cuò)誤的。例如，在圖3中示出了 RNN 分割的例不。
[0006] 從左圖可以看出，對(duì)于區(qū)域B，綠色的分?jǐn)?shù)遠(yuǎn)高于其他的類別。于是，區(qū)域B被毫無(wú) 疑義地分類為綠色。類似地，區(qū)域C被分類為天空。B和C這些區(qū)域是容易分類到某一類別 的清楚區(qū)域。
[0007] 然而，可以看出，對(duì)于區(qū)域A，其他的分?jǐn)?shù)僅比綠色的分?jǐn)?shù)高一點(diǎn)。根據(jù)RNN分割， 如右圖所示，區(qū)域A被分類為其他。然而，從原始圖像（即，左圖）可以看出該區(qū)域應(yīng)該屬 于綠色。在這一點(diǎn)上，相差不明顯的分?jǐn)?shù)導(dǎo)致了錯(cuò)誤的分類結(jié)果，這樣的分類結(jié)果在圖像內(nèi) 也不是自適應(yīng)的。
[0008] 鑒于上述，期望提供一種能夠?qū)⑺袇^(qū)域(尤其是不容易分類的不清楚區(qū)域）準(zhǔn)確 分類到預(yù)定類別的新的圖像處理設(shè)備和圖像處理方法。

【發(fā)明內(nèi)容】

[0009] 鑒于至少一個(gè)上述問(wèn)題提出本發(fā)明。
[0010] 本發(fā)明更多地關(guān)注在分類方面模糊的不清楚區(qū)域(也稱為模糊區(qū)域)。通常，模糊 區(qū)域的誤分類比率遠(yuǎn)高于其他的區(qū)域。本發(fā)明旨在找到模糊區(qū)域并利用近鄰信息對(duì)模糊區(qū) 域進(jìn)行循環(huán)重分類，以便盡可能地更正模糊結(jié)果。
[0011] 本發(fā)明也基于多個(gè)區(qū)域。實(shí)驗(yàn)已經(jīng)證明本發(fā)明可以改善分類的精度而不需要額外 的外部檢測(cè)結(jié)果。改善不僅針對(duì)某些特定類別，而是同等地適用于圖像的各個(gè)類別。此外， 本發(fā)明在圖像內(nèi)可以自適應(yīng)周圍情況。
[0012] 本發(fā)明的一個(gè)目的是提供一種能夠?qū)δ：齾^(qū)域精確分類的新的圖像處理設(shè)備和 新的圖像處理方法。
[0013] 根據(jù)本發(fā)明的第一方面，提供一種對(duì)圖像中的每個(gè)區(qū)域進(jìn)行分類的圖像處理方 法，包括：置信度生成步驟，針對(duì)圖像中的每個(gè)區(qū)域生成分類置信度，分類置信度代表一個(gè) 區(qū)域?qū)儆陬A(yù)定類別的可能性；和分類步驟，基于計(jì)算出的置信度，將圖像中的易于根據(jù)分類 置信度分類的清楚區(qū)域分類到相應(yīng)的類別。該方法還包括：模糊區(qū)域提取步驟，從圖像中提 取一個(gè)或多個(gè)不易根據(jù)分類置信度分類的不清楚區(qū)域，作為模糊區(qū)域；和置信度更新步驟， 基于每個(gè)模糊區(qū)域的近鄰區(qū)域的分類置信度來(lái)更新每個(gè)模糊區(qū)域的分類置信度。分類步驟 還基于更新的分類置信度將各模糊區(qū)域分類到相應(yīng)的類別。
[0014] 根據(jù)本發(fā)明的第二方面，提供如上所述的圖像處理方法在圖像構(gòu)圖或圖像搜索領(lǐng) 域中的應(yīng)用。
[0015] 根據(jù)本發(fā)明的第三方面，提供一種對(duì)圖像中的每個(gè)區(qū)域進(jìn)行分類的圖像處理設(shè) 備，包括：置信度生成裝置，被配置為針對(duì)圖像中的每個(gè)區(qū)域生成分類置信度，分類置信度 代表一個(gè)區(qū)域?qū)儆陬A(yù)定類別的可能性；和分類裝置，被配置為基于計(jì)算出的置信度，將圖像 中的易于根據(jù)分類置信度分類的清楚區(qū)域分類到相應(yīng)的類別。該圖像處理設(shè)備還包括：模 糊區(qū)域提取裝置，被配置為從圖像中提取不易根據(jù)分類置信度進(jìn)行分類的一個(gè)或多個(gè)不清 楚區(qū)域，作為模糊區(qū)域；和置信度更新裝置，被配置為基于每個(gè)模糊區(qū)域的近鄰區(qū)域的分類 置信度來(lái)更新每個(gè)模糊區(qū)域的分類置信度。分類裝置還基于更新的分類置信度將各模糊區(qū) 域分類到相應(yīng)的類別。
[0016] 根據(jù)本發(fā)明的第四方面，提供如上所述的圖像處理設(shè)備在圖像構(gòu)圖或圖像搜索領(lǐng) 域中的應(yīng)用。
[0017] 借助于上述特征，模糊區(qū)域被提取并且置信度被更新以改善模糊區(qū)域的分類結(jié)果 的精度，而不影響清楚區(qū)域的分類結(jié)果，并且可以實(shí)現(xiàn)圖像的自適應(yīng)分類結(jié)果。
[0018] 從以下參照附圖的描述，本發(fā)明的其他目的、特征和優(yōu)點(diǎn)將變得清晰。
【附圖說(shuō)明】
[0019] 并入到說(shuō)明書中并且構(gòu)成說(shuō)明書一部分的附圖示出了本發(fā)明的實(shí)施例，并且與描 述一起用于說(shuō)明本發(fā)明的原理。
[0020] 圖1是多類別分割的示意圖；
[0021] 圖2示例性示出RNN分割方法的流程圖；
[0022] 圖3是RNN分割的例示；
[0023] 圖4示例性示出根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的一般流程圖；
[0024] 圖5是示出根據(jù)本發(fā)明的實(shí)施例的置信度生成步驟的示例處理的示意性流程圖；
[0025] 圖6是根據(jù)本發(fā)明的實(shí)施例基于模糊區(qū)域的分類的例示；
[0026] 圖7是示出根據(jù)本發(fā)明的實(shí)施例的模糊區(qū)域提取步驟的示例處理的示意性流程 圖；
[0027] 圖8是示出根據(jù)本發(fā)明的另一實(shí)施例的模糊區(qū)域提取步驟的示例處理的示意性 流程圖；
[0028] 圖9是利用Graph-cut方法進(jìn)行模糊區(qū)域提取的例示；
[0029] 圖10示例性示出根據(jù)本發(fā)明的實(shí)施例的置信度更新步驟的流程圖；
[0030] 圖11示例性示出根據(jù)本發(fā)明的實(shí)施例的加權(quán)累加的構(gòu)造；
[0031] 圖12示例性示出根據(jù)本發(fā)明的實(shí)施例的加權(quán)累加的一個(gè)例子；
[0032] 圖13示例性示出根據(jù)本發(fā)明的實(shí)施例的加權(quán)累加的另一個(gè)例子；
[0033] 圖14示例性示出根據(jù)本發(fā)明的實(shí)施例的基于合并模糊區(qū)域的置信度更新方法的 例示；和
[0034] 圖15是根據(jù)本發(fā)明的示例實(shí)施例對(duì)圖像中的每個(gè)區(qū)域進(jìn)行分類的圖像處理設(shè)備 的示意性功能框圖。
【具體實(shí)施方式】
[0035] 下面將參照附圖詳細(xì)描述本發(fā)明的示例性實(shí)施例。應(yīng)注意，以下的描述在本質(zhì)上 僅是解釋性和示例性的，決不意在限制本發(fā)明及其應(yīng)用或使用。除非另外特別說(shuō)明，否則， 在實(shí)施例中闡述的組件和步驟的相對(duì)布置、數(shù)字表達(dá)式以及數(shù)值并不限制本發(fā)明的范圍。 另外，本領(lǐng)域技術(shù)人員已知的技術(shù)、方法和設(shè)備可能不被詳細(xì)討論，但在合適的情況下意在 成為說(shuō)明書的一部分。
[0036] 圖4示例性示出根據(jù)本發(fā)明的實(shí)施例的對(duì)圖像中的每個(gè)區(qū)域(尤其是基于模糊區(qū) 域）進(jìn)行分類的圖像處理方法的一般流程圖。
[0037] 如圖4所示，該方法可以包括置信度生成步驟410、模糊區(qū)域提取步驟420、置信度 更新步驟430和分類步驟440。
[0038] 在置信度生成步驟410,針對(duì)圖像中的每個(gè)區(qū)域生成分類置信度。
[0039] 在該步驟，針對(duì)每個(gè)預(yù)定類別計(jì)算所有圖像區(qū)域的置信度。有很多種方法可以取 得置信度。圖5是示出根據(jù)本發(fā)明的實(shí)施例的置信度生成步驟410的示例處理的示意性流 程圖。
[0040] 如圖5所示，該處理可以包括：區(qū)域分割步驟5110,將圖像分割為多個(gè)不重疊的區(qū) 域；特征提取步驟5120,提取每個(gè)區(qū)域的