本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別涉及一種圖像語義分割方法和一種圖像語義分割裝置。

背景技術(shù)：

目前，在各種應(yīng)用場景(例如物體識別、物體檢測等)中需要對圖像進(jìn)行語義分割，圖像語義分割的目的是對圖像中的每個像素進(jìn)行分類，即為每個像素打上類別標(biāo)簽。

由于像素之間的相關(guān)性較小，目前基于傳統(tǒng)深度學(xué)習(xí)的圖像語義分割方法對圖像進(jìn)行語義分割后得到的初始語義分割結(jié)果仍然存在不準(zhǔn)確的問題，因此需要對初始語義分割結(jié)果做進(jìn)一步的后處理，通過后處理將初始語義分割結(jié)果中的錯誤結(jié)果進(jìn)行糾正。

目前，使用較為廣泛的后處理方式為圖模型，例如條件隨機(jī)場模型(即CRF)、馬爾可夫隨機(jī)場模型等。

CRF是一種基于無向圖的概率模型，用來對序列數(shù)據(jù)進(jìn)行標(biāo)記，具有很強(qiáng)的概率推理能力。假設(shè)每個像素i具有類別標(biāo)簽y_i和觀測值x_i，將每個像素作為節(jié)點(diǎn)、像素與像素之間的關(guān)系作為邊即可構(gòu)成了如圖1所示的一個條件隨機(jī)場，通過觀測像素i的變量y_i推測該像素i對應(yīng)的類別標(biāo)簽x_i。

條件隨機(jī)場符合吉布斯分布：

其中x為前述觀測值，E(x|I)為能量函數(shù)。為簡便，將該能量函數(shù)省略全局觀測I即可得到：

其中，為一元勢函數(shù)，該一元勢函數(shù)來自前端FCN的輸出，ψ_p(x_i,y_i)為二元勢函數(shù)，該二元勢函數(shù)具體如下：

二元勢函數(shù)用于描述像素與像素之間的關(guān)系，其將差異較小的像素分配相同的類別標(biāo)簽，差異較大的像素分配不同類別標(biāo)簽。評估兩個像素之間的差異性通過“距離”表示，該“距離”與兩個像素的顏色值和兩個像素的實(shí)際相對距離有關(guān)。

通過CRF即可使得圖像盡量在邊界處分割，從而在一定程度上能夠?qū)Τ跏颊Z義分割結(jié)果中的錯誤結(jié)果進(jìn)行糾正，以提高語義分割結(jié)果準(zhǔn)確性。但是由于CRF需要考慮兩兩像素之間的相關(guān)性，計(jì)算量大，因此該種后處理方式速度慢、效率較低。

技術(shù)實(shí)現(xiàn)要素：

鑒于上述問題，本發(fā)明提供一種圖像語義分割方法及裝置，以提高語義分割效率和準(zhǔn)確性。

本發(fā)明實(shí)施例，一方面提供一種圖像語義分割方法，該方法包括：

接收圖像；

對所述圖像進(jìn)行語義分割，得到初始語義分割結(jié)果；

將包含初始語義分割結(jié)果的圖像信息輸入至預(yù)先訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語義分割后處理，得到最終語義分割結(jié)果。

本發(fā)明實(shí)施例另一方面，提供一種圖像語義分割裝置，該裝置包括：

接收單元，用于接收圖像；

分割單元，用于對所述圖像進(jìn)行語義分割，得到初始語義分割結(jié)果；

后處理單元，用于將包含初始語義分割結(jié)果的圖像信息輸入至預(yù)先訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語義分割后處理，得到最終語義分割結(jié)果。

本發(fā)明技術(shù)方案，在對接收到的圖像進(jìn)行語義分割得到初始語義分割結(jié)果之后，將包含初始語義分割結(jié)果的圖像信息輸入至卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語義分割后處理，得到最終語義分割結(jié)果。采用本發(fā)明提供的圖像分割方案，由于卷積神經(jīng)網(wǎng)絡(luò)是預(yù)先訓(xùn)練得到，能夠快速的根據(jù)包含初始語義分割結(jié)果的圖像信息進(jìn)行后處理，無需像現(xiàn)有技術(shù)的CRF方式需要計(jì)算圖像中的各個像素間的相關(guān)性來進(jìn)行后處理，提高了后處理速度和效率。

附圖說明

附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。

圖1為現(xiàn)有技術(shù)中條件隨機(jī)場的示意圖；

圖2為本發(fā)明實(shí)施例中圖像語義分割方法的流程圖；

圖3為本發(fā)明實(shí)施例中通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割后處理的方法流程圖之一；

圖4為本發(fā)明實(shí)施例中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的示意圖之一；

圖5為本發(fā)明實(shí)施例中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的示意圖之二；

圖6為本發(fā)明實(shí)施例中通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割后處理的方法流程圖之二；

圖7為本發(fā)明實(shí)施例中通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割后處理的示意圖之一；

圖8為本發(fā)明實(shí)施例中通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割后處理的方法流程圖之三；

圖9為本發(fā)明實(shí)施例中通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行語義分割后處理的示意圖之二；

圖10為本發(fā)明實(shí)施例中全局信息優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖11為本發(fā)明實(shí)施例中局部邊緣優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖12為本發(fā)明實(shí)施例提供的圖像語義分割裝置的結(jié)構(gòu)示意圖；

圖13為本發(fā)明實(shí)施例中后處理單元的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

參見圖2，為本發(fā)明實(shí)施例提供的一種圖像語義分割方法的方法流程圖，該方法包括：

步驟201、接收圖像。

步驟202、對所述圖像進(jìn)行語義分割，得到初始語義分割結(jié)果。

本發(fā)明實(shí)施例中，步驟202既可以通過預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)(如全連接卷積神經(jīng)網(wǎng)絡(luò))對接收到的圖像進(jìn)行語義分割，也可以通過圖像分割算法對接收到的圖像進(jìn)行語義分割，本申請不做嚴(yán)格限定。

本發(fā)明實(shí)施例中，所述初始語義分割結(jié)果可以為所述圖像包含的各像素所屬的類別標(biāo)簽(后續(xù)用label表示)。

優(yōu)選地，為降低信息失真率，保持信息的完整性，本發(fā)明實(shí)施例中輸入給卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果可以為置信圖(即Confidence Map)而不是圖像的各像素的label表示。例如，預(yù)先設(shè)定n個類別標(biāo)簽(如自行車、小車、三輪車、行人、路面、柵欄、路燈、樹、交通燈等)，則初始語義分割結(jié)果為圖像中每個像素分別屬于前述n個類別標(biāo)簽的概率值。

步驟203、將包含初始語義分割結(jié)果的圖像信息輸入至預(yù)先訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語義分割后處理，得到最終語義分割結(jié)果。

本發(fā)明技術(shù)方案，在對接收到的圖像進(jìn)行語義分割得到初始語義分割結(jié)果之后，將包含初始語義分割結(jié)果的圖像信息輸入至卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語義分割后處理，得到最終語義分割結(jié)果。采用本發(fā)明提供的圖像分割方案，由于卷積神經(jīng)網(wǎng)絡(luò)是預(yù)先訓(xùn)練得到，能夠快速的根據(jù)包含初始語義分割結(jié)果的圖像信息進(jìn)行后處理，無需像現(xiàn)有技術(shù)的CRF方式需要計(jì)算圖像中的各個像素間的相關(guān)性來進(jìn)行后處理，提高了后處理速度和效率。

本發(fā)明實(shí)施例一中，所述圖像信息可以僅包括初始語義分割結(jié)果。優(yōu)選地，為進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行后處理的準(zhǔn)確性，該圖像信息包括初始語義分割結(jié)果和所述圖像對應(yīng)的描述所述圖像的特征信息的至少一種模態(tài)，模態(tài)的種類可以包括以下一種或多種：可見圖像模態(tài)(例如RGB模態(tài)、HSV(Hue,Saturation,Value)模態(tài))、深度模態(tài)、CT(Computed Tomography，電子計(jì)算機(jī)斷層掃描)模態(tài)、紅外模態(tài)、毫米波模態(tài)和超聲波模態(tài)。

在實(shí)際中屬于同一類別標(biāo)簽的像素一般具有相同的特征信息，因此結(jié)合圖像的模態(tài)來對語義分割結(jié)果中的錯誤結(jié)果進(jìn)行糾正的準(zhǔn)確性更高，因此，當(dāng)圖像信息中包含至少一種模態(tài)時，本方案還可進(jìn)一步提高語義分割結(jié)果的準(zhǔn)確性。

為進(jìn)一步對本發(fā)明技術(shù)方案進(jìn)行更為詳細(xì)的描述，下面以幾個具體實(shí)例進(jìn)行詳細(xì)的描述。

實(shí)施例一

在實(shí)施例一中，卷積神經(jīng)網(wǎng)絡(luò)僅包含一級卷積神經(jīng)網(wǎng)絡(luò)，則前述步驟203，具體可通過以下步驟A1～步驟A2實(shí)現(xiàn)：

步驟A1、將包含初始語義分割結(jié)果的圖像信息輸入至該一級卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果；

步驟A2、根據(jù)所述修正語義分割結(jié)果得到最終語義分割結(jié)果。

本發(fā)明實(shí)施例一中，所述圖像信息可以僅包含初始語義分割結(jié)果，也可以是包含初始語義分割結(jié)果和所述圖像對應(yīng)的至少一種模態(tài)。

本發(fā)明實(shí)施例一中，修正語義分割結(jié)果為通過卷積神經(jīng)網(wǎng)絡(luò)對初始語義分割結(jié)果中錯誤的結(jié)果進(jìn)行糾正后得到的語義分割結(jié)果。若初始語義分割結(jié)果為圖像中各像素的label，則該修正語義分割結(jié)果為所述圖像的各像素的label；若初始語義分割結(jié)果為Confidence Map，則修正語義分割結(jié)果也為Confidence Map。

若本發(fā)明實(shí)施例中的修正語義分割結(jié)果也為置信圖，前述步驟A2具體實(shí)現(xiàn)如下：針對圖像的每一個像素，根據(jù)所述修正語義分割結(jié)果確定出該像素屬于各類別標(biāo)簽的概率值的最大值，將概率值最大的類別標(biāo)簽作為該像素最終所屬的類別標(biāo)簽。

若本發(fā)明實(shí)施例中的修正語義分割結(jié)果為圖像的各像素的label，則前述步驟A2具體實(shí)現(xiàn)如下：將修正語義分割結(jié)果作為最終的語義分割結(jié)果。

實(shí)施例二

實(shí)施例二中，卷積神經(jīng)網(wǎng)絡(luò)僅包含一級卷積神經(jīng)網(wǎng)絡(luò)，為進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行后處理的準(zhǔn)確性，在該卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多次的迭代優(yōu)化，直到滿足優(yōu)化需求之后，根據(jù)最后一次迭代得到的修正語義分割結(jié)果確定最終的語義分割結(jié)果。前述步驟203的具體實(shí)現(xiàn)方式如圖3所示的流程，該流程包括：

步驟301、將包含初始語義分割結(jié)果的圖像信息輸入至所述卷積神經(jīng)網(wǎng)絡(luò)中，得到修正語義分割結(jié)果；

步驟302、判斷是否滿足迭代條件，若滿足則執(zhí)行步驟303，若不滿足則執(zhí)行步驟304；

步驟303、將所述修正語義分割結(jié)果作為所述圖像信息中的初始語義分割結(jié)果，重復(fù)前述步驟301，即此時步驟301中的初始語義分割結(jié)果為步驟301得到的修正語義分割結(jié)果；

步驟304、確定停止迭代，并根據(jù)所述修正語義分割結(jié)果得到最終的語義分割結(jié)果。

本發(fā)明實(shí)施例二中，修正語義分割結(jié)果為通過卷積神經(jīng)網(wǎng)絡(luò)對初始語義分割結(jié)果中錯誤的結(jié)果進(jìn)行糾正后得到的語義分割結(jié)果。若初始語義分割結(jié)果為圖像中各像素的label，則該修正語義分割結(jié)果為所述圖像的各像素的label；若初始語義分割結(jié)果為Confidence Map，則修正語義分割結(jié)果也為Confidence Map。若本發(fā)明實(shí)施例中的修正語義分割結(jié)果也為置信圖，前述步驟304具體實(shí)現(xiàn)為：針對圖像的每一個像素，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)最后一次迭代得到的修正語義分割結(jié)果確定出該像素屬于各類別標(biāo)簽的概率值的最大值，將概率值最大的類別標(biāo)簽作為該像素最終所屬的類別標(biāo)簽。

若本發(fā)明實(shí)施例中的修正語義分割結(jié)果為圖像的各像素的label，則前述步驟304具體實(shí)現(xiàn)為：將卷積神經(jīng)網(wǎng)絡(luò)最后一次迭代得到的修正語義分割結(jié)果作為最終的語義分割結(jié)果。

本發(fā)明實(shí)施例一中，所述圖像信息可以僅包含初始語義分割結(jié)果，也可以包含初始語義分割結(jié)果和所述圖像對應(yīng)的至少一種模態(tài)。

該實(shí)施例二中，迭代條件可以是迭代累積次數(shù)達(dá)到預(yù)置的次數(shù)閾值，也可以是卷積神經(jīng)網(wǎng)絡(luò)本次輸出的修正語義分割結(jié)果與前一次輸出的語義分割結(jié)果滿足收斂條件，本申請并不做嚴(yán)格限定。前述步驟302中判斷是否滿足迭代條件，可通過但不僅限于以下兩種方式實(shí)現(xiàn)：

方式1、判斷迭代累積次數(shù)是否達(dá)到預(yù)置的次數(shù)閾值，若是則確定不滿足迭代條件，若否則確定滿足迭代條件；如通過計(jì)數(shù)器對迭代次數(shù)進(jìn)行計(jì)數(shù)，每迭代一次累加1次。

方式2、根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)本次輸出的修正語義分割結(jié)果與前一次輸出的語義分割結(jié)果確定是否滿足收斂條件，若是則確定不滿足迭代條件，若否則確定滿足迭代條件。

前述實(shí)施例一和實(shí)施例二中的卷積神經(jīng)網(wǎng)絡(luò)，可以預(yù)先通過大量的樣本圖像訓(xùn)練得到。以圖像信息中僅包含初始語義分割結(jié)果為例，則預(yù)先對樣本圖像中的各個像素所屬的類別標(biāo)簽進(jìn)行標(biāo)注，訓(xùn)練過程如圖4所示。以圖像信息中包含初始語義分割結(jié)果、至少一種模態(tài)為例，則預(yù)先對樣本圖像中的各個像素所述的類別標(biāo)簽進(jìn)行標(biāo)注，并且確定所述樣本圖像對應(yīng)的各個模態(tài)取值，訓(xùn)練過程如圖5所示。

實(shí)施例三

為進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)后處理的準(zhǔn)確性，本發(fā)明實(shí)施例三中，卷積神經(jīng)網(wǎng)絡(luò)由至少兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，各級子卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以相同也可以不相同。優(yōu)選地，當(dāng)圖像信息中僅包含初始語義分割結(jié)果時，各級子卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不相同。優(yōu)選地，當(dāng)圖像信息中包含初始語義分割結(jié)果和至少一種模態(tài)時，各級子卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以相同也可以不相同，且各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)可以相同也可以不相同，本申請不做嚴(yán)格的限定，本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際的需求靈活的設(shè)置各級子卷積神經(jīng)網(wǎng)絡(luò)，使得各級子卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的方向不同，以實(shí)現(xiàn)對初始語義分割結(jié)果進(jìn)行全方面的優(yōu)化。更優(yōu)地，當(dāng)各級子卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同時，各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)項(xiàng)部分相同或完全不同；當(dāng)各級子卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不相同時，各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的其他模態(tài)項(xiàng)設(shè)置為完全相同、部分相同或完全不同。

當(dāng)所述圖像信息中僅包含初始語義分割結(jié)果時，前述步驟203具體可通過以下步驟B1～步驟B2實(shí)現(xiàn)，其中：

步驟B1、按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果，將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果。

需要說明的是，本發(fā)明實(shí)施例中，輸入給第一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果為前述步驟202得到的初始語義分割結(jié)果；其他級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果為其前一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果。

步驟B2、根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

當(dāng)所述圖像信息中包含初始語義分割結(jié)果和至少一種模態(tài)時，前述步驟203具體可通過以下步驟C1～步驟C2實(shí)現(xiàn)，其中：

步驟C1、按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果，將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果。

需要說明的是，本發(fā)明實(shí)施例中，輸入給第一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果為前述步驟202得到的初始語義分割結(jié)果；其他級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果為其前一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果。

步驟C2、根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

更為詳細(xì)的可通過圖6所示的方法流程實(shí)現(xiàn)前述步驟C1～步驟C2，該方法流程包括：

步驟601、將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果；

步驟602、判斷本級子卷積神經(jīng)網(wǎng)絡(luò)是否為最后一級子卷積神經(jīng)網(wǎng)絡(luò)，若否則執(zhí)行步驟603，若是則執(zhí)行步驟604；

步驟603、將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，并將下一級子卷積神經(jīng)網(wǎng)絡(luò)作為本級子卷積神經(jīng)網(wǎng)絡(luò)，并執(zhí)行步驟601；

步驟604、根據(jù)本級子卷積神經(jīng)網(wǎng)絡(luò)的修正語義分割結(jié)果，得到最終的語義分割結(jié)果。

本發(fā)明實(shí)施例三中，修正語義分割結(jié)果為通過子卷積神經(jīng)網(wǎng)絡(luò)對輸入該自卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果中錯誤的結(jié)果進(jìn)行糾正后得到的語義分割結(jié)果。若初始語義分割結(jié)果為圖像中各像素的label，則該修正語義分割結(jié)果為所述圖像的各像素的label；若初始語義分割結(jié)果為Confidence Map，則修正語義分割結(jié)果也為Confidence Map。

若本發(fā)明實(shí)施例三中的修正語義分割結(jié)果也為置信圖，前述步驟B2、步驟C2具體實(shí)現(xiàn)為：針對圖像的每一個像素，根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果確定出該像素屬于各類別標(biāo)簽的概率值的最大值，將概率值最大的類別標(biāo)簽作為該像素最終所屬的類別標(biāo)簽。

若本發(fā)明實(shí)施例中的修正語義分割結(jié)果為圖像的各像素的label，則前述步驟B2、步驟C2具體實(shí)現(xiàn)為：將最后一級子卷積神經(jīng)網(wǎng)絡(luò)的修正語義分割結(jié)果作為最終的語義分割結(jié)果。

該實(shí)例三中，各級子卷積神經(jīng)網(wǎng)絡(luò)可預(yù)先獨(dú)立訓(xùn)練得到。以圖像信息中僅包含初始語義分割結(jié)果為例，則對各子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式參見圖4所示的方式。以圖像信息中包含初始語義分割結(jié)果和至少一種模態(tài)為例，則對各子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式參見圖5所示的方式，且用于訓(xùn)練各子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本圖像的模態(tài)分別與相應(yīng)子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)。例如，所述卷積神經(jīng)網(wǎng)絡(luò)包括第一級子卷積神經(jīng)網(wǎng)絡(luò)和第二級子卷積神經(jīng)網(wǎng)絡(luò)，第一級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)為深度模態(tài)和RGB模態(tài)，第二級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)為RGB模態(tài)和CT模態(tài)，則在訓(xùn)練第一級子卷積神經(jīng)網(wǎng)絡(luò)時，訓(xùn)練數(shù)據(jù)為樣本圖像的初始語義分割結(jié)果、RGB模態(tài)和深度模態(tài)，訓(xùn)練第二級子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)為樣本圖像的初始語義分割結(jié)果、RGB模態(tài)和CT模態(tài)。

優(yōu)選地，由于可見圖像模態(tài)是像素最為重要的特征信息，因此，前述各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)中均包含可見圖像模態(tài)。以各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)中均包含RGB模態(tài)為例，通過包含至少兩級的子卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行后處理的過程可如圖7所示。

實(shí)施例四

為進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)后處理的準(zhǔn)確性，本發(fā)明實(shí)施例四中，卷積神經(jīng)網(wǎng)絡(luò)由至少兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，各級子卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以相同也可以不相同。優(yōu)選地，當(dāng)圖像信息中僅包含初始語義分割結(jié)果時，各級子卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不相同。優(yōu)選地，當(dāng)圖像信息中包含初始語義分割結(jié)果和至少一種模態(tài)時，各級子卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以相同也可以不相同，且各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)可以相同也可以不相同，本申請不做嚴(yán)格的限定，本領(lǐng)域技術(shù)人員可以根據(jù)實(shí)際的需求靈活的設(shè)置各級子卷積神經(jīng)網(wǎng)絡(luò)，使得各級子卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化的方向不同，以實(shí)現(xiàn)對初始語義分割結(jié)果進(jìn)行全方面的優(yōu)化。更優(yōu)地，當(dāng)各級子卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相同時，各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)項(xiàng)部分相同或完全不同；當(dāng)各級子卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不相同時，各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的其他模態(tài)項(xiàng)設(shè)置為完全相同、部分相同或完全不同。

與實(shí)施例三相比，本實(shí)施例四在每一級子卷積神經(jīng)網(wǎng)絡(luò)均進(jìn)行至少一次迭代之后才將該級子卷積神經(jīng)網(wǎng)絡(luò)最后一次迭代得到的修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果輸出，各級子卷積神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)可以相同也可以不相同，本領(lǐng)域技術(shù)人員可根據(jù)實(shí)際需求靈活設(shè)置，本申請不做嚴(yán)格的限定。

當(dāng)圖像信息中僅包含初始語義分割結(jié)果時，前述步驟203具體可通過以下的步驟D1～步驟D2實(shí)現(xiàn)，其中：

步驟D1、按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果；判斷是否滿足迭代條件；若不滿足，則確定停止迭代并將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果；若滿足，則將該修正語義分割結(jié)果作為本級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，并重復(fù)前述將初始語義分割結(jié)果輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)的步驟；

步驟D2、根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

當(dāng)圖像信息中包含初始語義分割結(jié)果和至少一種模態(tài)時，前述步驟203具體可通過以下的步驟E1～步驟E2實(shí)現(xiàn)，其中：

步驟E1、按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果；判斷是否滿足迭代條件；若不滿足，則確定停止迭代并將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果；若滿足，則將該修正語義分割結(jié)果作為本級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，并重復(fù)前述將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)的步驟；

步驟E2、根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

更為詳細(xì)的可通過圖8所示的方法流程實(shí)現(xiàn)前述步驟E1～步驟E2，該方法流程包括：

步驟801、將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果；

步驟802、判斷是否滿足迭代條件，若不滿足則執(zhí)行步驟803，若滿足則執(zhí)行步驟804；

本發(fā)明實(shí)施例中，通過計(jì)數(shù)器來對本級子卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代的次數(shù)進(jìn)行計(jì)數(shù)，每迭代一次累加1；當(dāng)本級子卷積神經(jīng)網(wǎng)絡(luò)迭代結(jié)束后，該計(jì)數(shù)器被清零。

步驟803、判斷本級子卷積神經(jīng)網(wǎng)絡(luò)是否為最后一級子卷積神經(jīng)網(wǎng)絡(luò)，若是則執(zhí)行步驟806，若否則執(zhí)行步驟805；

步驟804、將該修正語義分割結(jié)果作為本級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，并重復(fù)前述步驟801；

步驟805、確定停止迭代并將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，將所述下一級子卷積神經(jīng)網(wǎng)絡(luò)作為本級子卷積神經(jīng)網(wǎng)絡(luò)，并執(zhí)行步驟801；

步驟806、根據(jù)本級子卷積神經(jīng)網(wǎng)絡(luò)的修正語義分割結(jié)果得到最終的語義分割結(jié)果。

本發(fā)明實(shí)施例四中，修正語義分割結(jié)果為通過子卷積神經(jīng)網(wǎng)絡(luò)對輸入該子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果中錯誤的結(jié)果進(jìn)行糾正后得到的語義分割結(jié)果。若初始語義分割結(jié)果為圖像中各像素的label，則該修正語義分割結(jié)果為所述圖像的各像素的label；若初始語義分割結(jié)果為Confidence Map，則修正語義分割結(jié)果也為Confidence Map。

若本發(fā)明實(shí)施例四中的修正語義分割結(jié)果也為置信圖，前述步驟D2、步驟E2具體實(shí)現(xiàn)為：針對圖像的每一個像素，根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)最后一次迭代得到的修正語義分割結(jié)果確定出各像素屬于各類別標(biāo)簽的概率值的最大值，將概率值最大的類別標(biāo)簽作為該像素最終所屬的類別標(biāo)簽。

若本發(fā)明實(shí)施例中的修正語義分割結(jié)果為圖像的各像素的label，則前述步驟D2、步驟E2具體實(shí)現(xiàn)為：將最后一級子卷積神經(jīng)網(wǎng)絡(luò)最后一次迭代得到的修正語義分割結(jié)果作為最終的語義分割結(jié)果。

該實(shí)施例四中，迭代條件可以是迭代累積次數(shù)達(dá)到預(yù)置的次數(shù)閾值，也可以是本級子卷積神經(jīng)網(wǎng)絡(luò)本次輸出的修正語義分割結(jié)果與前一次輸出的語義分割結(jié)果滿足收斂條件，本申請并不做嚴(yán)格限定。前述步驟D1、步驟E1中判斷是否滿足迭代條件，可通過但不僅限于以下兩種方式實(shí)現(xiàn)：

方式1、判斷迭代累積次數(shù)是否達(dá)到預(yù)置的次數(shù)閾值，若是則確定不滿足迭代條件，若否則確定滿足迭代條件；如通過計(jì)數(shù)器對迭代次數(shù)進(jìn)行計(jì)數(shù)，每迭代一次累加1次，該計(jì)數(shù)器在本級子卷積神經(jīng)網(wǎng)絡(luò)結(jié)束迭代是被清零；

方式2、根據(jù)本級子卷積神經(jīng)網(wǎng)絡(luò)本次輸出的修正語義分割結(jié)果與前一次輸出的語義分割結(jié)果確定是否滿足收斂條件，若是則確定不滿足迭代條件，若否則確定滿足迭代條件。

該實(shí)例四中，各級子卷積神經(jīng)網(wǎng)絡(luò)預(yù)先獨(dú)立訓(xùn)練得到。以圖像信息中僅包含初始語義分割結(jié)果為例，則對各子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式參見圖4所示的方式。以圖像信息中包含初始語義分割結(jié)果和至少一種模態(tài)為例，對各子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方式參見圖5所示的方式，用于訓(xùn)練各子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本圖像的模態(tài)分別與相應(yīng)子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)，例如，所述卷積神經(jīng)網(wǎng)絡(luò)包括第一級子卷積神經(jīng)網(wǎng)絡(luò)和第二級子卷積神經(jīng)網(wǎng)絡(luò)，第一級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)為深度模態(tài)和RGB模態(tài)，第二級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)為RGB模態(tài)和CT模態(tài)，則在訓(xùn)練第一級子卷積神經(jīng)網(wǎng)絡(luò)時，訓(xùn)練數(shù)據(jù)為樣本圖像的初始語義分割結(jié)果、RGB模態(tài)和深度模態(tài)，訓(xùn)練第二級子卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)為樣本圖像的初始語義分割結(jié)果、RGB模態(tài)和CT模態(tài)。

優(yōu)選地，由于可見圖像模態(tài)是像素最為重要的特征信息，因此，前述各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)中均包含可見圖像模態(tài)。以各級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)均包含RGB模態(tài)為例，通過包含至少兩級的子卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行后處理的過程可如圖9所示。

優(yōu)選地，本發(fā)明實(shí)施例三和實(shí)施例四中，前述卷積神經(jīng)網(wǎng)絡(luò)由兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，其中第一級子卷積神經(jīng)網(wǎng)絡(luò)為全局信息優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)，第二級子卷積神經(jīng)網(wǎng)絡(luò)為局部邊緣優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)。

所述全局信息優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可如圖10所示，通過快速的下次采樣得到全局信息，再通過上采樣結(jié)合全局信息和low-level信息糾正錯誤結(jié)果。局部邊緣優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可如圖11所示。

基于前述圖像語義分割方法相同的構(gòu)思，本發(fā)明實(shí)施例提供一種圖像語義分割裝置，該裝置的結(jié)構(gòu)如圖12所示，包括：

接收單元11，用于接收圖像；

分割單元12，用于對所述圖像進(jìn)行語義分割，得到初始語義分割結(jié)果；

后處理單元13，用于將包含初始語義分割結(jié)果的圖像信息輸入至預(yù)先訓(xùn)練得到的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語義分割后處理，得到最終語義分割結(jié)果。

所述圖像信息可以僅包含初始語義分割結(jié)果，也可以包含初始語義分割結(jié)果和所述圖像對應(yīng)的描述所述圖像的特征信息的至少一種模態(tài)。

在一個具體實(shí)例中，所述后處理單元13的結(jié)構(gòu)示意圖如圖13所示，具體包括：

修正子單元131，用于將圖像信息輸入至所述卷積神經(jīng)網(wǎng)絡(luò)中，得到修正語義分割結(jié)果；

判斷子單元132，用于判斷是否滿足迭代條件，若滿足則觸發(fā)第一處理子單元133，若不滿足則觸發(fā)第二處理子單元134；

第一處理子單元133，用于將所述修正語義分割結(jié)果作為初始語義分割結(jié)果，并觸發(fā)所述修正子單元131；

第二處理子單元134，用于確定停止迭代，并根據(jù)所述修正語義分割結(jié)果得到最終的語義分割結(jié)果。

優(yōu)選地，所述判斷子單元132具體用于：

判斷迭代累積次數(shù)是否達(dá)到預(yù)置的次數(shù)閾值，若是則確定不滿足迭代條件，若否則確定滿足迭代條件；或者，根據(jù)所述卷積神經(jīng)網(wǎng)絡(luò)本次輸出的修正語義分割結(jié)果與前一次輸出的語義分割結(jié)果確定是否滿足收斂條件，若是則確定不滿足迭代條件，若否則確定滿足迭代條件。

在另一個實(shí)例中，所述卷積神經(jīng)網(wǎng)絡(luò)由至少兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，所述后處理單元93的結(jié)構(gòu)可包括第三處理子單元和第四處理子單元，其中：

第三處理子單元，用于按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果，將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果；

第四處理子單元，用于根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

在另一個實(shí)例中，所述卷積神經(jīng)網(wǎng)絡(luò)由至少兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，所述后處理單元93的結(jié)構(gòu)可包括第五處理子單元和第六處理子單元，其中：

第五處理子單元，用于按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)中，得到修正語義分割結(jié)果；判斷是否滿足迭代條件；若不滿足，則確定停止迭代并將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果；若滿足，則將該修正語義分割結(jié)果作為本級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，并重復(fù)前述將初始語義分割結(jié)果輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)中的步驟；

第六處理子單元，用于根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

在另一個實(shí)例中，所述卷積神經(jīng)網(wǎng)絡(luò)由至少兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，所述后處理單元93具體包括第七處理子單元和第八處理子單元，其中：

第七處理子單元，用于按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)，得到修正語義分割結(jié)果，將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果；

第八處理子單元，用于根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

在最后一個實(shí)例中，所述卷積神經(jīng)網(wǎng)絡(luò)由至少兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，所述后處理單元93具體包括第九處理子單元和第十處理子單元，其中：

第九處理子單元，用于按照級聯(lián)順序，依次對每一級子卷積神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下步驟：將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)中，得到修正語義分割結(jié)果；判斷是否滿足迭代條件；若不滿足，則確定停止迭代并將該修正語義分割結(jié)果作為下一級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果；若滿足，則將該修正語義分割結(jié)果作為本級子卷積神經(jīng)網(wǎng)絡(luò)的初始語義分割結(jié)果，并重復(fù)前述將初始語義分割結(jié)果、所述模態(tài)中與本級子卷積神經(jīng)網(wǎng)絡(luò)對應(yīng)的模態(tài)輸入至本級子卷積神經(jīng)網(wǎng)絡(luò)中的步驟；

第十處理子單元，用于根據(jù)最后一級子卷積神經(jīng)網(wǎng)絡(luò)輸出的修正語義分割結(jié)果，確定最終語義分割結(jié)果。

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)由兩級子卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，第一級子卷積神經(jīng)網(wǎng)絡(luò)為全局信息優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)，第二級子卷積神經(jīng)網(wǎng)絡(luò)為局部邊緣優(yōu)化后處理卷積神經(jīng)網(wǎng)絡(luò)。

優(yōu)選地，所述初始語義分割結(jié)果為置信圖(即Confidence Map)，或者所述初始語義分割結(jié)果為所述圖像中的各像素所屬的label。

優(yōu)選地，所述其他模態(tài)的種類包括以下一種或多種：可見圖像模態(tài)(例如RGB模態(tài)、HSV模態(tài))、深度模態(tài)、電子計(jì)算機(jī)斷層掃描CT模態(tài)、紅外模態(tài)、毫米波模態(tài)和超聲波模態(tài)。

采用本發(fā)明提供的圖像分割方案，一方面，由于卷積神經(jīng)網(wǎng)絡(luò)是預(yù)先訓(xùn)練得到，能夠快速的根據(jù)包含初始語義分割結(jié)果的圖像信息進(jìn)行后處理，無需像現(xiàn)有技術(shù)的CRF方式需要計(jì)算圖像中的各個像素間的相關(guān)性來進(jìn)行后處理，提高了后處理速度和效率；另一方面，輸入給卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)不僅僅包括初始語義分割結(jié)果還包括表示圖像中各個像素的特征信息的至少一種模態(tài)(如深度模態(tài)、RGB模態(tài)等)，在實(shí)際中屬于同一類別標(biāo)簽的像素一般具有相同的特征信息，因此結(jié)合圖像的模態(tài)來對語義分割結(jié)果中的錯誤結(jié)果進(jìn)行糾正的準(zhǔn)確性更高，因此，當(dāng)圖像信息中包含至少一種模態(tài)時，本方案還可進(jìn)一步提高語義分割結(jié)果的準(zhǔn)確性。

以上是本發(fā)明的核心思想，為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例中的技術(shù)方案，并使本發(fā)明實(shí)施例的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對本發(fā)明實(shí)施例中技術(shù)方案作進(jìn)一步詳細(xì)的說明。

顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。