專利名稱：圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像處理，更明確地說，涉及視頻監(jiān)控應(yīng)用及從背景 圖像提取前景物件的方法。
背景技術(shù)：
圖像處理方法具有各種應(yīng)用，其中許多可應(yīng)用于諸如視頻監(jiān)控之類的 應(yīng)用及其它與安全有關(guān)的用途。以該視頻監(jiān)控為例，過去數(shù)十年，己將閉 路視頻監(jiān)視系統(tǒng)用于與安全有關(guān)的用途。然而，此等系統(tǒng)可能限于在重要 的地方記錄圖像，而不支持對象或事件的分析。隨著數(shù)字元視頻及人工智能技術(shù)的發(fā)展與進步，基于計算機圖像(Computer Vision)的智能監(jiān)視系統(tǒng) 已在安全領(lǐng)域越來越流行。例如，可在機場、地鐵站、銀行或酒店部署該 智能監(jiān)控系統(tǒng)，以識別恐怖分子或犯罪嫌疑人。該智能監(jiān)視系統(tǒng)可指能夠 自動分析相機所拍攝的圖像而無需手動操作的監(jiān)視系統(tǒng)，用于識別與追蹤 行動對象，例如人、車輛、動物或物品。在分析上述這些圖像時，區(qū)分前 景物件與背景圖像可能是有幫助的或必要的，以完成或簡化該前景物件的 后續(xù)分析。用于提取該前景物件的公知技術(shù)可包括背景減法、時間差異法與光學(xué) 流動。該背景減法可包括學(xué)習(xí)階段與測試階段。在該學(xué)習(xí)階段期間，可收 集不含該前景物件的多張相片，并將其用作建立背景模型的基礎(chǔ)。該背景 模型的像素一般可在簡單的高斯模型或高斯混合模型中進行說明。 一般而 言，可將較小高斯模型值指派給相對于該背景圖像具有較大色彩或灰階度 差異的像素，而可將較大高斯模型值指派給相對于該背景圖像具有較小色 彩或灰階度差異的像素。該背景減法的實施例可參見Collins等人的"A System for Video Surveillance and Monitoring",卡內(nèi)基美隆大學(xué)機器人學(xué)院技術(shù)報告，2000年。在某些應(yīng)用中，該背景減法可能不利于提取色彩接 近背景的該前景物件。而且，在某些應(yīng)用中可能會將陰影圖像錯誤地識別 為該前景物件，并且色調(diào)變化有時可能會不利地影響提取。因此，所得到 的相片提取可能相對破碎，甚至無法識別。就該時間差異法而言，其可直接減去于不同時間拍攝的相片。如果某 一像素點于上述這些相片之間的絕對差值超過一臨界值，則可將該像素識 別為該前景物件的前景像素。否則，可將該像素識別為背景像素。該時間 差異法的實施例可參見Anderson等人的"Change Detection and Tracking Using Pyramid Transformation Techniques", SPIE Intelligent Robics and Computer Vision會議記錄第579期第72-78頁，1985年。根據(jù)其應(yīng)用， 該時間差異法可能不利于提取固定不動或橫跨背景相對緩慢移動的該前 景物件。 一般而言，該前景物件的具有邊界或線的局部區(qū)域可能容易提取。 然而，在某些應(yīng)用中，可能會將無顯著色彩變化的該前景物件的區(qū)塊圖像 (例如，衣服、褲子或臉部近照)錯誤地識別為該背景圖像。該光學(xué)流動法基于以下理論光學(xué)流動在該前景物件移進背景中時會發(fā)生變化，該方法可計算一移動對象的圖像的每一像素的圖框間的位移量，且決定該移動對象的位置。該光學(xué)流動法的實施例可參見Brodsky等 人的第20040156530號美國公開專利申請，其標題為"Linking tracked Objects that Undergo Temporary Occlusion"。在某些實施例中，該光學(xué)流動 法可能涉及相對較大的計算量，且可能不支持實時圖像處理。因此，最好具有可減輕公知方法的部份或全部缺點的圖像處理方法。 在某些應(yīng)用中，最好具有可分多個階段提取該前景物件并更新該背景模型 以增強提取能力的方法。發(fā)明內(nèi)容本發(fā)明的實施例可提供一種圖像處理方法，該方法包括接收一包括多 個像素的圖像圖框，每一個上述這些多個像素皆包括一圖像信息，根據(jù)該 圖像信息執(zhí)行一第一提取，以識別與該圖像圖框的前景物件相關(guān)的前景像 素以及與該圖像圖框的背景相關(guān)的背景像素，分區(qū)域掃描該圖像圖框，識別上述這些區(qū)域的每一者是否包括一足夠數(shù)量的前景像素，識別包括足夠 數(shù)量的前景像素的每一區(qū)域是否包括前景物件，將包括一前景物件的區(qū)域 群集成至少一個群組，該至少一個群組的每一個皆對應(yīng)于該圖像圖框中的 不同前景物件，以及針對至少一個群組的每一者執(zhí)行第二提取，以識別該 至少一個群組的該每一個中的前景像素是否要轉(zhuǎn)換成一背景像素。本發(fā)明的某些實施例亦可提供一種圖像處理方法，該方法包括接收包 括多個像素的圖像圖框，執(zhí)行第一提取，以識別與該圖像圖框中的前景物 件相關(guān)的前景像素以及與該圖像圖框的背景相關(guān)的背景像素，分區(qū)域掃描 該圖像圖框，識別上述這些區(qū)域的每一個是否包括足夠數(shù)量的前景像素， 識別包括足夠數(shù)量的前景像素的區(qū)域至少一個是否包括前景物件，將包括 前景物件的該至少一個區(qū)域中的一個識別為種子區(qū)域，如果該種子區(qū)域與 該至少一個區(qū)域中的一個之間的重疊大于臨界值，則將該種子區(qū)域與該至 少一個區(qū)域的該一者群集成一群組，以及針對該群組執(zhí)行第二提取，以識 別該群組中的前景像素是否要轉(zhuǎn)換成一背景像素。本發(fā)明的實施例可進一步提供一種圖像處理方法，該方法包括接收包 括多個像素的圖像圖框，執(zhí)行第一背景減法，以識別與該圖像圖框中的前 景物件相關(guān)的前景像素以及與該圖像圖框的背景相關(guān)的背景像素，識別該 圖像圖框的區(qū)域是否包括足夠數(shù)量的前景像素，識別包括一足夠數(shù)量的前 景像素的區(qū)域是否包括前景物件，識別在包括一前景物件的至少一個區(qū)域 中，第一區(qū)域與第二區(qū)域是否包括相同的前景物件，將包括相同前景物件 的該第一區(qū)域與該第二區(qū)域群集成一群組，以及針對該群組執(zhí)行第二背景 減法，以識別該群組中的前景像素是否要轉(zhuǎn)換成一背景像素。于下文的說明中將部份提出本發(fā)明的其它特點與優(yōu)點，而且從該說明 中將了解本發(fā)明其中一部份，或者通過實施本發(fā)明亦可習(xí)得。通過隨附的 權(quán)利要求書中特別列出的組件與組合將可了解且達成本發(fā)明的特點與優(yōu) 點。應(yīng)該了解的是，上文的概要說明以及下文的詳細說明皆僅供作例示與 解釋，其并未限制本文所主張的發(fā)明。


當并同各附圖閱覽時，即可更佳了解本發(fā)明前述摘要以及上文詳細說 明。為達本發(fā)明的說明目的，各附圖里圖示有現(xiàn)屬較佳的各具體實施實施 例。當然應(yīng)了解本發(fā)明并不限于所示的精確排置方式及設(shè)備裝置。在各附圖中圖1A為說明根據(jù)本發(fā)明的實施例的前景物件提取方法的流程圖；圖IB為說明區(qū)域掃描的方法的示意圖；圖1C為說明一圖像圖框的已掃描區(qū)域的示意圖；圖ID為說明根據(jù)本發(fā)明的實施例的對象群集方法的流程圖；圖IE為圖ID所示的方法所群集的群組的示意圖；圖IF為一圖像圖框的群組的示例相片；圖2A為說明根據(jù)本發(fā)明的另一實施例的前景物件提取方法的流程圖；圖2B為說明根據(jù)本發(fā)明的又一實施例的前景物件提取方法的流程 圖；以及圖3A與3B為說明公知方法與根據(jù)本發(fā)明方法的實驗結(jié)果比較的 示意圖。主要元件標記說明25圖像圖框30群組31中心部份32邊界部份33下部Rl區(qū)域R2區(qū)域A、 B、 C與D區(qū)域候選區(qū)域 群組Cl至C13Gl至G具體實施方式
現(xiàn)將詳細參照于本發(fā)明具體實施實施例，其實施實施例圖解在附圖 中。盡其可能，所有附圖中將依相同元件標記以代表相同或類似的部件。圖1A為說明根據(jù)本發(fā)明之一實施例的前景物件提取方法的流程圖。 參照圖1A，在步驟11中，接收對應(yīng)于圖像圖框的圖像信息。舉例而言， 該圖像可包括靜態(tài)圖像或移動圖像，其可進一步包括多個像素。該圖像信 息可包括像素的特征值，例如色彩值或灰階值。在步驟12中，可橫跨該 圖像圖框而執(zhí)行第一提取，以探測背景圖像的像素(下稱"背景像素")以 及一個或多個前景物件的像素(下稱"前景像素")。為實施該第一提取， 可使用公知的技術(shù)，例如背景減法、時間差異法或其它適當?shù)姆椒āＷ鳛?該背景減法的實施例，用于識別該背景像素與該前景像素的模型可定義如 下。其中，I(P)指該圖像圖框中的第P個像素的特征值，例如色彩值或 灰階值，B(P)指背景模型中的第P個像素的特征值，而Tl可表示第一 臨界值。在步驟21中，可通過在該背景減法的學(xué)習(xí)階段期間收集不含該 前景物件的多個圖像或相片而建立背景模型。可預(yù)先決定第一臨界值Tl。 根據(jù)以上等式1，如果I(P)與B(P)之間的絕對差等于或大于Tl，則將 像素P識別為該前景像素。否則，將像素P識別為該背景像素。在實施 例中，如果D(P)=1，則可通過(例如)公知陰影探測技術(shù)或者其它適當?shù)?技術(shù)來進一步?jīng)Q定識別為該前景像素的像素是否屬于對象的陰影。如果探 測顯示該像素屬于陰影，則可使該像素的狀態(tài)從該前景像素變?yōu)樵摫尘跋?素。(等式1)<formula>formula see original document page 12</formula>接著，在步驟13中，可分區(qū)域掃描該圖像圖框，以在每個區(qū)域中識 別其中所含該前景像素(其于步驟12中識別)的數(shù)量?？蓮淖蟮接宜交?從上到下垂直地逐個區(qū)域掃描該圖像圖框。圖1B為說明區(qū)域掃描的方法 的示意圖。參照圖1B，可從左到右水平地分區(qū)域掃描圖像圖框25。在一 實施例中，圖像圖框25可具有320像素X240像素的尺寸，而一區(qū)域 可具有16像素X 32像素的尺寸。而且，正在掃描的區(qū)域，例如區(qū)域 R2,可沿掃描方向與先前掃描的區(qū)域Rl重疊預(yù)定數(shù)量的像素，例如兩 個像素。圖1C為說明圖像圖框的該己掃描區(qū)域的示意圖。參照圖1C，該圖 像圖框可包括已掃描的區(qū)域A、 B、 C與D。為了計算每一區(qū)域A、 B、 C與D中的前景像素數(shù)量，在一實施例中可采用"積分圖像"方法。積 分圖像方法可包括下面提供的迭代運算。s: S洞X， y) = ld^vs(x， y) = s(x， y-l) + f(x， y)n(x,y) = II(x-l，y) + s(x, y){0>s(x， 0) = 0; and<}0{>s(x， 0) = 0;以及<0}II(O， y) = 0其中，f(x,y)可表示包括MXN個像素的圖像平面中的點(x,y)處 的像素的像素值D(P)，其可通過以上等式1決定，其中l(wèi)Sx^M且1 ^y^N，M、N為整數(shù)，而II(x,y)可表示圖像平面的左上角的點(1,1)與 右下角的點(x， y)所界定的區(qū)域的像素值的總和。在圖1B所示的實施 例中，區(qū)域A可由點(l，l)與點(xl,yl)界定。區(qū)域(A + B)可由點(1, 1)與點(x2，yl)界定。區(qū)域(A + C)可由點(1,1)與點(xl,y2)界定。 而且，區(qū)域(A + B + C + D)可由點(l，l)與點(x2,y2)界定。因此，區(qū) 域B可由(A + B)-A表示。區(qū)域C可由(A+C)-C表示。而且，區(qū) 域D可由(A + B + C + D) —(A + B) —(A+C) + A表示。區(qū)域A中的前景像素的數(shù)量可由II(xl,yl)的值決定。同樣，區(qū)域B 中的前景像素的數(shù)量可由(II(x2, yl) - II(xl， yl))的值決定。區(qū)域C中的 前景像素的數(shù)量可由(n(xl，y2)-II(xl,y1))的值決定。而且，區(qū)域D中 的前景像素的數(shù)量可由(n(x2,y2)-II(x2，yl)-n(xl,y2) + n(xl，y1))的值決定。再次參照圖1A， 一旦掃描該圖像圖框的區(qū)域，即可在步驟14中識 別已掃描的該區(qū)域中是否有足夠的該前景像素。在根據(jù)本發(fā)明的實施例 中，可將一己掃描的區(qū)域中的該前景像素數(shù)量與區(qū)域大小(以像素計)之 比與第二臨界值比較。如果該比率大于或等于第二臨界值，則可決定該已 掃描的區(qū)域中有足夠的該前景像素。如果沒有足夠的該前景像素，則在步 驟15中，可決定在該圖像圖框中是否有另一區(qū)域需要掃描。步驟13、 14與15可重復(fù)，直至已掃描該圖像圖框的所有區(qū)域。如果在步驟14中識別一已掃描的區(qū)域中有足夠的該前景像素，則在 步驟16中，可識別該前景像素是否包括重要的對象。在一實施例中，可 將提升算法(例如Adaboost算法)用于對象探測。Adaboost算法可參見 Y. Freund等人之"Experiments with a new boosting algorithm", International Conference on Machine Learning, 第148至156頁，1996年。Adaboost 可指使用貪婪挑選策略的順序正向搜尋程序，且可包括分多個階段以迭代 方式精細化結(jié)果的程序。Adaboost已用于臉部探測與車輛識別等方面。 以人臉探測為例，Adaboost可為學(xué)習(xí)與探測臉部提供級聯(lián)架構(gòu)，并允許 拒絕臨界(Rejection Thresholds)。在另一實施例中，可使用支持向量機(Support Vector Machine; SVM) 算法來識別該前景像素是否包括重要的對象。SVM可包括一類用于分類/ 回歸的學(xué)習(xí)算法，其對于具有大或小訓(xùn)練集的高維輸入數(shù)據(jù)特別有用。 SVM可參見 J. Huang 、 X. Shao與H. Wechsler之"Face pose discrimination using support vector machines (SVM) " ， International Conference Pattern Recognition會議記錄，澳大利亞昆士蘭布里斯班，1998 年。在另一實施例中，可在步驟15中使用類神經(jīng)網(wǎng)絡(luò)來識別該前景像素 是否包括重要的對象。該類神經(jīng)網(wǎng)絡(luò)可包括徑向基函數(shù)(RBF)、廣義徑向 基函數(shù)(GRBF)或者其它類神經(jīng)網(wǎng)絡(luò)格式。該類神經(jīng)網(wǎng)絡(luò)已經(jīng)由Haykin， S.的"Neural Networks: A Comprehensive Foundation ，，第二版說明，Prentice Hall, 1999年。如果在步驟16中識別己掃描的區(qū)域可能包括重要的對象，則該己掃 描的區(qū)域可稱為"候選區(qū)域"。在一實施例中，可為該候選區(qū)域指派一分 數(shù)。分數(shù)越大，則該候選區(qū)域包括該前景物件的可能性越大?？稍诓襟E17 中記錄該候選區(qū)域的位置。例如，參見圖1C，如果將區(qū)域A與D識別 為該候選區(qū)域，則記錄點(1, 1)與(x2，y2)，其可分別用作候選區(qū)域A與 D的位置。如果步驟16的探測未顯示重要的對象，則重復(fù)步驟13、 14與 15。接著，在記錄所有探測到的該候選區(qū)域的位置后，在步驟18中，可 執(zhí)行對象群集，以將該候選區(qū)域群集成一或多個群組。圖ID為說明根據(jù) 本發(fā)明的實施例的對象群集方法的流程圖。參照圖1D，在步驟181，接 收步驟16中所識別的該候選區(qū)域。接著，可在步驟182中識別該候選 區(qū)域中的種子區(qū)域。在一實施例中，可將具有最大分數(shù)的該候選區(qū)域選作 該種子區(qū)域。如果多個該候選區(qū)域具有最大分數(shù)，則可將該多個該候選區(qū) 域的任一候選區(qū)域用作該種子區(qū)域。接著，在步驟183中，可識別是否存在其中剩余候選區(qū)域，其與該 種子區(qū)域之間的重疊大于或等于臨界值。如果答案是肯定的，則在步驟 185中將該種子區(qū)域與該候選區(qū)域群集成一第一群組。在步驟186中， 可識別是否存在另一候選區(qū)域，其與該種子區(qū)域之間的重疊大于或等于該 臨界值。如果答案是肯定的，則在步驟187中可將該另一候選區(qū)域群集 到該第一群組中。步驟186與187可重復(fù)，直至將具有與該種子區(qū)域的 充分重疊的所有該候選區(qū)域皆群集到該第一群組中。如果在步驟183中識別無任何該候選區(qū)域與該種子區(qū)域具有充分的 重疊，則在步驟184中可將該種子區(qū)域單獨群集到該第一群組中。接著， 可在步驟188中識別該剩余候選區(qū)域中是否有另一種子區(qū)域。而且，將 與步驟182中所識別的該種子區(qū)域具有充分重疊的所有該候選區(qū)域皆群 集到該第一群組中時，步驟188之后可執(zhí)行步驟186。如果有另一種子 區(qū)域，則可執(zhí)行類似于步驟183至187的步驟，以將與該另一種子區(qū)域 具有充分重疊的所有該候選區(qū)域皆群集到一第二群組中。步驟183至 188可重復(fù)，直至將所有該候選區(qū)域皆群集到群組中。圖1E為圖1D所示的方法所群集的群組的示意圖。以圖1E為例， 在步驟13至17中總共識別十三(13)個候選區(qū)域Cl至C13?？赡芤?記錄每個候選區(qū)域Cl至C13的位置與分數(shù)。在對象群集期間，另請參 見圖1D，可在步驟182中識別第一種子區(qū)域，例如Cl。通過執(zhí)行步驟 183、 185、 186與187而將候選區(qū)域C2與C3及Cl群集到第一群組 Gl中。將候選區(qū)域Cl至C3群集在一起，因為其相互之間具有充分的 重疊，因此可能包括實質(zhì)上相同的對象。在根據(jù)本發(fā)明的實施例中，該種 子區(qū)域與該候選區(qū)域之間的距離"D"可通過所記錄的位置來識別，且可 以用于識別該種子區(qū)域與該候選區(qū)域之間是否有充分的重疊?？稍谑Ｓ嗟暮蜻x區(qū)域C4至C13中識別第二種子區(qū)域，例如C4。 可將候選區(qū)域C5至C7及C4群集到第二群組G2中，因為其相互之 間具有充分的重疊。接著，可在剩余候選區(qū)域C8至C13中選擇第三種 子區(qū)域，例如C8。然而，由于所有候選區(qū)域C9至C13皆未與第三種 子區(qū)域C8具有充分的重疊，因此第三群組G3只包括第三種子區(qū)域 C8。接著，可在剩余的候選區(qū)域C9至C13中識別第四種子區(qū)域，例如 C9。將候選區(qū)域C10至C13及C9群集到第四群組G4中。每一群組 Gl至G4均可能包括前景物件。再次參照圖1A，在步驟18中群集對象之后，可在步驟19中執(zhí)行 第二提取。圖1F是步驟18的對象群集之后的該圖像圖框的群組30的 示范性相片。參照圖1F，已識別為包括一對象的群組30可包括一中心部份31與一邊界部份32。中心部份31 (其可以方框包圍)比方框外的 邊界部份32更有可能包括對象。換言之，邊界部份32比中心部份31 更有可能包括該背景圖像。而且，區(qū)域30的下部33比上部(未編號)更 可能包括陰影。在一實施例中，可使用公知的技術(shù)，例如該背景減法、該 時間差異法或其它適當?shù)姆椒?，來?zhí)行第二提取。以該背景減法為例，假 定圖像尺寸為320 X 240個像素，則群組30的尺寸可為16X 32至 80 X 160個像素，中心部份31的尺寸可為12 X 24個像素，而下部 33的尺寸可為16 X8個像素。而且，在使用該背景減法來執(zhí)行該第二 提取時，對于邊界部份32中的像素，可通過使用第三臨界值來代替第一 臨界值Tl而修改與等式1相關(guān)的模型。而且，對于下部33，可使用第 四臨界值來代替該第一臨界值。由于邊界部份32更有可能包括圖像的背 景部份，并且下部更有可能包括對象的陰影，因此在一實施例中，該第四 臨界值大于該第三臨界值，其進而大于該第一臨界值。在另一實施例中， 如果在步驟12的該第一提取中識別一像素，則可省去該像素的該第二提 取，以節(jié)省計算時間。接著，再次參照圖1A，可將該第二提取的輸出與該第一提取的輸出 積分，從而得到該前景物件，以在步驟23中輸出。在一實施例中，可通 過邏輯"或"運算來實現(xiàn)積分。明確地說，通過該第一提取與該第二提取 所獲得像素的特征值可相互進行邏輯"或(OR)"運算，以得到前景物件。在步驟22中，可使用該第二提取的結(jié)果來更新步驟21中所建立的 該背景模型。在一實施例中，該背景模型的更新的特征值B'(P)可定義如 下。如果像素P被識別為一背景像素且不位于可能包括一對象的至少一 部份的區(qū)域中，則B，(P) = (1-a)B(P) + al(P);或如果像素P被識別為一背景像素且位于可能包括一對象的至少一部 份的區(qū)域中，則B'(P)-(1-β)B(P) +βI(P);或如果像素P被識別為一前景像素，則B'(P) = (1-r)B(P) + rI(P)。其中，I(P)可指圖像中的第P個像素的特征值，例如色彩值或灰階值，而B(P)可指該背景模型中的第P個像素的特征值。在一實施例中， 第一參數(shù)a的值大于第二參數(shù)卩的值，后者進而大于第三參數(shù)Y的值。 舉例而言，a、 p與y的值可分別為約0.012、 0.004與0.001。可分別在 步驟12與19的該第一與該第二提取階段期間將已更新的該背景模型 B'(P)應(yīng)用于后續(xù)圖像。圖2A為說明根據(jù)本發(fā)明的另一實施例的該前景物件提取方法的流 程圖。參照圖2A，除用于該第二提取的步驟29夕卜，該方法可類似于圖 1A所示者。步驟12中識別為該前景像素的像素一方面可進入步驟29 作第二次提取，另一方面可在該第二提取之前執(zhí)行步驟13至18。在一 實施例中，步驟12與29的該第一提取與該第二提取之結(jié)果可分別于步 驟27中積分，例如，通過邏輯"或"運算。圖2B為說明根據(jù)本發(fā)明的另一實施例的該前景物件提取方法的流 程圖。參照圖2B，除用于積分的步驟37夕卜，該方法可類似于圖2A所 示者。步驟12中識別為該前景像素的像素一方面可進入步驟29作第二 次提取，另一方面可在該第二提取的前執(zhí)行步驟13至18。接著，可于 步驟37中將該第一提取與該第二提取的結(jié)果相互積分。圖3A與3B為說明公知方法與根據(jù)本發(fā)明的方法的實驗結(jié)果比較 的示意圖。為了執(zhí)行上述這些實驗，可拍攝一系列相片，例如約150張 相片，其中約30張不含前景物件的相片可用于建立背景模型，且可將剩 余120張相片用于前景物件提取?？山柚嬎銠C來執(zhí)行上述這些實驗， 該計算機具有系統(tǒng)平臺，例如Windows 2000 XP，以及開發(fā)者工具，例如 Visual C++6.0，其可運行于中央處理單元(CPU)上，例如與512MB隨 機存取內(nèi)存(RAM)相關(guān)聯(lián)的2-GHz Pentium M處理器。參照圖3A，對于(a)行所示的一組相片，(b)與(c)行分別顯示了 通過公知該背景減法與根據(jù)本發(fā)明的方法來執(zhí)行該前景物件提取的結(jié)果。 與(c)行中所示者相比，(b)行中所示的該組相片可能系散亂或破碎的。參照圖3B，對于(a)行所示的一組相片，(b)與(c)行分別顯示了 通過公知該背景減法與根據(jù)本發(fā)明的方法來執(zhí)行該前景物件提取的結(jié)果。 與(c)行中所示者相比，(b)行中所示的該組相片可能系散亂或破碎的。 換言之，與公知該背景減法相比，根據(jù)本發(fā)明的方法可提供改善的提取質(zhì)所屬技術(shù)領(lǐng)域的技術(shù)人員應(yīng)即了解可對上述各項具體實施實施例進 行變化，而不致悖離其廣義的發(fā)明性概念。因此，應(yīng)了解本發(fā)明并不限于 本披露的特定具體實施例，而為涵蓋歸屬如后載各權(quán)利要求所定義的本發(fā) 明精神及范圍內(nèi)的修飾。另外，在說明本發(fā)明的某些解說性實施例時，本說明書可將本發(fā)明的 方法及/或制程表示為一特定的步驟次序，不過，由于該方法或制程的范圍 并不為本文所提出的特定的步驟次序，故該方法或制程不應(yīng)受限于所述的 特定步驟次序。身為所屬技術(shù)領(lǐng)域的技術(shù)人員當會了解其它步驟次序也是 可行的。所以，不應(yīng)將本說明書所提出的特定步驟次序視為對權(quán)利要求的 限制。此外，亦不應(yīng)將有關(guān)本發(fā)明的方法及/或制程的權(quán)利要求僅限制在以 書面所載的步驟次序的實施，所屬技術(shù)領(lǐng)域的技術(shù)人員易于了解，上述這 些次序亦可加以改變，并且仍涵蓋于本發(fā)明的精神與范疇之內(nèi)。
權(quán)利要求
1. 一種圖像處理的方法，該方法包含接收包含多個像素的圖像圖框，上述多個像素的每一個皆包括一圖像信息；根據(jù)上述圖像信息執(zhí)行第一提取，以識別與上述圖像圖框中的前景物件相關(guān)的前景像素及與上述圖像圖框的背景相關(guān)的背景像素；分區(qū)域掃描上述圖像圖框；識別上述區(qū)域的每一個是否包含足夠數(shù)量的前景像素；識別包括足夠數(shù)量的前景像素的每一區(qū)域是否包括前景物件；將包括前景物件的區(qū)域群集成至少一個群組，上述至少一個群組的每一個均對應(yīng)于上述圖像圖框中的不同前景物件；以及針對至少一個群組的每一群組執(zhí)行第二提取，以識別上述至少一個群組的上述每一者中的前景像素是否要轉(zhuǎn)換成背景像素。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于執(zhí)行上述第一提取包含應(yīng) 用背景減法技術(shù)與時間差異技術(shù)中的一個。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于執(zhí)行上述第一提取包含使 用背景減法技術(shù)來識別與上述圖像圖框中的前景物件相關(guān)的前景像素以 及與上述圖像圖框的背景相關(guān)的背景像素。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于識別每一個上述區(qū)域的是 否包含足夠數(shù)量的前景像素包含使用迭代運算。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于識別包含足夠數(shù)量的前景 像素的每一區(qū)域是否包含前景物件包含使用Adaboost算法、支持向量機算法與類神經(jīng)網(wǎng)絡(luò)中的一種。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于執(zhí)行上述第二提取包含使 用背景減法技術(shù)與時間差異技術(shù)中的 一種。
7. 根據(jù)權(quán)利要求1所述的方法，其特征在于執(zhí)行上述第一提取包含應(yīng) 用第一背景減法技術(shù)，而執(zhí)行上述第二提取包含應(yīng)用第二背景減法技術(shù)。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于上述第一背景減法技術(shù)使 用第一臨界值，而上述第二背景減法技術(shù)則使用第二臨界值。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于上述第一臨界值大于上述 第二臨界值。
10. 根據(jù)權(quán)利要求7所述的方法，其特征在于上述至少一個群組的 每一個均包含中心部份與邊界部份，上述方法還包含-在執(zhí)行上述第二提取時將第三臨界值用于上述中心部份；以及在執(zhí)行上述第二提取時將第四臨界值用于上述邊界部份，上述第四臨 界值大于上述第三臨界值。
11. 根據(jù)權(quán)利要求7所述的方法，其特征在于上述至少一個群組的 每一個均包含中心部份與下部，上述方法還包含在執(zhí)行上述第二提取時將第三臨界值用于上述中心部份；以及在執(zhí)行上述第二提取時將第四臨界值用于上述下部，上述第四臨界值 大于上述第三臨界值。
12. 根據(jù)權(quán)利要求7所述的方法，其特征在于上述至少一個群組的 每一個均包含中心部份、邊界部份與下部，上述方法還包含在執(zhí)行上述第二提取時將第三臨界值用于上述中心部份；在執(zhí)行上述第二提取時將第四臨界值用于上述邊界部份；以及在執(zhí)行上述第二提取時將第五臨界值用于上述下部，上述第五臨界值 大于上述第四臨界值，而上述第四臨界值大于上述第三臨界值。
13. 根據(jù)權(quán)利要求1所述的方法，其特征在于還包含為包含一前景 物件的每一個上述區(qū)域的指派一分數(shù)。
14. 根據(jù)權(quán)利要求1所述的方法，其特征在于還包含記錄包括一前 景物件的每一個上述區(qū)域之的位置。
15. 根據(jù)權(quán)利要求1所述的方法，其特征在于將包含前景物件的區(qū)域群集成至少一個群組包括將包括前景物件的上述區(qū)域中的一個識別為種子區(qū)域；識別上述種子區(qū)域與上述剩余區(qū)域中的一個之間的重疊是否大于預(yù) 定值；以及如果上述重疊大于上述預(yù)定值，則將上述種子區(qū)域與上述剩余區(qū)域的 上述一個群集成一群組。
16. —種圖像處理的方法，其特征在于上述方法包含 接收包含多個像素的圖像圖框；執(zhí)行第一提取，以識別與上述圖像圖框中的前景物件相關(guān)的前景像素及與上述圖像圖框的背景相關(guān)的背景像素； 分區(qū)域掃描上述圖像圖框；識別每一個上述區(qū)域的是否包含足夠數(shù)量的前景像素；識別包含足夠數(shù)量的前景像素的至少一個區(qū)域是否包含前景物件；將包含前景物件的上述至少一個區(qū)域中的一個識別為種子區(qū)域；如果上述種子區(qū)域與上述至少一個區(qū)域中的一個之間的重疊大于臨 界值，則將上述種子區(qū)域與上述至少一個區(qū)域的上述一個群集成一群組； 以及針對上述群組執(zhí)行第二提取，以識別上述群組中的前景像素是否要轉(zhuǎn) 換成一背景像素。
17. 根據(jù)權(quán)利要求16所述的方法，其特征在于還包含針對通過上述 第一提取與上述第二提取所獲得的前景像素執(zhí)行邏輯或運算。
18. 根據(jù)權(quán)利要求16所述的方法，其特征在于執(zhí)行上述第一提取包 含使用第一背景減法技術(shù)，而執(zhí)行上述第二提取則使用第二背景減法技 術(shù)。
19. 根據(jù)權(quán)利要求18所述的方法，其特征在于上述第一背景減法技術(shù)使用第一臨界值，而上述第二背景減法技術(shù)則使用第二臨界值。
20. 根據(jù)權(quán)利要求19所述的方法，其特征在于上述第一臨界值大于 上述第二臨界值。
21. 根據(jù)權(quán)利要求18所述的方法，其特征在于上述群組包含中心部 份與邊界部份，上述方法還包含在執(zhí)行上述第二提取時將第三臨界值用于上述中心部份；以及在執(zhí)行上述第二提取時將第四臨界值用于上述邊界部份，上述第四臨 界值大于上述第三臨界值。
22. 根據(jù)權(quán)利要求18所述的方法，其特征在于上述群組包括中心部 份與下部，上述方法還包含在執(zhí)行上述第二提取時將第三臨界值用于上述中心部份；以及在執(zhí)行上述第二提取時將第四臨界值用于上述下部，上述第四臨界值 大于上述第三臨界值。
23. 根據(jù)權(quán)利要求18所述的方法，其特征在于上述群組包括中心部 份、邊界部份與下部，上述方法還包含在執(zhí)行上述第二提取時將第三臨界值用于上述中心部份；在執(zhí)行上述第二提取時將第四臨界值用于上述邊界部份；以及在執(zhí)行上述第二提取時將第五臨界值用于上述下部，上述第五臨界值 大于上述第四臨界值，而上述第四臨界值大于上述第三臨界值。
24. —種圖像處理的方法，其特征在于上述方法包含 接收包含多個像素的圖像圖框；執(zhí)行第一背景減法，以識別與上述圖像圖框中的前景物件相關(guān)的前景 像素及與上述圖像圖框的背景相關(guān)的背景像素；識別上述圖像圖框的區(qū)域是否包括足夠數(shù)量的前景像素；識別包括足夠數(shù)量的前景像素的區(qū)域是否包括前景物件；識別在包括前景物件的至少一個區(qū)域中，第一區(qū)域與第二區(qū)域是否包括相同的前景物件；將包括相同前景物件的上述第一區(qū)域與上述第二區(qū)域群集成一群組；以及針對上述群組執(zhí)行第二背景減法，以識別上述群組中的前景像素是否 要轉(zhuǎn)換成一背景像素。
25. 根據(jù)權(quán)利要求24所述的方法，其特征在于還包含建立用于上述 第一背景減法的第一背景模型與用于上述第二背景減法的第二背景模型。
26. 根據(jù)權(quán)利要求25所述的方法，其特征在于上述第一背景模型包 含第一臨界值，而上述第二背景模型則包含第二臨界值，上述第一臨界值 大于上述第二臨界值。
27. 根據(jù)權(quán)利要求24所述的方法，其特征在于還包含 將一分數(shù)指派給包含前景物件的區(qū)域；以及 記錄包含上述前景物件的上述區(qū)域的位置。
28. 根據(jù)權(quán)利要求24所述的方法，其特征在于還包含以一第一參數(shù) 更新上述第一背景模型與上述第二背景模型中的一個，上述第一參數(shù)滿 足如果像素P被識別為背景像素且不位于包含對象的至少一部份的區(qū) 域中，貝U B，(P) = (l—a)B(P)+aI(P)，其中B，(P)為上述第一背景模型與上述第二背景模型之一中的第P 個像素的已更新值，I(P)為上述圖像中的上述第P個像素的值，而B(P) 為上述第一背景模型與上述第二背景模型之一中的上述第P個像素的 值。
29. 根據(jù)權(quán)利要求24所述的方法，其特征在于還包含以第二參數(shù)更 新上述第一背景模型與上述第二背景模型之一，上述第二參數(shù)滿足如果像素P被識別為一背景像素且位于包含對象的至少一部份的區(qū) 域中，則B，(P) = (1 - (3) B(P) +卩I(P)，其中B，(P)為上述第一背景模型與上述第二背景模型之一中的第P個像素的己更新值，I(P)為上述圖像中的上述第P個像素的值，而B(P) 為上述第一背景模型與上述第二背景模型之一中的上述第P個像素的 值。
30.根據(jù)權(quán)利要求24所述的方法，其特征在于還包含以一第三參數(shù) 更新上述第一背景模型與上述第二背景模型中的一個，上述第三參數(shù)滿足如果像素P被識別為前景像素，則B'(P) = (1-Y)B(P) + YI(P)，其中B，(P)為上述第一背景模型與上述第二背景模型之一中的第P 個像素的己更新值，I(P)為上述圖像中的上述第P個像素的值，而B(P) 為上述第一背景模型與上述第二背景模型之一中的上述第P個像素的 值。
全文摘要
本發(fā)明提供一種圖像處理方法，該方法包括接收包括多個像素的圖像圖框，該多個像素的每一個皆包括一圖像信息，根據(jù)該圖像信息執(zhí)行一第一提取，以識別與該圖像圖框的前景物件相關(guān)的前景像素以及與該圖像圖框的背景相關(guān)的背景像素，分區(qū)域掃描該圖像圖框，識別每一個該區(qū)域的是否包括足夠數(shù)量的前景像素，識別包括足夠數(shù)量的前景像素的每一區(qū)域是否包括前景物件，將包括前景物件的區(qū)域群集成至少一個群組，該至少一個群組的每一個皆對應(yīng)于該圖像圖框中的不同前景物件，以及針對該至少一個群組的每一個執(zhí)行第二提取，以識別該至少一個群組的該每一個中的前景像素是否要轉(zhuǎn)換成背景像素。
文檔編號H04N7/18GK101282461SQ200710129778
公開日2008年10月8日 申請日期2007年7月25日 優(yōu)先權(quán)日2007年4月2日
發(fā)明者王世君, 鄭博峰, 鄭皓盈, 黃雅軒 申請人:財團法人工業(yè)技術(shù)研究院