專利名稱：圖像信號處理器、圖像信號處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號處理裝置、圖像信號處理方法和程序，更具 體地，涉及適用于追蹤在圖像中運(yùn)動的對象的圖像信號處理裝置、圖 像信號處理方法和程序。
背景技術(shù)：
例如，當(dāng)執(zhí)行圖像處理，例如檢測和追蹤用保安攝像機(jī)拍攝的圖 像中的可疑人物然后執(zhí)行噪聲消除，分析足球比賽的圖像中某個(gè)足球 運(yùn)動員的軌跡，或者追蹤和剪切體育節(jié)日的圖像中你自己的孩子時(shí)， 在構(gòu)成運(yùn)動圖像的時(shí)序圖像中追蹤對象(例如可疑人物、足球運(yùn)動員 或孩子)的處理被實(shí)施。
根據(jù)現(xiàn)有技術(shù)，為了追蹤在圖像中運(yùn)動的對象，存在這樣的方法， 例如將運(yùn)動圖像設(shè)為追蹤目標(biāo)，追蹤設(shè)在追蹤目標(biāo)上的追蹤點(diǎn)，估計(jì) 包括追蹤目標(biāo)的區(qū)域，并且以這樣的區(qū)域?yàn)閱挝粊韺?shí)施追蹤。在任一 方法中，都檢測圖像中的點(diǎn)和區(qū)域的運(yùn)動向量。
用于檢測圖像中的運(yùn)動向量的 一種典型方法是塊匹配方法。在塊 匹配方法中，具有預(yù)定尺寸(水平象素X垂直象素)的圖像塊(此后 稱為"匹配區(qū)域，，)被設(shè)在時(shí)間上連續(xù)的兩張圖像之一中，大于匹配區(qū) 域的搜索區(qū)域被設(shè)在另一幅圖像中。接著，匹配區(qū)域和搜索區(qū)域的象 素值的總絕對差被計(jì)算作為估計(jì)值。估計(jì)值最小化的位置被確定為匹 配區(qū)域的目的地，且塊區(qū)域的運(yùn)動向量被檢測。
當(dāng)圖像中存在黑條(black bar)時(shí)，利用塊匹配方法時(shí)有下列不便。
例如圖1所示，當(dāng)匹配區(qū)域被設(shè)在黑條附近時(shí)，即使如圖2所示 在水平方向運(yùn)動，計(jì)算出的估計(jì)值也不會有太大變化，這樣很難確定
4估計(jì)值最小化的位置。因此，很有可能無法檢測準(zhǔn)確的運(yùn)動向量。如 果沒有檢測到準(zhǔn)確的運(yùn)動向量，則檢測的運(yùn)動向量將在時(shí)間上不連 續(xù)。
因此，只要運(yùn)動對象追蹤是基于在時(shí)間上不連續(xù)的、不準(zhǔn)確的運(yùn) 動向量，就#^難準(zhǔn)確地追蹤運(yùn)動對象。
因此，可以檢測圖像中的黑條，于是可以避免在檢測出的黑條附 近用塊匹配來檢測運(yùn)動向量。
至于圖像中黑條的檢測方法，存在這樣的方法，即基于例如低亮 度水平或相鄰象素之差，在圖像信號的每幀中檢測黑條和實(shí)際圖像之 間的邊界位置，判斷檢測出的邊界位置的時(shí)間連續(xù)性(例如，參考日
本未審查專利申請公布No. 9-270996)，并且假定黑條存在于距屏幕 邊緣的某一線期間內(nèi)來檢測黑條(例如，參考日本未審查專利申請公 布No. 7-298200 )。

發(fā)明內(nèi)容
根據(jù)日本未審查專利申請公布No. 9-270996描述的方法，當(dāng)黑條 的亮度不足夠低時(shí)，當(dāng)字幕和屏上文字(tdop)被包含在黑條中時(shí)， 和/或當(dāng)在屏幕中間整個(gè)畫面的亮度變低時(shí)，每幀中黑條的邊界位置可 能被錯(cuò)誤地檢測。結(jié)果，黑條位置的時(shí)間連續(xù)性的判斷可能受影響， 因此，黑條的最終位置的檢測結(jié)果可能受影響。
根據(jù)日本未審查專利申請公布No. 7-298200，取決于要處理的圖 像，檢測結(jié)果可能受預(yù)定線期間中的設(shè)置值的影響。
以這種方式，當(dāng)黑條沒有被準(zhǔn)確地檢測時(shí)，無法從執(zhí)行塊匹配的 區(qū)域中準(zhǔn)確地刨除黑條，因而無法準(zhǔn)確地檢測運(yùn)動向量。因此，難以 準(zhǔn)確地追蹤運(yùn)動對象。
針對這種情況，構(gòu)思本發(fā)明使得可以準(zhǔn)確地追蹤在圖像中運(yùn)動的對象。
根據(jù)本發(fā)明實(shí)施例的一種圖像信號處理裝置，被配置為追蹤在圖 像中運(yùn)動的對象，包括設(shè)置裝置，在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域；運(yùn)動向量檢測裝置，在構(gòu)成運(yùn)動圖像的圖像中檢測對象，并 且利用該圖像中除刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動 向量；以及估計(jì)裝置，基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位 置運(yùn)動。
運(yùn)動向量檢測裝置可以從構(gòu)成運(yùn)動圖像的圖像中除則除區(qū)域以 外的區(qū)域中檢測對象，并且利用該圖像中除削除區(qū)域以外的區(qū)域來檢 測與該對象對應(yīng)的運(yùn)動向量。
估計(jì)裝置可以在除刨除區(qū)域以外的區(qū)域中基于檢測到的運(yùn)動向 量來估計(jì)對象向哪個(gè)位置運(yùn)動。
設(shè)置裝置可以包括黑條檢測裝置，在構(gòu)成運(yùn)動圖像的圖像中檢 測黑條；以及刨除區(qū)域確定裝置，基于檢測到的黑條來確定刨除區(qū)域。
黑條檢測裝置可以包括第一檢測裝置，檢測圖像中的低亮度范 圍；第二檢測裝置，在檢測出的低亮度范圍中檢測黑條的邊界候選； 以及識別裝置，基于檢測出的低亮度范圍和檢測出的邊界候選來識別 黑條的邊界。
根據(jù)本發(fā)明實(shí)施例的 一 種用于被配置為追蹤在圖像中運(yùn)動的對 象的圖像信號處理裝置的圖像信號處理方法，該方法包括下列步驟 在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域；在構(gòu)成運(yùn)動圖像的圖像中檢 測對象，并且利用圖像中除刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng) 的運(yùn)動向量；以及基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn) 動。
根據(jù)本發(fā)明實(shí)施例的 一 種用于控制被配置為追蹤在圖像中運(yùn)動 的對象的圖像信號處理裝置的程序，該程序由圖像信號處理裝置中的 計(jì)算機(jī)執(zhí)行，該程序可以包括下列步驟在構(gòu)成運(yùn)動圖像的圖像中設(shè) 置刨除區(qū)域；在構(gòu)成運(yùn)動圖像的圖像中檢測對象，并且利用圖像中除 刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量；以及基于檢測 到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
根據(jù)本發(fā)明的實(shí)施例，在構(gòu)成運(yùn)動圖像的圖像中的刨除區(qū)域被設(shè) 置；在構(gòu)成運(yùn)動圖像的圖像中的對象被檢測；并且利用圖像中除刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量。接著，基于檢測到 的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
根據(jù)本發(fā)明的實(shí)施例，在圖像中運(yùn)動的對象可以被準(zhǔn)確地追蹤。


圖1示出黑條對為運(yùn)動向量檢測而設(shè)置的匹配區(qū)域的影響； 圖2示出黑條對為運(yùn)動向量檢測而設(shè)置的匹配區(qū)域的影響； 圖3是示出根據(jù)本發(fā)明實(shí)施例的對象追蹤設(shè)備的示例配置的框
圖4A和4B示出在圖像信號的畫面中的黑條； 圖5是圖3所示的黑條檢測器的示例配置的框圖； 圖6示出圖5所示的低亮度范圍檢測器的操作； 圖7示出圖5所示的低亮度范圍檢測器的操作； 圖8示出圖5所示的邊界候選檢測器的操作； 圖9示出示例邊界候選；
圖IO示出在圖像信號的畫面上顯示的示例直線邊緣；
圖11示出被檢測為直線邊緣的示例PinP和示例屏上文字；
圖12示出對應(yīng)于圖像的頂部和底部的黑條而設(shè)置的刨除區(qū)域；
圖13示出對應(yīng)于圖像的左邊和右邊的黑條而設(shè)置的刨除區(qū)域；
圖14A到14D示出對應(yīng)于直線邊緣而設(shè)置的刨除區(qū)域；
圖15示出對應(yīng)于直線邊緣而設(shè)置的刨除區(qū)域；
圖16示出對象中存在重復(fù)圖案的情形；
圖17示出對象中存在重復(fù)圖案的情形；
圖18是示出對象追蹤處理的流程圖19是詳細(xì)描述圖18中步驟S1的流程圖20是詳細(xì)描述圖19中步驟SIOI的流程圖21是詳細(xì)描述圖19中步驟S102的流程圖22是詳細(xì)描述圖19中步驟S103的流程圖23是詳細(xì)描述圖19中步驟S104的流程7圖24示出黑條檢測處理； 圖25示出響應(yīng)于黑條檢測處理的輸出； 圖26示出響應(yīng)于黑條檢測處理的輸出； 圖27示出響應(yīng)于黑條檢測處理的輸出。
具體實(shí)施例方式
將參考附圖詳細(xì)描述本發(fā)明實(shí)施例的細(xì)節(jié)。
圖3示出根據(jù)本發(fā)明實(shí)施例的對象追蹤設(shè)備的示例配置。該對象 追蹤設(shè)備10檢測在輸入圖像信號的圖像(運(yùn)動圖像)中運(yùn)動的對象 并追蹤檢測的對象。對象追蹤設(shè)備10可以包括在圖像處理器中，該 圖像處理器執(zhí)行圖像處理例如在用保安攝像機(jī)拍攝的圖像中檢測和 追蹤可疑人物并且消除噪聲，在例如足球比賽的圖像中分析特定的足 球運(yùn)動員的軌跡，以及在學(xué)校運(yùn)動會的圖像中追蹤或剪切特定的孩 子。
如圖3所示，對象追蹤設(shè)備10包括刨除區(qū)域檢測器11，被配 置為檢測從處理范圍中除去的區(qū)域(此后稱為"刨除區(qū)域")，在該處 理范圍中將實(shí)施諸如圖像中的對象檢測一類的處理；以及追蹤處理器 16，被配置為指定通過檢測圖像中的運(yùn)動而被追蹤的對象，并且追蹤 該特定的對象。
刨除區(qū)域檢測器ll包括黑條檢測器12，被配置為檢測圖像中 的黑條；直線邊緣檢測器13，被配置為檢測圖像中的直線邊緣；重復(fù) 圖案檢測器14，被配置為檢測圖像中的重復(fù)圖案；以及刨除區(qū)域設(shè)置 單元15，被配置為基于檢測到的黑條、直線邊緣和重復(fù)圖案來設(shè)置刨 除區(qū)域。
黑條檢測器12檢測如圖4A所示被加到實(shí)際圖像的頂部和底部 的黑條，或如圖4B所示設(shè)在實(shí)際圖像的左邊和右邊的黑條。接著， 黑條檢測器12發(fā)送檢測到的黑條與實(shí)際圖像的邊界位置(此后簡稱 為"邊界")。
圖5示出黑條檢測器12的詳細(xì)配置。黑條檢測器12包括低亮度范圍檢測器21，被配置為檢測在圖像信號的每幀中象素亮度低的范 圍(低亮度范圍)；邊界候選檢測器22，被配置為檢測在檢測出的低
亮度范圍中的邊界候選；綜合識別單元23，被配置為基于檢測出的低 亮度范圍和邊界候選來識別每幀中邊界的位置；以及輸出處理器25，
被配置為基于識別結(jié)果在時(shí)間上的連續(xù)性將每幀中的邊界位置輸送 給下游單元。
低亮度范圍檢測器21按順序處理從上游單元輸入的圖像信號的
各幀，從要處理的幀的邊緣(上、下、左或右)逐個(gè)設(shè)置目標(biāo)線，并
且在目標(biāo)線上逐個(gè)設(shè)置目標(biāo)象素，如圖6所示。接著，低亮度范圍檢 測器21確定目標(biāo)象素的亮度是否小于或等于預(yù)定的亮度閾值。當(dāng)亮 度小于等于閾值的象素的數(shù)目大于等于第一閾值時(shí)，確定目標(biāo)線在低 亮度范圍內(nèi)，并且在目標(biāo)線中將低亮度標(biāo)記設(shè)置為"l"。
由于每幀的縱線的象素?cái)?shù)目與橫線的象素?cái)?shù)目不同，所以當(dāng)目標(biāo) 線位于圖像的上邊和下邊時(shí)以及當(dāng)目標(biāo)線位于圖像的左邊和右邊時(shí)， 第一閾值被設(shè)置為不同的值。
以這種方式，通過確定每幀中的目標(biāo)線是否包括在低亮度范圍 內(nèi)，在每幀的邊緣處檢測低亮度范圍，如圖7所示。圖7示出在幀的 上、下邊緣檢測低亮度范圍的例子。在沒有包括黑條的幀中不檢測低 亮度范圍。
邊界候選檢測器22依次處理從上游單元輸入的圖像信號的各 幀，在要處理的幀的邊緣(上、下、左或右)處由低亮度范圍檢測器 21檢測出的低亮度范圍內(nèi)按順序逐個(gè)設(shè)置一條線作為目標(biāo)線，并且將 與目標(biāo)線相鄰的線(下一目標(biāo)線)設(shè)置為"鄰線"。如圖8所示，目標(biāo) 線上的象素被依次設(shè)置為目標(biāo)象素。接著，計(jì)算目標(biāo)象素與鄰線上的 相鄰象素之間的絕對亮度差，確定該絕對亮度差是否大于或等于預(yù)定 差閾值。當(dāng)具有絕對亮度差的象素的數(shù)目大于或等于預(yù)定第二閾值 時(shí)，目標(biāo)線被確定為邊界候選。
以這種方式，通過確定邊界候選，即使如圖9所示在字幕和屏上 文字被顯示在黑條中時(shí)也可以檢測邊界，而不會將字幕和屏上文字的邊緣檢測為黑條的邊界候選(不會錯(cuò)誤地檢測邊界)。
基于低亮度范圍檢測器21檢測出的低亮度范圍以及邊界候選檢 測器22檢測出的邊界候選，綜合識別單元23識別每幀中邊界的位置， 并且識別邊界的位置在時(shí)間上的連續(xù)性。更具體地，檢測每幀中黑條 厚度基本相同的上和下邊緣或者左和右邊緣處的邊界候選的組合，并 且按幀數(shù)計(jì)數(shù)檢測出的邊界候選的組合在時(shí)間上的連續(xù)性。綜合識別 單元23具有存儲器24，存儲器24被配置為保存計(jì)數(shù)值和前一幀中邊 界的位置。
基于綜合識別單元23識別出的邊界位置在時(shí)間上的連續(xù)性，輸 出處理器25確定每幀中邊界的位置，并且通知刨除區(qū)域設(shè)置單元15。 在適當(dāng)?shù)臅r(shí)候，輸出處理器25參考綜合識別單元23的存儲器24中 的4言息。
重新參考圖3,直線邊緣檢測器13采用根據(jù)現(xiàn)有技術(shù)的方法來 檢測圖像中的直線邊緣，并且向刨除區(qū)域設(shè)置單元15發(fā)送與檢測出 的直線邊緣有關(guān)的位置信息。檢測出的直線邊緣可以是例如圖10所 示的圖像(網(wǎng)球場的圖像)中的直線，可以是圖ll所示的畫中畫(PinP) 的輪廓和屏上文字(字幕)的邊框，或可以是屏上顯示(OSD)(未 示出)。
重復(fù)圖案檢測器14采用根據(jù)現(xiàn)有技術(shù)的方法來檢測圖像中的重 復(fù)圖案，并且向刨除區(qū)域設(shè)置單元15發(fā)送與檢測出的重復(fù)圖案有關(guān) 的位置信息。
基于從黑條檢測器12發(fā)送來的與黑條(的邊界)有關(guān)的位置信 息、從直線邊緣檢測器13發(fā)送來的與直線邊緣有關(guān)的位置信息以及 從重復(fù)圖案檢測器14發(fā)送來的與重復(fù)圖案有關(guān)的位置信息，刨除區(qū) 域設(shè)置單元15設(shè)置刨除區(qū)域。接著，刨除區(qū)域設(shè)置單元15將刨除區(qū) 域發(fā)送到追蹤處理器16的運(yùn)動對象檢測器17和追蹤點(diǎn)估計(jì)器18。
對于黑條的位置信息，如圖12所示，當(dāng)在圖像的上、下邊檢測 到黑條時(shí)(圖中僅示出上邊黑條)，基于在追蹤處理器16檢測到運(yùn) 動向量時(shí)設(shè)置的匹配區(qū)域的垂直寬度，將刨除區(qū)域(圖中虛線以上的
10區(qū)域)設(shè)置為當(dāng)與黑條相關(guān)的象素(用圖中的黑色圓圏表示)包括在 匹配區(qū)域中時(shí)匹配區(qū)域的中心象素(用圖中的白色圓圈表示)可能存 在的區(qū)域。
例如圖13所示，當(dāng)在圖像的左邊和右邊檢測到黑條時(shí)(圖中僅 示出左邊黑條)，基于在追蹤處理器16檢測到運(yùn)動向量時(shí)設(shè)置的匹 配區(qū)域的水平寬度，將刨除區(qū)域(圖中虛線左邊的區(qū)域)設(shè)置為當(dāng)與 黑條相關(guān)的象素(用圖中的黑色圓圈表示)包括在匹配區(qū)域中時(shí)匹配 區(qū)域的中心象素(用圖中的白色圓圈表示)可能存在的區(qū)域。
例如圖14A所示，當(dāng)在固像中檢測到水平直線邊緣edl時(shí)，基 于在追蹤處理器16檢測到運(yùn)動向量時(shí)設(shè)置的匹配區(qū)域的垂直寬度， 將則除區(qū)域(圖14A中的陰影區(qū)域)設(shè)置為當(dāng)直線邊緣edl包括在匹 配區(qū)域中時(shí)匹配區(qū)域的中心象素可能存在的區(qū)域。
類似地，例如圖14B所示，當(dāng)在圖像中檢測到垂直直線邊緣ed2 時(shí)，基于在追蹤處理器16檢測到運(yùn)動向量時(shí)設(shè)置的匹配區(qū)域的水平 寬度，將刨除區(qū)域(圖14B中的陰影區(qū)域)設(shè)置為當(dāng)直線邊緣ed2包 括在匹配區(qū)域中時(shí)匹配區(qū)域的中心象素可能存在的區(qū)域。
盡管沒有在圖中示出，類似地，當(dāng)在圖像中檢測到傾斜的直線邊 緣時(shí)，基于在追蹤處理器16檢測到運(yùn)動向量時(shí)設(shè)置的匹配區(qū)域的尺 寸，將削除區(qū)域設(shè)置為當(dāng)檢測出的直線邊緣包括在匹配區(qū)域中時(shí)匹配 區(qū)域的中心象素可能存在的區(qū)域。
例如圖14C所示，當(dāng)在圖像中檢測到多個(gè)直線邊緣時(shí)，形成與 直線邊緣對應(yīng)的刨除區(qū)域之間相互重疊的區(qū)域。然而，這個(gè)重疊區(qū)域 不包括在刨除區(qū)域中。換句話說，如圖14D所示，當(dāng)在圖像中檢測到 多個(gè)直線邊緣時(shí)，排除重疊區(qū)域來設(shè)置刨除區(qū)域。
例如圖15所示，當(dāng)在圖像中檢測到多個(gè)平行的直線邊緣時(shí)，與 直線邊緣對應(yīng)的刨除區(qū)域之間相互重疊的區(qū)域被包括在刨除區(qū)域中。
對于重復(fù)圖案，如圖16所示，將刨除區(qū)域設(shè)置為當(dāng)重復(fù)圖案被 包括在整個(gè)匹配區(qū)域中時(shí)匹配區(qū)域的中心象素可能存在的區(qū)域。換句 話說，如圖17所示，當(dāng)重復(fù)圖案被包括在匹配區(qū)域的一部分中時(shí)匹
ii配區(qū)域的中心象素可能存在的區(qū)域不被設(shè)置為刨除區(qū)域。
重新參考圖3，追蹤處理器16包括運(yùn)動對象檢測器17和追蹤點(diǎn) 估計(jì)器18。
運(yùn)動對象檢測器17檢測從上游單元輸入的圖像信號的圖像中除 自寸除區(qū)域以外的區(qū)域中的對象，估計(jì)包括檢測出的對象的區(qū)域，并且 檢測設(shè)在估計(jì)出的區(qū)域中的目標(biāo)上的運(yùn)動向量。然而，當(dāng)匹配區(qū)域的 中心象素不在創(chuàng)除區(qū)域內(nèi)時(shí)，不計(jì)算運(yùn)動向量。
基于運(yùn)動對象檢測器17檢測出的運(yùn)動向量，追蹤點(diǎn)估計(jì)器18 估計(jì)目標(biāo)點(diǎn)的運(yùn)動(下一幀中目標(biāo)點(diǎn)的位置)。然而，當(dāng)為該估計(jì)而 設(shè)置的匹配區(qū)域的中心象素位于創(chuàng)除區(qū)域內(nèi)時(shí)，檢測出的運(yùn)動經(jīng)常是 不準(zhǔn)確的。因此，目標(biāo)點(diǎn)被改變?yōu)榱硪活A(yù)定候選。再接著，確定與預(yù) 定候選對應(yīng)的匹配區(qū)域的中心象素是否位于則除區(qū)域內(nèi)。目標(biāo)點(diǎn)被改 變?yōu)槠渌蜻x，直到確定與候選對應(yīng)的匹配區(qū)域的中心象素位于刨除 區(qū)域內(nèi)為止?？梢愿鶕?jù)例如日本未審查專利申請公布No. 2005-303983 中描述的方法將目標(biāo)點(diǎn)改變?yōu)榱硪缓蜻x。
當(dāng)為目標(biāo)點(diǎn)估計(jì)而設(shè)置的搜索區(qū)域與刨除區(qū)域重疊時(shí)，包括目標(biāo) 點(diǎn)的估計(jì)目的地的匹配區(qū)域的中心位于則除區(qū)域內(nèi)。因此，目標(biāo)點(diǎn)的 運(yùn)動可能在下一幀內(nèi)被不準(zhǔn)確地估計(jì)。為了穩(wěn)定并連續(xù)地追蹤目標(biāo) 點(diǎn)，目標(biāo)點(diǎn)被改變?yōu)榱硪活A(yù)定候選。同樣，在這樣的情形下，目標(biāo)點(diǎn) 被改變?yōu)槠渌蜻x，直到確定與預(yù)定候選對應(yīng)的匹配區(qū)域的中心象素 不位于刨除區(qū)域內(nèi)為止。
將參考圖18所示的流程圖描述由對象追蹤設(shè)備10實(shí)現(xiàn)的對象追 蹤處理。響應(yīng)于從對象追蹤設(shè)備10輸送來的圖像信號，對象追蹤處 理開始。
在步驟S1中，刨除區(qū)域檢測器11的黑條檢測器12檢測圖像中 的黑條，并向刨除區(qū)域設(shè)置單元15發(fā)送檢測到的黑條與實(shí)際圖像的 邊界的位置。
將參考圖19詳細(xì)描述在步驟Sl中由黑條檢測器12實(shí)現(xiàn)的處理 (此后稱為"黑條檢測處理")。在步驟S101中，黑條檢測器12的低亮度范圍檢測器21按順序 處理從上游單元輸入的圖像信號的各幀，并且檢測正處理的幀中的低 亮度范圍。
將參考圖20所示的流程圖描述在步驟S101中的低亮度范圍檢測處理。
按順序?qū)纳嫌螁卧斎氲膱D像信號的各幀實(shí)施低亮度范圍檢 測處理。在步驟S111中，低亮度范圍檢測器21按順序?qū)⒛繕?biāo)幀的上 邊緣、下邊緣、左邊緣和右邊緣設(shè)為目標(biāo)。在步驟S112中，低亮度 范圍檢測器21按順序?qū)哪繕?biāo)邊緣指向幀的中心的每條線設(shè)置為目 標(biāo)線。在步驟S113中，目標(biāo)線中的每個(gè)象素被按順序設(shè)置為目標(biāo)象 素，如圖6所示。
在步驟S114中，低亮度范圍檢測器21確定目標(biāo)象素的亮度是否 小于或等于預(yù)定亮度閾值。當(dāng)確定目標(biāo)象素的亮度小于或等于預(yù)定亮 度閾值時(shí)，處理前進(jìn)到在步驟S115中，使第一計(jì)數(shù)器值cntl加1， 第一計(jì)數(shù)器值ciitl指示目標(biāo)線中亮度小于或等于亮度閾值的象素的 數(shù)目。
在步驟S114中，當(dāng)目標(biāo)象素的亮度被確定為不是小于或等于亮 度閾值時(shí)，步驟S115的處理被跳過。
在步驟S116中，低亮度范圍檢測器21確定當(dāng)前的目標(biāo)象素是否 是目標(biāo)線的最后一個(gè)象素(末尾的象素)。當(dāng)確定當(dāng)前的目標(biāo)象素不 是目標(biāo)線的最后一個(gè)象素時(shí)，處理返回到步驟S113，并且重復(fù)隨后的 處理。接著，在步驟S116中，當(dāng)確定當(dāng)前的目標(biāo)象素是目標(biāo)線的最 后一個(gè)象素時(shí)，處理前進(jìn)到步驟S117。
在步驟S117中，低亮度范圍檢測器21確定當(dāng)前的目標(biāo)線是否是 幀的中心線。當(dāng)確定當(dāng)前的目標(biāo)線不是幀的中心線時(shí)，處理返回到步 驟S112，并且重復(fù)隨后的處理。接著，在步驟S117中，當(dāng)確定當(dāng)前 的目標(biāo)線是幀的中心線時(shí)，處理前進(jìn)到步驟S118。
在步驟S118中，低亮度范圍檢測器21確定在目標(biāo)幀中是否所有 上、下、左和右邊緣都已被設(shè)為目標(biāo)。當(dāng)存在邊緣沒有被設(shè)為目標(biāo)時(shí)，
13處理返回到步驟siii,并且重復(fù)隨后的處理。接著，在步驟siis中， 當(dāng)確定所有上、下、左和右邊緣都已被設(shè)為目標(biāo)時(shí)，處理前進(jìn)到步驟
S119。此時(shí)，要處理的幀中的所有線都曾是目標(biāo)線，并且與每條目標(biāo) 線對應(yīng)的第一計(jì)數(shù)器值cntl都已經(jīng)被計(jì)數(shù)。
在步驟S119中，低亮度范圍檢測器21按順序?qū)⒛繕?biāo)幀的上邊緣、 下邊緣、左邊緣和右邊緣設(shè)為目標(biāo)，在步驟S120中，低亮度范圍檢 測器21按順序?qū)哪繕?biāo)邊緣指向幀的中心的每條線設(shè)置為目標(biāo)線。
在步驟S121中，低亮度范圍檢測器21確定與目標(biāo)線對應(yīng)的第一 計(jì)數(shù)器值cntl是否大于或等于第一閾值。當(dāng)確定與目標(biāo)線對應(yīng)的第一 計(jì)數(shù)器值cntl大于或等于第一閾值時(shí)，處理前進(jìn)到步驟S122，將與 目標(biāo)線對應(yīng)的低亮度范圍標(biāo)記設(shè)置為"l"。
在步驟S121中，當(dāng)確定與目標(biāo)線對應(yīng)的第一計(jì)數(shù)器值cntl不是 大于或等于第一閾值時(shí)，低亮度范圍檢測器21將與目標(biāo)線對應(yīng)的低 亮度范圍標(biāo)記設(shè)置為"0"，步驟S122中的處理被跳過。
在步驟S123中，低亮度范圍檢測器21確定當(dāng)前的目標(biāo)線是否是 幀的中心線。當(dāng)確定當(dāng)前的目標(biāo)線不是幀的中心線時(shí)，處理返回到步 驟S120，并且重復(fù)隨后的處理。接著，在步驟S123中，當(dāng)確定當(dāng)前 的目標(biāo)線是幀的中心線時(shí)，處理前進(jìn)到步驟S124。
在步驟S124中，低亮度范圍檢測器21確定在目標(biāo)幀中是否所有 上、下、左和右邊緣都已被設(shè)為目標(biāo)。當(dāng)存在邊緣沒有被設(shè)為目標(biāo)時(shí)， 處理返回到步驟S119，并且重復(fù)隨后的處理。接著，在步驟S1M中， 當(dāng)確定所有上、下、左和右邊緣都已被設(shè)為目標(biāo)時(shí)，完成低亮度范圍 檢測處理。
如上所述，確定要處理的幀的每條線是否被包括在低亮度范圍 內(nèi)。確定結(jié)果被設(shè)置為低亮度線標(biāo)記。處理返回到圖19中的步驟 S102。
重新參考圖19，在步驟S102中，邊界候選檢測器22按順序處 理從上游單元輸入的圖像信號的每幀，并且在要處理的幀的邊緣(上、 下、左和右)處由低亮度范圍檢測器21檢測出的低亮度范圍內(nèi)檢測
14邊界候選。將參考圖21的流程圖詳細(xì)描述步驟S102中的邊界候選檢 測處理。
邊界候選檢測處理與低亮度范圍檢測處理的相似之處在于從上 游單元輸入的圖像信號的每幀被按順序處理。在步驟S131中，邊界 候選檢測器22按順序?qū)⒃谀繕?biāo)幀的上邊緣、下邊緣、左邊緣和右邊 緣處檢測出的低亮度范圍設(shè)為目標(biāo)，接著，在步驟S132中，按順序 將從低亮度范圍的邊緣指向幀的中心的每條線設(shè)置為目標(biāo)線和鄰線。 接著，在步驟S133中，邊界候選檢測器22將目標(biāo)線上的象素按順序 設(shè)置為目標(biāo)象素。
在步驟S134中，邊界候選檢測器22計(jì)算目標(biāo)象素的亮度與相鄰 象素的亮度的絕對差，并且確定計(jì)算出的亮度絕對差是否大于或等于 預(yù)定差閾值。當(dāng)確定計(jì)算出的亮度絕對差大于或等于預(yù)定差閾值時(shí)， 處理前進(jìn)到步驟S135，第二計(jì)數(shù)器值cnt2加1，第二計(jì)數(shù)器值cnt2 指示目標(biāo)線中與相鄰象素的絕對差大于或等于差閾值的象素的數(shù)目。
在步驟S134中，當(dāng)確定計(jì)算出的亮度絕對差不是大于或等于差 閾值時(shí)，步驟S135的處理^^跳過。
在步驟S136中，邊界候選檢測器22確定當(dāng)前的目標(biāo)象素是否是 目標(biāo)線的最后一個(gè)象素(末尾的象素)。當(dāng)確定當(dāng)前的目標(biāo)象素不是 目標(biāo)線的最后一個(gè)象素時(shí)，處理返回到步驟S133，并且重復(fù)隨后的處 理。接著，在步驟S136中，當(dāng)確定當(dāng)前的目標(biāo)象素是目標(biāo)線的最后 一個(gè)象素時(shí)，處理前進(jìn)到步驟S137。
在步驟S137中，邊界候選檢測器22確定當(dāng)前的目標(biāo)線是否為靠 近幀中心的邊緣線。當(dāng)確定該目標(biāo)線不是靠近幀中心的邊緣線時(shí)，處 理返回到步驟S132，并且重復(fù)隨后的處理。接著，在步驟S137中， 當(dāng)確定當(dāng)前的目標(biāo)線是靠近幀中心的邊緣線時(shí)，處理前進(jìn)到步驟 S138。
在步驟S138中，邊界候選檢測器22確定在目標(biāo)幀中是否所有上、 下、左和右邊緣都已被設(shè)為目標(biāo)。當(dāng)存在邊緣沒有被設(shè)為目標(biāo)時(shí)，處 理返回到步驟S131，并且重復(fù)隨后的處理。接著，在步驟S138中，當(dāng)確定所有上、下、左和右邊緣都已經(jīng)被設(shè)為目標(biāo)時(shí)，處理前進(jìn)到步
驟S139。此時(shí)，要處理的幀中的所有線都曾是目標(biāo)線，并且與每條目 標(biāo)線對應(yīng)的第二計(jì)數(shù)器值cnt2已經(jīng)被計(jì)數(shù)。
在步驟S139中，邊界候選檢測器22按順序?qū)⒃谀繕?biāo)幀的上邊緣、 下邊緣、左邊緣和右邊緣處檢測出的低亮度范圍設(shè)為目標(biāo)，接著，在 步驟S140中，按順序?qū)哪繕?biāo)低亮度范圍指向幀中心的每條線設(shè)置 為目標(biāo)線。
在步驟S141中，邊界候選檢測器22確定與目標(biāo)線對應(yīng)的第二計(jì) 數(shù)器值cnt2是否大于或等于預(yù)定的第二閾值。當(dāng)確定與目標(biāo)線對應(yīng)的 第二計(jì)數(shù)器值cnt2大于或等于第二閾值時(shí)，處理前進(jìn)到步驟S142， 并且目標(biāo)線被設(shè)置為邊界候選(黑條和實(shí)際圖像的邊界的候選)。
在步驟S141中，當(dāng)確定與目標(biāo)線對應(yīng)的第二計(jì)數(shù)器值cnt2不是 大于或等于第二閾值時(shí)，步驟S142的處理被跳過。
在步驟S143中，邊界候選檢測器22確定當(dāng)前的目標(biāo)線是否是靠 近目標(biāo)低亮度范圍內(nèi)的幀中心的邊緣線。當(dāng)確定當(dāng)前的目標(biāo)線不是目 標(biāo)低亮度范圍內(nèi)的幀中心的邊緣線時(shí)，處理返回到步驟S140,并且重 復(fù)隨后的處理。接著，在步驟S143中，當(dāng)確定當(dāng)前的目標(biāo)線是靠近 目標(biāo)低亮度范圍內(nèi)的幀中心的邊緣線時(shí)，處理前進(jìn)到步驟S144。
在步驟S144中，邊界候選檢測器22確定在上、下、左和右邊緣 處檢測出的所有低亮度范圍是否都已被設(shè)為目標(biāo)。當(dāng)存在低亮度范圍 沒有被設(shè)為目標(biāo)時(shí)，處理返回到步驟S139，并且重復(fù)隨后的處理。接 著，在步驟S144中，當(dāng)確定在上、下、左和右邊緣處檢測的所有低 亮度范圍都已被設(shè)為目標(biāo)，結(jié)束低亮度范圍檢測處理。
如上所述，確定在要處理的幀中檢測出的低亮度范圍中的每條線 是否為邊界候選。確定結(jié)果被輸送到綜合識別單元23。處理返回到圖 19中的步驟S103。
重新參考圖19，基于低亮度范圍檢測器21檢測出的低亮度范圍 以及邊界候選檢測器22檢測出的邊界候選，綜合識別單元23識別每 幀中邊界的位置。將參考圖22的流程圖詳細(xì)描述步驟S103中的綜合識別處理。
對圖像信號的每幀實(shí)施低亮度范圍檢測處理。在步驟S151中， 在邊界候選檢測器22檢測出的邊界候選中，綜合識別單元23比較在 幀上部檢測出的低亮度范圍的邊界候選與在幀的下部檢測出的低亮 度范圍的邊界候選，并且檢測具有基本相同的厚度(即，在上部的黑 條的厚度與在下部的黑條的厚度基本相同)的邊界候選的組合(此后 稱為"邊界候選對")。當(dāng)沒有檢測到低亮度范圍和/或沒有檢測到邊界 候選時(shí)，步驟S151被跳過。
在步驟S152中，在邊界候選檢測器22檢測出的邊界候選中，綜 合識別單元23比較在幀左部檢測出的低亮度范圍的邊界候選與在幀 的右部檢測出的低亮度范圍的邊界候選，并且檢測具有基本相同的厚 度(即，在左部的黑條的厚度與在右部的黑條的厚度基本相同)的邊 界候選的組合(此后稱為"邊界候選對")。當(dāng)沒有檢測到低亮度范圍 和/或沒有檢測到邊界候選時(shí)，步驟S152^皮跳過。
在步驟S153中，綜合識別單元23確定是否在步驟S151和S152 至少之一中檢測到邊界候選對。當(dāng)黑條被包括在圖像信號中時(shí)，它們 通常被設(shè)在幀的上和下邊緣或左和右邊緣。因此，邊界候選對在步驟 S151或S152中被檢測。在步驟S153中，當(dāng)確定邊界候選對在步驟 S151或S152中被檢測到時(shí)，處理前進(jìn)到步驟S154。在步驟S154中， 綜合識別單元23確定在前一幀中與當(dāng)前幀中檢測出的邊界候選對基 本相同的位置處是否檢測到邊界候選對。當(dāng)確定已經(jīng)檢測到邊界候選 對時(shí)，處理前進(jìn)到步驟S155。
在步驟S155中，綜合識別單元23將第三計(jì)數(shù)器值cnt3加1， 第三計(jì)數(shù)器值cnt3指示檢測出的邊界候選對在時(shí)間上的連續(xù)性。接 著，結(jié)束綜合識別處理。
在步驟S154中，當(dāng)確定在前一幀中與當(dāng)前幀中檢測的邊界候選 對基本相同的位置處沒有檢測到邊界候選對時(shí)，處理前進(jìn)到步驟 S157。
在步驟S157中，綜合識別單元23將第三計(jì)數(shù)器值cnt3初始化
17為0，第三計(jì)數(shù)器值cnt3指示檢測出的邊界候選對在時(shí)間上的連續(xù)性。 接著，結(jié)束綜合識別處理。
在步驟S153中，當(dāng)確定在步驟S151或S152中沒有檢測到邊界 候選對時(shí)，處理前進(jìn)到步驟S156。在步驟S156中，綜合識別單元23 確定前一幀中的邊界位置是否被包括在當(dāng)前幀的低亮度范圍中。當(dāng)確 定前一幀中的邊界位置被包括在當(dāng)前幀的低亮度范圍中時(shí)，結(jié)束綜合 識別處理，同時(shí)保持第三計(jì)數(shù)器值cnt3。在步驟S156中，當(dāng)確定前 一幀中的邊界位置沒有被包括在當(dāng)前幀的低亮度范圍中時(shí)，處理前進(jìn) 到步驟S157，第三計(jì)數(shù)器值cnt3被初始化為0。接著，結(jié)束綜合識別 處理。
如上所述，在指示檢測出的邊界候選對在時(shí)間上的連續(xù)性的第三 計(jì)數(shù)器值cnt3遞增、被初始化為0或被保持之后，處理返回到圖19 所示的步驟S104。
重新參考圖19，在步驟S104中，基于綜合識別單元23設(shè)置的、 指示檢測出的邊界候選對在時(shí)間上的連續(xù)性的第三計(jì)數(shù)器值cnt3，輸 出處理器25確定每幀中邊界的位置，并且將這些位置輸出到下游單 元。將參考圖23的流程圖詳細(xì)描述在步驟S104中的輸出處理。
在步驟S161中，輸出處理器25確定綜合識別單元23是否在當(dāng) 前幀中檢測到邊界候選對。當(dāng)確定檢測到邊界候選對時(shí)，處理前進(jìn)到 步驟S162。在步驟S162中，輸出處理器25確定與檢測出的邊界候選 對對應(yīng)的第三計(jì)數(shù)器值cnt3是否大于或等于預(yù)定的第三閾值。當(dāng)確定 笫三計(jì)數(shù)器值cnt3大于或等于預(yù)定的第三閾值時(shí)，處理前進(jìn)到步驟
5163。
在步驟S163中，輸出處理器25將在當(dāng)前幀中檢測到的邊界候選 對的位置發(fā)送到刨除區(qū)域設(shè)置單元15。
在步驟S161中，當(dāng)綜合識別單元23確定在當(dāng)前幀中沒有檢測到 邊界候選對時(shí)，或在步驟S162中確定與檢測出的邊界候選對對應(yīng)的 第三計(jì)數(shù)器值cnt3不是大于或等于第三閾值時(shí)，處理前進(jìn)到步驟
5164。在步驟S164中，輸出處理器25將在前一幀中輸出的邊界位置作 為當(dāng)前幀中邊界的位置發(fā)送到刨除區(qū)域設(shè)置單元15。
如上所述，通過輸出處理，當(dāng)在當(dāng)前幀中檢測到邊界候選對時(shí)以 及當(dāng)檢測出的邊界候選對具有在時(shí)間上的連續(xù)性時(shí)，邊界被檢測到， 并且它的位置被通知給刨除區(qū)域設(shè)置單元15。替代地，當(dāng)沒有檢測到 邊界候選對時(shí)和/或當(dāng)檢測出的邊界候選對不具有在時(shí)間上的連續(xù)性 時(shí)，前一幀中邊界的位置被通知給刨除區(qū)域設(shè)置單元15。相應(yīng)地，結(jié) 束黑條檢測處理。
將參考圖24到27描述通過上述黑條檢測處理輸出的與圖像信號 的每幀對應(yīng)的邊界位置的例子。
圖24示出包含設(shè)在幀的上和下邊緣的黑條的圖像信號的轉(zhuǎn)變， 其中在幀的縱向上象素的示例數(shù)目是240。
換句話說，在直到幀f0的幀的上和下邊緣設(shè)有厚度為20象素的 低亮度范圍，并且僅靠近幀中心的邊緣被檢測為邊界候選。在幀fl 中，厚度為20象素的低亮度范圍存在于上和下邊緣，與低亮度范圍 內(nèi)的字幕對應(yīng)的多個(gè)邊界候選被檢測到，而不僅僅在靠近幀中心的邊 緣處。在幀f2中，整個(gè)圖像是低亮度范圍，邊界候選被檢測。
如圖24所示，當(dāng)在幀f0中圖像信號轉(zhuǎn)變時(shí)，在幀的上、下邊緣
處檢測到的邊界候選對的位置，即距上、下邊緣20象素的位置被通
知作為邊界位置。在幀fl中，雖然上邊緣處的邊界候選增多，仍僅存 在一個(gè)具有在時(shí)間上的連續(xù)性的邊界候選對。因此，距上、下邊緣20
象素的位置繼續(xù)被通知作為邊界位置。在幀f2中，雖然沒有檢測到邊 界候選，但響應(yīng)于前一幀fl而輸出的邊界位置(距幀的上、下邊緣 20象素的位置)被包括在檢測出的低亮度范圍之內(nèi)。因此，邊界位置 (距幀的上、下邊緣20象素的位置)被發(fā)出。
圖25-27示出包含設(shè)在幀的上、下邊緣的黑條的圖像信號的轉(zhuǎn)變 中關(guān)于上邊緣側(cè)的信息。在圖25-27中，與第三計(jì)數(shù)器值比較的第三 閾值是7。
圖25示出緊跟在黑條檢測處理開始之后的一個(gè)例子(幀
19f0-fll(與圖24中的f0-f2不同))。在圖中所示的情形下，在幀f0-f6 中，雖然距上邊緣20象素的位置被檢測為邊界位置，但由于不具有 在時(shí)間上的連續(xù)性，該邊界位置沒有被發(fā)送到幀f6。接著，在幀f7 和隨后的幀中，確定檢測出的邊界位置具有在時(shí)間上的連續(xù)性(即第 三計(jì)數(shù)器值大于或等于第三閾值)，并且檢測出的邊界位置(距上邊 緣20象素的位置)被發(fā)出。
圖26示出因?yàn)楹谄炼拐麄€(gè)圖像的亮度變低的示例情形。在圖 中，雖然在幀f103中整個(gè)圖像的亮度降低，但低亮度范圍延伸到距上 邊緣119象素的位置，沒有檢測到邊界位置，在前一幀中響應(yīng)于幀f102 發(fā)出的邊界位置(距幀的上邊緣20象素的位置)被包括在檢測出的 低亮度范圍之內(nèi)。因此，響應(yīng)于幀fl02發(fā)出的邊界位置(距幀的上邊 緣20象素的位置)被發(fā)出。
圖27示出畫面被從有黑條的電影切換到?jīng)]有黑條的廣告節(jié)目的 示例情形。在圖中，在幀f203和隨后的幀中低亮度范圍消失。由于在 幀f203中沒有檢測到邊界候選對，所以第三計(jì)數(shù)器值被初始化為0。 然而，在幀f203到f209中，新的邊界位置(距上邊緣O象素的位置) 不具有在時(shí)間上的連續(xù)性。因此，響應(yīng)于幀f202發(fā)出的邊界位置(距 上邊緣20象素的位置)被發(fā)出。接著，在幀f210和隨后的幀中，確 定檢測出的邊界位置具有在時(shí)間上的連續(xù)性(第三計(jì)數(shù)器值大于或等 于第三閾值)，并且檢測出的邊界位置(距上邊緣O象素的位置)被 發(fā)出。
根據(jù)上述黑條檢測處理，當(dāng)圖像信號中存在噪聲時(shí)以及當(dāng)黑條包 括字幕和屏上文字時(shí)，可以高精度地檢測黑條的邊界。即使在使整個(gè)
圖像變黑的場景被包括在圖像信號的中間時(shí)，也可以高精度地檢測黑 條的邊界。
如上所述，黑條的邊界位置被發(fā)送給刨除區(qū)域設(shè)置單元15，并 且處理返回到圖18。在步驟S2中，直線邊緣檢測器13檢測圖像中的 直線邊緣，并且將與檢測出的直線邊緣有關(guān)的位置信息發(fā)送給刨除區(qū) 域設(shè)置單元15。如上所述，檢測出的直線邊緣包括PinP的輸出線、包圍屏上文字的外框以及圖像中OSD的輪廓。
在步驟S3中，重復(fù)圖案檢測器14檢測圖像中的重復(fù)圖案，并且 將與檢測出的重復(fù)圖案有關(guān)的位置信息發(fā)送給刨除區(qū)域設(shè)置單元15。
在步驟Sl-S3中的處理被描述為以步驟S1、S2和S3的次序?qū)嵤?然而，處理的次序可以改變，或處理可以同時(shí)被實(shí)施。
在步驟S4中，基于從黑條檢測器12發(fā)送來的與黑條(的邊界) 有關(guān)的位置信息、從直線邊緣檢測器13發(fā)送來的與直線邊緣有關(guān)的 位置信息以及從重復(fù)圖案檢測器14發(fā)送來的與重復(fù)圖案有關(guān)的位置 信息，刨除區(qū)域設(shè)置單元15設(shè)置刨除區(qū)域。接著，刨除區(qū)域設(shè)置單 元15將與刨除區(qū)域有關(guān)的信息發(fā)送給運(yùn)動對象檢測器17和追蹤點(diǎn)估 計(jì)器18。
在步驟S5中，追蹤處理器16的運(yùn)動對象檢測器17檢測從上游 單元輸入的圖像信號的圖像中的對象，估計(jì)包括檢測到的對象的區(qū) 域，在估計(jì)的區(qū)域中設(shè)置追蹤點(diǎn)，并且檢測追蹤點(diǎn)的運(yùn)動向量。當(dāng)為 運(yùn)動向量檢測提供的匹配區(qū)域的中心象素位于從刨除區(qū)域設(shè)置單元 15發(fā)送來的刨除區(qū)域內(nèi)時(shí)，不計(jì)算運(yùn)動向量。
在步驟S6中，基于運(yùn)動對象檢測器17檢測到的運(yùn)動向量，追蹤 處理器16的追蹤點(diǎn)估計(jì)器18估計(jì)追蹤點(diǎn)的運(yùn)動(在下一幀中追蹤點(diǎn) 的位置)，并且將估計(jì)結(jié)果作為與運(yùn)動對象有關(guān)的位置信息輸出到下 游單元。
當(dāng)為估計(jì)而設(shè)置的匹配區(qū)域的中心象素位于刨除區(qū)域內(nèi)時(shí)，追蹤 點(diǎn)被改變?yōu)榱硪活A(yù)定候選。再接著，確定與新的追蹤點(diǎn)對應(yīng)的匹配區(qū) 域中的中心象素是否位于刨除區(qū)域內(nèi)。目標(biāo)點(diǎn)被改變?yōu)榱硪缓蜻x，直 到確定與候選對應(yīng)的匹配區(qū)域中的中心象素不位于刨除區(qū)域內(nèi)為止。
當(dāng)為估計(jì)追蹤點(diǎn)而設(shè)置的搜索區(qū)域與刨除區(qū)域重疊時(shí)，追蹤點(diǎn)估 計(jì)器18將目標(biāo)點(diǎn)改變?yōu)榱硪活A(yù)定候選。同樣在這樣的情形下，目標(biāo) 點(diǎn)被改變?yōu)榱?一候選，直到確定與候選對應(yīng)的匹配區(qū)域的中心象素不 位于刨除區(qū)域內(nèi)為止。完成對象追蹤處理的描述。
通過上述由對象追蹤設(shè)備10執(zhí)行的對象追蹤處理，圖像中的黑條可以被準(zhǔn)確地檢測。由于檢測出的黑條可以從為塊匹配而設(shè)置的匹 配區(qū)域中準(zhǔn)確地刨除，所以可以準(zhǔn)確地檢測運(yùn)動向量。結(jié)果，運(yùn)動對 象可以被準(zhǔn)確地追蹤。
圖像中的直線邊緣和重復(fù)圖案也可以被檢測。因此，檢測出的直 線邊緣和重復(fù)圖案可以從為塊匹配而設(shè)置的匹配區(qū)域中準(zhǔn)確地刨除。 因此可以準(zhǔn)確地檢測運(yùn)動向量，結(jié)果，運(yùn)動對象可以被準(zhǔn)確地追蹤。
本發(fā)明可以被應(yīng)用于被配置為處理圖像信號的電子設(shè)備，例如視 頻播放器、視頻記錄器、電視調(diào)諧器和電視接收器。
上述處理系列可以用硬件或軟件來執(zhí)行。為了用軟件來執(zhí)行處理 系列，構(gòu)成軟件的程序被從程序記錄介質(zhì)安裝到包括在專用硬件中的 計(jì)算機(jī)或通用個(gè)人計(jì)算機(jī)，這些計(jì)算機(jī)能夠通過安裝各種程序完成各 種功能。
由計(jì)算機(jī)執(zhí)行的程序可以是按本發(fā)明實(shí)施例中描述的順序依次 處理的程序，可以是同時(shí)處理的程序，或者可以是在調(diào)用時(shí)處理的程序。
可以由 一 臺計(jì)算機(jī)處理程序或可以通過多臺計(jì)算機(jī)執(zhí)行的分布 式處理來處理程序。程序可以在傳送到遠(yuǎn)程計(jì)算機(jī)之后被執(zhí)行。
本發(fā)明的實(shí)施例雖不局限于上述公開的這些，而是可以在本發(fā)明 的范圍內(nèi)以多種方式進(jìn)行修改。
本發(fā)明包含涉及2008年3月18日提交給日本特許廳的日本優(yōu)先 斥又專利申請JP 2008 - 068809的主題，通過引用而將其全文并入本文 中。
應(yīng)該理解，本領(lǐng)域技術(shù)人員可根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行不同 的修改、組合、子組合和替代，只要其在所附權(quán)利要求或其等同物的 范圍之內(nèi)。
權(quán)利要求
1.一種圖像信號處理裝置，被配置為追蹤在圖像中運(yùn)動的對象，包括設(shè)置裝置，在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域；運(yùn)動向量檢測裝置，在構(gòu)成運(yùn)動圖像的所述圖像中檢測對象，并且利用所述圖像中除所述刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量；和估計(jì)裝置，基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
2. 根據(jù)權(quán)利要求1的圖像信號處理裝置，其中，所述運(yùn)動向量檢測裝置從構(gòu)成運(yùn)動圖像的所述圖像中除所迷刨除區(qū)域以外的區(qū)域中檢測所述對象，并且利用所述圖像中除所述刨除區(qū)域以外的區(qū)域來檢測與所述對象對應(yīng)的運(yùn)動向量。
3. 根據(jù)權(quán)利要求2的圖像信號處理裝置，其中，所述估計(jì)裝置在除所述刨除區(qū)域以外的區(qū)域中基于檢測到的運(yùn)動向量來估計(jì)所述對象向哪個(gè)位置運(yùn)動。
4. 根據(jù)權(quán)利要求2的圖像信號處理裝置，其中，所述設(shè)置裝置包括黑條檢測裝置，在構(gòu)成運(yùn)動圖像的所述圖像中檢測黑條；和刨除區(qū)域確定裝置，基于檢測到的黑條來確定所述刨除區(qū)域。
5. 根據(jù)權(quán)利要求4的圖像信號處理裝置，其中，所述黑條檢測裝置包括第一檢測裝置，檢測所述圖像中的低亮度范圍；第二檢測裝置，在檢測出的低亮度范圍中檢測黑條的邊界候選；以及識別裝置，基于檢測出的低亮度范圍和檢測出的邊界候選來識別黑條的邊界。
6. —種用于被配置為追蹤在圖像中運(yùn)動的對象的圖像信號處理 裝置的圖像信號處理方法，該方法包括下列步驟在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域； 在構(gòu)成運(yùn)動圖像的所述圖像中檢測對象，并且利用所述圖像中除 所述刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量；以及 基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
7. —種控制被配置為追蹤在圖像中運(yùn)動的對象的圖像信號處理 裝置的程序，由該圖像信號處理裝置中的計(jì)算機(jī)執(zhí)行，所述程序包括 下列步驟在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域；在構(gòu)成運(yùn)動圖像的所述圖像中檢測對象，并且利用所述圖像中除 所述刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量；以及 基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
8. —種圖像信號處理裝置，被配置為追蹤在圖像中運(yùn)動的對象，包括設(shè)置單元，被配置為在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域； 運(yùn)動向量檢測單元，被配置為在構(gòu)成運(yùn)動圖像的所述圖像中檢測對象，并且利用所述圖像中除所述則除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量；以及估計(jì)單元，被配置為基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
全文摘要
一種圖像信號處理裝置，被配置為追蹤在圖像中運(yùn)動的對象，包括設(shè)置單元，被配置為在構(gòu)成運(yùn)動圖像的圖像中設(shè)置刨除區(qū)域；運(yùn)動向量檢測單元，被配置為在構(gòu)成運(yùn)動圖像的圖像中檢測對象，并且利用圖像中除該刨除區(qū)域以外的區(qū)域來檢測與該對象對應(yīng)的運(yùn)動向量；以及估計(jì)單元，被配置為基于檢測到的運(yùn)動向量來估計(jì)該對象向哪個(gè)位置運(yùn)動。
文檔編號G06T7/20GK101540052SQ20091012681
公開日2009年9月23日 申請日期2009年3月18日 優(yōu)先權(quán)日2008年3月18日
發(fā)明者大月知之, 池田優(yōu), 近藤哲二郎 申請人:索尼株式會社