專利名稱：視頻通信系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于背景和對象分離的視頻通信系統(tǒng)，其能夠?qū)⒈尘昂蛯ο筮M行分離，并且能夠動態(tài)地對所分離的背景和對象進行合成，從而能夠根據(jù)用戶或者通信環(huán)境的要求用于視頻通信。
背景技術(shù)：
遠程通信和運動圖像壓縮技術(shù)的發(fā)展使得多媒體環(huán)境下的視頻通信成為可能，在此環(huán)境下，不僅可以發(fā)送和接收話音，還可以發(fā)送和接收通信者的圖像。視頻通信的發(fā)展使得使用PC攝像機、視頻電話/圖像電話、移動通信終端等的視頻通信成為可能。
在這些視頻通信環(huán)境中，可能會有這種情況，即根據(jù)環(huán)境不同，例如，出于保護隱私的目的，用戶不愿向?qū)Ψ酵嘎镀洚斍暗奈恢?。在此情況下，應(yīng)當允許僅進行沒有視頻通信的話音通信，或者將背景景物改變成為不同的景物以進行通信。
然而，在進行視頻通信時，在實時環(huán)境下，在速度和準確性方面，很難自動改變背景景物。因此，傳統(tǒng)上，在一些圖像電話上，使用了在通信初始階段向?qū)Ψ桨l(fā)送任意的靜止圖像作為用戶設(shè)定的特定圖像，然后僅實現(xiàn)話音通信的技術(shù)。
然而，由于此技術(shù)向?qū)Ψ絺魉腿我獾撵o止圖像以代替不在屏幕上出現(xiàn)的視頻通信人員，對方僅能聽到此人的聲音。這意味著損失了視頻通信的關(guān)鍵功能，即以雙方可視的方式實現(xiàn)通信。另外，對方在沒有看見實際面容而看著靜止圖像的情況下進行通信時，可能會覺得不快。
因此，在進行視頻通信時，需要一種技術(shù)，其能夠?qū)崟r地將通信人員和背景景物分離，并且使用不同的景物改變或者變化背景景物。這樣的話，在進行視頻通信時，當通信人員出現(xiàn)，但是背景景物改變成為另外的景物時，上述當實際面容由靜止圖像代替的問題仍然沒有解決。
然而，對于將背景景物自動改變?yōu)椴煌木拔锒裕淝疤崾且环N實時地將目標區(qū)域從通信圖像中自動分離的技術(shù)。下面，將會描述分離對象，尤其是人體區(qū)域和背景景物的傳統(tǒng)技術(shù)。
在作為與分離對象和背景圖像相關(guān)技術(shù)的運動圖像標準中，MPEG-4允許基于對象的圖像壓縮編碼。然而，由于MPEG-4本身是一種對預(yù)先分離的對象進行編碼的技術(shù)，因此，對于基于對象的圖像壓縮編碼而言，其前提是對象分離技術(shù)。但是，對于當前技術(shù)而言，在需要實時壓縮和傳送視頻信號的環(huán)境(視頻通信/視頻對話)中，很難實現(xiàn)足夠快的將所要求的對象和除對象之外的背景進行分離，然后以壓縮模式進行對象和背景的編碼。
因此，采用MPEG-4作為標準的視頻通信系統(tǒng)不能實現(xiàn)對象單元的編碼，而是以普通圖像壓縮的形式對對象進行壓縮和傳輸。這稱作MPEG-4簡單級。
另一方面，也提出了一種在非實時環(huán)境下分離對象和背景景物的技術(shù)。例如，有一種基于顏色組從圖像中分離子區(qū)域的技術(shù)。盡管此技術(shù)能夠相對好地從圖像中分離子區(qū)域，但是由于所分離的區(qū)域僅是基于顏色的區(qū)域，而不是一種有意義的目標區(qū)域，并且分離速度非常慢，從而，很難在諸如視頻通信的實時環(huán)境下用作需要分離對象和背景景物的技術(shù)。
另一方面，考慮到視頻通信系統(tǒng)中的圖像具有對象是人的特征，還提出了一種從圖像中分離面部的技術(shù)。例如，有一種技術(shù)，通過使用將信息轉(zhuǎn)換成為小波頻域而形成的面部樣板而提取面部區(qū)域。此技術(shù)在從最小尺寸到最大尺寸調(diào)整其樣板的同時掃描和匹配所有的圖像區(qū)域。
但是，由于進行匹配的樣板數(shù)目非常之大，此方法需要非常長的處理時間。
另外，作為面部區(qū)域分離技術(shù)，有一種通過使用面部區(qū)域具有人類皮膚顏色的范圍的特征而提取面部區(qū)域的技術(shù)。一般來講，人類的皮膚顏色位于顏色空間的特定范圍內(nèi)。因此，此技術(shù)通過僅使用和人類皮膚顏色狀況符合的像素來提取面部區(qū)域。
但是，一般來講，由于人類皮膚顏色的范圍太寬，圖像中除面部區(qū)域之外的區(qū)域也可能會被提取為面部區(qū)域，這使得很難對面部區(qū)域進行精確分離。
由于上述從靜止圖像中提取面部區(qū)域的技術(shù)沒有使用運動圖像的特征，提出了一種通過在運動圖像中跟蹤面部區(qū)域而提取面部區(qū)域的技術(shù)。具體的說，此技術(shù)用于跟蹤面部區(qū)域，其通過運動信息以較少的處理進行提取。
然而，由于此技術(shù)僅跟蹤面部所處的大致區(qū)域，使得很難精確地分離面部區(qū)域和背景景物。即，盡管此技術(shù)能夠在運動圖像中跟蹤對象(人的面部)，對于精確地將面部區(qū)域和背景景物進行分離來講，還是有局限性的。

發(fā)明內(nèi)容
因此，本發(fā)明致力于解決上述背景技術(shù)中的問題，本發(fā)明的一個目的是提供一種視頻通信系統(tǒng)，其能夠在視頻通信中自動對對象和背景景物進行分離，并且將分離的背景景物改變成為不同景物。
本發(fā)明的另外一個目的是提供一種視頻通信系統(tǒng)，其通過分別構(gòu)建面部區(qū)域提取裝置和普通區(qū)域提取裝置，并且在視頻通信系統(tǒng)中進行組合，使得在視頻通信中背景景物能夠自動改變?yōu)椴煌木拔?，從而實現(xiàn)更為精確的背景景物分離。
本發(fā)明的另外一個目的是提供一種視頻通信系統(tǒng)，其通過構(gòu)建用于分離背景景物的背景景物分離裝置和用于合成不同背景景物的背景景物合成裝置，并且將背景景物分離裝置和背景景物合成裝置放置在終端中，以在能夠進行視頻通信的視頻通信系統(tǒng)中實現(xiàn)視頻通信，其中能夠?qū)⒈尘熬拔镒詣痈淖優(yōu)椴煌木拔铮瑥亩诮K端處實現(xiàn)背景景物的分離和合成。
本發(fā)明的另外一個目的是提供一種視頻通信系統(tǒng)，其通過構(gòu)建用于分離背景景物的背景景物分離裝置和用于合成不同背景景物的背景景物合成裝置，并且將背景景物分離裝置放置在視頻通信終端中，將背景景物合成裝置放置在服務(wù)器中，以在能夠進行視頻通信的視頻通信系統(tǒng)中提供服務(wù)，其中能夠?qū)⒈尘熬拔镒詣痈淖優(yōu)椴煌木拔?，從而實現(xiàn)更為有效的背景景物分離和合成。
本發(fā)明的另外一個目的是提供一種視頻通信系統(tǒng)，其能夠?qū)⒎?wù)器提供的背景景物合成到旨在廣告宣傳或者其它用途的任意背景景物中。
本發(fā)明的另外一個目的是提供一種視頻通信系統(tǒng)，用于對對象和背景景物進行分離，并且將分離的背景景物合成為不同的背景景物以代替所分離的背景景物，其能夠應(yīng)用于包含圖像的通信系統(tǒng)，例如視頻郵件，以及包含話音的視頻通信。
本發(fā)明的另外一個目的是提供一種視頻通信系統(tǒng)，用于對對象和背景景物進行分離，并且將分離的背景景物合成為不同的背景景物以代替所分離的背景景物，當該視頻通信系統(tǒng)應(yīng)用于包含圖像的通信系統(tǒng)，例如視頻郵件，以及包含話音的視頻通信時，如果用戶想要發(fā)送不同的背景景物，通過分離對象(面部區(qū)域)、記錄所分離的對象和背景景物之間的邊界信息、以及利用邊界信息僅合成背景景物而無需以后重復(fù)執(zhí)行背景景物的分離，從而可以在簡單地改變和編輯背景景物之后傳送視頻郵件。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種視頻通信系統(tǒng)，該系統(tǒng)包括背景景物分離裝置，用于在發(fā)送/接收包括至少一幅圖像的數(shù)據(jù)的過程中，分離圖像中要傳輸?shù)膶ο蠛统龑ο笾獾谋尘熬拔铮槐尘皥D像數(shù)據(jù)庫，用于提供要取代背景景物而傳輸?shù)谋尘皥D像；背景圖像合成裝置，用于將分離的對象和從所述背景圖像數(shù)據(jù)庫中選擇的新背景圖像進行合成；圖像傳輸裝置，用于傳輸由分離的對象和新背景圖像合成的合成圖像。
根據(jù)本發(fā)明的另外一個方面，提供了一種視頻通信系統(tǒng)，該系統(tǒng)包括背景景物分離裝置，用于在發(fā)送/接收包括至少一幅圖像的數(shù)據(jù)的過程中，分離要傳輸?shù)膶ο蠛统龍D像中對象之外的背景景物；邊界區(qū)域描述裝置，用于描述所分離對象和背景景物之間的邊界區(qū)域；背景圖像數(shù)據(jù)庫，用于提供要取代所分離的背景景物而傳輸?shù)谋尘皥D像；背景圖像合成裝置，用于使用邊界區(qū)域描述信息合成所分離的對象和來自所述背景圖像數(shù)據(jù)庫的新背景圖像；以及圖像傳輸裝置，用于傳輸由所分離的對象和新背景圖像合成的合成圖像。
根據(jù)本發(fā)明的另外一個方面，提供了一種視頻通信控制方法，該方法包括在要傳輸?shù)膱D像中分離對象和背景景物；選擇要取代所分離的背景景物而傳輸?shù)谋尘熬拔?；合成所分離的對象和所選擇的新背景；傳輸由分離的對象和新背景圖像所合成的合成圖像。


下面結(jié)合附圖的詳細描述中，可以對本發(fā)明的上述和其它的目的、特征和其它優(yōu)點更加明了，附圖中圖1顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中用于視頻通信的圖像分離和合成的概念圖；圖2顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中用于視頻郵件的圖像分離和合成的概念圖；圖3顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，背景景物分離裝置和背景景物合成裝置位于終端內(nèi)的系統(tǒng)配置圖；圖4顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在終端內(nèi)實現(xiàn)背景景物分離，在服務(wù)器中實現(xiàn)背景景物合成的系統(tǒng)配置圖；圖5顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在終端內(nèi)實現(xiàn)背景景物分離和合成，在服務(wù)器中提供背景景物搜索引擎的系統(tǒng)配置圖；圖6顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在終端內(nèi)實現(xiàn)背景景物分離，在服務(wù)器中提供背景景物合成和背景景物搜索引擎的系統(tǒng)配置圖；圖7是一個流程圖，說明了根據(jù)本發(fā)明的視頻通信系統(tǒng)的操作；圖8顯示的是應(yīng)用于根據(jù)本發(fā)明的視頻通信系統(tǒng)的面部區(qū)域提取過程；圖9到圖14顯示的是應(yīng)用于根據(jù)本發(fā)明的視頻通信系統(tǒng)的面部區(qū)域提取過程中，皮膚區(qū)域像素圖像的網(wǎng)格劃分和網(wǎng)格分組的圖像實例；圖15顯示的是應(yīng)用于根據(jù)本發(fā)明的視頻通信系統(tǒng)的面部區(qū)域提取過程中的相同顏色/紋理區(qū)域分離過程；圖16顯示的是在圖15的相同顏色/紋理區(qū)域分離過程中，所生成的分離區(qū)域圖像的實例；圖17是一個流程圖，顯示了根據(jù)圖4的實施例的視頻通信過程；
圖18顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在終端內(nèi)實現(xiàn)背景景物分離和合成以進行視頻郵件的系統(tǒng)配置；圖19顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在終端內(nèi)實現(xiàn)背景景物分離，在服務(wù)器中實現(xiàn)背景景物合成以進行視頻郵件的系統(tǒng)配置；圖20顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在服務(wù)器中實現(xiàn)背景景物分離和合成以進行視頻郵件的系統(tǒng)配置；圖21顯示的是作為本發(fā)明的一個應(yīng)用，在終端實現(xiàn)背景景物分離和合成的系統(tǒng)配置，用于提供背景景物的服務(wù)器為用戶提供了費用；圖22顯示的是作為本發(fā)明的另外一個應(yīng)用，在服務(wù)器實現(xiàn)背景景物分離和合成的系統(tǒng)配置，用于提供背景景物的服務(wù)器為用戶提供了費用。
優(yōu)選實施例詳細說明以下參照附圖對本發(fā)明進行描述，附圖中相同的標號指示相同的元件。
下面，將通過不同的實施例對本發(fā)明進行詳細的說明。
在本發(fā)明的視頻通信系統(tǒng)中，用于自動改變背景景物的技術(shù)具有兩個應(yīng)用一個是和對方進行包含話音的實時視頻通信；另一個是不僅進行圖像而且進行諸如文本的其它信息的傳輸。
作為前者的實例，有一個視頻通信領(lǐng)域，其中在進行視頻通信時，將背景景物改變成為廣告背景景物或者用戶所希望的不同背景景物。作為后者的實例，有一個視頻郵件領(lǐng)域，其中在將背景景物改變成為用戶所希望的不同背景景物并且進行包括消息添加等等的視頻郵件編輯之后傳送視頻郵件。這兩種情況都作為本發(fā)明的視頻通信系統(tǒng)。
圖1顯示的是在視頻通信中背景景物變化的概念圖。
參考附圖1，在從包含背景景物1a和目標區(qū)域1b的原始圖像中僅分離出目標區(qū)域1b之后，把所分離的目標區(qū)域與新的背景景物2進行合成，并且傳輸具有目標區(qū)域1b和新背景景物2a的合成圖像。
圖2顯示的是視頻郵件中背景景物變化的概念圖。
參考圖2，在從包含背景景物1a和目標區(qū)域1b的原始圖像中分離出目標區(qū)域1b之后，把所分離的目標區(qū)域與新的背景景物2進行合成，插入字符3，并且發(fā)送具有目標區(qū)域1b、新背景景物2a和字符3的合成圖像。
此處，使用指定的字符顯示方法插入字符3，包括插入位置、字符的字體和字號、固定字符或移動字符等等。
另一方面，對于視頻郵件的情況，沒有必要實時進行所需的改變背景景物的過程。然而，對于視頻通信的情況，由于為了提供上述的服務(wù)，需要實時地對背景景物進行分離和合成，所以必需提供一種有效的背景景物分離和合成方法。
從現(xiàn)在開始，首先，將詳細描述能夠提供對背景景物和對象進行實時分離和變化的通信服務(wù)的視頻無線通信系統(tǒng)，然后，將詳細描述基于對背景景物和對象的分離和合成的視頻郵件和其它應(yīng)用服務(wù)。
根據(jù)用于從圖像中分離背景和對象的裝置和對所分離對象和新背景景物進行合成的裝置的位置不同，本發(fā)明的視頻通信系統(tǒng)可以表現(xiàn)為不同的實施例。
圖3顯示的是一個實施例的配置圖，其中在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，背景景物分離裝置和背景景物合成裝置位于終端內(nèi)。
參考圖3，視頻通信大致包括用于實現(xiàn)視頻通信的終端4和用于提供服務(wù)的服務(wù)器5。
終端4包括背景分離單元6，用于在圖像中分離背景景物和對象；和背景景物合成單元7，用于將所分離的對象和新背景景物進行合成。背景分離單元6包括面部區(qū)域提取單元8，用于從圖像中提取面部區(qū)域；普通區(qū)域分離單元9，用于分離除面部區(qū)域之外的普通區(qū)域；區(qū)域合成單元10，用于使用所提取的面部區(qū)域?qū)Υ_定為人體區(qū)域的區(qū)域進行合成；以及區(qū)域跟蹤單元11，用于使用所提取的面部區(qū)域信息在下一個連續(xù)幀中對相關(guān)區(qū)域進行跟蹤。
另外，終端4還包括圖像編碼器12，用于對傳輸圖像信號進行編碼以進行通信；圖像解碼器13，用于對接收圖像信號進行解碼以進行通信；緩存器14，用于處理通信信號；以及通信設(shè)備15，用于根據(jù)通信協(xié)議對圖像信號進行發(fā)送和接收。
服務(wù)器5包括緩存器16，用于處理要用于通信的圖像信號和背景景物；背景景物數(shù)據(jù)庫17，用于存儲要提供給背景景物的圖像信息；通信設(shè)備18，用于根據(jù)預(yù)定的通信協(xié)議發(fā)送和接收圖像信號，以將存儲在背景景物數(shù)據(jù)庫中的圖像信息提供給終端。
在圖3中，終端4可以是安裝有PC攝像機的PC，可視電話等等。用于提供背景圖像的背景景物數(shù)據(jù)庫17可以放置在服務(wù)器5或者終端4中。
如果把數(shù)據(jù)庫17放置在服務(wù)器5中，則當把背景景物改變?yōu)橛脩羲Ｍ牟煌尘熬拔飼r，從服務(wù)器5接收所希望的不同背景景物。如果把數(shù)據(jù)庫17放置在終端4，則使用終端4中的背景圖像。
對于圖3中的視頻通信系統(tǒng)，所有的背景景物改變均在終端4處實現(xiàn)，并且對具有改變了的背景景物的圖像進行編碼和傳輸，以下會對其進行詳細描述。
面部區(qū)域提取單元8從要傳輸?shù)脑紙D像中提取面部區(qū)域。以下參考圖8對提取面部區(qū)域的方法進行詳細描述。普通區(qū)域分離單元9通過顏色/紋理信息識別并分離具有相似顏色和紋理的區(qū)域作為一個單獨的區(qū)域，并且將面部區(qū)域分離成為普通區(qū)域的一部分。
區(qū)域合成單元10對分離出的區(qū)域中參照從面部區(qū)域提取單元8中所提取的面部區(qū)域的位置而確定為人體區(qū)域的區(qū)域進行合成。例如，由于脖子、身體、手臂、腿通常位于面部的下面，所以當識別出面部區(qū)域時，能夠由已知的面部區(qū)域提取出確定為人體的區(qū)域。對于此類的提取，也附加使用運動信息。
當如上對起始的背景景物區(qū)域和確定為人體的區(qū)域進行分離時，能夠利用一種更為簡單的方法，通過使用所分離的人體區(qū)域是連續(xù)移動的假設(shè)，從下一幀連續(xù)的圖像中提取出人體區(qū)域。區(qū)域跟蹤單元11負責此功能。
具體的說，無需使用運動信息在下一幀中重新對背景景物進行分離，僅通過簡單的改變和擴展前面所提取的人體區(qū)域，就可以分離出背景景物。例如，當運動信息是朝向特定的方向時，通過在運動信息所指示的方向上檢查前一幀中具有和人體區(qū)域相同顏色信息的像素，并移動和擴展該區(qū)域，就可以實現(xiàn)相對簡單的背景景物分離。此方法也反映了人體區(qū)域的大小取決于攝像機和要攝像的人之間的距離。如上所述，背景景物分離單元6能夠?qū)Ρ尘熬拔锖蛯ο?人體)進行分離。
背景景物合成單元7對除人體區(qū)域之外的區(qū)域進行合成，即，用戶所希望的或者由服務(wù)器指定的背景景物。具體的說，服務(wù)器5通過緩存器16和通信設(shè)備18向用戶發(fā)送存儲在背景景物數(shù)據(jù)庫17中、并且由用戶選擇或者服務(wù)器指定的背景圖像，通過選擇所希望的背景圖像或者對由服務(wù)器指定的背景圖像進行合成，用戶能夠獲得具有不同背景景物的合成圖像。另一方面，如果在終端4中預(yù)先存儲了和背景景物相關(guān)的數(shù)據(jù)庫17，則用戶能夠無需進行背景圖像的發(fā)送處理，就可以方便和直接地選擇背景圖像。
由圖像編碼器12將使用背景景物合成的圖像編碼成為預(yù)定的格式，通過緩存器14和通信設(shè)備15發(fā)送到對方的終端。當終端4從對方接收到圖像時，由解碼器13對所接收的圖像進行解碼，并且顯示在屏幕上，從而實現(xiàn)視頻通信。
圖4顯示的是在根據(jù)本發(fā)明的視頻通信系統(tǒng)中，在終端實現(xiàn)背景景物分離，在服務(wù)器實現(xiàn)背景景物合成的系統(tǒng)配置。
參考圖4，把背景景物分離單元6放置在終端4，把背景景物合成單元22放置在服務(wù)器5。背景分離單元6包括面部區(qū)域提取單元8，普通區(qū)域分離單元9，區(qū)域合成單元10和面部跟蹤單元20。面部跟蹤單元20實現(xiàn)和圖3中的區(qū)域跟蹤單元相同的功能。
另外，終端4包括區(qū)域邊界描述單元19，用于描述所分離的背景景物與人體區(qū)域之間的邊界信息；圖像編碼器12；圖像解碼器13；緩存器14；以及通信設(shè)備15。
服務(wù)器5包括緩存器16，背景景物數(shù)據(jù)庫17，通信設(shè)備18，區(qū)域邊界分析單元21，用于對區(qū)域邊界描述單元19所提供的所分離背景景物與人體區(qū)域之間的邊界信息進行分析，背景景物合成單元22，用于使用邊界分析信息對背景景物進行合成，以及圖像編碼器23和圖像解碼器24，用于發(fā)送和接收使用新背景景物合成的圖像。
在圖4的視頻通信系統(tǒng)中，終端4僅實現(xiàn)背景景物分離，并且發(fā)送所分離的背景景物，和由區(qū)域邊界描述單元19所描述的分離背景景物的邊界區(qū)域。服務(wù)器5接收所分離的背景景物，對存儲在數(shù)據(jù)庫17中的背景圖像進行合成，然后將合成的背景圖像重新發(fā)送到終端4。以下對此操作進行更加詳細的描述。
如上參考圖3所述，背景景物分離單元6對背景景物區(qū)域和人體區(qū)域進行分離。此時，區(qū)域邊界描述單元19僅對所分離的人體區(qū)域和背景景物區(qū)域之間的邊界信息進行描述，通過圖像編碼器12、緩存器14和通信設(shè)備15，將區(qū)域邊界信息和人體區(qū)域的圖像信息一起發(fā)送到服務(wù)器5。
在服務(wù)器5，通過通信設(shè)備18和圖像解碼器24接收區(qū)域邊界信息和人體區(qū)域的圖像信息，區(qū)域邊界分析單元21通過對所接收的區(qū)域邊界信息進行分析，識別出人體區(qū)域和背景景物之間的邊界，而背景景物合成單元22對由用戶指定、存儲在數(shù)據(jù)庫中的背景圖像，或者由服務(wù)器指定的背景圖像進行選擇，并且使用人體區(qū)域的圖像信息對背景圖像進行合成。由圖像編碼器23對使用新背景景物(或者圖像)合成的圖像信號進行編碼，然后通過通信設(shè)備18進行傳輸。
對于表達圖4中所分離區(qū)域之間邊界的方法的實例，提出了下面兩種方法。
第一種方法是在對除人體區(qū)域之外的背景區(qū)域內(nèi)填充諸如“NULL”的像素值，使之和有意義的像素值有所區(qū)別之后，將其發(fā)送到服務(wù)器，服務(wù)器使用新背景景物的像素，對有意義的像素值之外的其它區(qū)域進行填充。由于能夠僅通過位操作符對背景景物進行合成，此方法允許進行快速的背景景物合成，同時由于能夠通過像素單元對邊界進行表達，也允許進行詳細的邊界描述。
第二種方法建立在可以使用多邊形對所分離的區(qū)域進行描述的假設(shè)下，其中所分離的區(qū)域由對應(yīng)于多邊形頂點的一系列點進行描述。和第一種方法相比，第二種方法具有這樣的優(yōu)點，即用于描述邊界區(qū)域的數(shù)據(jù)變得很小。然而，由于第二種方法將邊界區(qū)域描述為多邊形，而不是像素單元，很難描述邊界的詳細情況。另外，由于很難使用簡單的位操作符對背景景物進行合成，第二種方法需要很長的合成時間。
如上所述圖4中的視頻通信系統(tǒng)尤其適用于要作為背景景物的圖像的信息數(shù)量巨大的情況。換言之，圖3的視頻通信系統(tǒng)需要花費大量的時間將服務(wù)器上的相關(guān)背景圖像傳送到終端，以在終端實現(xiàn)背景景物合成，圖4中的視頻通信系統(tǒng)由于服務(wù)器能夠直接對背景景物進行合成，而無需將其傳送到終端，所以對于要作為背景景物的圖像的信息數(shù)量巨大的情況尤其有效。
圖5顯示的是安裝有基于內(nèi)容的背景景物搜索裝置的視頻通信系統(tǒng)的配置。
參考圖5，詳細的講，其顯示出終端包括背景景物分離單元和背景景物合成單元。換言之，終端4包括背景景物分離單元6，背景景物合成單元7，圖像編碼器12，圖像解碼器13，緩存器14和通信設(shè)備15，而背景景物分離單元6包括面部區(qū)域提取單元8，普通區(qū)域分離單元9，區(qū)域合成單元10和面部跟蹤單元20。
服務(wù)器5包括緩存器16，背景圖像數(shù)據(jù)庫17，通信設(shè)備18，背景景物搜索引擎25，和背景景物搜索界面26。
當用戶要使用所希望的不同背景景物進行通信或者發(fā)送視頻郵件的時候，背景景物搜索引擎25允許用戶通過基于內(nèi)容的搜索對背景景物進行搜索和使用。換言之，用戶能夠通過背景景物搜索界面26，通過使用基于內(nèi)容的背景景物搜索引擎25在背景圖像數(shù)據(jù)庫17中搜索他所希望的背景景物。
由于下面的原因，這一點是很有用的。即，當要編輯的背景景物是圖像或者運動圖像時，用戶能夠通過使用顏色、紋理屬性等，通過搜索相似的圖像或者運動運動圖像而指定他所希望的背景景物。
圖6顯示的是具有基于內(nèi)容的背景圖像搜索裝置的視頻通信系統(tǒng)的配置，即，安裝有背景景物搜索引擎25和背景景物搜索界面26。尤其是，終端4包括背景景物分離單元6和區(qū)域邊界描述單元19，而服務(wù)器5包括背景景物合成單元22和邊界區(qū)域分析單元21。
圖6中所示的視頻通信系統(tǒng)的操作和圖3和5中的一樣。
圖7顯示的是在本發(fā)明的視頻通信系統(tǒng)中，自動改變背景景物的視頻通信的流程圖，其包括下面的步驟圖像輸入，劃分背景景物，改變背景景物，圖像壓縮和傳輸。
在圖像輸入步驟S1，當開始進行視頻通信時，將要傳輸?shù)膱D像作為系統(tǒng)的輸入進行輸入。在背景景物分離步驟S2-S5中，根據(jù)下面的步驟進行所輸入圖像的背景景物分離。
首先，在面部區(qū)域提取步驟S2，通過使用顏色信息等對確定為面部的區(qū)域位置進行提取。下一步，在相同顏色/紋理區(qū)域分離步驟S3，對具有相似顏色和紋理的區(qū)域進行劃分。下一步，在區(qū)域合并步驟S4，通過使用具有相同運動的區(qū)域的信息和面部區(qū)域的位置，對確定為人體區(qū)域的區(qū)域進行合并(即合成)。下一步，在區(qū)域邊界細化步驟S5，對所合并區(qū)域中的邊界部分進行平滑以提高圖像質(zhì)量。
在背景景物改變步驟S6，將除所劃分的人體區(qū)域之外的其他區(qū)域改變?yōu)樾碌乃Ｍ谋尘熬拔?。下一步，在圖像壓縮步驟S7，進行壓縮編碼以傳輸具有新改變的背景景物的圖像。最后，在圖像傳輸步驟S8，傳輸壓縮圖像信號。
在如上所述的系列步驟中，可以將面部區(qū)域提取步驟S2和相同顏色/紋理區(qū)域劃分步驟S3在順序上進行顛倒。
圖8顯示的是圖7中面部區(qū)域提取步驟S2的實施例。
參考圖8，在提取面部區(qū)域(S1)之前提取皮膚顏色區(qū)域。即，在確定輸入圖像中各個像素的顏色是否對應(yīng)于皮膚顏色區(qū)域之后，僅把對應(yīng)于皮膚顏色的像素確定為面部區(qū)域候選像素。假設(shè)使用YCrCb顏色空間中的三個值表達給定像素的顏色，如果三個值Y、Cr、Cb滿足預(yù)定的值，則確定給定的像素是皮膚顏色區(qū)域。在圖9和圖10中顯示了僅表示皮膚顏色區(qū)域的實例。圖10顯示的是通過僅從圖9的原始圖像中提取對應(yīng)于面部的皮膚顏色而形成的圖像。此處，使用YCrCb顏色空間對顏色進行表達的原因是通過解碼MPEG文件獲得的顏色信息是YCrCb。
在圖8中，在下一步，進行皮膚區(qū)域像素圖像的網(wǎng)格劃分(S2)。在將僅具有皮膚顏色像素的圖像劃分為M×M個單元后，僅將具有高于預(yù)定閾值的皮膚顏色像素百分比的單元設(shè)定為“1”，此皮膚顏色像素百分比表示一個單元中皮膚顏色像素占據(jù)了多少，即(一個單元中的皮膚顏色像素數(shù)目)/(一個單元中像素的總數(shù))，而將其他的單元設(shè)定為“0”。在圖11中顯示的是由圖10中這樣進行網(wǎng)格劃分所形成的圖像實例。
在圖8中，在下一步，對連接在一起的網(wǎng)格進行分組(S3)。即，如果設(shè)定為“1”的網(wǎng)格彼此相鄰，則確定網(wǎng)格位于同一區(qū)域，并且分在一組。
此處，根據(jù)8方向或者4方向，確定網(wǎng)格是否彼此相鄰。4方向的意思如圖12所示，當網(wǎng)格在上、下、左和右方向相鄰，則確定他們彼此相鄰。8方向的意思除了圖12中的方向之外，還要考慮如圖13所示的對角線方向。在此實施例中使用8方向。
把這樣進行分組的網(wǎng)格認為是一個區(qū)域。在圖14中顯示的是圖11中網(wǎng)格區(qū)域分組的實例。如圖14所示，可以看出，把所生成的連接在一起的網(wǎng)格劃分為7個組。
在圖8中，在下一步，檢測候選面部區(qū)域(S4)。即，當把圖14中的網(wǎng)格分組后的候選面部區(qū)域當作一個區(qū)域后，僅留下通過使用區(qū)域的長寬比率等而確定為面部區(qū)域的候選者。確定候選者的一個實施例是如果面部候選區(qū)域中寬度像素和長度像素數(shù)目的比值在預(yù)定范圍之內(nèi)，則把候選區(qū)域確定為面部區(qū)域。
在圖8中，在下一步，進行面部區(qū)域的確認(S5)。通過使用預(yù)先準備的面部區(qū)域樣板，確定所提取的候選面部區(qū)域是面部區(qū)域。面部區(qū)域樣板是通過預(yù)先組合大量面部區(qū)域圖像而形成的面部區(qū)域特征，將其和實際的候選區(qū)域進行比較，然后如果面部區(qū)域樣板和實際候選區(qū)域之間的相似程度大于預(yù)定閾值，則確認是面部區(qū)域。
圖15解釋了圖7中用于劃分相同顏色/紋理區(qū)域的基于顏色的普通區(qū)域劃分方法。
參考圖15，首先，進行顏色空間劃分(S1)。尤其是，通過實驗，將YCrCb顏色空間劃分為N個子空間。這用于將任意的像素顏色映射到這N種顏色之一(顏色量化)。然后，輸入圖像(S2)，然后進行平滑處理以去除包含在輸入圖像中的噪聲，從而對相鄰的m個像素的值進行平均(S3)。下一步，將經(jīng)過平滑的圖像量化為顏色空間劃分步驟中形成的N種顏色(S4)，然后，當具有量化顏色值的像素彼此相鄰時，進行區(qū)域生成步驟以把像素看作是同一區(qū)域(S5)。
將在區(qū)域生成步驟S5中所生成的非常小面積的區(qū)域看作噪聲，使用可擴展的方式對具有和其他臨近區(qū)域相似顏色的區(qū)域進行合并(S6)。圖16顯示的是這樣生成的劃分區(qū)域圖像的實例。
圖17顯示的是根據(jù)圖4的實施例的視頻通信過程的流程圖。
在圖像輸入步驟S1，當開始進行視頻通信時，將要傳輸?shù)膱D像作為系統(tǒng)輸入而進行輸入。在背景景物劃分步驟S2-S5，根據(jù)下面的步驟實現(xiàn)所輸入圖像的背景景物劃分。
首先，在面部區(qū)域提取步驟S2，對使用顏色信息等確定為面部的區(qū)域位置進行提取。下一步，在相同顏色/紋理區(qū)域劃分步驟S3，對具有相似顏色和紋理的區(qū)域進行劃分。下一步，在區(qū)域合并步驟S4，通過使用具有相同運動的區(qū)域的信息和面部區(qū)域的位置，對確認為人體區(qū)域的區(qū)域進行合并(即合成)。下一步，在區(qū)域邊界細化步驟S5，對合并區(qū)域的邊界部分進行平滑，以防止由于邊界部分的粗糙而導(dǎo)致圖像質(zhì)量的品質(zhì)降低。
在下面的背景景物邊界區(qū)域描述步驟S6，對于人體區(qū)域和背景景物區(qū)域之間的邊界信息進行描述。下一步，在圖像壓縮步驟S7，進行壓縮編碼以傳輸通信圖像，例如，人體圖像和所劃分區(qū)域的邊界信息。在圖像傳輸步驟S8，對壓縮的圖像信號進行傳輸。
在圖像接收步驟S9，對人體區(qū)域和區(qū)域邊界信息進行接收和解碼。在邊界區(qū)域分析步驟S10，對所接收的邊界區(qū)域信息進行分析。在背景景物合成步驟S11，通過使用所分析的劃分區(qū)域邊界信息，使用新的背景景物和人體圖像進行合成。在壓縮步驟S12，對使用新的背景景物進行合成的圖像進行編碼，并且將具有新的背景景物的壓縮圖像傳送到接收側(cè)(S13)。
到現(xiàn)在為止，已經(jīng)對使用背景景物分離和合成的背景景物改變視頻通信系統(tǒng)進行了描述。下面，將對視頻郵件傳輸系統(tǒng)進行描述，以作為上述技術(shù)應(yīng)用的實例。
在視頻郵件傳輸系統(tǒng)中，用戶將消息記錄在圖像中，然后通過電子郵件傳輸圖像。在這個視頻郵件中，用戶能夠使用預(yù)定的背景景物對消息圖像進行編輯。本發(fā)明的背景景物分離和自動改變技術(shù)使得可以進行視頻郵件的編輯。當然，由于視頻郵件不需要像視頻通信環(huán)境中那樣實時改變背景景物，在接收到圖像之后，有足夠的時間對背景景物進行分離和合成。
因此，當把本發(fā)明應(yīng)用于視頻郵件傳輸系統(tǒng)中時，可以在終端同時提供背景景物分離裝置和背景景物合成裝置，或者在終端提供背景景物分離裝置，而在服務(wù)器提供背景景物合成裝置，或者在服務(wù)器同時提供背景景物分離裝置和背景景物合成裝置。
另外，在視頻郵件中，用戶能夠?qū)D像進行編輯，以在圖像中包含用戶設(shè)定的字符串。此時，用戶能夠設(shè)定字符的字體或者字號，或者能夠選擇圖像上顯示字符的位置，或者顯示字符的模式?？梢允棺址@示模式包含在固定位置進行字符顯示的效果，或者進行字符移動的效果。此字符串合成裝置可以安裝在終端中，也可以安裝在服務(wù)器上。
圖18顯示的是在終端中包含了背景景物分離裝置，背景景物合成裝置，和字符合成裝置與界面的情況。
參考圖18，終端4還包括用于準備視頻郵件的字符合成單元27，用于輸入字符的字符輸入界面28。通過使用字符輸入界面28，用戶對要進行傳輸?shù)男畔⑦M行準備和輸入，并且選擇信息的顯示位置，顯示格式等等。字符合成單元27對用戶輸入的字符進行合成。合成的字符和由背景景物合成單元7所合成的具有新的背景景物的用戶圖像一起轉(zhuǎn)換成為視頻郵件的格式，并且進行傳輸。盡管圖18中還有沒有進行描述的單元，但是它們具有和視頻通信系統(tǒng)中的單元相同的標號。因此，為了節(jié)減篇幅，省略了對背景景物和對象的分離與合成、背景景物搜索和發(fā)送/接收操作的描述。
圖19顯示的是終端包含背景景物分離裝置和區(qū)域邊界描述裝置，且服務(wù)器包含背景景物合成裝置、區(qū)域邊界分析裝置、字符合成單元和字符輸入界面的情況。
除了在圖19中服務(wù)器5包含用于準備視頻郵件的字符合成單元27和用于輸入字符的字符輸入界面28之外，圖19的結(jié)構(gòu)和圖18的結(jié)構(gòu)一樣。
圖20顯示的是服務(wù)器包含背景景物分離裝置、背景景物合成裝置、字符合成單元和字符輸入界面的情況。
參考圖20，除了服務(wù)器5包括背景景物分離裝置、背景景物合成裝置、字符合成裝置和字符輸入界面之外，圖20的結(jié)構(gòu)和圖18和19的結(jié)構(gòu)一樣。
圖21顯示的可以應(yīng)用本發(fā)明的視頻通信系統(tǒng)的實例。
參考圖21，可以看出，服務(wù)提供商在進行視頻通信時，可選地指定了背景景物，而用戶具有費用折扣等的優(yōu)惠。視頻通信廣義上包括視頻郵件系統(tǒng)。
尤其是，當終端29a和29b通過服務(wù)器30實現(xiàn)視頻通信時，服務(wù)提供商30a可選地設(shè)定了背景景物，為用戶提供了費用折扣等的優(yōu)惠作為背景景物指定的費用。標號31指的是網(wǎng)關(guān)。終端29a和29b分別包括圖像輸入單元32a和32b，背景景物分離和合成單元33a和33b，緩存器34a和34b等等。
圖22顯示的是可以應(yīng)用本發(fā)明的視頻通信系統(tǒng)的另外一個實例。
參考圖22，可以看出，服務(wù)提供商在進行視頻通信時，可選地指定了背景景物，而用戶具有費用折扣等的優(yōu)惠。視頻通信廣義上包括視頻郵件系統(tǒng)。
和圖21不同，在圖22中，終端29a和29b僅包括這些單元，例如，圖像輸入單元32a和32b，分別用于圖像信號的發(fā)送和接收，而服務(wù)器30包括背景景物分離和合成單元35和背景景物數(shù)據(jù)庫36。與背景景物改變有關(guān)的操作和上述的視頻通信系統(tǒng)相同。因此，為了節(jié)減篇幅，省略了對本操作的詳細描述。
對于圖21和22的視頻通信系統(tǒng)的情況，由服務(wù)提供商可選地選擇的背景圖像可以是廣告。當使用廣告作為背景圖像時，給出廣告效果的靜止圖像或者運動圖像可以作為背景圖像，或者使用插入給出廣告效果的對象圖像或者字符，僅對原始背景圖像的部分區(qū)域進行編輯。
本發(fā)明能夠利用用戶所希望的和實時自動改變的背景景物進行視頻通信。視頻通信可以包括電視電話和視頻郵件傳輸。
另外，由于可以選擇進行視頻通信或者視頻郵件傳輸時自動改變的背景景物作為服務(wù)器指定的背景圖像，根據(jù)服務(wù)提供商和用戶之間的協(xié)約，用戶能夠通過采用由服務(wù)提供商設(shè)定的背景的費用而節(jié)省通信費用。
根據(jù)本發(fā)明的視頻通信系統(tǒng)和控制方法，用戶能夠自由地設(shè)定所希望的背景景物與其他人進行對話。因此，可以更加可靠的保護個人的隱私。
盡管已經(jīng)說明性地對本發(fā)明的優(yōu)選實施例僅了描述，但是對于本領(lǐng)域的技術(shù)人員而言，在不偏離所附權(quán)利要求的范圍和宗旨的前提下，可以有各種修改、改進和替換。
權(quán)利要求
1.一種視頻通信系統(tǒng)，包括背景景物分離裝置，用于在發(fā)送/接收包括至少一幅圖像的數(shù)據(jù)的過程中分離圖像中要傳輸?shù)膶ο蠛统龑ο笾獾谋尘熬拔?；背景圖像數(shù)據(jù)庫，用于提供要取代所述背景景物而傳輸?shù)谋尘皥D像；背景圖像合成裝置，用于合成所分離的對象和從所述背景圖像數(shù)據(jù)庫中選擇的新背景圖像；以及圖像傳輸裝置，用于傳輸由分離的對象和新背景圖像合成的合成圖像。
2.根據(jù)權(quán)利要求1所述的視頻通信系統(tǒng)，還包括字符輸入和合成裝置，用于通過把字符插入到使用新背景圖像合成的合成圖像中而實現(xiàn)視頻郵件傳輸。
3.根據(jù)權(quán)利要求1所述的視頻通信系統(tǒng)，其特征在于，所述背景景物分離裝置包含在用于視頻通信的終端中，而所述的背景景物合成裝置包含在用于視頻通信服務(wù)的服務(wù)器中。
4.根據(jù)權(quán)利要求1所述的視頻通信系統(tǒng)，還包括搜索裝置，用于基于內(nèi)容搜索存儲在所述背景圖像數(shù)據(jù)庫中的背景圖像。
5.根據(jù)權(quán)利要求1所述的視頻通信系統(tǒng)，其特征在于，所述的背景景物分離裝置包括對象提取裝置，用于從圖像中提取要傳輸?shù)膶ο?；普通區(qū)域分離裝置，用于基于顏色或者紋理劃分相同顏色或紋理的區(qū)域；區(qū)域合成裝置，用于使用由所述對象提取裝置所提取的信息合成要確定為目標區(qū)域的區(qū)域；區(qū)域跟蹤裝置，用于對提取的對象進行跟蹤，以在下一幀中提取目標區(qū)域。
6.根據(jù)權(quán)利要求5所述的視頻通信系統(tǒng)，其特征在于，所述的對象提取裝置從圖像中提取人的面部區(qū)域，而所述的區(qū)域合成裝置利用所提取的人面部區(qū)域的位置合成要確定為人體區(qū)域的區(qū)域。
7.一種視頻通信系統(tǒng)，包括背景景物分離裝置，用于在發(fā)送/接收包括至少一幅圖像的數(shù)據(jù)的過程中分離圖像中要傳輸?shù)膶ο蠛统龑ο笾獾谋尘熬拔?；邊界區(qū)域描述裝置，用于描述所分離對象和背景景物之間的邊界區(qū)域；背景圖像數(shù)據(jù)庫，用于提供要取代所述分離背景景物而傳輸?shù)谋尘皥D像；背景圖像合成裝置，用于利用邊界區(qū)域描述信息合成所分離的對象和來自所述背景圖像數(shù)據(jù)庫的新背景圖像；以及圖像傳輸裝置，用于傳輸由分離的對象和新背景圖像合成的合成圖像。
8.根據(jù)權(quán)利要求7所述的視頻通信系統(tǒng)，其特征在于，在用于視頻通信的終端或者用于視頻通信服務(wù)的服務(wù)器中包含一個字符輸入和合成裝置，用于通過把字符插入到使用新背景圖像合成的合成圖像中而實現(xiàn)視頻郵件傳輸。
9.根據(jù)權(quán)利要求7所述的視頻通信系統(tǒng)，其特征在于，所述的背景景物分離裝置包含在用于視頻通信的終端中，而所述的背景景物合成裝置包含在用于視頻通信服務(wù)的服務(wù)器中。
10.根據(jù)權(quán)利要求7所述的視頻通信系統(tǒng)，還包括搜索裝置，用于基于內(nèi)容而搜索存儲在所述背景圖像數(shù)據(jù)庫中的背景圖像。
11.根據(jù)權(quán)利要求7所述的視頻通信系統(tǒng)，其特征在于，所述的背景景物分離裝置包括對象提取裝置，用于從圖像中提取要傳輸?shù)膶ο?；普通區(qū)域分離裝置，用于基于顏色或者紋理劃分相同顏色或紋理的區(qū)域；區(qū)域合成裝置，用于使用由所述對象提取裝置所提取的信息，合成要確定為目標區(qū)域的區(qū)域；以及區(qū)域跟蹤裝置，用于對提取的對象進行跟蹤，以在下一次提取目標區(qū)域。
12.根據(jù)權(quán)利要求11所述的視頻通信系統(tǒng)，其特征在于，所述的對象提取裝置從圖像中提取人的面部區(qū)域，而所述的區(qū)域合成裝置通過使用所提取的人面部區(qū)域的位置，合成要確定為人體區(qū)域的區(qū)域。
13.根據(jù)權(quán)利要求7所述的視頻通信系統(tǒng)，其特征在于，所述的邊界區(qū)域描述裝置保留對應(yīng)于目標區(qū)域的像素的原始信息，并為對應(yīng)于背景景物的像素賦以‘NULL’值。
14.根據(jù)權(quán)利要求7所述的視頻通信系統(tǒng)，其特征在于，所述的邊界區(qū)域描述裝置將目標區(qū)域的輪廓描述為多邊形，而將邊界信息描述為對應(yīng)于多邊形頂點的連續(xù)像素值。
15.一種視頻通信控制方法，包括如下步驟在要傳輸?shù)膱D像中分離出對象和背景景物；選擇要取代所分離的背景景物而傳輸?shù)谋尘熬拔?；合成所分離的對象和選擇的新背景；以及傳輸由分離的對象和新背景圖像所合成的合成圖像。
16.根據(jù)權(quán)利要求15所述的視頻通信控制方法，其特征在于，分離對象和背景景物后，描述邊界信息，并且使用邊界信息對新的背景景物和對象進行合成。
17.根據(jù)權(quán)利要求15所述的視頻通信控制方法，還包括在傳輸使用新背景圖像合成的對象圖像時，通過插入字符而輸入和合成字符信息以實現(xiàn)視頻郵件傳輸。
18.根據(jù)權(quán)利要求15所述的視頻通信控制方法，其特征在于，對象和背景景物的分離包括檢測人的面部區(qū)域和將人體區(qū)域和除人體區(qū)域之外的背景景物區(qū)域進行分離。
19.根據(jù)權(quán)利要求18所述的視頻通信控制方法，其特征在于，分離人體區(qū)域和背景景物區(qū)域的步驟包括如下步驟提取面部區(qū)域的位置；基于顏色或紋理，劃分相同顏色或紋理的區(qū)域；通過使用運動信息和面部位置信息，合成要確定為人體區(qū)域的區(qū)域；以及跟蹤所提取的面部區(qū)域位置，以在下次提取人體區(qū)域。
20.根據(jù)權(quán)利要求19所述的視頻通信控制方法，其特征在于，提取面部區(qū)域位置的步驟包括如下步驟從輸入的圖像中提取對應(yīng)于皮膚顏色區(qū)域的像素；對僅由對應(yīng)于皮膚顏色區(qū)域的像素形成的圖像進行網(wǎng)格劃分；將相連的網(wǎng)格歸組為一個區(qū)域；設(shè)定網(wǎng)格組中的候選面部區(qū)域；以及確認所設(shè)定候選面部區(qū)域中的面部區(qū)域。
21.根據(jù)權(quán)利要求20所述的視頻通信控制方法，其特征在于，設(shè)定候選面部區(qū)域的步驟包括如下步驟設(shè)定包含屬于一組的網(wǎng)格的最小四邊形作為一個區(qū)域；確定所設(shè)定四邊形的寬長比率是否在預(yù)定的范圍之內(nèi)；以及如果確定寬長比率在預(yù)定的范圍之內(nèi)，則設(shè)定候選面部區(qū)域。
22.根據(jù)權(quán)利要求20所述的視頻通信控制方法，其特征在于，確定候選面部區(qū)域的步驟包括如下步驟通過使用預(yù)先收集的面部區(qū)域圖像構(gòu)建面部樣板；將構(gòu)建的面部樣板與候選面部區(qū)域進行比較；以及作為比較結(jié)果，如果確定所構(gòu)建的面部樣板與候選面部區(qū)域之間的相似性大于一個預(yù)定閾值，則確認該候選面部區(qū)域為面部區(qū)域。
23.根據(jù)權(quán)利要求19所述的視頻通信控制方法，其特征在于，基于顏色或紋理劃分相同顏色或紋理區(qū)域的步驟包括將顏色空間劃分為N個子區(qū)域；對輸入的圖像進行平滑處理；通過將平滑處理圖像的像素值映射到所劃分的N種顏色之一而進行量化；將具有同一量化顏色值的相鄰像素歸組為一個區(qū)域；以及如果所分組的區(qū)域小于一個預(yù)定值，則以可擴展的方式對具有和其它鄰近區(qū)域的顏色相似的顏色的區(qū)域進行合并。
全文摘要
公布了一種視頻通信系統(tǒng)，該系統(tǒng)通過將背景景物自動改變成為不同的背景景物，而能夠很容易地獲得用戶所希望的背景景物。該系統(tǒng)包括背景景物分離裝置，用于在發(fā)送/接收包括至少一幅圖像的數(shù)據(jù)的過程中，分離圖像中要傳輸?shù)膶ο蠛蛯ο笾獾谋尘熬拔?；背景圖像數(shù)據(jù)庫，用于提供要取代背景景物而傳輸?shù)谋尘皥D像；背景圖像合成裝置，用于將分離的對象和從所述背景圖像數(shù)據(jù)庫中選擇的新背景圖像進行合成；圖像傳輸裝置，用于傳輸通過合成分離的對象和新背景圖像而形成的合成圖像。
文檔編號H04N7/14GK1411277SQ0214337
公開日2003年4月16日 申請日期2002年9月26日 優(yōu)先權(quán)日2001年9月26日
發(fā)明者李振秀, 李志銀 申請人:Lg電子株式會社