專利名稱：信息處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于配有攝象機和麥克風(fēng)并且通過傳輸線向/從其它信息處理系統(tǒng)的用戶轉(zhuǎn)送/接收圖象數(shù)據(jù)和聲音數(shù)據(jù)的信息處理系統(tǒng)。
眾所周知，通過通訊線路使用配有攝象機和麥克風(fēng)的信息處理系統(tǒng)例如使用圖象電話或計算機進行通訊來使信息處理系統(tǒng)傳送接收圖象數(shù)據(jù)和聲音數(shù)據(jù)。
使用該信息處理系統(tǒng)，不僅可以傳送聲音，而且談話的雙方可以看著對方的面部表情談話，進而也可以傳送諸如字符或照片的圖象，因而，它可以傳送和接收不僅只是聲音的大量數(shù)據(jù)，和由此可以進行詳細和深入的對話。
使用這樣的信息處理系統(tǒng)，傳送通訊雙方的圖象數(shù)據(jù)，而不考慮談話雙方的意圖，這樣涉及通訊的雙方在相互通訊之前，經(jīng)常需要進行與通訊無關(guān)的操作，諸如打扮面容和打掃環(huán)境等。
這樣喪失了通訊的簡捷，近而，和事先準(zhǔn)備交談的打電話人相比較，接收方由此存在著不能維持私人秘密的缺欠，這是因為接收方不能對交談做充分的準(zhǔn)備。
換句話說，使用通常的涉及聲音和圖象的數(shù)據(jù)通訊，用戶的容貌作為圖象數(shù)據(jù)直接傳送給對方，因此，如果有必要進行通訊而通訊的接收方又不顧意這樣做時，使接收方接收了精神上的苦惱。
如果接收方不得不這樣做，即剛醒就使用配有攝象機和麥克風(fēng)的信息處理系統(tǒng)進行通訊，這就是，如果如此，衣服，頭發(fā)或修飾打扮物和環(huán)境和類似物是亂糟糟的，以致使接收方認(rèn)為對方形象是失禮的，或者，如果接收方特別累和表情看來很陰郁，接收方可能迫使拒絕向?qū)Ψ桨l(fā)送已被攝象機拍下的接收方的圖象數(shù)據(jù)，和這樣拒絕傳送圖象數(shù)據(jù)。
為了這樣保護通訊接收方起碼的隱私，停止圖象傳送數(shù)據(jù)，僅執(zhí)行聲音數(shù)據(jù)的通訊傳送。這樣使用圖象和聲音的信息通訊的服務(wù)就不能得到有效的利用。
近而，如果突然要求打電話方傳送信息，然后，甚至接收方可以決定制止伴有傳送圖象的有效的通訊，除非接收方已經(jīng)安排好使自己不在對方呈現(xiàn)失禮，和已經(jīng)收拾了環(huán)境，這樣用到最后，可能通常只使用傳遞聲音的電話或電傳機在處理事物。
本發(fā)明的目的是提供這樣的圖象處理系統(tǒng)，當(dāng)圖象數(shù)據(jù)和聲音數(shù)據(jù)使用配有攝象機和麥克風(fēng)的信息處理系統(tǒng)進行傳送和接收時，談話可能使用圖象和聲音而沒有傳送方不希望傳送的圖象數(shù)據(jù)。
為了解決上述的問題，在本說明書中所示出的主要發(fā)明之一是一信息處理系統(tǒng)，用于通過傳輸線向/從其它信息處理系統(tǒng)的用戶傳送/接收信息，該系統(tǒng)包括一攝象機，用于獲得用戶的圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；一處理圖象數(shù)據(jù)的裝置，用于獲得除用戶臉以外的部分的不同的圖象數(shù)據(jù)；一傳送處理過的圖象數(shù)據(jù)和獲得的聲音數(shù)據(jù)到另一信息處理系統(tǒng)的裝置。在構(gòu)圖中，在面部以外的部分對應(yīng)著在脖子以下的背景，衣服，頭發(fā)部分或類似的部分。
近而，在本說明書中公開的一主要結(jié)構(gòu)是一通過一傳輸線向/從另一信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶表情的一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；改變一圖象數(shù)據(jù)為另一個圖象數(shù)據(jù)或把一圖象數(shù)據(jù)和另一圖象數(shù)據(jù)綜合的裝置；把改變后或綜合后的圖象數(shù)據(jù)和聲音數(shù)據(jù)傳送給另一信息處理系統(tǒng)的裝置。
近而，公開在本說明書中的一重要結(jié)構(gòu)是一通過一傳輸線向/從另一信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶表情的一圖象數(shù)據(jù)和表示用戶嘴運動的另一個圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶聲音數(shù)據(jù)；用于事先存儲一圖象數(shù)據(jù)的裝置；用于綜合已存儲的一圖象數(shù)據(jù)和另一圖象數(shù)據(jù)的裝置，用于傳送綜合的圖象數(shù)據(jù)和聲音數(shù)據(jù)到另一個信息處理系統(tǒng)的裝置。
近而，在本說明書中公開的一個重要結(jié)構(gòu)是通過一傳輸線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的一圖象數(shù)據(jù)，和表示用戶嘴運動的另一圖象數(shù)據(jù)，一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)，用于事先存儲一圖象數(shù)據(jù)的裝置，通過處理存儲的第一個圖象數(shù)據(jù)以檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度改變存儲的一圖象數(shù)據(jù)以綜合圖象數(shù)據(jù)的裝置，其中，通過把存儲的一圖象數(shù)據(jù)和另一個圖象數(shù)據(jù)綜合在一起而獲得綜合的圖象數(shù)據(jù)，用于傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和綜合的圖象數(shù)據(jù)中的一個到另一個信息處理系統(tǒng)的裝置。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過一個傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的一圖象數(shù)據(jù)和表示用戶嘴部運動的另一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于預(yù)先存儲一圖象數(shù)據(jù)的裝置；通過處理存儲的一圖象數(shù)據(jù)檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度改變存儲的一圖象數(shù)據(jù)以綜合圖象數(shù)據(jù)的裝置；其中，把存儲的一圖象數(shù)據(jù)和另一個圖象數(shù)據(jù)進行綜合獲得綜合的圖象數(shù)據(jù)；傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和綜合的圖象數(shù)據(jù)中的一個到另外的信息處理系統(tǒng)的裝置，其中，通過測量，結(jié)合一個圖象的用戶每單位時間眨眼的次數(shù)，和把用戶眨眼的次數(shù)和事先測量的用于表示用戶每單位時間眨眼參考值的參考眨眼值加以比較來獲得用戶的疲勞程度。
近而，在本公開說明書中公開的一個重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的一圖象數(shù)據(jù)和表示用戶嘴部運動的另一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于事先存儲一圖象數(shù)據(jù)的裝置；通過處理存儲的一圖象數(shù)據(jù)檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度而改變存儲的一圖象數(shù)據(jù)以綜合圖象數(shù)據(jù)的裝置，其中，通過把存儲的一圖象數(shù)據(jù)和另一個圖象數(shù)據(jù)相綜合而獲得綜合的圖象數(shù)據(jù)；傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和綜合的圖象數(shù)據(jù)中的一個到另一個信息處理系統(tǒng)的裝置，其中，通過測量用戶每單位時間眨眼的次數(shù)，結(jié)合一圖象數(shù)據(jù)識別該用戶，結(jié)合識別參考用戶的參考值，把用戶的眨眼值和用戶的參考眨眼值加以比較，獲得用戶的疲勞程度，參考眨眼值表示事先測量的用戶每單元時間參考眨眼的次數(shù)。
近而，在本公開說明書中公開的一個重要結(jié)構(gòu)是，通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的一圖象數(shù)據(jù)和表示用戶嘴部運動的另一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于事先存儲一圖象數(shù)據(jù)的裝置；通過處理存儲的一圖象數(shù)據(jù)檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度改變存儲的一圖象數(shù)據(jù)用以綜合圖象數(shù)據(jù)的裝置，其中，把存儲的一圖象數(shù)據(jù)與其它的圖象數(shù)據(jù)相綜合而獲得綜合的圖象數(shù)據(jù)；傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和綜合圖象數(shù)據(jù)中的一個到其它信息處理系統(tǒng)的裝置，其中，測量用戶每分鐘眨眼的次數(shù)和用ID數(shù)識別用戶，根據(jù)識別引用用戶的參考眨眼值，把用戶的眨眼值和用戶的參考眨眼值相比較而獲得用戶的疲勞程度，該參考眨眼值表示了預(yù)先測的用戶每單位時間眨眼的參考次數(shù)。
為了精心制作，本說明書中公開的重要發(fā)明之一是配有攝攝象機和麥克風(fēng)的信息處理系統(tǒng)(例如連接到傳輸線上的個人計算機和電視電話)，其中用戶眨眼的次數(shù)是從攝象機照取的圖象數(shù)據(jù)中獲得的，使用內(nèi)部的定時電路通過計算每單位時間的眨眼的次數(shù)估測用戶的疲勞程度；如果該值超過了特定的固定值，不傳送用戶的真實圖象數(shù)據(jù)而傳送組合用戶嘴的運動和事先攝取并存儲的圖象數(shù)據(jù)的組合的圖象數(shù)據(jù)。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的圖象數(shù)據(jù)和表示用戶嘴部運動的另一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于事先存儲一圖象數(shù)據(jù)的裝置；通過處理存儲的一圖象數(shù)據(jù)檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度改變存儲的一圖象數(shù)據(jù)用以綜合圖象數(shù)據(jù)的裝置，其中，把存儲的一圖象數(shù)據(jù)與其它的圖象數(shù)據(jù)相綜合而獲得綜合的圖象數(shù)據(jù)；傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和綜合圖象數(shù)據(jù)中的一個到另一個信息處理系統(tǒng)的裝置，其中，測量結(jié)合一圖象數(shù)據(jù)中的用戶眼球的毛細血管跳動程度(bloodshotdegree)獲得用戶的疲勞程度。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的圖象數(shù)據(jù)和表示用戶嘴部運動的另一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于事先存儲一圖象數(shù)據(jù)的裝置；通過處理存儲的一圖象數(shù)據(jù)檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度改變存儲的一圖象數(shù)據(jù)用以綜合圖象數(shù)據(jù)的裝置，其中，把存儲的一圖象數(shù)據(jù)與其它的圖象數(shù)據(jù)相綜合而獲得綜合的圖象數(shù)據(jù)；傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和縮綜合圖象數(shù)據(jù)中的一個到另一個信息處理系統(tǒng)的裝置，其中，通過測量用戶眼球當(dāng)前毛細血管跳動程度和結(jié)合一圖象數(shù)據(jù)識別用戶，根據(jù)識別引用具有參考(眼球)血管程度的參考圖象數(shù)據(jù)，比較用戶眼球當(dāng)前毛細血管跳動程度和參考毛細血管跳動程度而獲得用戶的疲勞程度。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得表示用戶面部表情的圖象數(shù)據(jù)和表示用戶嘴部運動的另一圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于事先存儲一圖象數(shù)據(jù)的裝置；通過處理存儲的一圖象數(shù)據(jù)檢測用戶的疲勞程度和根據(jù)用戶的疲勞程度改變存儲的一圖象數(shù)據(jù)用以綜合圖象數(shù)據(jù)的裝置，其中，把存儲的一圖象數(shù)據(jù)和與其它的圖象數(shù)據(jù)相綜合而獲得綜合的圖象數(shù)據(jù)；傳送聲音數(shù)據(jù)和存儲的一圖象數(shù)據(jù)和綜合的圖象數(shù)據(jù)中的一個到另一個信息處理系統(tǒng)的裝置，其中，通過測量用戶眼球的當(dāng)前毛細血管跳動和用ID數(shù)識別用戶，根據(jù)識別引用其有參考毛細血管跳動程度的參考圖象數(shù)據(jù)，和把用戶眼球當(dāng)前毛細血管跳動程度與參考毛細血管跳動程度相比較而獲得用戶的疲勞程度。
換句話說，在本說明書中公開的重要的發(fā)明之一是配有攝象機和麥克風(fēng)的信息處理系統(tǒng)，其中，通過從由攝象機攝取的圖象數(shù)據(jù)獲得的用戶眼球的毛細血管跳動程度而估測用戶的 勞程度，其中，如果該值超過了特定的固定的值，不傳送用戶的真實圖象，而傳送組合用戶嘴部運動和事先攝取并存儲的圖象數(shù)據(jù)。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得包括背景數(shù)據(jù)在內(nèi)的用戶的圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于存儲所希望的背景數(shù)據(jù)的裝置，用于通過圖象處理改變背景數(shù)據(jù)為所希望的背景數(shù)據(jù)的裝置；和用于傳送處理的圖象數(shù)據(jù)和聲音數(shù)據(jù)到另外的信息處理系統(tǒng)的裝置。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，有于獲得包括用戶面部在內(nèi)的圖象數(shù)據(jù)；麥克風(fēng)，用于獲得用戶聲音數(shù)據(jù)；通過圖象處理補足包括在圖象數(shù)據(jù)在內(nèi)的用戶的面部的裝置；傳送處理后的圖象數(shù)據(jù)和聲音數(shù)據(jù)到另一個信息處理系統(tǒng)的裝置。
近而，在本說明書中公開的一重要結(jié)構(gòu)是通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息的一信息處理系統(tǒng)，該系統(tǒng)包括，一攝象機，用于獲得包括面部數(shù)據(jù)和背景數(shù)據(jù)的用戶的圖象數(shù)據(jù)；一麥克風(fēng)，用于獲得用戶的聲音數(shù)據(jù)；用于存儲所希望的背景數(shù)據(jù)的裝置，用于通過圖象處理補足圖象數(shù)據(jù)的面部數(shù)據(jù)和改變背景數(shù)據(jù)以獲得所希望的背景數(shù)據(jù)的裝置，和用于傳送處理的圖象數(shù)據(jù)和聲音數(shù)據(jù)到另一個信息處理系統(tǒng)的裝置。
換句話說，在本說明書公開的另一個重要發(fā)明是一個配有攝象機和麥克風(fēng)的圖象處理系統(tǒng)，其中，通過用戶的選取可以任意地改變背景，和要被傳送到另一信息處理系統(tǒng)的用戶的背景的圖象數(shù)據(jù)。


圖1給出了配有攝象機和麥克風(fēng)并執(zhí)行圖象處理的信息處理系統(tǒng)的方框圖；圖2給出了在圖象處理中進行模式匹配的原理；圖3給出了一信息處理系統(tǒng)的外部結(jié)構(gòu)的一實例；圖4至6給出了圖象處理的流程圖；圖1給出了本實施例的信息處理系統(tǒng)的一方框圖，和圖3給出了該信息處理系統(tǒng)的外部的結(jié)構(gòu)，這是一個配有CCD(電耦合器件)攝象機和麥克風(fēng)的PC(個人計算機)或WS工作站的實例。
本實施例的信息處理系統(tǒng)包括一微處理單元(MPU)101，主存儲器102，存儲器控制器103，視頻隨機存儲器(VRAM)104，多路器105，數(shù)字信號處理器(DSP)106，CCD攝象機107，A/D轉(zhuǎn)換器108，麥克風(fēng)109，線大規(guī)模集成(LSI)單元110，揚聲器111，D/A轉(zhuǎn)換器112，顯示單元113，顯示單元控制器114，鍵盤115，點入設(shè)備控制器118，閃爍(flash)存儲器119，硬盤120和硬盤控制器121。
MPU101控制著整個系統(tǒng)，例如控制存儲器控制器103，線LSI單元110和類似的部件。
主存儲器102用來處理表示用戶面容或類似內(nèi)容的由CCD攝象機117攝取的圖象數(shù)據(jù)，這就是說，圖象處理由MPU 101在主存儲器中執(zhí)行以檢測包括在圖象數(shù)據(jù)內(nèi)的用戶表情的疲勞程度。存儲器控制器103對VRAM104執(zhí)行刷新操作和讀寫操作控制并且經(jīng)過直接存儲器存取(DMA)傳送把存在VRAM 104中的數(shù)據(jù)傳送到主存儲器102。在VRAM 104中存儲用戶的圖象數(shù)據(jù)和聲音數(shù)據(jù)。
多路器105選取由CCD攝象機107獲取的圖象數(shù)據(jù)或由麥克風(fēng)獲得的聲音數(shù)據(jù)。
CCD攝象機107獲得用戶的圖象數(shù)據(jù)，使用數(shù)字信號處理機106把獲得的圖象數(shù)據(jù)二進制化，然后把該數(shù)據(jù)存入到VRAM 104中。
麥克風(fēng)109獲得用戶的聲音作為音頻信號。A/D傳換器108數(shù)字化該音頻信號，通過多路分配器105把聲音數(shù)據(jù)存儲在VRAM 104中。
線LSI單元110作為外線的接口運行和使用由外線協(xié)議確定的包格式通過DMA傳送把圖象數(shù)據(jù)和聲音數(shù)據(jù)傳送到目的地。同樣，單元110從目的地接收另一個用戶圖象和聲音數(shù)據(jù)。
在本實施例中，使用聯(lián)接到PC或WS的智能選取板或啞選取板，就有可能從PS或WS的CPU(中央處理單元)直接控制外部電路。
揚聲器111通過D/A轉(zhuǎn)換器112主要輸出從另一個信息處理系統(tǒng)傳送的另一個用戶的聲音數(shù)據(jù)，以再產(chǎn)生作為另一個用戶的被傳送用戶的聲音。
在顯示單元控制器114的控制下，顯示單元113主要顯示從另一信息處理系統(tǒng)傳送的另一用戶的圖象數(shù)據(jù)。
在鍵盤控制器116的控制下使用鍵盤115以進行鍵輸入控制和用來輸入諸如用戶ID信息的各種信息。
點入器件117包括鼠標(biāo)，球或類似物和在點入裝置控制器118的控制下。
在這樣的信息處理系統(tǒng)中，如果需要，對由CCD攝象機107獲得的圖象數(shù)據(jù)進行圖象處理和然后再傳送到其它的圖象處理系統(tǒng)。
結(jié)合圖4至6描述信息處理系統(tǒng)的操作。
為了準(zhǔn)備和另一信息處理系統(tǒng)的用戶進行通訊，事先在本系統(tǒng)獲得表示用戶面容和類似物的圖象數(shù)據(jù)。這就是由CCD攝象機107獲得的用戶的圖象數(shù)據(jù)(初始圖象數(shù)據(jù))(步A1)。數(shù)字信號處理器106對所獲得的圖象數(shù)據(jù)(視頻信號)進行二進制化和然后存儲在VRAM104中(步A3)，同樣，與此同時，使用麥克風(fēng)109獲得用戶的聲音數(shù)據(jù)(初始聲音數(shù)據(jù))，使用A/D轉(zhuǎn)換器對所獲得的聲音數(shù)據(jù)(模擬信號)進行數(shù)字化處理和然后把它們存入VRAM 104(步A3)。
當(dāng)另一信息處理系統(tǒng)的另一個用戶要求通訊時，通過如下的操作傳送本系統(tǒng)的用戶或類似物的圖象數(shù)據(jù)。
首先，在所希望的時間間隔，使用CCD攝象機107獲得大量用戶的當(dāng)前的圖象數(shù)據(jù)(步B1)，該數(shù)據(jù)然后通過數(shù)字信號處理器106和多路器105被存入VRAM 104。如下的過程由事先存儲的圖象處理程序執(zhí)行。這就是，在步B2，從所獲得的當(dāng)前圖象數(shù)據(jù)中取出用戶的人眼部分。
在步B3確定是否檢測出取出的人眼部分的邊緣。如果檢測出邊緣部分，就可以確定眼睛閉合了，這就是，眨眼了，對每一個取出的人眼部分執(zhí)行判定和對用戶眨眼的次數(shù)進行計數(shù)(步B4)。
在步5確定在步B4計數(shù)的計數(shù)值是否大于或等于所希望的值，即，確定是否在所期望的的時間內(nèi)用戶眨眼的次數(shù)不少于眨眼的期望值。這是基于這樣一個事實，眨眼的次數(shù)作為表示人類疲勞程度的參數(shù)和隨著疲勞程度的增加眨眼的次數(shù)增加。
在步B5，當(dāng)計數(shù)值是大于或等于期望值時，可以確定用戶是疲勞了。因此，在步A3事先存儲的用戶的初始圖象數(shù)據(jù)從VRAM 104中讀出，綜合當(dāng)前的圖象數(shù)據(jù)和初始的圖象數(shù)據(jù)(步B6)，綜合成的圖象數(shù)據(jù)通過線LSI單元110傳送到另一信息處理系統(tǒng)的目的地(步B7)。
另一方面，在步B5，當(dāng)計數(shù)值少于被期望值時，就可以確定用戶沒有疲勞，這樣，當(dāng)前的圖象數(shù)據(jù)通過線LSI單元110傳送到另一信息處理系統(tǒng)的目的地而無需圖象合成(步B8)。
上述的圖象處理是使用MPU 101在主存儲器102中執(zhí)行的，在這時，在所期望的時間內(nèi)用戶眨眼的次數(shù)是由MPU 101加以計算，然后，當(dāng)眨眼的次數(shù)不少于期望值時，事先存儲在硬盤120，閃爍存儲器119或類似存儲器內(nèi)的用戶的圖象與用戶當(dāng)前圖象的嘴部分進行合成。合成的圖象使用線LSI單元110進行DMA傳送，這樣傳送圖象數(shù)據(jù)到傳輸線。這樣就可能傳送的圖象數(shù)據(jù)仿佛用戶使用事先存儲的衣著和背景在說話。
除了使用眨眼次數(shù)作為表示疲勞程度的參數(shù)外，還可以使用毛細血管跳動程度，在這種情況下，例如，可在本系統(tǒng)執(zhí)行下列的過程。
首先，在期望的時間間隔內(nèi)使用CCD攝象機107獲得大量的用戶的當(dāng)前圖象數(shù)據(jù)(步C1)和該數(shù)據(jù)通過數(shù)字信號處理器106和多路器105存入VRAM 104，按照事先存入的圖象處理程度執(zhí)行下述過程。即，在步C2，從獲得當(dāng)前圖象數(shù)據(jù)中取出用戶的人眼部分。
在步C3，毛細血管跳動部分被從取出的人眼部分檢測，由于血管跳動部分是紅色，當(dāng)一部分的紅色程度比所期望的水平大時，就可以確定該部分是血管跳動部分，和該部分作為毛細血管跳動部分被檢測，近而，測量血管跳動部分到人眼部分的面積比率被測量(步C4)。面積比率作為確定用戶毛細血管跳動程度的指數(shù)。
在步驟C5，可以確定血管跳動部分的面積比率大于或等于一期望值，當(dāng)毛細血管部分的面積比率不小于該期望值時，可以確定用戶疲勞了。這樣，在步A3事先存儲的用戶的初始圖象數(shù)據(jù)從VRAM中讀出，和當(dāng)前的數(shù)據(jù)與初始的數(shù)據(jù)進行合成(步B6)。合成的數(shù)據(jù)通過線LSI單元110傳送到另一信息處理系統(tǒng)的目的地(步B7)。
另一方面，在步B5，當(dāng)毛細血管部分的面積比率小于期望的值時，就可以確定用戶沒有疲勞，因此可以確定，當(dāng)前的圖象數(shù)據(jù)通過線LSI單元110傳送到另一個信息處理系統(tǒng)的目的地而無需圖象合成(步B8)。
因此就可能傳送圖象數(shù)據(jù)仿佛用戶用事先存儲的衣服和背影在通話。
合成不僅僅是對嘴而且對整個面容均是有效的，包括眼和皮膚的運動，同樣，可以傳送給另一方?jīng)]有疲勞表示的但是用嘴的當(dāng)前運動和健康，高興表情的合成，或涉及人眼和皮膚運動的表情，例如，以此在通訊中呈現(xiàn)愉快的感覺。
通過比較獲得的圖象和存儲的圖象來執(zhí)行用戶的識別，也可以把用戶的ID提供給被輸入的每個用戶來執(zhí)行。
如上所述，根據(jù)用戶的狀態(tài)，改變由攝象機獲得的圖象進入到用戶事先使用該系統(tǒng)獲得的圖象，合成這些圖象以形成要被傳送的用戶的圖象，這就可能避免傳送用戶不希望傳送的圖象和傳送用戶清楚的表情到對方，這就使保持隱私和傳送不失禮的圖象到對方成為可能。
現(xiàn)描述相關(guān)于圖象處理的基本方法。
通過二進制化圖象處理儀把輸入圖象轉(zhuǎn)化為二進制圖象。如果亮度是一固定值(閾值)或更多的話，二進制化設(shè)置為1，否則設(shè)置為0。該閾值能由下述的方法加以確定。
(1)在固定閾值中，閾值是事先確定的，如果圖象的變化較小和圖象具有至少有效的對比度時，可以使用該方法。
(2)如果在圖象內(nèi)的″1″部分的比率事先知道為P瓦(P tile)方法是有效的，通常，取亮度的直方圖，如此設(shè)定亮度的閾值，使得累計分布是P的百分?jǐn)?shù)，甚至直方圖事先并不產(chǎn)生，獲得閾值仍然是可能的，即通過使用適當(dāng)?shù)拈撝刀M制化，由重復(fù)地獲得″1″的比率，該閾值給出近似的P百分比。
(3)在一種模式方法中，如果亮度直方圖是雙峰的，取出凹點亮度值作為閾值，當(dāng)固定的閾值不適合整個圖象時，這時存在著變化的閾值方法，但圖象被分為區(qū)域，通過模方法為所化分的區(qū)域確定不同的閾值。
(4)在浮動二進制化和移動平均閾值法中，如果亮度信號的幅度是減弱的和延遲信號被設(shè)置作為閾值，這就可能檢測出突然的亮度變化。還有被使用的類似的方法是移動平均方法，在該方法中一固定時間間隔的平均亮度被設(shè)置為閾值。
圖2給出了模型匹配的原理和用此檢測特定模型的位置，目標(biāo)圖象被完成為二進制圖象，要被檢測的區(qū)域置為1。該區(qū)域設(shè)置在圖象的合適的位置，在失配檢測塊10內(nèi)檢測目標(biāo)圖象的重疊度，在位置設(shè)置塊11中設(shè)置大量位置，如果在位置中檢測出重疊，在計算塊12中執(zhí)行計算，在最小值檢測塊13中檢測計算值。當(dāng)重疊是最大時獲得模型的位置和失配度是小的，如果失配度在任何位置都不小，那么這樣的模型被認(rèn)為不存在。
如果目標(biāo)的兩維模型不是恒定的，簡單的模型匹配不是有效的，必須從圖象中取出各類特征，并且基于它們的組合做出判決，從圖象的一部分獲得的一特征稱為一局部特征，而隨后的處理經(jīng)常依此而執(zhí)行。
為了獲得圖象示出的內(nèi)容，這就需要從圖象中提取特征，產(chǎn)生目標(biāo)的描述和并將此和事先形成的模型加以匹配。特征包括點，線和區(qū)域和層數(shù)。即，特征僅能從一小局部區(qū)域中取出，或者他們能反射較大區(qū)域的狀態(tài)，近而，特征能以層的方式加以表示，使得點結(jié)合在一起形成線，并且可以獲得由線包圍的區(qū)域，對于每一個特征，哪一層適合取決于目的?？臻g微分經(jīng)常用來從分級圖象或是具有不同亮度的兩區(qū)域之間的邊界部分的邊緣執(zhí)行提取。為了獲得特定點和其方向上的亮度差，應(yīng)當(dāng)計算亮度f(x，y)的梯度，如果f(x，y)是連續(xù)的圖象，[f(x，y)]的梯度是由公式(1)表示的兩維矢量。grad[f(x，y)]＝(f(x，y)/x，f(x，y)/y) (1)
如果絕對值是大的，這是邊緣和取出垂直方向作為梯度。如果線的寬度大到一定程度，和如果方向具有兩個相反的梯度，這時取出的是線的邊界。近而，如果線的寬度是小的，可以使用拉普拉斯公式(2)Δ2f(x，y)＝2f(x，y)/x2+2f(x，y)/y2(2)如果拉普拉斯算子的值是大的，該點較其余的部分暗，如果它是負(fù)的，那末它比其余的部分亮。
為了通過連接邊緣或線元素取出一單根線，諸線元素可被獲得，圖象被分為4×4象素的小區(qū)域，從在每一個小區(qū)域的邊緣點(邊緣元素)中取出的最大的微分值被保留和取消其它的值。通過檢測到每個邊緣點鄰近的亮度可以獲得邊緣的方向。如果在相鄰的小的區(qū)域內(nèi)的邊緣方向是近似地相同，兩個邊緣點接合在一起，那些完全互不連接的點被視為噪音并且被消去。在該過程的每一級，僅使用圖象的鄰域，每一個點的近一步處理完全獨立于其它點的處理，這樣的處理被視為局部處理，這就可能執(zhí)行對每個點的平行處理。
為了通過局部處理多次而檢測一線，這里存在著如下所述使用概率的方法，首先，通過檢測邊緣點獲得該邊緣點的強度(微分的絕對值)和方向，根據(jù)邊緣點的強度確定在一條線上的每一個邊緣點的概率的初始值，其次，使用鄰近邊緣點的強度和方向改變每一個邊緣點的概率。如果特定的邊緣點和鄰近不同的邊緣點有相同的方向，該邊緣點的概率被增加，如果方向很不相同，概率減小。執(zhí)行這樣的校正多次，消去逐漸噪音，在一線上的邊緣點的概率接近為1。該過程被視為逐次近似法。
在參數(shù)空間方法中，用ρ＝xcosθ+ysinθ表示直線，如果產(chǎn)生邊界點的坐標(biāo)(xi，yi)轉(zhuǎn)移到θ-ρ平面，在該平面一曲線被獲得，該曲線為ρ＝xicosθ+yisinθ。如果在一幕中的所有邊界點均被轉(zhuǎn)換了，在同一直線上的所有點均通過θ-ρ平面的一點。這樣，如果獲得了大量曲線通過的點(θo，ρo)，就可以得到直線方程，如果知道邊界點的方向，可以從相對ρ的直方圖中確定該直線，參數(shù)方法要求產(chǎn)生具有和未知參數(shù)數(shù)目相同維數(shù)的直方圖，因而應(yīng)用到曲線很困難，如果這里對曲線方程內(nèi)的參數(shù)做確定的限制，和參數(shù)空間的維數(shù)可以減小到2或更小，該方法還是有效的。
應(yīng)用跟蹤法可以獲得一般的曲線，跟蹤法是一個過程，借此產(chǎn)生的線連接邊緣點。需要下述過程執(zhí)行跟蹤。
(1)檢測跟蹤開始點。
(2)估測相鄰點的位置和在一些情況下該點的方向。
(3)根據(jù)該估測檢測邊緣點。
(4)確定是否連續(xù)跟蹤或結(jié)束跟蹤。
和局部處理相反，跟蹤涉及依次連續(xù)的過程。因此如果一單獨邊緣點要被檢測，該過程取決于前一過程的結(jié)果。因此，獲得的結(jié)果將是不同的，這完全取決于在圖象中從那兒處理開始。然而，使用依次處理，通過使用先前有效獲得的信息能有效地執(zhí)行處理是可能的。
取出一致區(qū)域的方法被視為區(qū)域方法，它包括如下兩個過程。
(1)在區(qū)域法中使用合并，首先，產(chǎn)生大量的小區(qū)域，合并類似的區(qū)域。
(2)在區(qū)域法中使用劃分，從單獨的區(qū)域開始，該區(qū)域被劃分為具有不同特性的區(qū)域。
區(qū)域法使用初始合并以獲得小的區(qū)域，在這些小的區(qū)域中亮度近似相同的被稱為基本區(qū)域，在兩個相鄰區(qū)域亮度，邊界的長度和區(qū)域形狀之間差別的基礎(chǔ)上，區(qū)域逐漸地被合并，重復(fù)該過程直到?jīng)]有更多的區(qū)域能夠被合并。
使用劃分方法具有的重要問題是確定在什么基礎(chǔ)上圖象應(yīng)被劃分在各類性質(zhì)直方圖的基礎(chǔ)上劃分彩色圖象是有效的，這如下所述。
首先，為每個象素檢測出紅態(tài)，綠態(tài)，蘭態(tài)，亮度，色相，飽合度和Y、I和Q彩色電視信號，9種類型的直方圖從參數(shù)中產(chǎn)生和選出形成明顯峰和谷的參數(shù)，做出劃分那些用來作為邊界的左邊和右邊的谷。根據(jù)象素具有的性質(zhì)劃分圖象，為劃分區(qū)域然后做出各種直方圖，而這些區(qū)域再次劃分得更細，該過程一直重復(fù)直至不再可能做出劃分。
如果可能不是簡單地使用亮度，而且如該例所示使用大量的信息，使用劃分的區(qū)域方法是有效的，然而，這不一定如本例所示，需要使用9種類型之多。
通過使用上述方法，這就可能在獲得用戶的圖象數(shù)據(jù)之后去確定用戶是否已經(jīng)眨眼了和去計算用戶眼球的毛細血管程度。在本實施例中，使用CCD攝象機監(jiān)視用戶的眼球，但是眼球凝視方向，或瞳孔的反應(yīng)也可以使用一護目鏡型頭上顯示裝置加以觀察。
在實施例中，如在一情況所示，其中，衣服和背景改變了，然而，如果確定，用戶極端地疲勞，那末可能通過圖象處理改變用戶的真實表情，和傳送給另一個信息處理系統(tǒng)一圖象數(shù)據(jù)，該圖象數(shù)據(jù)合成了在用戶處在健康狀態(tài)下時愉快，健康的面容，近而，在這時最好略微控制口音的調(diào)子或音調(diào)，使得如果口音的音調(diào)有被壓低的影響時，例如用戶如果極端疲勞的話，要形成高興的口音。
根據(jù)本發(fā)明的信息處理系統(tǒng)配有攝象機和麥克風(fēng)，當(dāng)使用圖象數(shù)據(jù)進行數(shù)據(jù)通訊時，通過合成由攝象機獲得的數(shù)據(jù)和事先存儲的圖象數(shù)據(jù)，合成的圖象數(shù)據(jù)不是基于從圖象數(shù)據(jù)中所確定的也不是按照在通訊中的傳送方所處的情況確定的，這樣使得衣服，頭發(fā)，背景，化妝等等均不同于真實情況，和傳送這些數(shù)據(jù)到通訊中的對方，從而有可能保護涉及通訊中的雙方的隱私。
權(quán)利要求
1.一種信息處理系統(tǒng)，包括一個微處理單元；一個攝象機，用于獲得圖象數(shù)據(jù)，它在操作上連接至所述微處理單元；一個麥克風(fēng)，用于獲得聲音信號，它在操作上連接至所述微處理單元；一個揚聲器，用于輸出聲音信號，它在操作上連接至所述微處理單元；一個顯示器單元，用于顯示圖象數(shù)據(jù)，它在操作上連接至所述微處理單元；一個鍵輸入裝置，它在操作上連接至所述微處理單元。
2.按照權(quán)利要求1所述的信息處理系統(tǒng)，其特征在于，所述信息處理系統(tǒng)是一部個人計算機。
3.按照權(quán)利要求1所述的信息處理系統(tǒng)，其特征在于，所述信息處理系統(tǒng)是一個工作站。
4.按照權(quán)利要求1所述的信息處理系統(tǒng)，其特征在于，所述鍵輸入裝置是一個鍵盤。
5.按照權(quán)利要求1所述的信息處理系統(tǒng)，其特征在于，所述信息處理系統(tǒng)還包括一個包含一個鼠標(biāo)或一個球標(biāo)的點入裝置。
全文摘要
在配有攝象機和麥克風(fēng)的一信息處理系統(tǒng)內(nèi)，為通過傳送線向和從另一個信息處理系統(tǒng)的用戶傳送和接收信息，用攝象機獲得的用戶的圖象數(shù)據(jù)事先存儲在一存儲器內(nèi)，當(dāng)一個用戶與另一個用戶通訊時，通過圖象處理使用攝象機獲得一用戶的圖象數(shù)據(jù)與事先存儲在存儲器中的圖象數(shù)據(jù)合成。使一用戶的衣服，頭發(fā)，背景和裝飾與真實不同和在通訊中圖象數(shù)據(jù)傳送給另一個用戶。
文檔編號G06T7/00GK1484451SQ0315405
公開日2004年3月24日 申請日期1995年7月28日 優(yōu)先權(quán)日1994年7月28日
發(fā)明者河崎祐司, 小山潤, 石井太, 山崎舜平, 平, 河崎 司 申請人:株式會社半導(dǎo)體能源研究所