專利名稱：圖像信息交互系統(tǒng)及圖像信息交互方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像信息交互系統(tǒng)及圖像信息交互方法，更具體地說(shuō)，本發(fā)明涉 及一種將各個(gè)客戶端所編輯的區(qū)域的圖像信息在各個(gè)客戶端之間進(jìn)行交互的圖像信息交 互系統(tǒng)及圖像信息交互方法。
背景技術(shù)：
當(dāng)前，圖像處理技術(shù)、圖像分割技術(shù)、及通信技術(shù)正在逐步地發(fā)展，為分布式會(huì)議 提供了有力的技術(shù)支持。在分布式的協(xié)同會(huì)議系統(tǒng)中，將多個(gè)客戶端的畫面圖像相互傳輸， 使各個(gè)客戶端能夠獲知其它客戶端所處的場(chǎng)景，包括其用戶、場(chǎng)所、及所提供的內(nèi)容、等等， 提供內(nèi)容的載體是不透明的介質(zhì)，一般要求比較平整，通?？刹捎冒装?，也可以采用黑板， 在不透明介質(zhì)上提供內(nèi)容的方式包括書(shū)寫、打字、等等，書(shū)寫的方式包括用傳統(tǒng)的水筆等等 書(shū)寫，也包括用激光筆書(shū)寫等等。圖像處理在支持協(xié)同工作方面有著很重要的作用，但直接 通過(guò)圖像處理技術(shù)應(yīng)用來(lái)搭建一個(gè)協(xié)同會(huì)議系統(tǒng)以支持分布式會(huì)議仍然存在不少問(wèn)題。美國(guó)專利No. 7496229B2定義了一種系統(tǒng)，該系統(tǒng)將白板上的內(nèi)容及會(huì)議場(chǎng)景作 為圖像傳送給遠(yuǎn)端。該系統(tǒng)主要是關(guān)注單側(cè)會(huì)議系統(tǒng)中的圖像處理，并沒(méi)有進(jìn)行系統(tǒng)預(yù)設(shè) 置，也未有效地支持多模式的內(nèi)容交互，傳輸數(shù)據(jù)量大，占用大量帶寬等資源。美國(guó)專利申請(qǐng)No. 20080184124A1定義了一種系統(tǒng)，該系統(tǒng)可以將內(nèi)容和內(nèi)容的 提供者進(jìn)行關(guān)聯(lián)。場(chǎng)景被攝像頭捕捉，并傳輸?shù)竭h(yuǎn)端。場(chǎng)景同時(shí)包括了顯示設(shè)備和攝像頭 之間的其他信息，例如用戶的手。所有這些信息都將被傳送到遠(yuǎn)端。該系統(tǒng)并沒(méi)有進(jìn)行系 統(tǒng)預(yù)設(shè)置，也未有效地支持多模式的內(nèi)容交互，傳輸數(shù)據(jù)量大，占用大量帶寬等資源。目前通過(guò)白板來(lái)完成協(xié)同會(huì)議已經(jīng)有一些相關(guān)的研究和解決方案，但其中也有一 些技術(shù)問(wèn)題沒(méi)有得到很好的解決。例如，微軟的NetMeeting系統(tǒng)通過(guò)一個(gè)類似交互文本編 輯器的模式實(shí)現(xiàn)白板的交互，但該系統(tǒng)需要使用鼠標(biāo)和鍵盤作為輸入設(shè)備，這種輸入設(shè)備 對(duì)于白板系統(tǒng)來(lái)說(shuō)用戶的友好性是比較差的。同時(shí)，不同的解決方案對(duì)于所傳輸?shù)臄?shù)據(jù)量 的大小也有很大的區(qū)別。數(shù)據(jù)可以是圖像，也可以是媒體流。大容量的數(shù)據(jù)傳輸會(huì)占用較 多的帶寬資源，繼而影響系統(tǒng)的綜合性能。此類系統(tǒng)中，內(nèi)容交互是基本的功能。但現(xiàn)實(shí)的應(yīng)用場(chǎng)景在要求能夠?qū)崿F(xiàn)內(nèi)容交 互的基礎(chǔ)上，還應(yīng)該更多地考慮如何交互的問(wèn)題。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的問(wèn)題而作出本發(fā)明，本發(fā)明提供一種圖像信息交互系統(tǒng)及圖像信 息交互方法，涉及圖像處理領(lǐng)域以及協(xié)同會(huì)議系統(tǒng)領(lǐng)域，可以根據(jù)工作環(huán)境而自適應(yīng)地調(diào) 整設(shè)置。進(jìn)一步地，本發(fā)明的圖像信息交互系統(tǒng)及方法可以將捕捉到的圖像被分層為前景 和背景，僅將前景數(shù)據(jù)在各個(gè)客戶端之間傳輸。更進(jìn)一步地，本發(fā)明的圖像信息交互系統(tǒng)及 方法可以提供不同的編輯模式來(lái)完成數(shù)據(jù)的交互及融合。此外，本發(fā)明的圖像信息交互系 統(tǒng)及方法可以在內(nèi)容交互之前先對(duì)編輯區(qū)域中各點(diǎn)的坐標(biāo)值和對(duì)比度進(jìn)行優(yōu)化，作為經(jīng)過(guò)優(yōu)化的編輯區(qū)域的圖像信息，進(jìn)一步縮小數(shù)據(jù)規(guī)模。根據(jù)本發(fā)明的一個(gè)方面，提供一種對(duì)圖像捕捉裝置所捕捉的圖像信息在各個(gè)客戶 端之間進(jìn)行交互的圖像信息交互系統(tǒng)，包括環(huán)境檢測(cè)裝置，檢測(cè)圖像捕捉裝置所運(yùn)行的環(huán) 境的環(huán)境參數(shù)，根據(jù)環(huán)境參數(shù)調(diào)整圖像捕捉裝置的設(shè)置；編輯區(qū)域確定裝置，在圖像捕捉裝 置所捕捉的圖像中確定用于本地客戶端編輯的編輯區(qū)域；以及內(nèi)容交互裝置，將編輯區(qū)域 的圖像信息在各個(gè)客戶端交互。根據(jù)本發(fā)明的另一個(gè)方面，提供一種對(duì)圖像捕捉裝置所捕捉的圖像信息在各個(gè)客 戶端之間進(jìn)行交互的圖像信息交互方法，包括環(huán)境檢測(cè)步驟，檢測(cè)圖像捕捉裝置所運(yùn)行的 環(huán)境的環(huán)境參數(shù)，根據(jù)環(huán)境參數(shù)調(diào)整圖像捕捉裝置的設(shè)置；編輯區(qū)域確定步驟，在圖像捕捉 裝置所捕捉的圖像中確定用于本地客戶端編輯的編輯區(qū)域；以及內(nèi)容交互步驟，將編輯區(qū) 域的圖像信息在各個(gè)客戶端交互。根據(jù)本發(fā)明的實(shí)施例，圖像信息交互系統(tǒng)對(duì)用戶參與的要求程度實(shí)現(xiàn)了最低化， 并且系統(tǒng)可以檢測(cè)所運(yùn)行的工作環(huán)境并且據(jù)此調(diào)整系統(tǒng)設(shè)置，自適應(yīng)地調(diào)整到可工作的狀 態(tài)。而且，根據(jù)本發(fā)明的實(shí)施例，所傳輸?shù)臄?shù)據(jù)的規(guī)模被盡可能地減小，從而降低了對(duì)系統(tǒng) 帶寬的要求，與通常的視頻會(huì)議相比，能夠更大地節(jié)省帶寬。系統(tǒng)可以只交互最新輸入的數(shù) 據(jù)以及內(nèi)容提供者的信息，因此該系統(tǒng)可以在不同的網(wǎng)絡(luò)環(huán)境下得以應(yīng)用。此外，本發(fā)明的 圖像信息交互系統(tǒng)定義了三種不同的編輯模式，不同的模式可以針對(duì)不同的應(yīng)用要求供選 擇來(lái)使用。通過(guò)閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本 發(fā)明的以上和其他目標(biāo)、特征、優(yōu)點(diǎn)和技術(shù)及工業(yè)重要性。


圖1示出根據(jù)本發(fā)明實(shí)施例的圖像信息交互系統(tǒng)的框圖。圖2示出根據(jù)本發(fā)明實(shí)施例的圖像信息交互方法的流程圖。
具體實(shí)施例方式圖1示出根據(jù)本發(fā)明實(shí)施例的圖像信息交互系統(tǒng)的框圖。圖1所示的圖像信息交 互系統(tǒng)用于對(duì)圖像捕捉裝置所捕捉的圖像信息在各個(gè)客戶端之間進(jìn)行交互，包括環(huán)境檢 測(cè)裝置10 ；編輯區(qū)域確定裝置20 ；內(nèi)容交互裝置30 ；編輯區(qū)域優(yōu)化裝置40 ；編輯模式選擇 裝置90。環(huán)境檢測(cè)裝置10檢測(cè)圖像捕捉裝置所運(yùn)行的環(huán)境的環(huán)境參數(shù)，根據(jù)環(huán)境參數(shù)調(diào) 整圖像捕捉裝置的設(shè)置。環(huán)境參數(shù)可以根據(jù)需求進(jìn)行定義，基本的參數(shù)例如會(huì)議室內(nèi)的亮 度等等，圖像捕捉裝置諸如攝像頭等。環(huán)境檢測(cè)裝置10調(diào)整攝像頭的相關(guān)設(shè)置使得與環(huán)境 參數(shù)相匹配。實(shí)現(xiàn)此過(guò)程可以通過(guò)程序進(jìn)行，或者也可以通過(guò)手工調(diào)整來(lái)完成，總之，調(diào)整 的結(jié)果是確保在客戶端所提供的內(nèi)容能夠清晰可見(jiàn)。環(huán)境檢測(cè)裝置10所進(jìn)行的操作可以是自適應(yīng)的過(guò)程，例如，檢測(cè)環(huán)境的亮度值， 根據(jù)存在編輯內(nèi)容時(shí)環(huán)境中最大亮度值與不存在編輯內(nèi)容時(shí)環(huán)境中最大亮度值的差來(lái)調(diào) 整圖像捕捉裝置的設(shè)置。具體地，環(huán)境檢測(cè)裝置10調(diào)整圖像捕捉裝置例如攝像頭的進(jìn)光 量，進(jìn)光量例如可通過(guò)調(diào)整光圈的大小來(lái)控制。而且，環(huán)境檢測(cè)裝置10計(jì)算沒(méi)有進(jìn)行編輯內(nèi)容的提供操作時(shí)進(jìn)光的最大亮度值T、及進(jìn)行了編輯內(nèi)容提供操作后的進(jìn)光最大亮度值 L，編輯內(nèi)容的提供操作例如通過(guò)激光筆進(jìn)行的寫操作。當(dāng)L的值顯著大于T的時(shí)候，在客 戶端所提供的內(nèi)容能夠清晰可見(jiàn)，例如L是T的2倍時(shí)，則可以視為調(diào)整完畢。對(duì)于每個(gè)獨(dú) 立的圖像捕捉裝置，參數(shù)的可調(diào)整范圍可以是不同的，通?？梢詤⒖荚搱D像捕捉裝置例如 攝像頭的說(shuō)明書(shū)。當(dāng)環(huán)境發(fā)生改變的時(shí)候，可以通過(guò)重復(fù)上述操作來(lái)進(jìn)行二次調(diào)整。編輯區(qū)域確定裝置20用于在圖像捕捉裝置所捕捉的圖像中確定用于本地客戶端 編輯的編輯區(qū)域。編輯區(qū)域確定裝置20計(jì)算圖像捕捉裝置所捕捉的區(qū)域的亮度均值，將其 設(shè)為閾值M,將捕捉區(qū)域的每個(gè)像素點(diǎn)的亮度與M進(jìn)行比較，如果該像素的亮度大于M,那么 認(rèn)為它是編輯區(qū)域內(nèi)的點(diǎn)，如果該像素的亮度小于M，那么認(rèn)為該像素屬于非編輯區(qū)域。首先，被圖像捕捉裝置捕捉的圖像區(qū)域都被納入到計(jì)算范圍，其中所有像素的亮 度值的均值設(shè)為M。然后，將各個(gè)像素的亮度與該均值進(jìn)行比較，如果某像素i的亮度p(i) > M，那么像素i被認(rèn)為是屬于編輯區(qū)域；否則像素i被認(rèn)為是屬于非編輯區(qū)域。進(jìn)一步地，可以對(duì)編輯區(qū)域進(jìn)行改進(jìn)，例如，可以選取上述編輯區(qū)域的4個(gè)坐標(biāo)極 值點(diǎn)，將4個(gè)坐標(biāo)極值點(diǎn)連線獲得一區(qū)域，或者根據(jù)4個(gè)坐標(biāo)極值點(diǎn)獲取編輯區(qū)域的外接矩 形，將連線所獲得的區(qū)域或者該外接矩形作為編輯區(qū)域的范圍?？梢岳脠D像處理領(lǐng)域的 很多相關(guān)技術(shù)，例如Carmy邊緣檢測(cè)、Hough線檢測(cè)來(lái)完成確定編輯區(qū)域的操作。只有編輯 區(qū)域的圖像信息在諸如投影儀的輸出裝置顯示輸出，編輯區(qū)域確定裝置20確定編輯區(qū)域 的操作也可以視為在諸如攝像頭的圖像捕捉裝置和諸如投影儀的輸出裝置之間進(jìn)行的協(xié) 調(diào)。在利用內(nèi)容交互裝置30將編輯區(qū)域的圖像信息在各個(gè)客戶端交互之前，可以選 擇利用編輯區(qū)域優(yōu)化裝置40對(duì)編輯區(qū)域的圖像信息進(jìn)行優(yōu)化，一方面改善編輯區(qū)域的圖 像的質(zhì)量，另一方面減小編輯區(qū)域的圖像數(shù)據(jù)的規(guī)模。編輯區(qū)域的圖像信息可以是編輯區(qū) 域中各點(diǎn)的坐標(biāo)值和對(duì)比度。編輯區(qū)域優(yōu)化裝置40執(zhí)行的過(guò)程可以包括校正編輯區(qū)域中 各點(diǎn)的坐標(biāo)值，調(diào)整編輯區(qū)域中各點(diǎn)的對(duì)比度，以及對(duì)編輯區(qū)域中的曲線進(jìn)行坐標(biāo)平滑處 理。經(jīng)過(guò)優(yōu)化的編輯區(qū)域的圖像信息，例如經(jīng)過(guò)二次映射和/或梯形校正和/或曲線平滑 處理的的各點(diǎn)坐標(biāo)值、經(jīng)過(guò)調(diào)整的各點(diǎn)的對(duì)比度，用于內(nèi)容交互。編輯區(qū)域優(yōu)化裝置40首先對(duì)編輯區(qū)域確定裝置20所確定的編輯區(qū)域進(jìn)行計(jì)算以
提取出線條或激光點(diǎn)，此過(guò)程可以通過(guò)Hue閾值檢測(cè)以及Carmy邊緣檢測(cè)技術(shù)來(lái)實(shí)現(xiàn)。在
線條不平滑的情況下，可以選擇利用貝葉斯曲線對(duì)線條進(jìn)行坐標(biāo)平滑處理。針對(duì)圖像數(shù)據(jù)
變形，還可以進(jìn)行二次映射以校正不規(guī)則的圖像捕捉角度所導(dǎo)致的圖像數(shù)據(jù)變形。還可以
進(jìn)行梯形校正，利用下列公式(1)對(duì)所捕捉到的點(diǎn)坐標(biāo)根據(jù)編輯區(qū)域的邊界信息進(jìn)行校正
,, d-x-1-e-y + / Γηη99Π a-x + b- y + cv =---—,
Μ =——丄 I1 丄
g-x + k-y + lt 、
g-x + h- y + l sJ...... (ι)其中(X，y)是捕捉到的輸入點(diǎn)的原始坐標(biāo)，(u，ν)是在編輯區(qū)域內(nèi)的對(duì)應(yīng)坐標(biāo)a、 b、C、d、e、f是常量。為了得到常量a到f，需要使用下列公式(2)進(jìn)行求解
權(quán)利要求
1.一種對(duì)圖像捕捉裝置所捕捉的圖像信息在各個(gè)客戶端之間進(jìn)行交互的圖像信息交 互系統(tǒng)，包括環(huán)境檢測(cè)裝置，檢測(cè)圖像捕捉裝置所運(yùn)行的環(huán)境的環(huán)境參數(shù)，根據(jù)環(huán)境參數(shù)調(diào)整圖像 捕捉裝置的設(shè)置；編輯區(qū)域確定裝置，在圖像捕捉裝置所捕捉的圖像中確定用于本地客戶端編輯的編輯 區(qū)域；以及內(nèi)容交互裝置，將編輯區(qū)域的圖像信息在各個(gè)客戶端交互。
2.按照權(quán)利要求1所述的圖像信息交互系統(tǒng)，還包括編輯模式選擇裝置，在下列預(yù)定 義的編輯模式中選擇一種編輯模式單例模式，系統(tǒng)中只存在一個(gè)可編輯標(biāo)識(shí)，只有擁有可編輯標(biāo)識(shí)的一個(gè)特定客戶端可 以在編輯區(qū)域中進(jìn)行編輯；并發(fā)模式，系統(tǒng)中存在多個(gè)可編輯標(biāo)識(shí)，多個(gè)客戶端可以同時(shí)擁有可編輯標(biāo)識(shí)，每個(gè)客 戶端至多擁有一個(gè)可編輯標(biāo)識(shí)，擁有可編輯標(biāo)識(shí)的客戶端可以在編輯區(qū)域中進(jìn)行編輯；以 及排斥模式，系統(tǒng)中只存在一個(gè)可編輯標(biāo)識(shí)，只有擁有可編輯標(biāo)識(shí)的一個(gè)客戶端可以在 編輯區(qū)域中進(jìn)行編輯，可編輯標(biāo)識(shí)可以在各個(gè)客戶端之間轉(zhuǎn)移。
3.按照權(quán)利要求1所述的圖像信息交互系統(tǒng)，其中，所述內(nèi)容交互裝置包括圖像分層裝置，把所捕捉的圖像的編輯區(qū)域的圖像信息分為先前已有的背景數(shù)據(jù)和新 捕捉的前景數(shù)據(jù)；數(shù)據(jù)傳輸裝置，僅將前景數(shù)據(jù)傳送給其它客戶端；以及數(shù)據(jù)融合裝置，將來(lái)自其它客戶端的前景數(shù)據(jù)和本地?cái)?shù)據(jù)融合以組成本地輸出圖像。
4.按照權(quán)利要求4所述的圖像信息交互系統(tǒng)，其中，所述內(nèi)容交互裝置還包括內(nèi)容提供者標(biāo)識(shí)裝置，把圖像分層裝置分出的前景數(shù)據(jù)至少進(jìn)一步分為編輯內(nèi)容和編 輯內(nèi)容的提供者，將編輯內(nèi)容的提供者與相應(yīng)的編輯內(nèi)容相關(guān)聯(lián)以提供至數(shù)據(jù)傳輸裝置。
5.按照權(quán)利要求1所述的圖像信息交互系統(tǒng)，其中，所述編輯區(qū)域的圖像信息包括編 輯區(qū)域中各點(diǎn)的坐標(biāo)值和對(duì)比度，所述系統(tǒng)還包括編輯區(qū)域優(yōu)化裝置，用于校正編輯區(qū)域 中各點(diǎn)的坐標(biāo)值，調(diào)整編輯區(qū)域中各點(diǎn)的對(duì)比度，對(duì)編輯區(qū)域中的曲線進(jìn)行坐標(biāo)平滑處理， 將經(jīng)過(guò)優(yōu)化的編輯區(qū)域的圖像信息用于內(nèi)容交互。
6.按照權(quán)利要求1所述的圖像信息交互系統(tǒng)，其中，所述環(huán)境檢測(cè)裝置檢測(cè)環(huán)境的亮 度值，根據(jù)存在編輯內(nèi)容時(shí)環(huán)境中最大亮度值與不存在編輯內(nèi)容時(shí)環(huán)境中最大亮度值的差 來(lái)調(diào)整圖像捕捉裝置的設(shè)置。
7.按照權(quán)利要求1所述的圖像信息交互系統(tǒng)，其中，所述編輯區(qū)域確定裝置把圖像捕 捉裝置所捕捉的圖像中的亮度均值設(shè)為M，把亮度超過(guò)M的部分設(shè)為編輯區(qū)域。
8.按照權(quán)利要求3所述的圖像信息交互系統(tǒng)，其中，所述圖像分層裝置對(duì)前景數(shù)據(jù)設(shè) 置索引，所述數(shù)據(jù)融合裝置根據(jù)索引的優(yōu)先級(jí)順序來(lái)把來(lái)自其它客戶端的前景數(shù)據(jù)與本地 數(shù)據(jù)融合以組成本地輸出圖像。
9.一種對(duì)圖像捕捉裝置所捕捉的圖像信息在各個(gè)客戶端之間進(jìn)行交互的圖像信息交 互方法，包括環(huán)境檢測(cè)步驟，檢測(cè)圖像捕捉裝置所運(yùn)行的環(huán)境的環(huán)境參數(shù)，根據(jù)環(huán)境參數(shù)調(diào)整圖像捕捉裝置的設(shè)置；編輯區(qū)域確定步驟，在圖像捕捉裝置所捕捉的圖像中確定用于本地客戶端編輯的編輯 區(qū)域；以及內(nèi)容交互步驟，將編輯區(qū)域的圖像信息在各個(gè)客戶端交互。
10.按照權(quán)利要求9所述的圖像信息交互方法，其中，所述內(nèi)容交互步驟包括 圖像分層步驟，把所捕捉的圖像的編輯區(qū)域的圖像信息分為先前已有的背景數(shù)據(jù)和新 捕捉的前景數(shù)據(jù)；數(shù)據(jù)傳輸步驟，僅將前景數(shù)據(jù)傳送給其它客戶端；以及數(shù)據(jù)融合步驟，將來(lái)自其它客戶端的前景數(shù)據(jù)和本地?cái)?shù)據(jù)融合以組成本地輸出圖像。
全文摘要
本發(fā)明提供一種圖像信息交互系統(tǒng)及圖像信息交互方法。一種對(duì)圖像捕捉裝置所捕捉的圖像信息在各個(gè)客戶端之間進(jìn)行交互的圖像信息交互系統(tǒng)，包括環(huán)境檢測(cè)裝置，檢測(cè)圖像捕捉裝置所運(yùn)行的環(huán)境的環(huán)境參數(shù)，根據(jù)環(huán)境參數(shù)調(diào)整圖像捕捉裝置的設(shè)置；編輯區(qū)域確定裝置，在圖像捕捉裝置所捕捉的圖像中確定用于本地客戶端編輯的編輯區(qū)域；以及內(nèi)容交互裝置，將編輯區(qū)域的圖像信息在各個(gè)客戶端交互。
文檔編號(hào)H04N7/15GK102006449SQ20091016192
公開(kāi)日2011年4月6日 申請(qǐng)日期2009年9月1日 優(yōu)先權(quán)日2009年9月1日
發(fā)明者于海龍, 宮衛(wèi)濤, 張文波, 李東來(lái), 潘蘋萍 申請(qǐng)人:株式會(huì)社理光