專利名稱:移動通信終端中共享視頻電話屏幕的設備和方法
移動通信終端中共享視頻電話屏幕的設備和方法優(yōu)先權本申請要求于2006年7月4日向韓國知識產(chǎn)權局提交的、分配序列號 為第2006-62349號的申請的優(yōu)先權,該在先申請的內(nèi)容以引用的方式并入 本文。技術領域'本發(fā)明總體上涉及一種移動通信終端中共享視頻電話屏幕的設備和方 法,并且具體來說,涉及一種在視頻電話中與接通的對方實時共享顯示在顯 示單元上的屏幕的設備和方法。
背景技術:
國際移動電信(IMT) -2000系統(tǒng)(是第三代(3G)移動通信系統(tǒng))指 的是一種使非專業(yè)個人能夠通過移動電話進行全球無線電話、建立全球范圍 的無線電話網(wǎng)全備的系統(tǒng)?;谝苿油ㄐ啪W(wǎng)《各(比如IMT—2000和通用移動 電信系統(tǒng)(UMTS))的異步寬帶碼分多址(WCDMA)移動通信系統(tǒng),憑借 其提供高速數(shù)據(jù)傳輸?shù)哪芰Γ跒橛脩籼峁┲T如因特網(wǎng)和視頻電話服務之 類的文件和一見頻服務以及語音電話通信。視頻電話服務提供全面的電話功能發(fā)送方終端對用戶的面部圖像進行 壓縮并且將其傳輸至接收方終端,并解碼和顯示從接收方終端接收到的接通 對方的面部圖像,從而能夠?qū)崿F(xiàn)實時的面對面電話通信。視頻電話服務不能提供用戶在視頻電話過程中向接通的對方傳輸內(nèi)容 的功能。因此,用戶會遇到以下不便當想要在視頻電話過程中向接通的對 方傳輸諸如靜止圖像之類的內(nèi)容時,不得不停止視頻電話,然后使用多i某體 消息服務(MMS)來傳輸靜止圖像文件。因此,盡管目前提供了在視頻電 話中傳輸內(nèi)容的功能,但視頻電話服務仍然具有不可能與接通對方實時共享 在視頻電話中傳輸?shù)膬?nèi)容的缺陷。此外,盡管用戶在視頻電話中向接通的對 方傳輸了內(nèi)容,但如果接通的對方?jīng)]有再現(xiàn)該內(nèi)容,則傳輸本身也是沒有意義的。內(nèi)容的服務。 發(fā)明內(nèi)容本發(fā)明的一個方面是,基本上解決至少上述問題和/或不足,并且給出至 少以下優(yōu)點。因此,本發(fā)明的一個方面是提供一種移動通信終端中共享視頻 電話屏幕的設備和方法。本發(fā)明的另 一方面是,提供了 一種為了共享移動通信終端中的視頻電話 屏幕而進行的屏幕傳輸?shù)脑O備和方法。上述方面是通過提供一種移動通信終端中共享視頻電話屏幕的設備和 方法來實現(xiàn)的。按照本發(fā)明,提供了 一種在移動通信終端中進行視頻電話中共享屏幕的方法。該方法包括如果在視頻電話中出現(xiàn)了屏幕共享的事件,則向接通的 終端發(fā)送屏幕共享請求信號,和當從接通的終端接收到屏幕共享接受信號 時,捕獲屏幕上顯示的圖像,并把所捕獲的圖像發(fā)送到接通的終端。按照本發(fā)明,提供了 一種在移動通信終端中進行的視頻電話中共享屏幕 的方法。該方法包括當在視頻電話中從接通的終端接收到屏幕共享請求時, 在顯示單元上顯示該屏幕共享請求,當設定了屏幕共享接受時,向接通的終 端發(fā)送屏幕共享接受信號,當從接通的終端接收到映射信息和編碼圖像時, 依據(jù)映像信息解碼并重構編碼圖像,和在顯示單元的一個位置上顯示重構的 圖像當。按照本發(fā)明,提供了 一種用于在移動通信終端中進行的視頻電話中共享 屏幕的設備。該設備包括顯示單元,用于顯示圖像;圖像捕獲單元,用于 在產(chǎn)生了視頻電話屏幕共享事件時,生成與共享區(qū)域相關的分割映射信息、 捕獲顯示單元上顯示的圖像和依據(jù)分割映射信息分割所捕獲的圖像;圖像處 理器,用于對所分割的圖像進行編碼,和通信模塊,用于將編碼圖像和分割 映射信息發(fā)送到接通的終端。按照本發(fā)明,提供了 一種用于在移動通信終端中進行的視頻電話中共享 屏幕的設備。該設備包括通信模塊,用于從接通的終端接收映射信息和編 碼圖像;圖像處理器,用于依據(jù)映射信息解碼編碼圖像;圖像重構單元,用
于依據(jù)映射信息按原始圖像重構解碼后的圖像;和顯示單元,用于在預定的 區(qū)域內(nèi)顯示重構的圖像。
在與附圖相結(jié)合時,從下面的詳細說明中將會比較明顯地看出本發(fā)明的上述和其它目的、特征和優(yōu)點,其中圖1圖解說明按照本發(fā)明的移動通信終端的結(jié)構;圖2A和2B圖解說明按照本發(fā)明的移動通信終端中的使用多個緩沖器 對圖像進行編碼和解碼的圖像處理器的結(jié)構;圖3A和3B圖解說明按照本發(fā)明的移動通信終端中的使用單個緩沖器 對圖像進行編碼和解碼的圖像處理器的結(jié)構;圖4是圖解說明按照本發(fā)明在視頻電話中共享屏幕的過程的梯形圖;圖5是圖解說明按照本發(fā)明由發(fā)送方終端共享移動通信終端中的視頻電 話屏幕的過程的流程圖;圖6圖解說明按照本發(fā)明的打算用來共享移動通信終端中的視頻電話屏 幕的屏幕區(qū)域的結(jié)構;和圖7是圖解說明按照本發(fā)明由接收方終端共享移動通信終端中的視頻電 話屏幕的過程的流程圖。
具體實施方式
下面在本文中將參照附圖介紹本發(fā)明的優(yōu)選實施方式。在下面的介紹 中,為了清楚簡明,不對公知的功能或結(jié)構加以詳細介紹。本發(fā)明提供一種與移動通信終端中進行的視頻電話中的接通對象實時 共享顯示在顯示單元上的圖像的設備和方法。所述移動通信終端指的是支持 視頻電話的所有終端。圖1圖解說明按照本發(fā)明的移動通信終端的結(jié)構。該移動通信終端包 括控制器100、視頻電話信號處理器102、攝像機104、圖像處理器106、 圖像捕獲單元108、顯示單元110、圖像重構單元112、通信模塊114、語音 處理器116、麥克風118和揚聲器120。參照圖1,控制器IOO針對視頻電話和數(shù)據(jù)通信進行處理和控制。按照 本發(fā)明,控制器IOO在視頻電話中出現(xiàn)屏幕共享事件時,經(jīng)由通信模塊114送屏幕共享請求信號。控制器100在接收到來自接通終端的屏 幕共享接受信號時,向圖像捕獲單元108輸出屏幕共享開始通知信號。此后,控制器IOO控制將由圖像處理器106編碼的圖像和關于編碼圖像的映射信息發(fā)送給接通終端的功能??刂破鱅OO在接收到來自接通終端的視頻電話屏幕共享請求信號時,根據(jù)用戶的按鍵操作向接通終端發(fā)送屏幕共享接受或拒絕 信號,并將從接通終端接收到的編碼圖像和映射信息輸出到圖像處理器106。而且,控制器100包括視頻電話信號處理器102,并且控制為了進行按照本 發(fā)明的視頻電話而與接通終端交換的信號。攝像機104包括攝像傳感器,用于在圖像拍攝時感測光信號,并將感 測到的光信號轉(zhuǎn)換為電信號;和信號處理器,用于把攝像傳感器拍攝的模擬 圖像信號轉(zhuǎn)換為數(shù)字數(shù)據(jù)。攝像機104將轉(zhuǎn)換后的數(shù)字數(shù)據(jù)輸出到圖像處理 器106。圖像處理器106還連接到圖像編解碼器(CODEC )。圖像處理器106依 照設定的編碼方法對從攝像機104接收的圖像信號進行編碼,或?qū)⒕幋a幀圖 像數(shù)據(jù)解碼為原始幀圖像數(shù)據(jù)。圖像處理器106以幀為單位處理從攝像機 104收到的圖像信號。圖像處理器106輸出針對顯示單元110的特點和尺寸 進行了調(diào)節(jié)的處理后的圖像信號。按照本發(fā)明,圖像處理器106對從圖像捕 獲單元108接收到的圖像信號進行編碼,并將編碼后的圖像信號輸出到控制 器100。圖像處理器106對從控制器IOO接收到的圖像信號進行解碼,并把 解碼后的圖像信號輸出到圖像重構單元112。圖像處理器106可以為了編碼或解碼圖像信號而如圖2A和2B中所示 的那樣使用多個緩沖器或如圖3A和3B中所示的那樣使用單個緩沖器。當 使用多個緩沖器時,圖像處理器106可利用全部的I幀和P幀與接通終端共 享屏幕。I幀表示可獨立解碼的幀,比如聯(lián)合圖像專家組(JPEG)。 P幀表示 用于預測和補償I幀之間的運動的幀當使用多個緩沖器時,圖像處理器106根據(jù)分割圖像的構成順序經(jīng)由第 一開關201將I幀和P幀存儲到各個緩沖器中、經(jīng)由第二開關209將所存儲 的I幀和P幀排列成原始順序并且將排列好的I幀和P幀輸出至編碼器211, 從而對I幀和P幀進行編碼,如圖2A所示。I幀和P幀是根據(jù)分割圖像的構 成順序交替地存儲到各個緩沖器中的。詳細來說,圖像處理器106將具有I 幀中的第 一構成順序的分割圖像存儲到第 一緩沖器203中,將具有P幀中的 第一構成順序的分割圖^象存儲到第二緩沖器205中,并將具有I幀中的第二構成順序的分割圖像存儲到第三緩沖器207中。圖像處理器106要求多個緩 沖器的數(shù)量是分割圖像數(shù)量的兩倍,因而限制了存儲器利用率。因此,如圖 3A和3B中所示,圖像處理器106僅僅使用I幀而利用了單個緩沖器,從而 限制了存儲器利用程度。當從控制器IOO接收到屏幕共享接受通知信號后,圖像捕獲單元108按 照預設的固定尺寸分割由用戶設定的顯示單元110的區(qū)域,并構造關于該分 割區(qū)域的映射信息。此后,圖像捕獲單元108依據(jù)映射信息來分割顯示單元 110的區(qū)域中顯示的圖像。圖像捕獲單元108對分割圖像進行編碼并將其輸 出到圖像處理器106。所述固定尺寸可以使用H.263和運動圖像專家組 (MPEG) -4支持的四分之一公共中間格式(QCIF)(176"44)。所述映射信息 包括與分割區(qū)域相關的數(shù)量、構成順序和位置信息。顯示單元110顯示移動通信終端在操作過程中產(chǎn)生的狀態(tài)信息和有限數(shù) 量的字符。具體來說,按照本發(fā)明,顯示單元IIO顯示與接通終端共享的屏 幕區(qū)域,并且在與接通終端共享的屏幕區(qū)域中顯示從圖像處理器106接收到 的解碼圖像。圖像重構單元112從圖像處理器106接收解碼后的圖像和映射信息,依 據(jù)映射信息按照原始圖像重構解碼圖像,并將重構圖像經(jīng)由圖像處理器106 輸出到顯示單元110。通信模塊114通過天線發(fā)射和接收輸入和輸出數(shù)據(jù)的無線電信號。例如, 在發(fā)射模式下,通信模塊114把通過對要發(fā)送的數(shù)據(jù)進行信道編碼和擴頻獲 得的基帶信號轉(zhuǎn)換為射頻(RF)信號。通信模塊114通過天線發(fā)射轉(zhuǎn)換后的 基帶信號。在接收模式下,通信模塊114接收RF信號并將其轉(zhuǎn)換為基帶信 號,并且對基帶信號進行解擴和信道解碼來進行數(shù)據(jù)恢復。語音處理器116還與音頻CODEC相連。語音處理器116通過麥克風118 和揚聲器120輸入輸出語音信號。例如,語音處理器116從控制器IOO接收 脈沖編碼調(diào)制(PCM)數(shù)據(jù),將PCM數(shù)據(jù)轉(zhuǎn)換為模擬語音信號,并通過揚 聲器120發(fā)出轉(zhuǎn)換后的模擬語音信號。語音處理器116從麥克風118接收語 音信號,把接收到的語音信號轉(zhuǎn)換為PCM數(shù)據(jù),并且將轉(zhuǎn)換后的PCM數(shù)據(jù) 傳輸至控制器100。圖4是圖解說明按照本發(fā)明的在視頻電話中共享屏幕的過程的梯形圖。
參照圖4,在步驟410中,在發(fā)送方終端400和接收方終端402之間連 通視頻電話。在步驟412中,當在發(fā)送方終端400中出現(xiàn)要與接收方終端402 共享視頻電話屏幕的事件時,發(fā)送方終端400向接收方終端402發(fā)送視頻電 話屏幕共享請求。在步驟414中,接收方終端402向發(fā)送方終端400發(fā)送視 頻電話屏幕共享接受信號。如果是這樣,則在步驟416中,發(fā)送方終端400 對顯示在顯示單元IIO上的圖像進行捕獲、分割和編碼。在步驟418中,發(fā) 送方終端400將編碼圖像發(fā)送到接收方終端402。在步驟420中,接收方終端402對編碼圖像進行解碼并且按照原始圖像 對編碼圖像進行重構,并將重構的圖像顯示在顯示單元110上。圖5是圖解說明按照本發(fā)明的在移動通信終端中由發(fā)送方終端共享視頻 電話屏幕的過程的流程圖。參照圖5,在步驟501中,發(fā)送方終端檢查是否出現(xiàn)了在視頻電話中共 享視頻電話屏幕的事件。在出現(xiàn)了屏幕共享事件時,在步驟503中發(fā)送方終 端向接收方終端發(fā)送屏幕共享請求信號。如果沒有屏幕共享事件出現(xiàn),則重 復步驟501。在步驟505中,發(fā)送方終端檢查是否接收到了來自接收方終端的屏幕共 享接受或拒絕消息。當從接收方終端接到屏幕共享拒絕消息時,發(fā)送方終端 終止按照本發(fā)明的算法。反之,當從接收方終端接到屏幕共享接受消息時, 在步驟507中,發(fā)送方終端請求用戶設定想要用來與視頻電話中接通的對方 共享的屏幕區(qū)域。在步驟509中,發(fā)送方終端檢查用戶是否設定了想要用來與視頻電話中 接通的對方共享的屏幕區(qū)域。在步驟511中,當檢測到用戶已經(jīng)設定了想要 用來與接通的對方共享的屏幕區(qū)域時,發(fā)送方終端按固定尺寸對所設定的共 享區(qū)域進行分割。在步驟513中,發(fā)送方終端生成代表與分割區(qū)域相關的信 息的分割映射信息。所述固定尺寸可以使用H.263和MPEG-4所支持的QCIF (176*144)。所述映射信息包括設定區(qū)域的數(shù)量、設定區(qū)域的構成順序和與 設定區(qū)域相關的位置信息。例如,可以通過按QCIF的尺寸603分割用戶設 定的發(fā)送區(qū)域601并且設定分割區(qū)域的順序來生成分割映射信息,如圖6所 示。在步驟515中,發(fā)送方終端對顯示單元110的區(qū)域中顯示的圖像進行捕 獲和分割,并按照包含在所生成的分割映射信息中的分割區(qū)域順序?qū)Ψ指顖D
像進行編碼。為了捕獲所設定的發(fā)送區(qū)域,按照R324M的建議,每秒總幀 數(shù)值等于15fps。換句話說,每秒幀數(shù)值是這樣決定的使發(fā)送區(qū)域的分割 圖像的個數(shù)與用來捕獲每個圖像的每秒幀數(shù)值的乘積小于或等于15fps(即, 分割圖像的個數(shù)x每秒幀數(shù)《l5fps)。例如,當用戶選定的屏幕區(qū)域被分割 為4個QCIF時,每個分割區(qū)域的每秒幀數(shù)值可以等于3fps。在步驟517中,發(fā)送方終端把分割映射信息發(fā)送到接收方終端。在步驟 519中,發(fā)送方終端通過用于視頻電話的視頻信道,將使用分割映射信息當 中與分割區(qū)域有關的順序信息編碼的圖像發(fā)送到接收方終端。此后,發(fā)送方 終端終止本算法。圖7是圖解說明按照本發(fā)明的在移動通信終端中由接收方終端共享視頻 電話屏幕的過程的流程圖。參照圖7,在步驟701中,接收方終端檢查是否在視頻電話中接收到了 來自于發(fā)送方終端的視頻電話屏幕共享請求。在步驟703中,當接收到屏幕 共享請求后,接收方終端在顯示單元IIO上顯示屏幕共享請求通知消息,并 檢查用戶是否設定了屏幕共享接受或拒絕。在步驟715中,當用戶設定了屏 幕共享拒絕時,接收方終端向進行視頻電話的發(fā)送方終端發(fā)送屏幕共享拒絕 通知消息。此后,接收方終端終止本算法。在步驟705中,當用戶設置了屏幕共享接受時,接收方終端向視頻電話 中的發(fā)送方終端發(fā)送屏幕共享接受通知消息。在步驟707中,接收方終端檢 查是否從發(fā)送方終端接收到了分割映射信息。分割映射信息包括分割捕獲圖 像的個數(shù)、分割圖像的構成順序和關于分割圖像的位置信息。在步驟709中,當接收到分割映射信息時,接收方終端檢查是否從發(fā)送 方終端接收到了編碼圖像。在步驟711中,當接收到編碼圖像時,接收方終端依據(jù)接收到的分割映 射信息對所接收到的圖像進行解碼。在步驟713中,接收方終端在顯示單元 110的區(qū)域中顯示解碼后的圖像。如上所述,本發(fā)明能夠在移動通信終端中進行的視頻電話中與接通對方 共享視頻電話屏幕,從而與接通對方同時共享相同的內(nèi)容,而提供一種會議 一樣的效果。本發(fā)明無需單獨進行傳輸就可以由它自己的終端再現(xiàn)內(nèi)容,并 且與^L頻電話中的接通對方實時地共享內(nèi)容。雖然本發(fā)明是參照它的特定優(yōu)選實施方式給出和介紹的,但是本領域技 術人員可以理解,可以對本發(fā)明進行各種形式和細節(jié)上的改變,而不會超出 所附的權利要求中定義的本發(fā)明的思想和范圍。
權利要求
1.一種在移動通信終端中進行的視頻電話中共享屏幕的方法,該方法包括如果在視頻電話中出現(xiàn)了屏幕共享的事件,則向接通的終端發(fā)送屏幕共享請求信號;和當從接通的終端接收到屏幕共享接受信號時,捕獲屏幕上顯示的圖像,并把所捕獲的圖像發(fā)送到接通的終端。
2. 如權利要求1所述的方法,其中圖像的捕獲和發(fā)送進一步包括 在顯示單元上顯示屏幕共享區(qū)域設定請求;當設定了屏幕的共享區(qū)域時,按固定尺寸分割所設定的區(qū)域; 生成與分割區(qū)域相關的映射信息;捕獲所設定區(qū)域中顯示的圖像,并依據(jù)映射信息對所捕獲的圖像進行分 割和編碼;和將映射信息和編碼圖像發(fā)送到接通的終端。
3. 如權利要求2所述的方法,其中固定尺寸是基于H.263或運動圖像 專家組MPEG-4中支持的四分之一公共中間格式QCIF的。
4. 如權利要求2所述的方法,其中映射信息包括按固定尺寸分割的屏 幕區(qū)域的數(shù)量、分割區(qū)域的構成順序和與分割區(qū)域相關的位置信息中的至少 一項。
5. 如權利要求2所述的方法,其中分割圖像的每秒幀數(shù)是小于或等于 由H.324M中所建議的十五幀每秒除以分割圖像的數(shù)量所得的商的整數(shù)。
6. —種在移動通信終端中進行的視頻電話中共享屏幕的方法,該方法 包括當在視頻電話中從接通的終端接收到屏幕共享請求時,在顯示單元上顯 示該屏幕共享請求;當設定了屏幕共享接受時,向接通的終端發(fā)送屏幕共享接受信號;當從接通的終端接收到映射信息和編碼圖像時,依據(jù)映像信息解碼并重 構編碼圖像;和在顯示單元的一個位置上顯示重構的圖像。
7. 如權利要求6所述的方法,其中映射信息包括分割圖像的數(shù)量、分 割圖像的構成順序和與分割圖像有關的位置信息中的至少一項。
8. —種用于在移動通信終端中進行的視頻電話中共享屏幕的設備,該設備包括顯示單元,用于顯示圖像;圖像捕獲單元,用于在產(chǎn)生了視頻電話屏幕共享事件時,生成與共享區(qū) 域相關的分割映射信息、捕獲顯示單元上顯示的圖像和依據(jù)分割映射信息分 割所捕獲的圖像;圖像處理器,用于對所分割的圖像進行編碼;和通信模塊,用于將編碼圖像和分割映射信息發(fā)送到接通的終端。
9. 如權利要求8所述的設備,其中分割映射信息包括由用戶設定的分 割屏幕區(qū)域的數(shù)量、分割屏幕區(qū)域的構成順序和與分割屏幕區(qū)域相關的位置 信息中的至少一項。
10. 如權利要求8所述的設備,其中圖像處理器包括單個緩沖器,并且 將可獨立解碼的I-幀存儲在該單個緩沖器中。
11. 如權利要求8所述的設備,其中圖像處理器包括多個緩沖器,并且 將可獨立解碼I-幀和用于預測和補償I幀之間的運動的P-幀存儲到相應的緩 沖器中。
12. 如權利要求11所述的設備,其中I幀和P幀是依據(jù)分割圖像的構 成順序交替地存儲在相應的緩沖器中的。
13. —種用于在移動通信終端中進行的視頻電話中共享屏幕的設備,該 設備包括通信模塊,用于從接通的終端接收映射信息和編碼圖像; 圖像處理器,用于依據(jù)映射信息解碼編碼圖像; 圖像重構單元,用于依據(jù)映射信息按原始圖像重構解碼后的圖像; 顯示單元,用于在設定的區(qū)域內(nèi)顯示重構的圖像。
14. 如權利要求13所述的設備,其中映射信息包括分割捕獲圖像的數(shù) 量、分割圖像的構成順序和與分割圖像有關的位置信息中的至少 一項。
15. 如權利要求13所述的設備,其中圖像處理器包括單個緩沖器,并 且將可獨立解碼的I-幀存儲在該單個緩沖器中。
16. 如權利要求13所述的設備,其中的圖像處理器包括多個緩沖器, 并且將可獨立解碼的I-幀和用于預測和補償I幀之間運動的P-幀存儲在相應的緩沖器中。
17. 如權利要求16所述的設備,其中I幀和P幀是依照分割圖像的構 成順序交替地存儲在相應的緩沖器中的。
18. —種用于在移動通信終端中進行的視頻電話中共享屏幕的設備,包括用于向接通的終端發(fā)送屏幕共享請求信號的裝置; 用于從接通的終端接收屏幕共享接受信號的裝置; 用于向接通的終端發(fā)送顯示圖像的裝置。
19. 如權利要求18所述的設備,其中用于發(fā)送顯示圖像的裝置執(zhí)行步驟按固定尺寸分割屏幕共享區(qū)域; 生成與分割區(qū)域相關的映射信息;捕獲屏幕共享區(qū)域內(nèi)顯示的圖像,并依照映射信息對所捕獲的圖像進行 編碼;和將映射信息和編碼圖像發(fā)送到接通的終端。
20. —種用于在移動通信終端中進行的視頻電話中共享屏幕的設備,包括:用于向接通的終端發(fā)送屏幕共享接受信號的裝置; 用于在從接通的終端接收到映射信息和編碼圖像時依照映射信息解碼 和重構編碼圖像的裝置;用于顯示重建圖像的裝置。
全文摘要
提供了一種在移動通信終端中進行的視頻電話中共享屏幕的設備和方法。該方法包括如果在視頻電話中出現(xiàn)了屏幕共享的事件,則向接通的終端發(fā)送屏幕共享請求信號,和當從接通的終端接收到屏幕共享接受信號時,捕獲屏幕上顯示的圖像,并把所捕獲的圖像發(fā)送到接通的終端。
文檔編號H04N7/26GK101127874SQ20071015273
公開日2008年2月20日 申請日期2007年7月4日 優(yōu)先權日2006年7月4日
發(fā)明者劉晉宇, 樸鐘喆, 鄭旭炫 申請人:三星電子株式會社