會議呼叫終端和操作所述會議呼叫終端的用戶界面的方法
【專利摘要】提供一種會議呼叫終端和操作所述會議呼叫終端的用戶界面的方法。所述方法包括：當啟動會議呼叫時，操作第一相機和第二相機；輸出包括從第一相機和第二相機收集的第一圖像和第二圖像的會議呼叫屏幕的輸出圖像，第一圖像和第二圖像被布置為不重疊；并且，當在會議呼叫屏幕的輸出圖像中檢測到講話者的圖像時，將講話者的圖像與另一個人的圖像區(qū)分開。
【專利說明】會議呼叫終端和操作所述會議呼叫終端的用戶界面的方法
【技術領域】
[0001]本公開涉及一種用于操作會議呼叫終端的用戶界面(UI)的方法和設備。更具體地說，本公開涉及一種具有雙相機的會議呼叫終端和用于操作該會議呼叫終端的UI的方法。
【背景技術】
[0002]由于通信技術的發(fā)展，便攜式終端(例如，智能電話和平板PC)已經(jīng)變得日益普及。通過添加除了語音呼叫、文本呼叫和圖像呼叫服務以外的各種新功能，移動終端提供整合的用戶功能。
[0003]特別地，圖像呼叫服務在用戶之間同時提供圖像和音頻，并且，當將音頻和圖像信號從呼叫方的移動通信終端發(fā)送到接收方時，通過接收在呼叫方自身的移動終端上由呼叫方發(fā)送的圖像和音頻信號，接收方可以看到并聽到呼叫方的對話。
[0004]隨著移動通信技術近期的發(fā)展，并且由于移動終端的規(guī)范的增加，圖像呼叫服務可以被許多用戶使用。在圖像呼叫期間，通過獲得經(jīng)由相機輸入的用戶圖像和經(jīng)由麥克風輸入的用戶語音，便攜式終端可以將用戶圖像或用戶語音發(fā)送到另一方便攜式終端，將從另一方便攜式終端接收到的圖像輸出到顯示單元，并且通過揚聲器輸出語音。但是，由于便攜式終端的有限大小，當執(zhí)行圖像呼叫服務時，存在以下問題:即，通過使用單個便攜式終端難以讓多個人同時參與到圖像呼叫中。
[0005]通常，設置于便攜式終端的正面上的前置相機被用于圖像呼叫中。也就是說，當執(zhí)行圖像呼叫時，由于只有一個相機(例如，前置相機或后置相機)被使用，因此通過該相機可以被看到的用戶是有限的。為了通過使用一個便攜式終端來呼叫一個以上的人，應當通過移動便攜式終端經(jīng)由相機將呼叫方的面部輸出到顯示單元。另外，即使通過使用單個相機將若干個用戶輸出到便攜式終端的小屏幕上，也難以識別出講話者是誰。
[0006]因此，需要一種通過在執(zhí)行會議呼叫時操作第一相機和第二相機來同時與多個人執(zhí)行圖像呼叫的會議呼叫終端以及用于操作該會議呼叫終端的用戶界面(UI)的方法。
[0007]以上信息僅被呈現(xiàn)為用于幫助理解本公開的背景信息。關于以上內容中的任何一項是否可適用于關于本公開的現(xiàn)有技術，未作出確定且未作出斷言。

【發(fā)明內容】

[0008]本公開的各方面將至少解決上述問題和/或缺點，并將至少提供下述優(yōu)點。因此，本公開的一個方面在于提供一種會議呼叫終端以及用于操作所述會議呼叫終端的Π的方法，所述會議呼叫終端通過在執(zhí)行會議呼叫時操作第一相機和第二相機來同時與多個人進行圖像呼叫。
[0009]本公開的另一個方面在于提供一種會議呼叫終端以及用于操作所述會議呼叫終端的UI的方法，所述會議呼叫終端通過識別會議呼叫期間的講話者來將參與會話的人與未參與會話的人區(qū)分開。
[0010]根據(jù)本公開的一個方面，提供用于操作會議呼叫終端中的Π的方法。所述方法包括:當啟動會議呼叫時，操作第一相機和第二相機；輸出包括從第一相機和第二相機收集的第一圖像和第二圖像的會議呼叫屏幕的輸出圖像，第一圖像和第二圖像被布置為不重疊；并且，當在會議呼叫屏幕的輸出圖像中檢測到講話者的圖像時，將講話者的圖像與另一個人的圖像區(qū)分開。
[0011]根據(jù)本公開的另一個方面，提供一種會議呼叫終端。所述會議呼叫終端包括:第一相機和第二相機，被配置用來獲得和收集圖像；音頻處理單元，被配置用來收集和輸出音頻信號；無線通信單元，被配置用來發(fā)送和接收圖像和語音信號；控制器，被配置用來當啟動會議呼叫時通過操作第一相機和第二相機來收集第一圖像和第二圖像，并且配置包含被布置為不重疊的第一圖像和第二圖像的會議呼叫屏幕的輸出圖像，并且從會議呼叫屏幕的輸出圖像檢測講話者；以及顯示單元，被配置用來將從會議呼叫屏幕檢測到的講話者的圖像與另一個講話者的圖像區(qū)分開。
[0012]根據(jù)本發(fā)明的另一個方面，提供一種操作會議呼叫終端的用戶界面的方法。所述方法包括:產(chǎn)生輸出圖像，所述輸出圖像包括(i)從第一成像裝置接收到的第一圖像和從第二成像裝置接收到的第二圖像，第一圖像和第二圖像在第一平行平面上相互鄰接，以及
(ii)從另一個會議呼叫終端接收到的在第二平行平面上的另一方圖像；將輸出圖像中的至少一個講話者的圖像與至少一個安靜的人的圖像區(qū)分開；以及將輸出圖像輸出到會議呼叫終端的會議呼叫屏幕上。
[0013]通過結合附圖公開了本公開的各種實施例的以下詳細描述，本公開的其他方面、優(yōu)點和顯著特征對本領域的技術人員將變得明顯。
【專利附圖】

【附圖說明】
[0014]通過結合附圖進行的以下描述，本公開的特定實施例的以上和其他方面、特征和優(yōu)點將會更加清楚，其中:
[0015]圖1是示出根據(jù)本公開的實施例的會議呼叫終端的配置的框圖；
[0016]圖2是示出根據(jù)本公開的實施例的操作會議呼叫終端的用戶界面(UI)的方法的流程圖；
[0017]圖3示出根據(jù)本公開的一個實施例的會議呼叫屏幕UI ；
[0018]圖4示出根據(jù)本公開的一個實施例的講話者顯示方法；
[0019]圖5示出根據(jù)本公開的另一個實施例的講話者顯示方法；
[0020]圖6示出根據(jù)本公開的另一個實施例的便攜式終端的會議呼叫屏幕UI ；
[0021]圖7示出根據(jù)本公開的又一個實施例的便攜式終端的會議呼叫屏幕Π。
[0022]貫穿附圖，應注意相同參考標號被用來描述相同或相似元件、特征和結構。
【具體實施方式】
[0023]參照附圖的以下描述被提供用于幫助全面理解由權利要求及其等同物限定的本公開的各種實施例。以下描述包括各種具體細節(jié)以幫助所述理解，但是這些具體細節(jié)將僅被視為示例性的。因此，本領域的普通技術人員將認識到，在不脫離本公開的范圍和精神的情況下，可作出描述于此的各種實施例的各種改變和修改。另外，為了清晰和簡明，可省略公知功能和構造的描述。[0024]以下描述和權利要求中使用的術語和詞語不限于書面含義，而僅由發(fā)明人用來實現(xiàn)本公開的清楚且一致的理解。因此，本領域的技術人員應清楚，本公開的各種實施例的以下描述僅被提供用于說明目的而不用于限制由權利要求及其等同物限定的本公開的目的。
[0025]應理解，除非上下文另有明確指示，否則單數(shù)形式包括復數(shù)指代，。因此，例如，參照“組件表面”包括參照這種表面中的一個或更多個。
[0026]根據(jù)本公開的具有雙相機的會議呼叫終端可以被應用于便攜式終端。很明顯，這樣的便攜式終端可以是具有相機和通信功能的所有類型的信息通信裝置，諸如，移動電話、智能電話、平板PC和手持PC。另外，根據(jù)本公開的會議呼叫設備可以裝備有可以同時執(zhí)行若干個任務的多任務功能。
[0027]在下文中，將在會議呼叫終端可以相應于智能電話的假設下進行描述。
[0028]圖1是示出根據(jù)本公開的實施例的便攜式終端的配置的框圖。
[0029]參考圖1，根據(jù)本公開的便攜式終端100可以包括:配置有觸摸面板111和顯示單元112的觸摸屏、鍵輸入單元120、無線通信單元130、音頻處理單元140、第一相機150、第二相機155、存儲單元160和控制器170。
[0030]觸摸屏110可以包括觸摸面板111和顯示單元112。觸摸屏可以根據(jù)用戶功能執(zhí)行來顯示屏幕，并且可以檢測與用戶功能控制有關的觸摸事件。根據(jù)本公開的觸摸屏可以是透明的觸摸屏，但是，根據(jù)本公開的觸摸屏并不限于此。
[0031]觸摸面板111可以被放置在顯示單元112上。詳細地講，觸摸面板111可以被實現(xiàn)為設置在顯示單元112正面的外掛(add-on)型，或者被插入到顯示單元112中的外嵌(on-cell)型或內嵌(in-cell)型。觸摸屏110的大小可以被確定為觸摸面板111的大小。觸摸面板111可響應于與觸摸面板111相應的用戶輸入信息(例如，用戶手勢)產(chǎn)生模擬信號(例如，觸摸事件)，并且可以通過執(zhí)行模擬到數(shù)字的轉換將該信號傳送到控制器170。這里，觸摸事件可以包括觸摸坐標(X，Y)信息。當觸摸事件從觸摸屏110被接收到時，控制器170可確定觸摸裝置(例如，手指或筆)觸摸到了觸摸屏，并且當觸摸事件未從觸摸屏110被接收到時，控制器170可確定觸摸被釋放。另外，當觸摸坐標已經(jīng)被改變時，控制器170可以確定觸摸被移動，并且可響應于觸摸移動計算觸摸的位置變化和觸摸的移動速度?？刂破?70可基于觸摸坐標、觸摸釋放、觸摸移動、觸摸的位置變化和觸摸的移動速度來劃分用戶手勢。用戶手勢可以包括觸摸、多點觸摸、單擊、雙擊、長擊、單擊并觸摸、拖動、輕拂、按、長按、捏合和展開。另外，觸摸屏可以裝備有用于檢測被觸摸的點的壓力的壓力傳感器。檢測到的壓力信息可以被傳送到控制器，并且可以劃分觸摸和按。可以將電阻型、電容型和電磁感應型應用于觸摸面板111。
[0032]在控制器170的控制下，顯示單元112可在接收自控制器170的圖像數(shù)據(jù)轉換為模擬信號之后，顯示圖像數(shù)據(jù)。也就是說，顯示單元112可以根據(jù)便攜式終端的使用提供各種屏幕，例如，鎖屏、主(home)屏幕、應用(在下文中，被稱為APP)執(zhí)行屏幕、菜單屏幕、鍵區(qū)屏幕、消息書寫屏幕和互聯(lián)網(wǎng)屏幕。顯示單元112可以使用液晶顯示器(IXD)、有機發(fā)光二極管(0LED)、有源矩陣有機發(fā)光二極管(AM0LED)、柔性顯示器和透明顯示器的類型來形成。當顯示單元用透明顯示器類型形成時，配置該顯示單元的組件(例如，LCD面板、偏光板(polarizing plate)和背光單元)都是透明的。當顯示單元112用柔性類型形成時,配置該顯示單元的組件可以由已經(jīng)添加了柔性的金屬箔或塑料薄膜來代替。[0033]在控制器170的控制下，根據(jù)本公開的顯示單元112可以提供會議呼叫屏幕界面，其中，所述會議呼叫屏幕界面布置并輸出從第一相機收集的第一圖像和從第二相機收集的第二圖像，以使得在執(zhí)行會議呼叫時第一圖像和第二圖像不重疊。另外，在控制器的控制下，根據(jù)本公開的顯示單元112可以顯示特定的人的圖像，S卩，講話者的圖像與另一個人的圖像被區(qū)分。例如，在控制器的控制下，通過針對圖標、顏色、亮度和效果中的至少一種執(zhí)行圖形處理，顯示單元112可以顯示講話者的圖像與另一個人的圖像被區(qū)分。例如，講話者的圖像可以由顯示單元112突出顯示，并且不講話的人的圖像可以顯示為灰色。另外，通過提取單獨的圖像，顯示單元112可以在單獨的顯示區(qū)域中輸出講話者的圖像。特別地，根據(jù)本公開的顯示單元可以以橫向模式提供圖像呼叫屏幕用戶界面(UI)，以執(zhí)行會議呼叫。將參考圖4到圖7對圖像呼叫屏幕Π進行更詳細地描述。
[0034]鍵輸入單元120可以接收數(shù)字或人信息，并且可以包括多個輸入鍵和用于設置各種功能的功能鍵。功能鍵可以包括:方向鍵、側鍵和設置用來執(zhí)行特定功能的快捷鍵。另夕卜，鍵輸入單元120可以產(chǎn)生與便攜式終端100的用戶設置和功能控制有關的鍵信號，并且可以將該鍵信號傳送到控制器170。該鍵信號可以被分成電源開/關信號、音量控制信號和屏幕開/關信號?？刂破?70可以響應于這樣的鍵信號來控制配置。另外，鍵輸入單元120可以包括包含多個鍵的QWERTY鍵區(qū)、3X4鍵區(qū)和4X3鍵區(qū)。此外，當便攜式終端100中的觸摸面板由全觸摸屏類型支持時，鍵輸入單元120可以僅包括形成在便攜式終端100的殼體側面中的用于屏幕開/關或便攜式終端開/關的至少一個側鍵。
[0035]無線通信單元130可以執(zhí)行便攜式終端的通信。無線通信單元130可通過形成通信信道來執(zhí)行諸如語音通信、圖像通信和數(shù)據(jù)通信的通信，其中，在所述通信信道中，已經(jīng)設置了可支持的移動通信網(wǎng)絡。無線通信單元130可以包括執(zhí)行發(fā)送信號的頻率的上變頻和放大的射頻發(fā)送單元以及執(zhí)行接收信號的頻率的低噪聲放大和下變頻的接收單元。另夕卜，無線通信單元130可以包括移動通信模塊(例如，第3代移動通信模塊、第3.5代移動通信模塊或第4代移動通信模塊等)和數(shù)字廣播模塊(例如，DMB模塊)。
[0036]音頻處理單元140可以通過執(zhí)行數(shù)字到模擬(DA)轉換將從控制器170接收到的音頻數(shù)據(jù)發(fā)送到揚聲器(SPK),并且可以通過執(zhí)行模擬到數(shù)字(AD)轉換將從麥克風(MIC)接收到的音頻數(shù)據(jù)傳送到控制器170。音頻處理單元140可以被配置有編解碼器(編碼器/解碼器)，并且該編解碼器可以裝備有處理分組數(shù)據(jù)的數(shù)據(jù)編解碼器和處理諸如語音的音頻信號的音頻編解碼器。音頻處理單元140可以通過音頻編解碼器將接收到的數(shù)字音頻信號轉換為模擬信號，并通過揚聲器來回放。音頻處理單元140可以通過音頻編解碼器將從麥克風輸入的模擬音頻信號轉換為數(shù)字音頻信號，并傳送到控制器170。
[0037]第一相機150和第二相機155可以提供通過拍照收集到的圖像。這里，當?shù)谝幌鄼C150和第二相機155中的一個被設置在便攜式終端的一面上時，另一個則被設置在另一面上。例如，第一相機150是安裝在便攜式終端的背面的后置相機，并且第一相機150可以以高分辨率拍攝對象圖像。相反地，第二相機155是安裝在便攜式終端的正面的前置相機，并且第二相機155可以以與第一相機150相比較低的低分辨率來拍攝便攜式終端100的用戶的圖像。根據(jù)從觸摸屏110或鍵輸入單兀120產(chǎn)生的信號,第一相機150和第二相機155可以被激活以收集圖像。
[0038]本公開中的第一相機150和第二相機155可包括:將輸入光信號轉換為電信號的相機傳感器、將從相機傳感器拍攝的模擬圖像信號轉換為數(shù)字數(shù)據(jù)的圖像信號處理器、以及對視頻信號執(zhí)行圖像處理(例如，大小縮放、去噪、RCG信號轉換等)以將從圖像信號處理器輸出的數(shù)字數(shù)據(jù)顯示在觸摸屏上的數(shù)字信號處理器。這里，電荷耦合器件(CCD)傳感器或互補金屬氧化物半導體(CMOS)傳感器可以被用于相機傳感器，數(shù)字信號處理器可以被省略并且可以使用DSP來實現(xiàn)。
[0039]存儲單元160可以存儲從便攜式終端產(chǎn)生的各種數(shù)據(jù)，以及便攜式終端100的操作系統(tǒng)(OS)和各種應用(App)。這些數(shù)據(jù)可以通過使用在便攜式終端的應用執(zhí)行(App)和便攜式終端中產(chǎn)生的數(shù)據(jù)來產(chǎn)生，或者可以包括接收自外部(例如，外部服務器、其它移動終端、個人計算機)的所有類型的可存儲數(shù)據(jù)。存儲單元160可以存儲從便攜式終端提供的用戶界面以及與便攜式終端功能處理器相應的各種設置信息。
[0040]控制器170可以控制會議呼叫終端的全部操作以及在會議呼叫終端的內部塊之間的信號流。當啟動會議呼叫時，控制器170可以基于收集的圖像以橫向模式形成會議呼叫屏幕Π。當啟動會議呼叫時，控制器170可以通過操作第一相機150和第二相機155來收集第一圖像和第二圖像，并且可以形成第一圖像和第二圖像被布置為不重疊的會議呼叫屏幕。當從另一方便攜式終端接收到另一方圖像時，控制器170可通過基于另一方圖像和圖像信息更新(renew)當前被輸出的會議呼叫屏幕來輸出另一方圖像。
[0041]控制器170可以從輸出自會議呼叫屏幕的圖像提取人的圖像，并且可以執(zhí)行在多個提取的人的圖像當中確定講話者的圖像的功能。控制器170可以在會議呼叫屏幕中突出顯示講話者的圖像，或者可以以單獨的圖像邊框來輸出講話者的圖像?？刂破?70可以處理第一圖像和第二圖像的背景圖像，以在會議呼叫屏幕中具有相同的背景圖像。
[0042]更詳細地講，控制器170包括講話者提取單元171和處理單元172。講話者提取單元171可以通過使用各種檢測方法從會議呼叫屏幕的輸出圖像檢測人的圖像。例如，檢測方法可以通過檢測人的圖像的輪廓(邊緣:即，像素亮度不連續(xù)的點)來將人的圖像從輸出圖像分離出來。這種檢測方法可能能夠將除用戶以外的背景圖像以及人的圖像分離。
[0043]講話者提取單元171可以將輸出圖像處理為灰色或二進制，并且可以通過執(zhí)行與被處理圖像相應的模版(template)匹配來從輸出圖像檢測出面部和嘴唇。講話者提取單元171可以提取人的圖像，并且可以通過使用各種檢測方法來確定講話者。例如，講話者提取單元171可以通過計算人的圖像的嘴唇區(qū)域中與先前幀的變化來確定講話者。講話者提取單元171可以將確定的講話者信息傳送到處理單元172。
[0044]當講話者信息被從講話者提取單元發(fā)送時，處理單元172可以將講話者的圖像的輸出圖像與另一人的圖像區(qū)分開，并且可以將處理過的圖像傳送到顯示單元112。例如，處理單元172可以提取輸出有講話者的圖像邊框部分，并且可以產(chǎn)生分離的講話者的圖像，并將該圖像傳送到顯示單元112。另外，處理單元172可以突出顯示輸出有講話者的圖像部分，或者突出顯示講話者的圖像部分，并且未講話者的圖像變灰，并將處理過的圖像傳送到顯示單元112。處理單元172可以將提取的人的圖像與特定背景圖像合成，使得第一圖像和第二圖像的背景可以具有相同的背景效果，并且將合成的圖像傳送到顯示單元112。
[0045]另外，處理單元172可以將從第一相機150和第二相機155收集的第一圖像和第二圖像合成為不重疊，并且可以將合成的圖像發(fā)送到另一方終端。
[0046]此外，根據(jù)本公開的便攜式終端可以支持橫向模式的屏幕顯示、縱向模式的屏幕顯示、以及根據(jù)與在顯示會議呼叫屏幕時便攜式終端的旋轉方向(或取向)相應的橫向模式與縱向模式之間的改變的自適應屏幕轉換顯示。
[0047]由于變化根據(jù)數(shù)字融合(digital convergence)的趨勢是如此多樣，因此不可能列舉出所有情況，但是，根據(jù)本公開的便攜式終端100還可以包括在上文中未提到的配置，諸如，檢測與便攜式終端的位置改變有關的信息的傳感器模塊、測量便攜式終端的位置的全球定位系統(tǒng)(GPS)模塊以及相機模塊。另外，可以從上述配置排除便攜式終端100中的特定配置，或者可以根據(jù)便攜式終端10的提供類型來使用其它配置代替便攜式終端100中的特定配置。此外，本公開中的輸入單元可以是觸摸板和軌跡球，以及觸摸屏110和鍵輸入單元120。
[0048]在執(zhí)行圖像呼叫時，發(fā)送側終端和接收側終端兩者都適用于根據(jù)本公開實施例的便攜式終端。也就是說，當啟動會議呼叫時，根據(jù)本公開的便攜式終端可以將從第一相機和第二相機收集的第一圖像和第二圖像發(fā)送到另一方終端，或者可以將第一圖像和第二圖像被布置為不重疊的合成圖像發(fā)送到另一方終端。與此相反，便攜式終端可以從另一方終端接收圖像被布置為不重疊的合成圖像。便攜式終端可以基于從相機收集的圖像和從另一方終端接收的圖像來配置具有各種類型的會議呼叫屏幕UI。特別地，根據(jù)本公開實施例的會議呼叫屏幕Π可以被設置為以橫向模式輸出，但是，并本公開不限于此。另外，根據(jù)本公開的便攜式終端可以確定會議圖像中的講話者，并且可以將屏幕UI配置為將講話者輸出為與其他人不同。
[0049]為了便于描述，用于在圖像呼叫期間操作屏幕Π的方法將基于發(fā)送側終端來進行描述，但是，根據(jù)本公開的用于操作Π的方法和設備并不限于此，并且可以是可實現(xiàn)根據(jù)本公開實施例的所有配置的便攜式終端。
[0050]圖2是示出根據(jù)本公開實施例的操作會議呼叫終端的UI的方法的流程圖。
[0051]參考圖2，控制器170可以在操作210接收圖像呼叫連接。在該操作中，用戶終端(例如，發(fā)送側)可以請求到另一方終端(例如，接收側)的圖像呼叫連接，或者可以從另一方終端接收呼叫連接請求。
[0052]控制器170可以從另一方的終端接收允許呼叫連接的響應信號，或者，在允許另一方終端的呼叫連接請求時，會議呼叫可以被連接到另一方便攜式終端。
[0053]在操作220，控制器170可以確定圖像呼叫連接是否是會議呼叫連接請求。例如，根據(jù)本公開實施例的便攜式終端可以提供請求會議呼叫連接的選項菜單。當用戶選擇了便攜式終端的呼叫功能中的會議呼叫連接菜單時，控制器170可以接收會議呼叫連接請求事件。否則，當用戶未選擇便攜式終端的呼叫功能中的會議呼叫連接菜單時，控制器170結束處理。
[0054]在操作230，當會議呼叫連接請求事件被接收到時，控制器170可以操作第一相機150和第二相機155。這里,第一相機150和第二相機155可以是安裝在用戶終端中的前置相機和后置相機。同時，當接收到用于普通圖像呼叫而不是會議呼叫連接的請求事件時，控制器170可以僅操作第一相機150和第二相機155中的一個。
[0055]在操作240,控制器170可以收集從第一相機150和第二相機155拍攝的第一圖像和第二圖像。同時，控制器170可以收集通過麥克風接收的語音信號。
[0056]例如，對于會議呼叫，當分別地在用戶終端的前方有三個人并在用戶終端的后方有三個人時，控制器170可以通過第一相機150收集在前方的人的第一圖像，并且可以通過第二相機155收集在后方的人的第二圖像。
[0057]控制器170可以基于通過第一相機收集的第一圖像來產(chǎn)生第一圖像數(shù)據(jù)，并且可以基于通過第二相機收集的第二圖像來產(chǎn)生第二圖像數(shù)據(jù)?？刂破?70可以將輸出位置信息添加到第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，使得這些圖像可以不重疊。輸出位置信息指的是第一圖像和第二圖像在會議呼叫屏幕Π中輸出的位置的信息。另外，控制器170可以通過將第一圖像和第二圖像布置為在會議呼叫屏幕中輸出的組合圖像來產(chǎn)生合成圖像數(shù)據(jù)?？刂破?70可以分別壓縮和解碼產(chǎn)生的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，或者可以通過壓縮和解碼合成圖像數(shù)據(jù)來發(fā)送到另一方終端。當從另一方終端接收到允許呼叫連接的響應信號時，或者當通過允許另一方終端的呼叫連接請求而使得圖像呼叫與另一方的便攜式終端連接時，控制器170可以從另一方終端收集另一方圖像。
[0058]在操作250，控制器170可以基于收集的圖像來輸出會議呼叫屏幕H?？刂破?70可以配置會議呼叫屏幕Π，使得第一圖像和第二圖像可以不重疊。特別地，根據(jù)本公開實施例的便攜式終端可以以使得第一圖像和第二圖像以橫向模式被輸出的方式來設置，但是，本公開并不限于此。這里，將參考圖3到圖7在稍后對圖像呼叫屏幕Π進行詳細地描述。
[0059]當從另一方終端接收到另一方圖像時，控制器170可以將另一方圖像信息和基于另一方的圖像信息的另一方圖像輸出到會議呼叫屏幕上。在這種情況下，控制器170可以從另一方終端接收合成圖像，或者可以接收兩個另一方圖像和輸出位置信息。
[0060]在操作260，控制器170可以從會議呼叫屏幕的輸出圖像檢測人的圖像。例如，控制器170可以通過檢測人的圖像的輪廓(邊緣:即，像素亮度不連續(xù)的點)來將人的圖像從輸出圖像分離出來。這里，控制器可以將不包括人的背景以及人的圖像分離。
[0061]在操作270，控制器170可以確定講話者是否存在于檢測到的人的圖像中。例如，控制器170可以通過計算在講話者的嘴唇區(qū)域中與先前幀的變化來確定講話者。否則，如果控制器170未確定講話者，則控制器170可以結束處理。
[0062]在操作280，控制器170提取人的圖像信息，并且以使得講話者的圖像與未講話者的圖像可以被區(qū)分的方式來對會議呼叫屏幕上的圖標、顏色、亮度或效果中的至少一種進行圖形處理，從而將講話者和其他的人不同地輸出。
[0063]例如，控制器170可以提取輸出有講話者的圖像邊框部分，產(chǎn)生分離的講話者的圖像，并且可以將該圖像傳送到顯示單元112?？刂破?70可以更新會議呼叫屏幕，使得分離的講話者的圖像被輸出在顯示單元上。另外，控制器170可以處理講話者被突出顯示的圖像部分并將其他人的圖像部分處理為灰色，并且可以將處理過的圖像傳送到顯示單元112?？刂破?70可以將提取的人的圖像與特定背景圖像合成，使得第一圖像和第二圖像的背景圖像可以具有相同的背景效果，并且可以將合成的圖像傳送到顯示單元112。
[0064]根據(jù)本公開，與通過僅使用單個相機來執(zhí)行會議呼叫相比，通過在執(zhí)行會議呼叫時操作第一相機和第二相機，相對更多的人可以參與到會議呼叫中。
[0065]圖3示出根據(jù)本公開的一個實施例的會議呼叫屏幕UI。
[0066]參考圖3，當啟動會議呼叫時，如屏幕301所示，控制器170可以將會議呼叫屏幕Π輸出在顯示單元112上。這里，會議呼叫屏幕Π可以被設置為以橫向模式輸出，但是，并不限于此。[0067]至此，控制器170可以將指示以橫向模式放置便攜式終端的消息(例如，請將裝置以橫向模式放置)或圖標(例如，丨丨丨)輸出在顯示單元上，但是，這僅是示例，并不限于此。會議呼叫屏幕310可根據(jù)針對圖像呼叫而收集的圖像(即，從用戶終端收集的圖像)以及從另一方終端收集的圖像的位置信息和幀率被配置為各種類型。
[0068]在屏幕301中的會議呼叫屏幕310可以包括用戶顯示區(qū)域320和另一方顯示區(qū)域330。另外，盡管未在圖中示出，但是會議呼叫屏幕可以包括與圖像呼叫有關的功能菜單(例如，轉換為普通圖像呼叫的功能以及靜音功能等)區(qū)域，但并不限于此。在橫向模式中的會議呼叫屏幕310的情況下，用戶顯示區(qū)域320和另一方顯示區(qū)域330可以被布置為上下排列。為了便于描述，用戶顯示區(qū)域被示出為設置在屏幕301中的上部，但是，并不限于此。
[0069]根據(jù)預定義的設置來布置用戶顯示區(qū)域320，使得從第一相機和第二相機收集的第一圖像321和第二圖像322可以不重疊。用戶顯示區(qū)域320的輸出大小可以根據(jù)收集的圖像的數(shù)量來改變。即，控制器170可以用兩個圖像輸出大小來設置用戶顯示區(qū)域，并且可以分別在用戶顯示區(qū)域320的左側區(qū)域中輸出第一圖像321，在右側區(qū)域中輸出第二圖像322。在這種情況下，控制器170可以產(chǎn)生并存儲第一圖像和第二圖像的輸出位置信息。為了便于描述，用戶顯示區(qū)域的虛線被示出，并且該虛線不可以被應用于具有本公開的配置的便攜式終端。
[0070]從另一方終端接收到的另一方圖像被輸出在另一方顯示區(qū)域330中。此時，另一方顯示區(qū)域330的輸出大小可以根據(jù)另一方圖像的數(shù)量和幀率來改變。
[0071]例如，如301所示，當從另一方終端接收的輸出幀率是4:3時，控制器170可通過用一個圖像輸出大小來設置另一方顯示區(qū)域330，以輸出另一方圖像。同時，當從另一方終端接收的圖像的輸出幀率是8:3時，控制器170可通過用兩個圖像輸出大小來設置另一方顯示區(qū)域330，以輸出另一方圖像。
[0072]屏幕302是當使用兩個圖像輸出大小來設置用戶顯示區(qū)域和另一方顯示區(qū)域時的會議呼叫屏幕的示圖。
[0073]例如，當在處理從另一方終端接收到的另一方圖像的過程中接收到的圖像是兩個或一個合成圖像(例如，輸出幀率為8:3)時，控制器170可以通過用兩個圖像輸出大小來設置另一方顯示區(qū)域。如302所示，當從另一方終端接收到的圖像是兩個時，正如在用戶顯示區(qū)域中輸出圖像一樣，控制器170可以將兩個接收到的圖像331、332布置并輸出為不重疊。當從另一方終端接收到兩個圖像時，控制器170可以驗證每個圖像的輸出位置信息，并且可以將兩個圖像邊框輸出為不重疊。例如，控制器170可以基于從另一方終端接收到的兩個圖像當中的輸出位置信息來在另一方顯示區(qū)域330的左側中輸出一個圖像331，并且可以在右側中輸出另一個圖像332。
[0074]如上所述，根據(jù)本公開的會議呼叫終端可以根據(jù)從另一方終端接收到的圖像以及從用戶終端收集的圖像的數(shù)量和比率來配置屏幕Π。另外，會議呼叫終端可將根據(jù)屏幕Π配置的屏幕配置信息發(fā)送到另一方終端。即，會議呼叫終端可以分別將第一圖像和第二圖像分別發(fā)送到另一方終端，或者可以將第一圖像和第二圖像被不重疊地布置的合成圖像發(fā)送到另一方終端。因此，另一方終端也可以使用與所述屏幕Π相同的屏幕Π配置來執(zhí)行會議呼叫。
[0075]與通過僅使用單個相機來執(zhí)行圖像呼叫相比，通過操作第一相機和第二相機，根據(jù)本公開的會議呼叫可以使得相對更多的人能夠參與到會議呼叫中。
[0076]圖4示出根據(jù)本公開的一個實施例的講話者顯示方法。
[0077]參考圖4，可根據(jù)圖像信息，使用各種類型的圖像效果來輸出會議呼叫屏幕。為此，控制器170可以提取包括在圖像中的圖像信息，并且，如果從人的圖像信息中將特定的人確定為講話者，則控制器170可以對圖標、顏色、亮度和效果中的至少一種進行圖形處理，使得講話者的圖像可以與其他人的圖像區(qū)分開來。例如，控制器170可以突出顯示講話者的圖像，并且可以使其他人的圖像變灰。
[0078]特別地，當啟動會議呼叫時，控制器170可以配置包括用戶顯示區(qū)域420和另一方顯示區(qū)域430的會議呼叫屏幕410，并且可以從輸出圖像檢測人的圖像。控制器170可以確定檢測到的人是否是講話者。這里，控制器170可以從輸出圖像中僅提取一個人的圖像，并且可通過使用人的語音特征信息、嘴唇的運動信息、面部的運動信息和人的特定姿勢信息來確定講話者。
[0079]例如，控制器170可以從輸出圖像(S卩，用戶圖像和另一方方圖像)僅提取人的圖像，并且可以通過使用人的面部顏色信息和形狀信息來提取每個人的面部和嘴唇區(qū)域。另夕卜，控制器170可以通過計算在嘴唇區(qū)域中與先前幀的變化量來確定講話者。已經(jīng)出于本公開的便利性描述了確定講話者的配置，但是并不限于此。
[0080]當確定講話者存在于輸出圖像中時，控制器170可以將輸出圖像劃分成講話者區(qū)域440和未講話者區(qū)域450，并且可以如圖5所示通過處理輸出圖像來突出顯示講話者區(qū)域440。
[0081]另外，控制器170可以突出顯示講話者區(qū)域440，并且可以使未講話者區(qū)域450變灰，并且還可以在講話者區(qū)域440上輸出箭頭狀標記(例如，諸如閃爍點和多邊形圖標的圖形處理等)。這樣，用戶可以在從會議呼叫屏幕輸出的多個人當中直觀地區(qū)分出誰是講話者。
[0082]圖5示出根據(jù)本公開的另一個實施例的講話者顯示方法。
[0083]參考圖5，在包括用戶顯示區(qū)域520和另一方顯示區(qū)域530的會議呼叫屏幕510中，在參與到圖像呼叫的多個人當中的講話者的圖像作為單獨的圖像540被輸出在屏幕的底部。當啟動會議呼叫時，控制器170可以配置會議呼叫屏幕510，并且可以從輸出圖像(即，另一方圖像和用戶圖像)檢測人的圖像。當確定講話者存在于檢測到的人的圖像中時，控制器170可以僅提取與輸出圖像當中的每個邊框相應的講話者區(qū)域的圖像部分?？刂破?70可以將提取的講話者的圖像540輸出在會議呼叫屏幕的底部。
[0084]圖6示出根據(jù)本公開的另一個實施例的便攜式終端的會議呼叫屏幕UI。
[0085]參考圖6，會議呼叫屏幕610可以以使得收集到的兩個圖像中的每一個都具有相同的背景圖像效果650的方式來輸出。例如，由于配置會議呼叫屏幕610的第一圖像和第二圖像是從設置在便攜式終端中的前置相機和后置相機收集的圖像，因此第一圖像和第二圖像的背景圖像可以不同。控制器170可以從第一圖像和第二圖像提取人的圖像(例如，講話者區(qū)域640)和背景圖像，并且可以將提取的人的圖像和特定的背景圖像被合成的合成圖像輸出在用戶顯示區(qū)域620上。根據(jù)預定義設置，特定的背景圖像650可以是根據(jù)用戶選擇從輸出圖像提取的背景圖像或從便攜式終端提供的背景圖像中的任意一個。例如，控制器170可以選擇從第一圖像和第二圖像提取的背景圖像當中的第一圖像的背景圖像650，并且可以通過合成第二圖像的人的圖像與第一圖像的背景圖像來控制輸出。
[0086]在會議呼叫屏幕610中，從另一方終端接收到的另一方圖像被輸出在另一方顯示區(qū)域630中。這里，在另一方顯示區(qū)域中的圖像的輸出大小可以根據(jù)接收到的另一方圖像的數(shù)量與幀率來改變。
[0087]圖7示出根據(jù)本公開的又一個實施例的便攜式終端的會議呼叫屏幕UI。
[0088]參考圖7，當啟動會議呼叫時，如圖7所示，控制器可以以縱向方式將會議呼叫屏幕Π輸出在顯示單元上。會議呼叫屏幕710可以包括用戶顯示區(qū)域720和另一方顯示區(qū)域 730。
[0089]在縱向模式中的會議呼叫屏幕710中，根據(jù)預定義設置，用戶顯示區(qū)域720可以被布置為上下排列，使得從第一相機150和第二相機155收集到的第一圖像和第二圖像可以不重疊。在縱向模式中的會議呼叫屏幕710可根據(jù)圖像被輸出為具有各種圖像類型的圖像效果。例如，在縱向模式中的會議呼叫屏幕710可以處理并突出顯示講話者區(qū)域，或者可以將第一圖像和第二圖像的背景圖像改變?yōu)橄嗤?br> [0090]在會議呼叫屏幕710中，從另一方終端接收到的另一方圖像可以被輸出在另一方顯示區(qū)域730上。在另一方顯示區(qū)域中的圖像的輸出大小可以根據(jù)接收到的另一方圖像的數(shù)量與幀率來改變。例如，當從另一方終端接收到兩個圖像，或者接收到兩個圖像以上下排列被合成的圖像時，接收到的兩個圖像或者被合成的圖像可以被布置為上下排列，使得兩個圖像可類似于用戶顯示區(qū)域不重疊。
[0091]本公開可以在會議呼叫期間通過前置相機和后置相機收集多個人的圖像，并且可以將收集到的圖像中的講話者與其他人區(qū)分開來。
[0092]本發(fā)明的各個方面也可以被實現(xiàn)為非暫時性計算機可讀記錄介質上的計算機可讀代碼。非暫時性計算機可讀記錄介質是可以存儲隨后可由計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。非暫時性計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-R0M、磁帶、軟盤以及光學數(shù)據(jù)存儲裝置。非暫時性計算機可讀記錄介質還可以被分布在聯(lián)網(wǎng)的計算機系統(tǒng)中，使得計算機可讀代碼以分布式的方式來被存儲和執(zhí)行。此夕卜，本公開所屬領域的程序員可以容易地解釋用于實現(xiàn)本公開的功能性程序、代碼和代碼段。
[0093]在這一點上，應當注意，如上所述的本公開的各種實施例通常涉及一定程度的輸入數(shù)據(jù)的處理和輸出數(shù)據(jù)的產(chǎn)生。輸入數(shù)據(jù)處理和輸出數(shù)據(jù)產(chǎn)生可以在硬件中或者與硬件結合的軟件中被實現(xiàn)。例如，特定電子組件可以被應用于用于實現(xiàn)與如上所述的本公開的各種實施例相關聯(lián)的功能的移動裝置或者類似的或有關的電路中?？蛇x地，根據(jù)存儲的指令進行操作的一個或更多個處理器可以實現(xiàn)與如上所述的本公開的各種實施例相關聯(lián)的功能。如果是這種情況，則以下情況在本公開的范圍內:這樣的指令可以被存儲在一個或更多個非暫時性處理器可讀介質上。處理器可讀介質的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤以及光學數(shù)據(jù)存儲裝置。處理器可讀介質也可以被分布在聯(lián)網(wǎng)的計算機系統(tǒng)上，使得指令以分布的方式被存儲和執(zhí)行。此外，本公開所屬領域的程序員可以容易地解釋用于實現(xiàn)本公開的功能性計算機程序、指令和指令段。
[0094]雖然已經(jīng)針對本公開的各種實施例對本公開進行了示出和描述，但是本領域的技術人員將會理解，在不脫離由權利要求及其等同物所限定的本公開的精神和范圍的情況 下，可以對實施例進行形式和細節(jié)上的各種改變。
【權利要求】
1.一種用于操作會議呼叫終端的用戶界面的方法，所述方法包括: 輸出包括第一圖像和第二圖像的會議呼叫屏幕的輸出圖像，其中，第一圖像和第二圖像被布置為不重疊；以及 當在會議呼叫屏幕的輸出圖像中檢測到講話者的圖像時，將講話者的圖像與另一個人的圖像區(qū)分開。
2.如權利要求1所述的方法，其中，輸出會議呼叫屏幕的輸出圖像的步驟包括: 當啟動會議呼叫時，操作第一相機和第二相機； 輸出會議呼叫屏幕的輸出圖像，所述輸出圖像包括(i)包含從第一相機和第二相機收集的第一圖像和第二圖像的用戶顯示區(qū)域，以及(2)包含從另一方終端接收到的另一方圖像的另一方顯示區(qū)域， 其中，用戶顯示區(qū)域和另一方顯示區(qū)域被布置為一個在另一個之上，并且不重疊。
3.如權利要求1所述的方法，其中，輸出會議呼叫屏幕的輸出圖像的步驟包括以橫向模式輸出會議呼叫屏幕。
4.如權利要求1所述的方法，其中，輸出會議呼叫屏幕的輸出圖像的步驟包括: 從第一圖像和第二 圖像分離并提取人的圖像和背景圖像； 將提取的人的圖像與一個背景圖像合成；以及 輸出合成的第一圖像和第二圖像。
5.如權利要求1所述的方法，其中，將講話者的圖像與其他人的圖像區(qū)分開的步驟包括: 分離并提取講話者的圖像和另一個人的圖像的邊框區(qū)域；以及針對講話者的圖像和另一個人的圖像的邊框區(qū)域，對圖標、顏色、亮度和效果中的至少一種進行圖形處理和輸出。
6.如權利要求5所述的方法，其中，圖形處理和輸出的步驟包括突出顯示講話者的圖像的邊框區(qū)域，并使另一個人的圖像的邊框區(qū)域變灰。
7.如權利要求1所述的方法，其中，將講話者的圖像與另一個人的圖像區(qū)分開的步驟包括: 分離并提取講話者的圖像和另一個人的圖像的邊框區(qū)域； 產(chǎn)生由提取的講話者的圖像構成的講話者的圖像；以及 在會議呼叫屏幕的特定區(qū)域中輸出產(chǎn)生的講話者的圖像。
8.如權利要求1所述的方法，其中，輸出會議呼叫的輸出圖像的步驟包括: 創(chuàng)建輸出圖像，所述輸出圖像包括(i)從第一成像裝置接收到的第一圖像和從第二成像裝置接收到的第二圖像，第一圖像和第二圖像在第一平行平面上相互鄰接，以及(ii)從另一個會議呼叫終端接收到的在第二平行平面上的另一方圖像。
9.一種會議呼叫終端，包括: 第一相機和第二相機，被配置用來獲得和收集圖像； 音頻處理單元，被配置用來收集和輸出音頻信號； 無線通信單元，被配置用來發(fā)送和接收圖像和語音信號； 控制器，被配置用來當啟動會議呼叫時收集第一圖像和第二圖像，并且配置包含被布置為不重疊的第一圖像和第二圖像的會議呼叫屏幕的輸出圖像，并且從會議呼叫屏幕的輸出圖像檢測講話者；以及 顯示單元，被配置用來將從會議呼叫屏幕檢測到的講話者的圖像與另一個人的圖像區(qū)分開。
10.如權利要求9所述的設備，其中，控制器還包括: 講話者提取單元，被配置用來通過從會議呼叫屏幕的輸出圖像檢測人的圖像的輪廓，并且從人的圖像確定講話者；以及 處理單元，被配置用來當講話者被確定時，處理輸出圖像，使得講話者的圖像可以與另一個人的圖像被區(qū)分。
11.如權利要求9所述的設備，其中，顯示單元輸出會議呼叫屏幕，在該會議呼叫屏幕中，第一圖像和第二圖像的人的圖像與一個背景圖像被合成。
12.如權利要求9所述的設備，其中，顯示單元輸出會議呼叫屏幕，在所述會議呼叫屏幕中，講話者的圖像的邊框區(qū)域被突出顯示。
13.如權利要求9所述的設備，其中，顯示單元分離并提取講話者的圖像與另一個人的圖像的邊框區(qū)域，并且針對講話者的圖像和另一個人的圖像的邊框區(qū)域，對圖標、顏色、亮度和效果中的至少一種進行圖形處理和輸出。
14.如權利要求13所述的設備，其中，顯示單元輸出會議呼叫屏幕，在所述會議呼叫屏幕中，講話者的圖像的邊框區(qū)域被突出顯示，并且另一個人的圖像的邊框區(qū)域被變灰。
15.如權利要求9所述的設備，其中，顯示單元在會議呼叫屏幕的特定區(qū)域中輸出講話者的圖像。
【文檔編號】H04M3/56GK104038723SQ201410085814
【公開日】2014年9月10日 申請日期:2014年3月10日 優(yōu)先權日:2013年3月8日
【發(fā)明者】金鍵洙, 梁弘錫, 劉奈兼, 黃炯錫 申請人:三星電子株式會社