本申請涉及通信技術(shù)領(lǐng)域，特別涉及一種基于移動終端的設(shè)備控制方法、裝置和移動終端。

背景技術(shù)：

智能設(shè)備已經(jīng)越來越廣泛的進入人們的日常生活，用戶可通過智能機頂盒、智能電視、個人計算機、投影機等設(shè)備進行影音、娛樂、購物等各種各樣的活動。這些智能設(shè)備大多是采用遙控器或鼠標進行控制，操作方式單一，且操作不方便，特別是在輸入漢字、按鍵操作或者玩游戲等場景下，操作不便更為明顯。

技術(shù)實現(xiàn)要素：

本申請旨在至少在一定程度上解決上述技術(shù)問題。

為此，本申請的第一個目的在于提出一種基于移動終端的設(shè)備控制方法，實現(xiàn)了設(shè)備間的優(yōu)勢互補，極大地提高了用戶交互自由度和靈活性。

本申請的第二個目的在于提出一種基于移動終端的設(shè)備控制裝置。

本申請的第三個目的在于提出一種移動終端。

為達上述目的，根據(jù)本申請第一方面實施例提出了一種基于移動終端的設(shè)備控制方法，包括以下步驟：獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息，并進行顯示；接收用戶針對所述拓展畫面信息的控制操作；將所述控制操作轉(zhuǎn)換為所述被控設(shè)備可識別的指令，并發(fā)送至所述被控設(shè)備，以對所述被控制設(shè)備進行控制。

本申請實施例的基于移動終端的設(shè)備控制方法，通過獲取被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉(zhuǎn)換為被控設(shè)備可識別的指令發(fā)送至被控設(shè)備，以對被控設(shè)備進行控制，實現(xiàn)了移動終端與被控設(shè)備的協(xié)同操作控制，充分利用被控設(shè)備顯示體驗好、移動終端操控自然、方便的優(yōu)勢，將移動終端多樣、自然、方便的操作轉(zhuǎn)換為被控設(shè)備可識別的指令，以進行控制，從而操作單一的被控設(shè)備可通過移動終端進行各種多樣化的協(xié)同控制，實現(xiàn)了設(shè)備間的優(yōu)勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請第二方面實施例提供了一種基于移動終端的設(shè)備控制裝置，包括：獲取模塊，用 于獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息；顯示模塊，用于所述拓展畫面信息；第一接收模塊，用于接收用戶針對所述拓展畫面信息的控制操作；轉(zhuǎn)換模塊，用于將所述控制操作轉(zhuǎn)換為所述被控設(shè)備可識別的指令；發(fā)送模塊，用于將所述被控設(shè)備可識別的指令發(fā)送至所述被控設(shè)備，以對所述被控制設(shè)備進行控制。

本申請實施例的基于移動終端的設(shè)備控制裝置，通過獲取被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉(zhuǎn)換為被控設(shè)備可識別的指令發(fā)送至被控設(shè)備，以對被控設(shè)備進行控制，實現(xiàn)了移動終端與被控設(shè)備的協(xié)同操作控制，充分利用被控設(shè)備顯示體驗好、移動終端操控自然、方便的優(yōu)勢，將移動終端多樣、自然、方便的操作轉(zhuǎn)換為被控設(shè)備可識別的指令，以進行控制，從而操作單一的被控設(shè)備可通過移動終端進行各種多樣化的協(xié)同控制，實現(xiàn)了設(shè)備間的優(yōu)勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請第三方面實施例提供了一種移動終端，包括本申請第二方面實施例的基于移動終端的設(shè)備控制裝置。

本申請實施例的移動終端，通過獲取被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉(zhuǎn)換為被控設(shè)備可識別的指令發(fā)送至被控設(shè)備，以對被控設(shè)備進行控制，實現(xiàn)了移動終端與被控設(shè)備的協(xié)同操作控制，充分利用被控設(shè)備顯示體驗好、移動終端操控自然、方便的優(yōu)勢，將移動終端多樣、自然、方便的操作轉(zhuǎn)換為被控設(shè)備可識別的指令，以進行控制，從而操作單一的被控設(shè)備可通過移動終端進行各種多樣化的協(xié)同控制，實現(xiàn)了設(shè)備間的優(yōu)勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐了解到。

附圖說明

本申請的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1為根據(jù)本申請一個實施例的基于移動終端的設(shè)備控制方法的流程圖；

圖2為根據(jù)本申請一個實施例的拓展畫面信息的示意圖；

圖3a-圖3c為根據(jù)本申請一個實施例的拓展畫面信息的示意圖；

圖4為根據(jù)本申請一個實施例的獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息方法的流程圖；

圖5為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制方法的流程圖；

圖6為根據(jù)本申請一個實施例的指令轉(zhuǎn)換的示意圖；

圖7為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制方法的流程圖；

圖8為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制方法的流程圖；

圖9為根據(jù)本申請一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖；

圖10為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖；

圖11為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖；

圖12為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖。

具體實施方式

下面詳細描述本申請的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本申請，而不能理解為對本申請的限制。

由于移動終端具有自然、多樣的用戶交互方式，如觸摸、語音、體感等控制方式，便于操控的優(yōu)點，因此，為了解決當前的智能機頂盒、智能電視、個人計算機、投影機等設(shè)備雖然具有大屏顯示或播放、便于觀看的有點，但操作方式單一、操作不方便的問題，本申請的實施例提出了一種基于移動終端的設(shè)備控制方法和裝置，可以將上述兩類設(shè)備的優(yōu)點相結(jié)合，實現(xiàn)大屏顯示+自然操控優(yōu)勢結(jié)合，以提升用戶使用時的交互體驗。

下面參考附圖描述根據(jù)本申請實施例的基于移動終端的設(shè)備控制方法和裝置。

需要說明的是，本申請實施例中的移動終端可以是手機、平板電腦、智能穿戴式設(shè)備、個人數(shù)字助理等終端設(shè)備。

圖1為根據(jù)本申請一個實施例的基于移動終端的設(shè)備控制方法的流程圖。如圖1所示，根據(jù)本申請實施例的基于移動終端的設(shè)備控制方法，包括：

s101，與被控設(shè)備建立通信連接。

在本申請的一個實施例中，被控設(shè)備可為智能電視、電視機頂盒、個人計算機或投影機等。

其中，移動終端與被控設(shè)備可通過但不限于藍牙、wi-fi(wirelessfidelity，無線保真)、2.4g(一種頻段處于2.400ghz～2.4835ghz之間的無線通信技術(shù))、ibeacon(一種由蘋果公司發(fā)布的基于低功耗藍牙的無線通信技術(shù))等無線通信方式建立通信連接，或者通過有線方式建立通信連接。

s102，獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息，并進行顯示。

在本申請的一個實施例中，拓展畫面信息可為被控設(shè)備當前顯示的畫面信息對應(yīng)的縮略畫面。也就是說，移動終端同步顯示被控設(shè)備當前顯示的畫面信息的縮略畫面，即去掉被控 設(shè)備當前顯示的畫面信息中的北京、圖片等附加信息的內(nèi)容?？s略畫面中僅保留了當前顯示畫面中的操作控件以及操作控件之間的位置信息。舉例來說，如圖2所示，對于電視中顯示的畫面可在手機中顯示以框圖形式在相應(yīng)位置展示對應(yīng)的控件的縮略畫面。

或者，在本申請的一個實施例中，拓展畫面信息的內(nèi)容可為所述被控設(shè)備當前顯示的畫面信息的內(nèi)容對應(yīng)其他視角畫面。具體地，可預(yù)先根據(jù)應(yīng)用程序的特征場景和類型確定各個應(yīng)用程序所需的拓展畫面信息。舉例來說，以游戲程序為例，圖3為根據(jù)本申請實施例的不同應(yīng)用程序?qū)?yīng)的拓展畫面信息。如圖3a所示，對于賽車類游戲場景，tv電視端可顯示游戲主畫面，移動終端可同步顯示對應(yīng)的駕駛室視角的拓展畫面信息。如圖3b所示，對于cs等戰(zhàn)斗類游戲場景，tv端可顯示游戲主畫面，移動終端可同步顯示匕首、槍等對應(yīng)的拓展畫面信息。如圖3c所示，對于星際等戰(zhàn)略游戲場景，tv端可顯示游戲全部地圖，移動終端可同步顯示本地布陣詳情對應(yīng)的拓展畫面信息。

由此，通過在移動終端中提供與被控設(shè)備中相同或者不同視角的畫面，便于用戶從多方位實時了解被控設(shè)備中當前顯示的應(yīng)用程序的相關(guān)信息，能夠給用戶提供不同的視覺體驗。

本申請的實施例中，移動終端可通過多種不同方式獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息，例如通過服務(wù)器端實時推送的拓展畫面信息，或者從本地數(shù)據(jù)中查詢對應(yīng)的拓展畫面信息等。本申請中以以下兩種方式進行舉例說明。

方式一

接收服務(wù)器推送的所述拓展畫面信息，其中，所述拓展畫面信息根據(jù)所述被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息查詢得到。其中，應(yīng)用程序的標識信息可包括應(yīng)用程序的名稱、包名等。在本申請的一個實施例中，可通過預(yù)設(shè)的接口函數(shù)從被控設(shè)備的系統(tǒng)中獲取當前顯示的應(yīng)用程序的標識信息；或者，可通過對被控設(shè)備當前顯示的畫面信息進行圖像識別，以獲取當前顯示的畫面信息中的文字信息或者圖標，并從獲取的文字信息或圖標確定對應(yīng)的應(yīng)用程序。

也就是說，服務(wù)器中預(yù)先存儲有大量的與不同應(yīng)用程序?qū)?yīng)的拓展畫面信息。服務(wù)器可根據(jù)被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息查詢對應(yīng)的拓展畫面資源，并實時地將與被控設(shè)備當前顯示畫面聯(lián)動的拓展畫面信息推送至移動終端。

其中，應(yīng)用程序的標識信息可由被控設(shè)備發(fā)送至服務(wù)器；

或者，移動終端與被控設(shè)備建立通信連接后，可從被控設(shè)備獲取應(yīng)用程序的標識信息，并上傳到服務(wù)器。

方式二

可通過圖4所示的步驟獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息。如圖4所示，包括以下步驟：

s401，獲取所述被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息。

s402，根據(jù)所述標識信息獲取對應(yīng)的拓展數(shù)據(jù)包。

s403，確定所述拓展數(shù)據(jù)包中與所述被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息。

應(yīng)當理解，上述兩種方式僅是示例性的，本申請中，并不限于通過上述兩種方式獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息，其他可行的聯(lián)動方式也應(yīng)包含在本申請的范圍內(nèi)。

在本申請的一個實施例中，由于移動終端與被控設(shè)備的顯示屏幕的尺寸存在差異。因此，移動終端在獲取拓展畫面信息之后，可對該拓展畫面信息進行尺寸調(diào)整，以適應(yīng)移動終端中顯示尺寸。

s103，接收用戶針對所述拓展畫面信息的控制操作。

當用戶需要針對被控設(shè)備顯示的畫面信息進行操作時，可直接根據(jù)移動終端中顯示的拓展畫面對移動終端進行操作。由于移動終端具有多樣、豐富的傳感器及裝置，如觸摸屏、攝像頭、語音輸入裝置、重力感應(yīng)器、陀螺儀、加速度計等。因此，移動終端可接收不同形式的控制操作。在本申請的一個實施例中，上述控制操作可包括以下至少之一：

觸摸操作、體感操作、手勢操作、語音操作。

舉例來說，用戶可通過點擊拓展畫面上的操作控件，或者輸入語音指令，或者通過控制移動終端在空間左右晃動等方式輸入控制操作。

s104，將所述控制操作轉(zhuǎn)換為所述被控設(shè)備可識別的指令，并發(fā)送至所述被控設(shè)備，以對所述被控制設(shè)備進行控制。

具體地，可根據(jù)被控設(shè)備的標識信息(如設(shè)備序列號等)或者被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識(如應(yīng)用程序包名、名稱等)查詢被控設(shè)備可識別的指令。

在本申請的一個實施例中，所述將所述控制操作轉(zhuǎn)換為所述被控設(shè)備可識別的指令，可包括如圖5所示的步驟s501-s503。

s501，對所述控制操作進行識別，以確定所述控制操作對應(yīng)的操作指令。

如果控制操作為觸摸操作，則可將該觸摸操作識別為對相應(yīng)操作控件的操作指令。舉例來說，如果控制操作為觸摸拓展畫面中的第3個控件按鈕a，則可識別為“對控件按鈕a的點擊操作”。

如果控制操作為語音操作，則可對用戶輸入的語音進行語音識別，以得到對相應(yīng)控件的操作指令。

如果控制操作為體感操作或者手勢操作，則可識別體感操作或手勢操作為對相應(yīng)按鍵的按鍵操作。

s502，確定所述被控設(shè)備當前顯示的畫面信息對應(yīng)的指令映射關(guān)系。

在本申請的實施例中，可根據(jù)被控設(shè)備的標識信息(如設(shè)備序列號等)查詢與之對應(yīng)的指令映射關(guān)系?；蛘呖筛鶕?jù)被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識(如應(yīng)用程序包名、名稱等)查詢與之對應(yīng)的指令映射關(guān)系。

其中，指令映射關(guān)系為移動終端中的指令與被控設(shè)備可識別的指令之間的映射關(guān)系。因此，基于該指令映射關(guān)系可查詢到識別出的指令對應(yīng)的被控設(shè)備可識別的指令。

在本申請的一個實施例中，確定被控設(shè)備當前顯示的畫面信息對應(yīng)的指令映射關(guān)系可包括：獲取被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息；根據(jù)所述標識信息查詢預(yù)設(shè)數(shù)據(jù)庫，以獲取對應(yīng)的指令映射關(guān)系。

其中，預(yù)設(shè)數(shù)據(jù)庫中存儲有不同應(yīng)用程序?qū)?yīng)的指令映射關(guān)系，可存儲在移動終端本地或者服務(wù)器中。

s503，根據(jù)所述指令映射關(guān)系將所述操作指令轉(zhuǎn)換為所述被控設(shè)備可識別的指令。

具體地，可根據(jù)指令映射關(guān)系對上述操作指令進行解析、映射和轉(zhuǎn)換。舉例來說，以下為根據(jù)所述指令映射關(guān)系將所述操作指令轉(zhuǎn)換為所述被控設(shè)備可識別的指令的三個示例。

示例一(如圖6所示)

tv(電視)操控方式：無觸摸響應(yīng)，即不可響應(yīng)觸摸操作；

phone(移動終端)接收到的操作指令：觸摸第3個控件按鈕；

指令解析為：移動，點擊；

指令映射為：首先定位控制焦點當前位置(為第1個控件按鈕)，接著將控制焦點從當前位置移動到第3個控件按鈕，然后點擊第3個控件按鈕；

指令轉(zhuǎn)換為：右鍵(方向鍵)2下，ok鍵1下。

示例二

當前界面為賽車游戲界面，操控方式為按鍵響應(yīng)；

移動終端接收到的操作指令為：gsensor(重力傳感器)體感操控；

指令解析為：方向鍵，單擊或長按等；

指令映射為：首先確定體感操作對應(yīng)的方向，然后點擊；

指令轉(zhuǎn)換：右鍵(方向鍵)，單擊或長按。

示例三

當前界面為可以響應(yīng)觸摸操作的游戲界面；

移動終端接收到的操作指令為：觸摸第3個控件按鈕；

指令解析為：點擊；

指令映射為：點擊；

指令轉(zhuǎn)換為：點擊第3個控件按鈕一下。

在本申請的一個實施例中，當被控設(shè)備響應(yīng)移動終端發(fā)送的可識別的指令后，移動終端可在拓展畫面的相應(yīng)響應(yīng)位置產(chǎn)生點擊提示，或者，還可以進行振動提示等，以增強設(shè)備間的互動性，提升用戶體驗。

此外，由于移動終端獲取的被控設(shè)備當前顯示的畫面信息，因此，當被控設(shè)備顯示的畫面發(fā)生變化時，移動終端中的拓展畫面也隨之改變。

本申請實施例的基于移動終端的設(shè)備控制方法，通過獲取被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉(zhuǎn)換為被控設(shè)備可識別的指令發(fā)送至被控設(shè)備，以對被控設(shè)備進行控制，實現(xiàn)了移動終端與被控設(shè)備的協(xié)同操作控制，充分利用被控設(shè)備顯示體驗好、移動終端操控自然、方便的優(yōu)勢，將移動終端多樣、自然、方便的操作轉(zhuǎn)換為被控設(shè)備可識別的指令，以進行控制，從而操作單一的被控設(shè)備可通過移動終端進行各種多樣化的協(xié)同控制，實現(xiàn)了設(shè)備間的優(yōu)勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

進一步地，為了給用戶更多樣話的體驗，可獲取被控設(shè)備中當前的畫面信息提供對應(yīng)的拓展畫面信息，并提供與多個拓展畫面信息對應(yīng)的畫面切換按鈕，以供用戶根據(jù)需要選擇切換至相應(yīng)的拓展畫面信息。具體地，在本申請的另一個實施例中，本申請實施例的方法還可包括如圖7所示的步驟s701-s703。其中，

s701，在所述拓展畫面信息的顯示界面提供畫面控制窗口，其中，所述畫面控制窗口中顯示有至少一個畫面切換按鈕。

其中，畫面控制窗口的形式可以為但不限于浮層窗口、側(cè)邊欄等。至少一個畫面切換按鈕分別與至少一個拓展畫面信息相對應(yīng)。

s702，接收用戶對所述畫面切換按鈕的選擇操作。

s703，獲取所述選擇操作選擇的畫面切換按鈕對應(yīng)的拓展畫面信息，并替換所述顯示界面中當前顯示的拓展畫面信息。

由此，通過在拓展畫面信息的顯示界面提供畫面切換按鈕，使得用戶可根據(jù)需要選擇拓展畫面信息，為用戶提供多樣化的控制體驗，進一步便于用戶對不同視角畫面的觀看和控制。

在本申請的一個實施例中，如圖8所示，還可包括步驟s801-s802。其中：

s801，確定所述被控設(shè)備當前顯示畫面對應(yīng)的應(yīng)用場景。

舉例來說，應(yīng)用場景可包括游戲進行中的場景、主界面場景、視頻播放場景等。

在本申請的一個實施例中，可根據(jù)生成所述畫面信息的應(yīng)用程序所屬的類型確定所述畫面信息對應(yīng)的應(yīng)用場景。舉例來說，如果生成所述畫面信息的應(yīng)用程序為游戲類應(yīng)用，則所述畫面信息對應(yīng)的應(yīng)用場景為游戲進行中的場景；生成所述畫面信息的應(yīng)用程序為視頻播放 類應(yīng)用，則所述畫面信息對應(yīng)的應(yīng)用場景為視頻播放場景。

進一步地，可更精細化地對不同畫面信息對應(yīng)的應(yīng)用場景進行劃分。具體地，在確定生成所述畫面信息的應(yīng)用程序的基礎(chǔ)上，可進一步對畫面信息進行圖像識別，以確定該畫面信息的內(nèi)容，并根據(jù)所述畫面信息的內(nèi)容確定對應(yīng)的應(yīng)用場景。舉例來說，如果所述畫面信息的內(nèi)容為應(yīng)用程序或設(shè)備主界面或菜單界面，則所述畫面信息對應(yīng)的應(yīng)用場景為主界面場景；如果所述畫面信息的內(nèi)容為游戲程序運行中的界面，則所述畫面信息對應(yīng)的應(yīng)用場景為游戲進行中的場景。

s802，根據(jù)所述應(yīng)用場景控制所述拓展畫面信息的顯示參數(shù)。

在本申請的一個實施例中，顯示參數(shù)可包括流暢度和/或分辨率。

舉例來說，如果應(yīng)用場景為應(yīng)用程序或設(shè)備的主界面，其在顯示過程中更新頻率較低，或者只有在用戶進行操作時才會發(fā)生界面變化，因此可適當降低流暢度，例如可將幀率設(shè)置為20fps((framespersecond，每秒顯示幀數(shù))；而對于游戲中的場景、或者視頻播放場景，其畫面是動態(tài)變換的，因此，可適當調(diào)高流暢度，例如，可設(shè)置為30fps((framespersecond，每秒顯示幀數(shù))。

對于分辨率來說，也可根據(jù)實際場景的顯示需要進行調(diào)整。

由此，可根據(jù)被控設(shè)備中畫面信息對應(yīng)的應(yīng)用場景動態(tài)調(diào)整拓展畫面的顯示參數(shù)，在給用戶良好的視覺體驗的同時，能夠有效降低設(shè)備功耗。

與上述實施例提供的基于移動終端的設(shè)備控制方法相對應(yīng)，本申請還提出一種基于移動終端的設(shè)備控制裝置。

圖9為根據(jù)本申請一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖。

如圖9所示，根據(jù)本申請實施例的基于移動終端的設(shè)備控制裝置，包括：通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉(zhuǎn)換模塊5和發(fā)送模塊6。

具體地，通信模塊1用于與被控設(shè)備建立通信連接。

在本申請的一個實施例中，被控設(shè)備可為智能電視、電視機頂盒、個人計算機或投影機等。

其中，通信模塊1與被控設(shè)備可通過但不限于藍牙、wi-fi(wirelessfidelity，無線保真)、2.4g(一種頻段處于2.400ghz～2.4835ghz之間的無線通信技術(shù))、ibeacon(一種由蘋果公司發(fā)布的基于低功耗藍牙的無線通信技術(shù))等無線通信方式建立通信連接，或者通過有線方式建立通信連接。

獲取模塊2用于獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息。

在本申請的一個實施例中，拓展畫面信息可為被控設(shè)備當前顯示的畫面信息對應(yīng)的縮略 畫面。也就是說，移動終端同步顯示被控設(shè)備當前顯示的畫面信息的縮略畫面，即去掉被控設(shè)備當前顯示的畫面信息中的北京、圖片等附加信息的內(nèi)容?？s略畫面中僅保留了當前顯示畫面中的操作控件以及操作控件之間的位置信息。舉例來說，如圖2所示，對于電視中顯示的畫面可在手機中顯示以框圖形式在相應(yīng)位置展示對應(yīng)的控件的縮略畫面。

或者，在本申請的一個實施例中，拓展畫面信息的內(nèi)容可為所述被控設(shè)備當前顯示的畫面信息的內(nèi)容對應(yīng)其他視角畫面。具體地，可預(yù)先根據(jù)應(yīng)用程序的特征場景和類型確定各個應(yīng)用程序所需的拓展畫面信息。舉例來說，以游戲程序為例，圖3為根據(jù)本申請實施例的不同應(yīng)用程序?qū)?yīng)的拓展畫面信息。如圖3a所示，對于賽車類游戲場景，tv電視端可顯示游戲主畫面，移動終端可同步顯示對應(yīng)的駕駛室視角的拓展畫面信息。如圖3b所示，對于cs等戰(zhàn)斗類游戲場景，tv端可顯示游戲主畫面，移動終端可同步顯示匕首、槍等對應(yīng)的拓展畫面信息。如圖3c所示，對于星際等戰(zhàn)略游戲場景，tv端可顯示游戲全部地圖，移動終端可同步顯示本地布陣詳情對應(yīng)的拓展畫面信息。

由此，通過在移動終端中提供與被控設(shè)備中相同或者不同視角的畫面，便于用戶從多方位實時了解被控設(shè)備中當前顯示的應(yīng)用程序的相關(guān)信息，能夠給用戶提供不同的視覺體驗。

本申請的實施例中，獲取模塊2可通過多種不同方式獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息，例如通過服務(wù)器端實時推送的拓展畫面信息，或者從本地數(shù)據(jù)中查詢對應(yīng)的拓展畫面信息等。本申請中以以下兩種方式進行舉例說明。

方式一

獲取模塊2可接收服務(wù)器推送的所述拓展畫面信息，其中，所述拓展畫面信息根據(jù)所述被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息查詢得到。其中，應(yīng)用程序的標識信息可包括應(yīng)用程序的名稱、包名等。在本申請的一個實施例中，可通過預(yù)設(shè)的接口函數(shù)從被控設(shè)備的系統(tǒng)中獲取當前顯示的應(yīng)用程序的標識信息；或者，可通過對被控設(shè)備當前顯示的畫面信息進行圖像識別，以獲取當前顯示的畫面信息中的文字信息或者圖標，并從獲取的文字信息或圖標確定對應(yīng)的應(yīng)用程序。。

也就是說，服務(wù)器中預(yù)先存儲有大量的與不同應(yīng)用程序?qū)?yīng)的拓展畫面信息。服務(wù)器可根據(jù)被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息查詢對應(yīng)的拓展畫面資源，并實時地將與被控設(shè)備當前顯示畫面聯(lián)動的拓展畫面信息推送至獲取模塊2。

其中，應(yīng)用程序的標識信息可由被控設(shè)備發(fā)送至服務(wù)器；

或者，通信模塊1與被控設(shè)備建立通信連接后，獲取模塊2可從被控設(shè)備獲取應(yīng)用程序的標識信息，并上傳到服務(wù)器。

方式二

獲取模塊2可獲取所述被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息；根據(jù)所述 標識信息獲取對應(yīng)的拓展數(shù)據(jù)包；確定所述拓展數(shù)據(jù)包中與所述被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息。

應(yīng)當理解，上述兩種方式僅是示例性的，本申請中，獲取模塊2并不限于通過上述兩種方式獲取與被控設(shè)備當前顯示的畫面信息聯(lián)動的拓展畫面信息，其他可行的聯(lián)動方式也應(yīng)包含在本申請的范圍內(nèi)。

在本申請的一個實施例中，由于移動終端與被控設(shè)備的顯示屏幕的尺寸存在差異。因此，移動終端在獲取拓展畫面信息之后，可對該拓展畫面信息進行尺寸調(diào)整，以適應(yīng)移動終端中顯示尺寸。

顯示模塊3用于所述拓展畫面信息。

第一接收模塊4用于接收用戶針對所述拓展畫面信息的控制操作。

當用戶需要針對被控設(shè)備顯示的畫面信息進行操作時，可直接根據(jù)移動終端中顯示的拓展畫面對移動終端進行操作。由于移動終端具有多樣、豐富的傳感器及裝置，如觸摸屏、攝像頭、語音輸入裝置、重力感應(yīng)器、陀螺儀、加速度計等。因此，第一接收模塊4可接收不同形式的控制操作。在本申請的一個實施例中，上述控制操作可包括以下至少之一：

觸摸操作、體感操作、手勢操作、語音操作。

舉例來說，用戶可通過點擊拓展畫面上的操作控件，或者輸入語音指令，或者通過控制移動終端在空間左右晃動等方式輸入控制操作。

轉(zhuǎn)換模塊5用于將所述控制操作轉(zhuǎn)換為所述被控設(shè)備可識別的指令。

具體地，轉(zhuǎn)換模塊5可根據(jù)被控設(shè)備的標識信息(如設(shè)備序列號等)或者被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識(如應(yīng)用程序包名、名稱等)查詢被控設(shè)備可識別的指令。

在本申請的一個實施例中，如圖10所示，轉(zhuǎn)換模塊5可進一步包括：識別單元51、確定單元52和轉(zhuǎn)換單元53。

其中，識別單元51對所述控制操作進行識別，以確定所述控制操作對應(yīng)的操作指令。

如果控制操作為觸摸操作，則別單元51可將該觸摸操作識別為對相應(yīng)操作控件的操作指令。舉例來說，如果控制操作為觸摸拓展畫面中的第3個控件按鈕a，則可識別為“對控件按鈕a的點擊操作”。

如果控制操作為語音操作，則識別單元51可對用戶輸入的語音進行語音識別，以得到對相應(yīng)控件的操作指令。

如果控制操作為體感操作或者手勢操作，則識別單元51可識別體感操作或手勢操作為對相應(yīng)按鍵的按鍵操作。

確定單元52確定所述被控設(shè)備當前顯示的畫面信息對應(yīng)的指令映射關(guān)系。

在本申請的實施例中，確定單元52可根據(jù)被控設(shè)備的標識信息(如設(shè)備序列號等)查 詢與之對應(yīng)的指令映射關(guān)系。或者確定單元52可根據(jù)被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識(如應(yīng)用程序包名、名稱等)查詢與之對應(yīng)的指令映射關(guān)系。

其中，指令映射關(guān)系為移動終端中的指令與被控設(shè)備可識別的指令之間的映射關(guān)系。因此，基于該指令映射關(guān)系可查詢到識別出的指令對應(yīng)的被控設(shè)備可識別的指令。

在本申請的一個實施例中，確定單元52可用于：獲取被控設(shè)備中顯示所述畫面信息的應(yīng)用程序的標識信息；根據(jù)所述標識信息查詢預(yù)設(shè)數(shù)據(jù)庫，以獲取對應(yīng)的指令映射關(guān)系。

其中，預(yù)設(shè)數(shù)據(jù)庫中存儲有不同應(yīng)用程序?qū)?yīng)的指令映射關(guān)系，可存儲在移動終端本地或者服務(wù)器中。

轉(zhuǎn)換單元53根據(jù)所述指令映射關(guān)系將所述操作指令轉(zhuǎn)換為所述被控設(shè)備可識別的指令。

具體地，轉(zhuǎn)換單元53可根據(jù)指令映射關(guān)系對上述操作指令進行解析、映射和轉(zhuǎn)換。舉例來說，以下為根據(jù)所述指令映射關(guān)系將所述操作指令轉(zhuǎn)換為所述被控設(shè)備可識別的指令的三個示例。

示例一(如圖6所示)

tv(電視)操控方式：無觸摸響應(yīng)，即不可響應(yīng)觸摸操作；

phone(移動終端)接收到的操作指令：觸摸第3個控件按鈕；

指令解析為：移動，點擊；

指令映射為：首先定位控制焦點當前位置(為第1個控件按鈕)，接著將控制焦點從當前位置移動到第3個控件按鈕，然后點擊第3個控件按鈕；

指令轉(zhuǎn)換為：右鍵(方向鍵)2下，ok鍵1下。

示例二

當前界面為賽車游戲界面，操控方式為按鍵響應(yīng)；

移動終端接收到的操作指令為：gsensor(重力傳感器)體感操控；

指令解析為：方向鍵，單擊或長按等；

指令映射為：首先確定體感操作對應(yīng)的方向，然后點擊；

指令轉(zhuǎn)換：右鍵(方向鍵)，單擊或長按。

示例三

當前界面為可以響應(yīng)觸摸操作的游戲界面；

移動終端接收到的操作指令為：觸摸第3個控件按鈕；

指令解析為：點擊；

指令映射為：點擊；

指令轉(zhuǎn)換為：點擊第3個控件按鈕一下。

發(fā)送模塊6用于將所述被控設(shè)備可識別的指令發(fā)送至所述被控設(shè)備，以對所述被控制設(shè)備進行控制。

在本申請的一個實施例中，當被控設(shè)備響應(yīng)發(fā)送模塊6發(fā)送的可識別的指令后，移動終端可在拓展畫面的相應(yīng)響應(yīng)位置產(chǎn)生點擊提示，或者，還可以進行振動提示等，以增強設(shè)備間的互動性，提升用戶體驗。

此外，由于移動終端獲取的被控設(shè)備當前顯示的畫面信息，因此，當被控設(shè)備顯示的畫面發(fā)生變化時，移動終端中的拓展畫面也隨之改變。

圖11為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖。

如圖11所示，根據(jù)本申請實施例的基于移動終端的設(shè)備控制裝置，包括：通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉(zhuǎn)換模塊5和發(fā)送模塊6、提供模塊7、第二接收模塊8和替換模塊9。

其中，通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉(zhuǎn)換模塊5和發(fā)送模塊6與圖9所示實施例相同。

提供模塊7用于在所述拓展畫面信息的顯示界面提供畫面控制窗口，其中，所述畫面控制窗口中顯示有至少一個畫面切換按鈕。

其中，畫面控制窗口的形式可以為但不限于浮層窗口、側(cè)邊欄等。至少一個畫面切換按鈕分別與至少一個拓展畫面信息相對應(yīng)。

第二接收模塊8用于接收用戶對所述畫面切換按鈕的選擇操作。

替換模塊9用于獲取所述選擇操作選擇的畫面切換按鈕對應(yīng)的拓展畫面信息，并替換所述顯示界面中當前顯示的拓展畫面信息。

由此，通過在拓展畫面信息的顯示界面提供畫面切換按鈕，使得用戶可根據(jù)需要選擇拓展畫面信息，為用戶提供多樣化的控制體驗，進一步便于用戶對不同視角畫面的觀看和控制。

圖12為根據(jù)本申請另一個實施例的基于移動終端的設(shè)備控制裝置的結(jié)構(gòu)示意圖。

如圖12所示，根據(jù)本申請實施例的基于移動終端的設(shè)備控制裝置，包括：通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉(zhuǎn)換模塊5和發(fā)送模塊6、確定模塊10和控制模塊11。

其中，通信模塊1、獲取模塊2、顯示模塊3、第一接收模塊4、轉(zhuǎn)換模塊5和發(fā)送模塊6與圖9所示實施例相同。

確定模塊10確定所述被控設(shè)備當前顯示畫面對應(yīng)的應(yīng)用場景。

舉例來說，應(yīng)用場景可包括游戲進行中的場景、主界面場景、視頻播放場景等。

在本申請的一個實施例中，確定模塊10可根據(jù)生成所述畫面信息的應(yīng)用程序所屬的類型確定所述畫面信息對應(yīng)的應(yīng)用場景。舉例來說，如果生成所述畫面信息的應(yīng)用程序為游戲 類應(yīng)用，則所述畫面信息對應(yīng)的應(yīng)用場景為游戲進行中的場景；生成所述畫面信息的應(yīng)用程序為視頻播放類應(yīng)用，則所述畫面信息對應(yīng)的應(yīng)用場景為視頻播放場景。

進一步地，確定模塊10可更精細化地對不同畫面信息對應(yīng)的應(yīng)用場景進行劃分。具體地，在確定生成所述畫面信息的應(yīng)用程序的基礎(chǔ)上，確定模塊10可進一步對畫面信息進行圖像識別，以確定該畫面信息的內(nèi)容，并根據(jù)所述畫面信息的內(nèi)容確定對應(yīng)的應(yīng)用場景。舉例來說，如果所述畫面信息的內(nèi)容為應(yīng)用程序或設(shè)備主界面或菜單界面，則所述畫面信息對應(yīng)的應(yīng)用場景為主界面場景；如果所述畫面信息的內(nèi)容為游戲程序運行中的界面，則所述畫面信息對應(yīng)的應(yīng)用場景為游戲進行中的場景。

控制模塊11根據(jù)所述應(yīng)用場景控制所述拓展畫面信息的顯示參數(shù)。

在本申請的一個實施例中，顯示參數(shù)可包括流暢度和/或分辨率。

舉例來說，如果應(yīng)用場景為應(yīng)用程序或設(shè)備的主界面，其在顯示過程中更新頻率較低，或者只有在用戶進行操作時才會發(fā)生界面變化，因此控制模塊11可適當降低流暢度，例如可將幀率設(shè)置為20fps((framespersecond，每秒顯示幀數(shù))；而對于游戲中的場景、或者視頻播放場景，其畫面是動態(tài)變換的，因此，可適當調(diào)高流暢度，例如，可設(shè)置為30fps((framespersecond，每秒顯示幀數(shù))。

對于分辨率來說，控制模塊11也可根據(jù)實際場景的顯示需要進行調(diào)整。

由此，可根據(jù)被控設(shè)備中畫面信息對應(yīng)的應(yīng)用場景動態(tài)調(diào)整拓展畫面的顯示參數(shù)，在給用戶良好的視覺體驗的同時，能夠有效降低設(shè)備功耗。

本申請實施例的基于移動終端的設(shè)備控制裝置，通過獲取被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉(zhuǎn)換為被控設(shè)備可識別的指令發(fā)送至被控設(shè)備，以對被控設(shè)備進行控制，實現(xiàn)了移動終端與被控設(shè)備的協(xié)同操作控制，充分利用被控設(shè)備顯示體驗好、移動終端操控自然、方便的優(yōu)勢，將移動終端多樣、自然、方便的操作轉(zhuǎn)換為被控設(shè)備可識別的指令，以進行控制，從而操作單一的被控設(shè)備可通過移動終端進行各種多樣化的協(xié)同控制，實現(xiàn)了設(shè)備間的優(yōu)勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

本申請還提出一種移動終端。

本申請實施例的種移動終端，包括：本申請任一實施例的基于移動終端的設(shè)備控制裝置。

本申請實施例的移動終端，通過獲取被控設(shè)備中當前顯示的畫面信息聯(lián)動的拓展畫面信息，并在移動終端中顯示，并將用戶針對拓展畫面信息的控制操作轉(zhuǎn)換為被控設(shè)備可識別的指令發(fā)送至被控設(shè)備，以對被控設(shè)備進行控制，實現(xiàn)了移動終端與被控設(shè)備的協(xié)同操作控制， 充分利用被控設(shè)備顯示體驗好、移動終端操控自然、方便的優(yōu)勢，將移動終端多樣、自然、方便的操作轉(zhuǎn)換為被控設(shè)備可識別的指令，以進行控制，從而操作單一的被控設(shè)備可通過移動終端進行各種多樣化的協(xié)同控制，實現(xiàn)了設(shè)備間的優(yōu)勢互補，在帶給用戶所見即所得的可視化操作體驗的同時，極大地提高了用戶交互自由度和靈活性。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本申請的優(yōu)選實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本申請的實施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用于實現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實現(xiàn)在任何計算機可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計算機的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，"計算機可讀介質(zhì)"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計算機可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，便攜式計算機盤盒(磁裝置)，隨機存取存儲器(ram)，只讀存儲器(rom)，可擦除可編輯只讀存儲器(eprom或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(cdrom)。另外，計算機可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因為可以例如通過對紙或其他介質(zhì)進行光學(xué)掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程序，然后將其存儲在計算機存儲器中。

應(yīng)當理解，本申請的各部分可以用硬件、軟件、固件或它們的組合來實現(xiàn)。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實現(xiàn)。例如，如果用硬件來實現(xiàn)，和在另一實施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項或他們的組合來實現(xiàn)：具有用于對數(shù)據(jù)信號實現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現(xiàn)場可編程門陣列(fpga)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實現(xiàn)上述實施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，該程序在執(zhí)行時，包括方法實施例的步驟之一或其組合。

此外，在本申請各個實施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以 采用硬件的形式實現(xiàn)，也可以采用軟件功能模塊的形式實現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，也可以存儲在一個計算機可讀取存儲介質(zhì)中。

上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。

在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本申請的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本申請的實施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本申請的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本申請的范圍由權(quán)利要求及其等同限定。