本發(fā)明涉及領(lǐng)域終端應用技術(shù)領(lǐng)域,尤其涉及一種終端及視頻播放控制方法。
背景技術(shù):
目前無論是移動終端還是其他的視頻播放設(shè)備,在播放視頻時,一旦選定了視頻播放清晰度(標清、高清、藍光),即確定了視頻播放幀率,那么在整個播放過程中播放幀率便不會改變,除非人為切換視頻播放模式。
然而,在任何一部視頻中,對人眼而言,并不是每一部分的視頻都是需要很高的播放幀率,如果整個視頻播放過程中都是一成不變的采用較高的播放幀率,不僅造成處理器不必要的長期負擔,同時也會增加相應的功耗。
技術(shù)實現(xiàn)要素:
本發(fā)明的主要目的在于提出一種終端及視頻播放控制方法,旨在解決現(xiàn)有視頻播放過程中播放幀率無法動態(tài)調(diào)整的問題。
為實現(xiàn)上述目的,本發(fā)明提供的一種終端,包括:
提取模塊,用于按照播放時間順序和設(shè)定的提取周期,從預設(shè)的初始時間開始提取播放視頻的視頻幀;
檢測模塊,用于針對提取的相鄰的兩幀視頻幀,檢測所述兩幀視頻幀的圖像差異度;
控制模塊,用于根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率;所述檢測節(jié)點為所述兩幀視頻幀中播放時間在后的視頻幀對應的時間節(jié)點。
可選地,所述提取周期為時間周期或幀數(shù)周期。
可選地,所述控制模塊,具體用于若所述圖像差異度達到預設(shè)第一調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,提高所述視頻的播放幀率;若所述圖像差異度低于預設(shè)第二調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,降低所述視頻的播放幀率;所述第一調(diào)整閾值大于所述第二調(diào)整閾值;或者,
具體用于根據(jù)預設(shè)的圖像差異度范圍與播放幀率范圍的對應關(guān)系,在所述檢測節(jié)點,將所述視頻對應的當前播放幀率調(diào)整到與檢測到的圖像差異度對應的播放幀率范圍內(nèi)。
可選地,所述檢測模塊,具體用于根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,將確定的兩個方差的差值絕對值作為所述圖像差異度;或者,
具體用于分別對所述兩幀視頻幀進行面部圖像識別,分別確定所述兩幀視頻幀中面部圖像的數(shù)量,將確定的兩個數(shù)量的差值絕對值作為所述圖像差異度;或者,
具體用于按設(shè)定的分割數(shù)量,分別將所述兩幀視頻幀分割成多個幀圖像,依次比對所述兩幀視頻幀中相同位置處的幀圖像;根據(jù)比對結(jié)果,記錄幀圖像不匹配的次數(shù),將所述次數(shù)與所述分割數(shù)量的比值作為所述圖像差異度;或者,
具體用于對所述第一視頻幀進行面部圖像識別,在識別出所述第一視頻幀中具有至少一個面部圖像時,針對任一面部圖像,記錄該圖像在所述第一視頻幀中的第一位置信息,并提取該面部圖像的圖像特征;根據(jù)所述圖像特征在所述第二視頻幀中查找該面部圖像,若查找到,記錄該面部圖像在所述第二視頻幀中的第二位置信息;若未查找到,將所述第二位置信息設(shè)置為0;將所述第二位置信息與所述第一位置信息的差值絕對值作為所述圖像差異度;所述兩幀視頻幀為第一視頻幀和第二視頻幀。
具體地,所述根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,將確定的兩個方差的差值絕對值作為所述圖像差異度,包括:
針對任一視頻幀,根據(jù)該視頻幀的每個像素的RGB值,確定所述每個像素對應的像素參數(shù)值;
根據(jù)每個像素參數(shù)值,確定該視頻幀所有像素的像素參數(shù)值的平均值;
根據(jù)所述每個像素參數(shù)值和所述平均值,確定所述每個像素對應的像素參數(shù)方差;
根據(jù)每個所述方差,確定該視頻幀對應的像素參數(shù)的方差。
此外,為實現(xiàn)上述目的,本發(fā)明還提出一種一種視頻播放控制方法,包括步驟:
按照播放時間順序和設(shè)定的提取周期,從預設(shè)的初始時間開始提取播放視頻的視頻幀;
針對提取的相鄰的兩幀視頻幀,檢測所述兩幀視頻幀的圖像差異度;
根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率;所述檢測節(jié)點為所述兩幀視頻幀中播放時間在后的視頻幀對應的時間節(jié)點。
可選地,所述提取周期為時間周期或幀數(shù)周期。
可選地,所述根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率,包括:
若所述圖像差異度達到預設(shè)第一調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,提高所述視頻的播放幀率;若所述圖像差異度低于預設(shè)第二調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,降低所述視頻的播放幀率;所述第一調(diào)整閾值大于所述第二調(diào)整閾值;或者,
根據(jù)預設(shè)的圖像差異度范圍與播放幀率的對應關(guān)系,在所述檢測節(jié)點,將所述視頻對應的當前播放幀率調(diào)整到與檢測到的圖像差異度對應的播放幀率范圍內(nèi)。
可選地,所述兩幀視頻幀為第一視頻幀和第二視頻幀;所述檢測所述兩幀視頻幀的圖像差異度,包括:
根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,將確定的兩個方差的差值絕對值作為所述圖像差異度;或者,
分別對所述兩幀視頻幀進行面部圖像識別,分別確定所述兩幀視頻幀中面部圖像的數(shù)量,將確定的兩個數(shù)量的差值絕對值作為所述圖像差異度;或者,
按設(shè)定的分割數(shù)量,分別將所述兩幀視頻幀分割成多個幀圖像,依次比對所述兩幀視頻幀中相同位置處的幀圖像;根據(jù)比對結(jié)果,記錄幀圖像不匹配的次數(shù),將所述次數(shù)與所述分割數(shù)量的比值作為所述圖像差異度;或者,
對所述第一視頻幀進行面部圖像識別,在識別出所述第一視頻幀中具有至少一個面部圖像時,針對任一面部圖像,記錄該圖像在所述第一視頻幀中的第一位置信息,并提取該面部圖像的圖像特征;根據(jù)所述圖像特征在所述第二視頻幀中查找該面部圖像,若查找到,記錄該面部圖像在所述第二視頻幀中的第二位置信息;若未查找到,將所述第二位置信息設(shè)置為0;將所述第二位置信息與所述第一位置信息的差值絕對值作為所述圖像差異度。
具體地,所述根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,包括:
針對任一視頻幀,根據(jù)該視頻幀的每個像素的RGB值,確定所述每個像素對應的像素參數(shù)值;
根據(jù)每個像素參數(shù)值,確定該視頻幀所有像素的像素參數(shù)值的平均值;
根據(jù)所述每個像素參數(shù)值和所述平均值,確定所述每個像素對應的像素參數(shù)方差;
根據(jù)每個所述方差,確定該視頻幀對應的像素參數(shù)的方差。
本發(fā)明提出的終端及視頻播放控制方法,實現(xiàn)播放視頻過程中的播放幀率的動態(tài)調(diào)整,在保證視頻播放平順度的前提下,可以有效減輕播放視頻時占用的處理器資源,有效降低處理器的負擔,有效降低終端的功耗,提高了終端電池的使用時間,同時,在播放幀率的動態(tài)調(diào)整過程中,也可以提高視頻播放的視覺效果,更進一步提高用戶體驗。
附圖說明
圖1為實現(xiàn)本發(fā)明各個實施例一可選的移動終端的硬件結(jié)構(gòu)示意圖;
圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖;
圖3為本發(fā)明實施例中一種終端的結(jié)構(gòu)示意圖;
圖4為本發(fā)明實施例中一種視頻播放控制方法的流程圖。
本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結(jié)合實施例,參照附圖做進一步說明。
具體實施方式
應當理解,此處所描述的具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
現(xiàn)在將參考附圖描述實現(xiàn)本發(fā)明各個實施例的移動終端。在后續(xù)的描述中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明,其本身并沒有特定的意義。因此,"模塊"與"部件"可以混合地使用。
移動終端可以以各種形式來實施。例如,本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數(shù)字TV、臺式計算機等等的固定終端。下面,假設(shè)終端是移動終端。然而,本領(lǐng)域技術(shù)人員將理解的是,除了特別用于移動目的的元件之外,根據(jù)本發(fā)明的實施方式的構(gòu)造也能夠應用于固定類型的終端。
圖1為實現(xiàn)本發(fā)明各個實施例一可選的移動終端的硬件結(jié)構(gòu)示意。
移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動終端,但是應理解的是,并不要求實施所有示出的組件??梢蕴娲貙嵤└嗷蚋俚慕M件。將在下面詳細描述移動終端的元件。
無線通信單元110通常包括一個或多個組件,其允許移動終端100與無線通信系統(tǒng)或網(wǎng)絡(luò)之間的無線電通信。例如,無線通信單元可以包括廣播接收模塊111、移動通信模塊112、無線互聯(lián)網(wǎng)模塊113、短程通信模塊114和位置信息模塊115中的至少一個。
廣播接收模塊111經(jīng)由廣播信道從外部廣播管理服務器接收廣播信號和/或廣播相關(guān)信息。廣播信道可以包括衛(wèi)星信道和/或地面信道。廣播管理服務器可以是生成并發(fā)送廣播信號和/或廣播相關(guān)信息的服務器或者接收之前生成的廣播信號和/或廣播相關(guān)信息并且將其發(fā)送給終端的服務器。廣播信號可以包括TV廣播信號、無線電廣播信號、數(shù)據(jù)廣播信號等等。而且,廣播信號可以進一步包括與TV或無線電廣播信號組合的廣播信號。廣播相關(guān)信息也可以經(jīng)由移動通信網(wǎng)絡(luò)提供,并且在該情況下,廣播相關(guān)信息可以由移動通信模塊112來接收。廣播信號可以以各種形式存在,例如,其可以以數(shù)字多媒體廣播(DMB)的電子節(jié)目指南(EPG)、數(shù)字視頻廣播手持(DVB-H)的電子服務指南(ESG)等等的形式而存在。廣播接收模塊111可以通過使用各種類型的廣播系統(tǒng)接收信號廣播。特別地,廣播接收模塊111可以通過使用諸如多媒體廣播-地面(DMB-T)、數(shù)字多媒體廣播-衛(wèi)星(DMB-S)、數(shù)字視頻廣播-手持(DVB-H),前向鏈路媒體(MediaFLO@)的數(shù)據(jù)廣播系統(tǒng)、地面數(shù)字廣播綜合服務(ISDB-T)等等的數(shù)字廣播系統(tǒng)接收數(shù)字廣播。廣播接收模塊111可以被構(gòu)造為適合提供廣播信號的各種廣播系統(tǒng)以及上述數(shù)字廣播系統(tǒng)。經(jīng)由廣播接收模塊111接收的廣播信號和/或廣播相關(guān)信息可以存儲在存儲器160(或者其它類型的存儲介質(zhì))中。
移動通信模塊112將無線電信號發(fā)送到基站(例如,接入點、節(jié)點B等等)、外部終端以及服務器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據(jù)文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據(jù)。
無線互聯(lián)網(wǎng)模塊113支持移動終端的無線互聯(lián)網(wǎng)接入。該模塊可以內(nèi)部或外部地耦接到終端。該模塊所涉及的無線互聯(lián)網(wǎng)接入技術(shù)可以包括WLAN(無線LAN)(Wi-Fi)、Wibro(無線寬帶)、Wimax(全球微波互聯(lián)接入)、HSDPA(高速下行鏈路分組接入)等等。
短程通信模塊114是用于支持短程通信的模塊。短程通信技術(shù)的一些示例包括藍牙TM、射頻識別(RFID)、紅外數(shù)據(jù)協(xié)會(IrDA)、超寬帶(UWB)、紫蜂TM等等。
位置信息模塊115是用于檢查或獲取移動終端的位置信息的模塊。位置信息模塊的典型示例是GPS(全球定位系統(tǒng))。根據(jù)當前的技術(shù),GPS模塊115計算來自三個或更多衛(wèi)星的距離信息和準確的時間信息并且對于計算的信息應用三角測量法,從而根據(jù)經(jīng)度、緯度和高度準確地計算三維當前位置信息。當前,用于計算位置和時間信息的方法使用三顆衛(wèi)星并且通過使用另外的一顆衛(wèi)星校正計算出的位置和時間信息的誤差。此外,GPS模塊115能夠通過實時地連續(xù)計算當前位置信息來計算速度信息。
A/V輸入單元120用于接收音頻或視頻信號。A/V輸入單元120可以包括相機121和麥克風122,相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進行處理。處理后的圖像幀可以顯示在顯示單元151上。經(jīng)相機121處理后的圖像幀可以存儲在存儲器160(或其它存儲介質(zhì))中或者經(jīng)由無線通信單元110進行發(fā)送,可以根據(jù)移動終端的構(gòu)造提供兩個或更多相機121。麥克風122可以在電話通話模式、記錄模式、語音識別模式等等運行模式中經(jīng)由麥克風接收聲音(音頻數(shù)據(jù)),并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由移動通信模塊112發(fā)送到移動通信基站的格式輸出。麥克風122可以實施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號的過程中產(chǎn)生的噪聲或者干擾。
用戶輸入單元130可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息,并且可以包括鍵盤、鍋仔片、觸摸板(例如,檢測由于被接觸而導致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地,當觸摸板以層的形式疊加在顯示單元151上時,可以形成觸摸屏。
感測單元140檢測移動終端100的當前狀態(tài),(例如,移動終端100的打開或關(guān)閉狀態(tài))、移動終端100的位置、用戶對于移動終端100的接觸(即,觸摸輸入)的有無、移動終端100的取向、移動終端100的加速或減速移動和方向等等,并且生成用于控制移動終端100的操作的命令或信號。例如,當移動終端100實施為滑動型移動電話時,感測單元140可以感測該滑動型電話是打開還是關(guān)閉。另外,感測單元140能夠檢測電源單元190是否提供電力或者接口單元170是否與外部裝置耦接。
接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如,外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數(shù)據(jù)端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等等。識別模塊可以是存儲用于驗證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外,具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式,因此,識別裝置可以經(jīng)由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如,數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿咏K端100內(nèi)的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數(shù)據(jù)。
另外,當移動終端100與外部底座連接時,接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸?shù)揭苿咏K端的路徑。從底座輸入的各種命令信號或電力可以用作用于識別移動終端是否準確地安裝在底座上的信號。輸出單元150被構(gòu)造為以視覺、音頻和/或觸覺方式提供輸出信號(例如,音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報單元153等等。
顯示單元151可以顯示在移動終端100中處理的信息。例如,當移動終端100處于電話通話模式時,顯示單元151可以顯示與通話或其它通信(例如,文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(UI)或圖形用戶界面(GUI)。當移動終端100處于視頻通話模式或者圖像捕獲模式時,顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的UI或GUI等等。
同時,當顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏時,顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管LCD(TFT-LCD)、有機發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看,這可以稱為透明顯示器,典型的透明顯示器可以例如為TOLED(透明有機發(fā)光二極管)顯示器等等。根據(jù)特定想要的實施方式,移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置),例如,移動終端可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。
音頻輸出模塊152可以在移動終端處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時,將無線通信單元110接收的或者在存儲器160中存儲的音頻數(shù)據(jù)轉(zhuǎn)換音頻信號并且輸出為聲音。而且,音頻輸出模塊152可以提供與移動終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如,呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚聲器、蜂鳴器等等。
警報單元153可以提供輸出以將事件的發(fā)生通知給移動終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外,警報單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如,警報單元153可以以振動的形式提供輸出,當接收到呼叫、消息或一些其它進入通信(incomingcommunication)時,警報單元153可以提供觸覺輸出(即,振動)以將其通知給用戶。通過提供這樣的觸覺輸出,即使在用戶的移動電話處于用戶的口袋中時,用戶也能夠識別出各種事件的發(fā)生。警報單元153也可以經(jīng)由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。
存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等,或者可以暫時地存儲己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如,電話簿、消息、靜態(tài)圖像、視頻等等)。而且,存儲器160可以存儲關(guān)于當觸摸施加到觸摸屏時輸出的各種方式的振動和音頻信號的數(shù)據(jù)。
存儲器160可以包括至少一種類型的存儲介質(zhì),所述存儲介質(zhì)包括閃存、硬盤、多媒體卡、卡型存儲器(例如,SD或DX存儲器等等)、隨機訪問存儲器(RAM)、靜態(tài)隨機訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且,移動終端100可以與通過網(wǎng)絡(luò)連接執(zhí)行存儲器160的存儲功能的網(wǎng)絡(luò)存儲裝置協(xié)作。
控制器180通常控制移動終端的總體操作。例如,控制器180執(zhí)行與語音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外,控制器180可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊181,多媒體模塊181可以構(gòu)造在控制器180內(nèi),或者可以構(gòu)造為與控制器180分離。控制器180可以執(zhí)行模式識別處理,以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。
電源單元190在控制器180的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當?shù)碾娏Α?/p>
提取模塊210、檢測模塊220和控制模塊230在視頻播放過程中,對播放幀率進行動態(tài)調(diào)整。
這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算機可讀介質(zhì)來實施。對于硬件實施,這里描述的實施方式可以通過使用特定用途集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計為執(zhí)行這里描述的功能的電子單元中的至少一種來實施,在一些情況下,這樣的實施方式可以在控制器180中實施。對于軟件實施,諸如過程或功能的實施方式可以與允許執(zhí)行至少一種功能或操作的單獨的軟件模塊來實施。軟件代碼可以由以任何適當?shù)木幊陶Z言編寫的軟件應用程序(或程序)來實施,軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。
至此,己經(jīng)按照其功能描述了移動終端。下面,為了簡要起見,將描述諸如折疊型、直板型、擺動型、滑動型移動終端等等的各種類型的移動終端中的滑動型移動終端作為示例。因此,本發(fā)明能夠應用于任何類型的移動終端,并且不限于滑動型移動終端。
如圖1中所示的移動終端100可以被構(gòu)造為利用經(jīng)由幀或分組發(fā)送數(shù)據(jù)的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。
現(xiàn)在將參考圖2描述其中根據(jù)本發(fā)明的移動終端能夠操作的通信系統(tǒng)。
這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如,由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(tǒng)(UMTS)(特別地,長期演進(LTE))、全球移動通信系統(tǒng)(GSM)等等。作為非限制性示例,下面的描述涉及CDMA通信系統(tǒng),但是這樣的教導同樣適用于其它類型的系統(tǒng)。
參考圖2,CDMA無線通信系統(tǒng)可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC280被構(gòu)造為與公共電話交換網(wǎng)絡(luò)(PSTN)290形成接口。MSC280還被構(gòu)造為與可以經(jīng)由回程線路耦接到基站270的BSC275形成接口?;爻叹€路可以根據(jù)若干己知的接口中的任一種來構(gòu)造,所述接口包括例如E1/T1、ATM,IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是,如圖2中所示的系統(tǒng)可以包括多個BSC275。
每個BS270可以服務一個或多個分區(qū)(或區(qū)域),由多向天線或指向特定方向的天線覆蓋的每個分區(qū)放射狀地遠離BS270?;蛘?,每個分區(qū)可以由用于分集接收的兩個或更多天線覆蓋。每個BS270可以被構(gòu)造為支持多個頻率分配,并且每個頻率分配具有特定頻譜(例如,1.25MHz,5MHz等等)。
分區(qū)與頻率分配的交叉可以被稱為CDMA信道。BS270也可以被稱為基站收發(fā)器子系統(tǒng)(BTS)或者其它等效術(shù)語。在這樣的情況下,術(shù)語"基站"可以用于籠統(tǒng)地表示單個BSC275和至少一個BS270。基站也可以被稱為"蜂窩站"?;蛘?,特定BS270的各分區(qū)可以被稱為多個蜂窩站。
如圖2中所示,廣播發(fā)射器(BT)295將廣播信號發(fā)送給在系統(tǒng)內(nèi)操作的移動終端100。如圖1中所示的廣播接收模塊111被設(shè)置在移動終端100處以接收由BT295發(fā)送的廣播信號。在圖2中,示出了幾個全球定位系統(tǒng)(GPS)衛(wèi)星300。衛(wèi)星300幫助定位多個移動終端100中的至少一個。
在圖2中,描繪了多個衛(wèi)星300,但是理解的是,可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的GPS模塊115通常被構(gòu)造為與衛(wèi)星300配合以獲得想要的定位信息。替代GPS跟蹤技術(shù)或者在GPS跟蹤技術(shù)之外,可以使用可以跟蹤移動終端的位置的其它技術(shù)。另外,至少一個GPS衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星DMB傳輸。
作為無線通信系統(tǒng)的一個典型操作,BS270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個反向鏈路信號被在特定BS270內(nèi)進行處理。獲得的數(shù)據(jù)被轉(zhuǎn)發(fā)給相關(guān)的BSC275。BSC提供通話資源分配和包括BS270之間的軟切換過程的協(xié)調(diào)的移動管理功能。BSC275還將接收到的數(shù)據(jù)路由到MSC280,其提供用于與PSTN290形成接口的額外的路由服務。類似地,PSTN290與MSC280形成接口,MSC與BSC275形成接口,并且BSC275相應地控制BS270以將正向鏈路信號發(fā)送到移動終端100。
基于上述移動終端硬件結(jié)構(gòu)以及通信系統(tǒng),提出本發(fā)明終端各個實施例。
如圖3所示,本發(fā)明第一實施例提出一種終端,包括:
提取模塊210,用于按照播放時間順序和設(shè)定的提取周期,從預設(shè)的初始時間開始提取播放視頻的視頻幀;
檢測模塊220,用于針對提取的相鄰的兩幀視頻幀,檢測所述兩幀視頻幀的圖像差異度;
控制模塊230,用于根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率;所述檢測節(jié)點為所述兩幀視頻幀中播放時間在后的視頻幀對應的時間節(jié)點。
進一步說,所述提取周期為時間周期或幀數(shù)周期。例如,所述兩幀視頻幀為第一視頻幀和第二視頻幀;其中第一視頻幀和第二視頻幀可以是間隔時間為A(即時間周期)的兩個視頻幀,也可以是幀數(shù)間隔為N(幀數(shù)周期)的視頻幀;其中A和N為大于1的自然數(shù)。
進一步說,初始時間可以根據(jù)實際情況設(shè)置,例如可以設(shè)置視頻的播放開始時間,也可以設(shè)置為視頻播發(fā)時第一幀的視頻幀對應的時間。
播放幀率(Frame rate)是用于測量顯示幀數(shù)的量度。所謂的測量單位為每秒顯示幀數(shù)(Frames per Second,簡稱:FPS)或“赫茲”(Hz)。
由于人類眼睛的特殊生理結(jié)構(gòu),如果所看畫面之幀率高于24的時候,就會認為是連貫的,此現(xiàn)象稱之為視覺暫留。
現(xiàn)有技術(shù)中,終端通過播放軟件播放視頻時,一旦選定了視頻播放清晰度(標清、高清、藍光),即確定了視頻播放幀率,那么在整個播放過程中播放幀率便不會改變,除非人為切換視頻播放模式。
然而,每秒的幀數(shù)(FPS)或者說幀率表示圖形處理器處理場時每秒鐘能夠更新的次數(shù)。高的幀率可以得到更流暢、更逼真的視頻效果。一般來說30fps就是可以接受的,但是將性能提升至60fps則可以明顯提升交互感和逼真感,但是一般來說超過75fps一般就不容易察覺到有明顯的流暢度提升了。
同時播放視頻過程中,一般情況下,在視頻播放時會采用較高的播放幀率,此時一成不變的較高播放幀率只會浪費圖形處理的能力,不僅造成處理器不必要的長期負擔,同時也會增加相應的功耗;
也有的情況下,在視頻播放時會采用較低的播放幀率,此時雖然降低了處理器的負擔,但是長期的較低的播放幀率,呈現(xiàn)給用戶較低的視覺效果,因此給用戶帶來了不好的體驗。
基于此,本發(fā)明實施例通過按照播放時間順序和設(shè)定的提取周期,從預設(shè)的初始時間開始提取播放視頻的視頻幀,并針對提取的相鄰的兩幀視頻幀,檢測所述兩幀視頻幀的圖像差異度,以及根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率,從而實現(xiàn)播放視頻的播放幀率的動態(tài)調(diào)整,進而有效減輕播放視頻時占用的處理器資源,有效降低處理器的負擔,有效降低終端的功耗,提高了終端電池的使用時間,進一步提高了用戶體驗。同時,在播放幀率的動態(tài)調(diào)整過程中,也可以提高視頻播放的視覺效果,更進一步提高用戶體驗。
簡述本發(fā)明實施例原理:
發(fā)明人發(fā)現(xiàn)對人眼而言,并不是每一部分的視頻都是需要很高的播放幀率,基于此,可以通過檢測視頻中圖像內(nèi)容的變化速度,來動態(tài)的調(diào)整播放幀率。
具體說,本發(fā)明實施例中通過周期性的檢測相鄰兩幀視頻幀的圖像差異度,判斷播放視頻的視頻圖像內(nèi)容的變化速度。
當圖像差異度較大時,即圖像內(nèi)容變化速度較快,此時可以按照較高的播放幀率播放視頻;
當圖像差異度較小時,即圖像內(nèi)容變化速度較慢,此時可以按照較低的播放幀率播放視頻。
基于此調(diào)整方式,實現(xiàn)播放視頻的播放幀率的動態(tài)調(diào)整。
在第一實施例的基礎(chǔ)上,進一步提出第一實施例的變型實施例,在此需要說明的是,為了使描述簡要,在各變型實施例中僅描述與第一實施例的不同之處。
在本發(fā)明的一個實施例中,所述控制模塊230,具體用于若所述圖像差異度達到預設(shè)第一調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,提高所述視頻的播放幀率;若所述圖像差異度低于預設(shè)第二調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,降低所述視頻的播放幀率;所述第一調(diào)整閾值大于所述第二調(diào)整閾值。
進一步說,所述控制模塊230還用于分析播放視頻,獲得播放視頻的最大播放幀率,以及獲得播放視頻的各清晰度對應的播放幀率。
本發(fā)明實施例中根據(jù)預設(shè)的調(diào)整策略,提高所述視頻的播放幀率,包括:
將當前播放幀率提高到最高清晰度對應的播放幀率范圍內(nèi),或者提高到當前清晰度對應的最大播放幀率以上;
根據(jù)預設(shè)的調(diào)整策略,降低所述視頻的播放幀率,包括:
將當前播放幀率降低到最低清晰度對應的播放幀率范圍內(nèi),或者降低到當前清晰度對應的最低播放幀率以下。
本發(fā)明實施例通過閾值的方式提高了動態(tài)調(diào)整播放幀率的效率。
在本發(fā)明的另一個實施例中,所述控制模塊230,具體用于根據(jù)預設(shè)的圖像差異度范圍與播放幀率的對應關(guān)系,在所述檢測節(jié)點,將所述視頻對應的當前播放幀率調(diào)整到與檢測到的圖像差異度對應的播放幀率。
在本發(fā)明實施例中,可以預先通過多次測試,獲取多批次的圖像差異度范圍、播放幀率、視頻的視覺效果和處理器處理視頻幀時的處理器資源占用率的數(shù)據(jù);
根據(jù)所述視頻的視覺效果數(shù)據(jù)和處理器資源占用率數(shù)據(jù),確定播放幀率;
根據(jù)播放幀率確定圖像差異度范圍。
具體說,將多批次的視頻的視覺效果數(shù)據(jù)分為至少三類,如最好效果、最差效果和較好效果;多批次的占用率數(shù)據(jù)分為對應的最大占用率、最小占用率和較低占用率;從而確定較低占用率和較好效果對應的視頻幀率范圍,從而確定圖像差異度范圍。
在本發(fā)明的再一個實施例中,所述檢測模塊220,具體用于根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,將確定的兩個方差的差值絕對值作為所述圖像差異度;
具體說,所述根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,將確定的兩個方差的差值絕對值作為所述圖像差異度,包括:
針對任一視頻幀,根據(jù)該視頻幀的每個像素的RGB值,確定所述每個像素對應的像素參數(shù)值;
根據(jù)每個像素參數(shù)值,確定該視頻幀所有像素的像素參數(shù)值的平均值;
根據(jù)所述每個像素參數(shù)值和所述平均值,確定所述每個像素對應的像素參數(shù)方差;
根據(jù)每個所述方差,確定該視頻幀對應的像素參數(shù)的方差。
其中,選定的像素參數(shù)為灰度參數(shù)或者亮度參數(shù)。
灰度參數(shù)為例,簡述視頻幀對應的像素參數(shù)的方差的確定原理。
根據(jù)任一視頻幀中各個像素的RGB值計算每個像素灰度值X,計算該視頻幀中所有像素的灰度平均值,得到灰度平均值E(X)。
根據(jù)每個像素的灰度值和灰度平均值計算該視頻幀的灰度方差D(x),或者該視頻幀的灰度標準差。
其中,灰度方差
D(X)=E{Σ[X-E(X)]};
其中,灰度標準差
通過上述方法,可以得到第一視頻幀的灰度方差D(X)1和第二視頻幀的灰度方差D(X)2。
進一步說,計算第一視頻幀的灰度方差D(X)1和第二視頻幀的灰度方差D(X)2的差值B。
再進一步說,若差異B的值小于一預設(shè)值,說明第一視頻幀和第二視頻幀的內(nèi)容變化不大,控制模塊230則相應調(diào)低視頻播放幀率,若差異B的值大于一預設(shè)值,說明第一視頻幀和第二視頻幀的內(nèi)容變化很大,需要較高的視頻播放幀率才能保證視頻播放的清晰度,控制模塊230則提升視頻播放幀。
當然還可以預先存儲差異值B與視頻播放幀的關(guān)聯(lián)關(guān)系,可以為不同的差異值B賦予不同的視頻播放幀率。
當然,亦可以利用上述算法計算第一視頻幀和第二視頻幀中亮度參數(shù)的變化,進而表明獲取的第一視頻幀和第二視頻幀內(nèi)容信息的變化快慢,進而相應的調(diào)整視頻播放幀率。
可選地,所述檢測模塊220,具體用于分別對所述兩幀視頻幀進行面部圖像識別,分別確定所述兩幀視頻幀中面部圖像的數(shù)量,將確定的兩個數(shù)量的差值絕對值作為所述圖像差異度;
也就是說,分別對所述第一視頻幀和所述第二視頻幀進行面部圖像識別,確定所述第一視頻幀中面部圖像的第一數(shù)量和所述第二視頻幀中面部圖像的第二數(shù)量,將所述第二數(shù)量和所述第一數(shù)量的差值絕對值作為所述圖像差異度。
本發(fā)明實施例中可以通過面部圖像的數(shù)量差異來判斷兩個視頻幀內(nèi)容是否發(fā)生變化,以及變化的多少快慢,從而相應的調(diào)整視頻播放幀率。
可選地,所述檢測模塊220,具體用于對所述第一視頻幀進行面部圖像識別,在識別出所述第一視頻幀中具有至少一個面部圖像時,針對任一面部圖像,記錄該圖像在所述第一視頻幀中的第一位置信息,并提取該面部圖像的圖像特征;根據(jù)所述圖像特征在所述第二視頻幀中查找該面部圖像,若查找到,記錄該面部圖像在所述第二視頻幀中的第二位置信息;若未查找到,將所述第二位置信息設(shè)置為0;將所述第二位置信息與所述第一位置信息的差值絕對值作為所述圖像差異度;
也就是說,本發(fā)明實施例中通過分析獲取的第一視頻幀和第二視頻幀中幾個關(guān)鍵圖片細節(jié),比如人臉,通過分析第一視頻幀中人臉的像素坐標平均值和第二視頻幀中人臉的像素坐標平均值,若兩者的坐標平均值差值C大于一預設(shè)值,則說明兩個視頻幀內(nèi)容發(fā)生了較快變化,則相應的調(diào)整視頻播放幀率,保證視頻播放的清晰度;若兩者的坐標平均值差值C小于一預設(shè)值,則說明兩個視頻幀內(nèi)容沒有發(fā)生較快變化,則相應的調(diào)低視頻播放幀率。當然,亦可以預先為不同的坐標平均差值C賦予不同的視頻播放幀率。
可選地,所述檢測模塊220,具體用于按設(shè)定的分割數(shù)量,分別將所述兩幀視頻幀分割成多個幀圖像,依次比對所述兩幀視頻幀中相同位置處的幀圖像;根據(jù)比對結(jié)果,記錄幀圖像不匹配的次數(shù),將所述次數(shù)與所述分割數(shù)量的比值作為所述圖像差異度。
具體說,按設(shè)定的分割數(shù)量,分別將所述第一視頻幀和所述第二視頻幀分割成多個幀圖像,依次比對所述第一視頻幀和所述第二視頻幀中相同位置處的幀圖像;根據(jù)比對結(jié)果,記錄幀圖像不匹配的次數(shù),將所述次數(shù)與所述分割數(shù)量的比值作為所述圖像差異度。
也就是說,本發(fā)明實施例中可以通過兩個圖像的差異來判斷兩個視頻幀內(nèi)容是否發(fā)生變化,以及變化的多少快慢,從而相應的調(diào)整視頻播放幀率。
本發(fā)明實施例中終端通過預定規(guī)則獲取當前視頻播放的狀態(tài),動態(tài)的調(diào)整視頻播放的播放幀率,既保證了視頻播放的清晰度,亦可以在滿足用戶體驗的前提下,適度降低視頻播放處理器的工作負擔,降低移動設(shè)備的功耗。
本發(fā)明進一步提供一種視頻播放控制方法。
參照圖4,本發(fā)明實施例中一種視頻播放控制方法,包括步驟:
S401,按照播放時間順序和設(shè)定的提取周期,從預設(shè)的初始時間開始提取播放視頻的視頻幀;
S402,針對提取的相鄰的兩幀視頻幀,檢測所述兩幀視頻幀的圖像差異度;
S403,根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率;所述檢測節(jié)點為所述兩幀視頻幀中播放時間在后的視頻幀對應的時間節(jié)點。
進一步說,所述提取周期為時間周期或幀數(shù)周期。
在本發(fā)明的一個實施例中,所述根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率,包括:
若所述圖像差異度達到預設(shè)第一調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,提高所述視頻的播放幀率;若所述圖像差異度低于預設(shè)第二調(diào)整閾值時,在所述檢測節(jié)點,根據(jù)預設(shè)的調(diào)整策略,降低所述視頻的播放幀率;所述第一調(diào)整閾值大于所述第二調(diào)整閾值;或者,
根據(jù)預設(shè)的圖像差異度范圍與播放幀率的對應關(guān)系,在所述檢測節(jié)點,將所述視頻對應的當前播放幀率調(diào)整到與檢測到的圖像差異度對應的播放幀率范圍內(nèi)。
在本發(fā)明的另一個實施例中,所述兩幀視頻幀為第一視頻幀和第二視頻幀;所述檢測所述兩幀視頻幀的圖像差異度,包括:
根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,將確定的兩個方差的差值絕對值作為所述圖像差異度;或者,
分別對所述兩幀視頻幀進行面部圖像識別,分別確定所述兩幀視頻幀中面部圖像的數(shù)量,將確定的兩個數(shù)量的差值絕對值作為所述圖像差異度;或者,
按設(shè)定的分割數(shù)量,分別將所述兩幀視頻幀分割成多個幀圖像,依次比對所述兩幀視頻幀中相同位置處的幀圖像;根據(jù)比對結(jié)果,記錄幀圖像不匹配的次數(shù),將所述次數(shù)與所述分割數(shù)量的比值作為所述圖像差異度;或者,
對所述第一視頻幀進行面部圖像識別,在識別出所述第一視頻幀中具有至少一個面部圖像時,針對任一面部圖像,記錄該圖像在所述第一視頻幀中的第一位置信息,并提取該面部圖像的圖像特征;根據(jù)所述圖像特征在所述第二視頻幀中查找該面部圖像,若查找到,記錄該面部圖像在所述第二視頻幀中的第二位置信息;若未查找到,將所述第二位置信息設(shè)置為0;將所述第二位置信息與所述第一位置信息的差值絕對值作為所述圖像差異度。
具體說,所述根據(jù)選定的像素參數(shù),分別確定所述兩幀視頻幀對應的像素參數(shù)的方差,包括:
針對任一視頻幀,根據(jù)該視頻幀的每個像素的RGB值,確定所述每個像素對應的像素參數(shù)值;
根據(jù)每個像素參數(shù)值,確定該視頻幀所有像素的像素參數(shù)值的平均值;
根據(jù)所述每個像素參數(shù)值和所述平均值,確定所述每個像素對應的像素參數(shù)方差;
根據(jù)每個所述方差,確定該視頻幀對應的像素參數(shù)的方差。
本發(fā)明實施例通過按照播放時間順序和設(shè)定的提取周期,從預設(shè)的初始時間開始提取播放視頻的視頻幀,并針對提取的相鄰的兩幀視頻幀,檢測所述兩幀視頻幀的圖像差異度,以及根據(jù)所述圖像差異度,在檢測節(jié)點,調(diào)整所述視頻的播放幀率,從而實現(xiàn)播放視頻的播放幀率的動態(tài)調(diào)整,進而有效減輕播放視頻時占用的處理器資源,有效降低處理器的負擔,有效降低終端的功耗,提高了終端電池的使用時間,進一步提高了用戶體驗。同時,在播放幀率的動態(tài)調(diào)整過程中,也可以提高視頻播放的視覺效果,更進一步提高用戶體驗。
需要說明的是,在本文中,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
通過以上的實施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設(shè)備(可以是手機,計算機,服務器,空調(diào)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。
以上僅為本發(fā)明的優(yōu)選實施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護范圍內(nèi)。