本發(fā)明涉及一種用于管理和更新用戶界面的顏色的自動(dòng)化方法和圖形處理器，該用戶界面包括由靜止圖像、運(yùn)動(dòng)圖像或視頻內(nèi)容所形成的背景上待顯示的圖形元素、文本和圖像。

背景技術(shù)：

用戶友好的圖形用戶界面提供有吸引力的圖形效果，具有美觀的外觀以及易于且直觀的使用的可能性。用戶界面通常顯示包括文本字符串、圖形圖標(biāo)、圖形對象、漸變和圖像的項(xiàng)目。顯示項(xiàng)目列表的常見方式是將圖形用戶界面的第一圖形層配置為靜態(tài)背景，并且將第二圖形層配置為以滾動(dòng)方式在背景上顯示項(xiàng)目。背景可以具有預(yù)定區(qū)域，其通過特殊效果(例如高亮、漸變或幀)與周圍區(qū)域區(qū)分開。在預(yù)定區(qū)域上顯示的項(xiàng)目被視為感興趣的項(xiàng)目。這樣的顯示不會(huì)改變項(xiàng)目在第一圖形層上顯示的方式。顯示項(xiàng)目列表的另一種方式是配置圖形用戶界面的第一圖形層顯示項(xiàng)目，并且第二圖形層在第一層上以滾動(dòng)方式顯示符號或幀。顯示符號的項(xiàng)目被視為感興趣的項(xiàng)目。這樣的顯示不會(huì)改變項(xiàng)目在第一圖形層上顯示的方式。

隨著諸如計(jì)算機(jī)、移動(dòng)設(shè)備、與機(jī)頂盒相關(guān)的電視機(jī)等電子設(shè)備領(lǐng)域的技術(shù)發(fā)展，已經(jīng)開發(fā)了各種類型的用戶界面，以便于用戶使用設(shè)備的體驗(yàn)。今天，許多電子設(shè)備通過觸摸屏提供替換鍵盤的圖形用戶界面ui來實(shí)現(xiàn)。因此，ui包括各種類型的菜單和圖像，例如窗口、滾動(dòng)條、圖標(biāo)、控制按鈕等。

在以視頻為中心的設(shè)備和視頻顯示環(huán)境中，與相關(guān)技術(shù)的模擬廣播環(huán)境相比，內(nèi)容的量大大增加，并且內(nèi)容的類型多樣化。用戶界面(ui)大部分以屏幕顯示(osd)方式進(jìn)行二維配置。然而，ul的二維配置存在局限性。由于信息以平面的方式進(jìn)行顯示，所以用戶在識別和使用ui時(shí)感到不方便。例如，如果提供了包括大量信息的ui或包括以平面形式顯示的主菜單和子菜單的ui，則菜單可以疊加在上或者顯示在電視主屏幕上的視頻內(nèi)容的背景圖像或幀上，如此ui的全部或部分可能是可見的或被隱藏或變得不可讀。因此，需要能夠以智能的方式管理和更新用戶界面中使用的顏色的方法和系統(tǒng)，這對于用戶來說是自動(dòng)化且更容易的。

關(guān)于視頻顯示環(huán)境，文獻(xiàn)us8872969公開了一種在顯示之前動(dòng)態(tài)相對調(diào)整視頻幀的至少一部分的顏色參數(shù)和/或與其相關(guān)聯(lián)的字幕的至少一部分的顏色參數(shù)的方法。該方法包括以下步驟：將與視頻幀相關(guān)的數(shù)據(jù)與視頻幀的字幕相關(guān)的數(shù)據(jù)分開存儲(chǔ)在數(shù)據(jù)處理設(shè)備的存儲(chǔ)器中，并且通過通信地耦接到存儲(chǔ)器的處理器比較視頻幀有關(guān)的數(shù)據(jù)的顏色參數(shù)與字幕有關(guān)的數(shù)據(jù)的顏色參數(shù)。該方法還包括基于該比較來動(dòng)態(tài)地調(diào)整與該字幕有關(guān)的數(shù)據(jù)的至少一部分的顏色參數(shù)和/或與視頻幀相關(guān)的數(shù)據(jù)的至少一部分的顏色參數(shù)。此外，該方法包括在渲染于顯示單元上之前，經(jīng)過動(dòng)態(tài)調(diào)整之后，將與字幕相關(guān)的數(shù)據(jù)疊加在與視頻幀相關(guān)的數(shù)據(jù)上。

技術(shù)實(shí)現(xiàn)要素：

本公開文本的實(shí)施例提出了根據(jù)權(quán)利要求1所述的一種用于管理用戶界面顏色的自動(dòng)化方法和圖形處理器，其中的用戶界面顯示在由電子設(shè)備所提供的至少一個(gè)多媒體幀上。

本公開文本的另一目的涉及根據(jù)權(quán)利要求7所述的一種用于自動(dòng)管理用戶界面中的顏色的圖形處理器，該用戶界面顯示在電子設(shè)備所提供的至少一個(gè)多媒體幀上。

多媒體幀在本公開文本的內(nèi)容中被限定為多媒體內(nèi)容所提供的任何靜止的或移動(dòng)的人眼可見的圖像。

本發(fā)明的方法和圖形處理器關(guān)于以視頻為中心的消費(fèi)電子設(shè)備上所顯示的動(dòng)態(tài)用戶界面。用戶界面包括具有各種顏色、形狀、尺寸以及顯示屏幕上的位置的一組圖像項(xiàng)目。用戶將能夠根據(jù)電子設(shè)備的硬件和軟件配置從單個(gè)或一組圖形項(xiàng)目選擇對象或功能。對于以視頻為中心的設(shè)備，目的包括在任何時(shí)間在顯示器上顯示視頻內(nèi)容，而不改變多媒體幀的尺寸或剪切其中的一些部分。為了實(shí)現(xiàn)這一目的，使用半透明的用戶界面是優(yōu)選的選擇。同時(shí)，這種半透明將導(dǎo)致用戶界面的顏色與背景多媒體幀顏色沖突，并且提供令人分心的用戶體驗(yàn)。

應(yīng)當(dāng)注意的是，術(shù)語多媒體內(nèi)容或多媒體幀也包括真實(shí)場景通過相機(jī)產(chǎn)生其上可以顯示用戶界面圖形項(xiàng)目的多媒體幀的情況。例如，智能眼鏡或風(fēng)擋所看見的場景可以被用作以用戶利用的文本和/或圖像形式的用戶界面項(xiàng)目的背景。

附圖說明

通過以下詳細(xì)描述將會(huì)更好地理解本發(fā)明，這些詳細(xì)描述參考作為非限制性示例給出的附圖。

圖1示出了包括背景圖像層的視頻多媒體幀的分層結(jié)構(gòu)，其上疊加了包括圖形層和文本層的用戶界面。

圖2示出了用戶界面項(xiàng)目顏色在視頻圖像上的組織的示意圖。

圖3示出了背景圖像的視頻數(shù)據(jù)塊，其中主色陣列在分析之后被提取并且用于生成用戶界面項(xiàng)目。

圖4示出了針對外圍設(shè)備的圖形處理器的框圖，該外圍設(shè)備用于管理由電子設(shè)備所提供的圖像上所顯示的用戶界面中的顏色。

圖5示出了根據(jù)本發(fā)明的方法的實(shí)施例的流程圖，其使用管理用戶界面項(xiàng)目的主色和圖像的主色的陣列中的顏色選擇的準(zhǔn)則。

具體實(shí)施方式

通常，以視頻為中心的設(shè)備的屏幕上所顯示的圖像是以多個(gè)疊加層的形式進(jìn)行渲染的。每層包含由視頻設(shè)備中不同源所提供的信息。圖1示出了由多媒體內(nèi)容源提供的分層多媒體幀的示例，其中最底層或背景層bl占據(jù)屏幕的整個(gè)表面，而用戶界面ui的另外層可以被放置在屏幕上的預(yù)定義位置而沒有必然覆蓋屏幕的整個(gè)表面。用戶界面ui可以包括圖形層gl，其包括諸如圖形、動(dòng)畫元素、標(biāo)志、圖像框、按鈕等的圖形項(xiàng)目，以及包括文本、字母數(shù)字字符、表意文字、符號、各種形狀的幀等的文本層tl。

用戶界面層的顏色分量由在顯示器上渲染這些圖層及其圖形項(xiàng)目的應(yīng)用程序進(jìn)行設(shè)置。應(yīng)用程序例如以預(yù)定義的順序生成以堆疊的窗口的形式布置在層上的圖形項(xiàng)目。第一層中背景圖像的顏色是預(yù)先設(shè)定的，而用戶界面窗口的顏色由應(yīng)用程序來設(shè)置。在常規(guī)用戶界面中，窗口的顏色以靜態(tài)方式進(jìn)行定義，使得在重疊的情況下，一些窗口或其中的項(xiàng)目可能被隱藏，或者以不足的對比度顯示在下層窗口的顏色上。

圖2的示意圖示出了具有背景顏色av的顯示器的示例，其上用戶界面圖形以各自具有特定的一組顏色的窗口w1、w2和w3的形式進(jìn)行顯示。顯示順序av、w1、w2、w3對應(yīng)于其中背景圖像av放置在底層且窗口w3放置在頂層的層堆棧。

例如由交互式多媒體內(nèi)容渲染設(shè)備的圖形處理器或由多媒體解碼器處理的數(shù)字多媒體內(nèi)容包括限定圖像組成的壓縮形式的數(shù)字視頻數(shù)據(jù)塊。一種用于視頻壓縮的已知技術(shù)被稱為運(yùn)動(dòng)圖像專家組(mpeg)壓縮算法。在該算法中，運(yùn)動(dòng)圖像視頻的每個(gè)幀被單獨(dú)描述或作為與先前顯示的幀的改變。因此，視頻場景可以由單個(gè)獨(dú)立幀來描述，該幀顯示其最初出現(xiàn)時(shí)的整個(gè)場景，然后是一系列長的變化幀，這些幀描述例如當(dāng)演員移動(dòng)時(shí)場景中的變化。使用這種技術(shù)，通過消除場景的恒定元素的冗余傳輸，顯著增加了傳輸信道中的視頻數(shù)據(jù)吞吐量。

mpeg算法能夠通過稱為i幀的單個(gè)獨(dú)立視頻幀或者通過初始i幀和一個(gè)或多個(gè)后續(xù)改變幀的組合來描述圖像，其中的改變幀包括描述對先前顯示的圖像的改變的p幀，以及描述當(dāng)前幀與前一幀和后面幀之間的差異以指定其內(nèi)容的b幀。通常，將p幀數(shù)據(jù)寫入其內(nèi)容已被顯示的圖形處理器的幀緩沖器，導(dǎo)致對所顯示圖像的修改。

可以是靜止或移動(dòng)的背景圖像的顏色組成信息主要包含在根據(jù)本發(fā)明的方法由圖形處理器分析的i幀數(shù)據(jù)塊中。該分析通過提取定義背景圖像的主色的集合或陣列的數(shù)據(jù)塊kn＝(c1，c2，c3，...，cn)產(chǎn)生，其中c1是最不主要的顏色，cn是最主要的顏色，如圖所示如圖3所示。

根據(jù)另外的實(shí)施例，由圖形處理器接收和處理的多媒體內(nèi)容可以包括通過使用除mpeg之外的其他算法進(jìn)行編碼的視頻數(shù)據(jù)塊，例如googlevp8、vp9，realvideo，microsoftasf等。由與眼鏡或擋風(fēng)玻璃相關(guān)聯(lián)的相機(jī)所提供的圖像通常不被壓縮，使得可以分析每個(gè)幀以獲取主色陣列。模擬視頻內(nèi)容可以轉(zhuǎn)換為被處理以提取主色信息的數(shù)字視頻數(shù)據(jù)塊。

主色是通過其在光譜中與其他顏色相關(guān)的較高強(qiáng)度(intensity)或強(qiáng)度(strength)來定義的?？梢允褂脭?shù)學(xué)強(qiáng)度分布曲線公式來指定主色強(qiáng)度值。

圖形處理器接收由特定應(yīng)用驅(qū)動(dòng)的用戶界面生成器所提供的一個(gè)或多個(gè)圖形項(xiàng)目，該一個(gè)或多個(gè)圖形項(xiàng)目將在由多媒體內(nèi)容提供的部分或整個(gè)背景多媒體幀上進(jìn)行顯示。

用戶界面圖形項(xiàng)目的主色可以根據(jù)背景圖像的至少一部分的主色陣列kn＝(c1,c2,c3,…,cn)以關(guān)于背景圖像的被關(guān)心部分的顏色可見的方式進(jìn)行修改。陣列的一個(gè)或多個(gè)顏色然后被動(dòng)態(tài)地修改，即每次修改背景圖像部分的主色時(shí)。

背景圖像的主色陣列可以根據(jù)一個(gè)或多個(gè)顏色選擇準(zhǔn)則進(jìn)行過濾，諸如背景圖像的質(zhì)量、用戶偏好、多媒體內(nèi)容的類型、i幀的陣列中的可用主色等。背景圖像的質(zhì)量可以通過分辨率進(jìn)行限定，諸如每英寸的像素?cái)?shù)量、壓縮比、銳度、運(yùn)動(dòng)規(guī)律等。

特別地，用戶界面生成器可以為一些圖形項(xiàng)目以及顏色可以根據(jù)背景多媒體幀的主色陣列進(jìn)行動(dòng)態(tài)替換的其他圖像項(xiàng)目提供默認(rèn)顏色。

根據(jù)選擇，顏色改變可以由用于在預(yù)定時(shí)間段內(nèi)改變顏色的顏色漸變器來執(zhí)行，以防止突然的顏色切換。因此，顏色變化通過引入直至較少主色的漸進(jìn)轉(zhuǎn)變而被柔化。

在快速改變由多媒體內(nèi)容源提供的背景多媒體幀的主色的情況下，用戶界面項(xiàng)目顏色可以根據(jù)多媒體內(nèi)容類型進(jìn)行過濾。諸如驚悚片的動(dòng)作電影可以使圖形處理器能夠通過鮮艷的色彩(即陣列的最主要的顏色)來代替用戶界面項(xiàng)的默認(rèn)顏色。例如，與兒童故事相關(guān)的電影上的用戶界面項(xiàng)目顏色可能會(huì)變?yōu)槿岷偷臏\色。

用戶偏好還可以用于過濾背景多媒體幀顏色，例如當(dāng)用戶界面的圖形項(xiàng)出現(xiàn)時(shí)或者優(yōu)選的顏色基于預(yù)先存儲(chǔ)的設(shè)置時(shí)，顏色集合可以限制到由用戶以交互方式即時(shí)選擇的特定顏色。

時(shí)間間隔中顏色變化的頻率也可以根據(jù)背景層的顏色應(yīng)用于用戶界面項(xiàng)目。

顏色變化因此在分析背景多媒體幀之后動(dòng)態(tài)地出現(xiàn)，導(dǎo)致為圖形項(xiàng)目提供一組要選擇的顏色，以呈現(xiàn)具有愉悅美感的可見用戶界面。因此，圖形項(xiàng)目顏色適應(yīng)于背景多媒體幀，使得當(dāng)背景多媒體幀改變時(shí)，以及當(dāng)用戶界面層跨過可能顯示具有不同主色的部分的背景多媒體幀時(shí)，顏色可能改變。

例如，當(dāng)黃色圖形項(xiàng)目(例如，通過藍(lán)色背景部分的線條)在經(jīng)過紅色背景部分時(shí)，將變?yōu)榍嗌?。根?jù)另一示例，諸如矩形的圖形項(xiàng)可以根據(jù)相關(guān)側(cè)所顯示的背景多媒體幀部分的主色，每一側(cè)具有不同的顏色。背景視頻幀上的字幕可以根據(jù)字幕字符所顯示的背景視頻幀的部分，在每個(gè)字符上具有不同的顏色。白色和黑色背景部分上所顯示的字符在白色背景部分將顯示為黑色，黑色背景部分將顯示為白色。在這些條件下，無論背景視頻幀的顏色如何，字幕保持始終可見。

根據(jù)另一實(shí)施例，諸如線的圖形項(xiàng)目例如可以具有適于在由顯示屏幕上的線所穿過的所有不同部分上可見的“平均”顏色。在該示例中，由分析和過濾產(chǎn)生的顏色陣列使得能夠根據(jù)背景多媒體幀的主色來選擇用于修改用戶界面圖形項(xiàng)目的顏色的適當(dāng)?shù)目梢婎伾?/p>

當(dāng)用戶界面項(xiàng)目已經(jīng)具有適應(yīng)于背景主色的顏色時(shí)，以及當(dāng)先前沒有另外的過濾準(zhǔn)則應(yīng)用于背景多媒體幀的主色彩陣列時(shí)，不會(huì)發(fā)生顏色變化。

圖4示出了根據(jù)本發(fā)明的示例性圖形處理器gp。由視頻處理軟件驅(qū)動(dòng)的圖形處理器gp可以優(yōu)選地在視頻為中心的電子設(shè)備中實(shí)現(xiàn)。視頻為中心的裝置例如可以是用戶家中的諸如機(jī)頂盒的視頻網(wǎng)關(guān)設(shè)備、媒體播放器、游戲機(jī)、電視機(jī)等。

圖形處理器gp可以耦合到外圍設(shè)備，諸如提供例如i幀、b幀和p幀視頻數(shù)據(jù)塊的交互式多媒體內(nèi)容渲染設(shè)備imrd，耦合到電視機(jī)顯示屏幕ds的顯示驅(qū)動(dòng)器dd以及用戶界面生成器uig。

交互式多媒體內(nèi)容渲染設(shè)備imrd將多媒體內(nèi)容數(shù)據(jù)從至少一個(gè)多媒體幀轉(zhuǎn)發(fā)到內(nèi)容分析器ca，內(nèi)容分析器ca用于分析例如包括i幀的數(shù)字多媒體內(nèi)容數(shù)據(jù)。然后從i幀中提取與顯示在電視機(jī)ds的屏幕上的至少一個(gè)多媒體幀的至少一部分對應(yīng)的主色陣列，并將其轉(zhuǎn)發(fā)到耦合到內(nèi)容分析器ca的輸出的濾波器f。濾波器f用于根據(jù)管理顏色選擇的至少一個(gè)預(yù)定義標(biāo)準(zhǔn)來過濾所提取的至少一個(gè)多媒體幀的部分的主色陣列，并且獲取所產(chǎn)生的主色陣列。

圖形處理器gp還包括動(dòng)態(tài)用戶界面數(shù)據(jù)處理器uip，動(dòng)態(tài)用戶界面數(shù)據(jù)處理器uip被耦合到濾波器f的輸出以及生成用戶界面圖形項(xiàng)目的用戶界面生成器uig的輸出。動(dòng)態(tài)用戶界面數(shù)據(jù)處理器uip組裝圖形項(xiàng)以形成覆蓋至少一個(gè)多媒體幀的用戶界面ui。

基于在濾波器f的輸出處獲取的主色的所得陣列，以在顯示圖形項(xiàng)目的至少一個(gè)多媒體幀的部分中可見的方式來選擇圖形項(xiàng)目的主色。

用戶界面生成器uig可以由運(yùn)行在允許與用戶交互的以視頻為中心的設(shè)備中的應(yīng)用來驅(qū)動(dòng)。由于顯示驅(qū)動(dòng)器dd，包含組裝的圖形項(xiàng)目的用戶界面ui優(yōu)選地顯示在多媒體內(nèi)容上。因此，用戶界面ui的圖形項(xiàng)目具有可以根據(jù)部分或整個(gè)顯示的多媒體幀中的顏色進(jìn)行修改的主色。

用戶界面生成器uig根據(jù)由主色分析器ca所提供的主色陣列中管理圖形項(xiàng)目顏色選擇的上述過濾準(zhǔn)則中的至少一個(gè)，從用戶界面圖形項(xiàng)目的主色陣列中選擇一種或多種顏色。

具有適應(yīng)顏色的用戶界面ui由動(dòng)態(tài)用戶界面視頻數(shù)據(jù)處理器uip轉(zhuǎn)發(fā)到顯示驅(qū)動(dòng)器dd，以便通過多媒體幀顯示在顯示屏ds上。

根據(jù)選擇，圖形處理器gp還包括插入在動(dòng)態(tài)用戶界面數(shù)據(jù)處理器uip的輸出與顯示驅(qū)動(dòng)器dd的輸入之間的顏色漸變器cf。該彩色漸變器cf用于通過引入直至較少主色的漸進(jìn)轉(zhuǎn)變，在預(yù)定時(shí)間段內(nèi)改變組成用戶界面的圖形項(xiàng)目的顏色。

圖5的流程圖示出了使用基于多媒體內(nèi)容質(zhì)量和多媒體內(nèi)容類型的管理用戶界面項(xiàng)目顏色選擇的準(zhǔn)則的根據(jù)本發(fā)明的方法的實(shí)施例。針對用戶界面圖形項(xiàng)目的顏色選擇也考慮到用戶偏好。

在解碼和分析交互式多媒體內(nèi)容渲染設(shè)備所提供的多媒體內(nèi)容之后，提取出與主色陣列相關(guān)的i幀，并將其用作用戶界面圖形項(xiàng)目顏色變化的參考。所提取的顏色陣列k可以通過用戶設(shè)置，例如預(yù)先存儲(chǔ)的用戶偏好，通過與多媒體內(nèi)容質(zhì)量相關(guān)的參數(shù)來進(jìn)行過濾，以獲取經(jīng)濾波的顏色陣列k1，其可以根據(jù)多媒體內(nèi)容類型進(jìn)一步過濾以獲取顏色陣列k2。

在圖5的例子中，根據(jù)預(yù)定義的準(zhǔn)則：內(nèi)容質(zhì)量、內(nèi)容類型、內(nèi)容圖像主色等，由應(yīng)用于提取出的主色陣列的過濾器進(jìn)行顏色選擇。例如，在與體育相關(guān)的內(nèi)容的情況下，過濾器消除最不主要的顏色以保持用于能夠替換用戶界面圖形項(xiàng)目顏色的最主要的顏色。

在該示例中，如果需要，顏色集合k2然后用于改變已生成的應(yīng)用程序用戶界面中的圖形項(xiàng)目的顏色。用戶界面圖形項(xiàng)目的顏色變化可以通過耦合到顯示驅(qū)動(dòng)器dd的顏色漸變器cf來執(zhí)行，以防止可能干擾用戶體驗(yàn)的突然顏色切換。如果不需要顏色改變，則已生成的應(yīng)用程序用戶界面直接顯示在顯示屏幕上，在視頻內(nèi)容的圖像的上方。

與視頻內(nèi)容由連接到視頻數(shù)據(jù)源(例如，視頻流服務(wù)器、光盤或硬盤等)的多媒體內(nèi)容渲染設(shè)備進(jìn)行接收的情況相反，在例如通過智能眼鏡或擋風(fēng)玻璃，由真實(shí)場景提供背景視覺內(nèi)容的情況下，不產(chǎn)生i幀。

然而，指向真實(shí)場景的相機(jī)可以提供背景多媒體幀，該背景多媒體幀能夠被分析以從顏色組成中提取出關(guān)于主色陣列的信息。因此，出現(xiàn)在真實(shí)場景中的用戶界面圖形項(xiàng)目的顏色可能根據(jù)永久變化的背景多媒體幀的主色而連續(xù)地改變。