專(zhuān)利名稱(chēng)：用于使顯示具有不同幀速率的視頻數(shù)據(jù)的窗口迭加的圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對(duì)圖像數(shù)據(jù)進(jìn)行傳送的方法，其中，所述圖 像數(shù)據(jù)是例如由顯示裝置所顯示的，并且對(duì)應(yīng)于具有不同幀速率的隨 時(shí)間變化的圖像的類(lèi)型。本發(fā)明還涉及一種圖像處理設(shè)備，其中，所 述圖像處理設(shè)備是例如用于對(duì)顯示裝置所顯示的并且與不同幀速率的 隨時(shí)間變化的圖像相對(duì)應(yīng)的圖像數(shù)據(jù)進(jìn)行傳送的類(lèi)型。
背景技術(shù)：
在例如便攜式電子設(shè)備這樣的計(jì)算裝置的領(lǐng)域中，已知的是提供
了圖形用戶界面(GUI)以便用戶可以被提供有便攜式電子設(shè)備的輸出。 GUI可以是例如運(yùn)行在LinuxTM操作系統(tǒng)上的被稱(chēng)為"QT"的應(yīng)用之類(lèi) 的應(yīng)用，或者GUI可以是例如微軟公司所生產(chǎn)的Windows 操作系統(tǒng) 之類(lèi)的操作系統(tǒng)的組成部分。
在一些情況下，GUI必須能夠顯示多個(gè)窗口，第一窗口支持以第 一幀速率刷新的第一圖像數(shù)據(jù)的顯示，并且第二窗口支持以第二幀速 率刷新的第二圖像數(shù)據(jù)的顯示。另外，有時(shí)必需以第二幀速率或者以 實(shí)際的不同的幀速率在另一窗口中顯示附加圖像數(shù)據(jù)。每個(gè)窗口可構(gòu) 成圖像數(shù)據(jù)的平面，該平面是例如背景、前景、或者其之間的多個(gè)中 間級(jí)之一這樣的以特定視覺(jué)級(jí)別進(jìn)行顯示的所有必需圖元的集合 (collection)。當(dāng)前，GUI逐像素(pixel-by-pixel)地對(duì)例如諸如媒體 播放器這樣的專(zhuān)用應(yīng)用所產(chǎn)生的視頻數(shù)據(jù)的顯示進(jìn)行管理。然而，當(dāng) 圖像數(shù)據(jù)的平面數(shù)目增加時(shí)，當(dāng)前的GUI越來(lái)越不可利用軟件來(lái)實(shí)時(shí) 地執(zhí)行平面的疊加?？蓪?shí)時(shí)支持多個(gè)疊加的已知GUI會(huì)花費(fèi)大數(shù)量的 每秒百萬(wàn)次指令運(yùn)算(MIPS)以及相關(guān)的功耗。對(duì)于便攜式的、電池供電的電子裝置來(lái)說(shuō)這是不希望的。
替代地，提供了附加硬件以實(shí)現(xiàn)該疊加，并且這種解決方案并不 總是適用于所有圖像顯示方案。
一個(gè)已知技術(shù)采用所謂的"平面緩沖器"，以及用于存儲(chǔ)通過(guò)對(duì)兩 個(gè)平面緩沖器的內(nèi)容進(jìn)行組合所獲得的最終圖像數(shù)據(jù)的呈現(xiàn)幀緩沖 器。第一平面緩沖器包括下述多個(gè)窗口，這多個(gè)窗口包括支持例如插 入在前景與背景窗口之間的隨時(shí)間變化的圖像數(shù)據(jù)的窗口。支持隨時(shí) 間變化的圖像數(shù)據(jù)的窗口具有窗口的外圍邊界特征，以及在其中顯示 隨時(shí)間變化的圖像數(shù)據(jù)的邊界區(qū)。將隨時(shí)間變化的圖像數(shù)據(jù)存儲(chǔ)在第 二平面緩沖器中，并且通過(guò)硬件將第一平面緩沖器的內(nèi)容拷貝到最終 平面緩沖器中并且將第二平面緩沖器的內(nèi)容拷貝到呈現(xiàn)平面緩沖器中 以實(shí)現(xiàn)對(duì)該兩個(gè)平面緩沖器的內(nèi)容進(jìn)行組合，從而將隨時(shí)間變化的圖 像數(shù)據(jù)迭加到邊區(qū)上。然而，由于該組合的天然特性，相對(duì)于背景和 前景窗口的順序而言隨時(shí)間變化的圖像數(shù)據(jù)沒(méi)有正確地駐留，并且因 此疊加在一些前景窗口上，這導(dǎo)致隨時(shí)間變化的圖像數(shù)據(jù)不恰當(dāng)?shù)厥?前景窗口變模糊。另外，在前景窗口中的一個(gè)以與隨時(shí)間變化的圖像
數(shù)據(jù)相似的幀速率刷新的情況下，將會(huì)出現(xiàn)對(duì)"前景關(guān)注(foreground attention)"的競(jìng)爭(zhēng)，這導(dǎo)致便攜式電子設(shè)備的用戶觀察到閃爍。
另一技術(shù)采用三個(gè)平面緩沖器。采用一對(duì)平面緩沖器，其中第一 平面緩沖器包括例如與構(gòu)成GUI的背景部分的多個(gè)窗口相對(duì)應(yīng)的數(shù) 據(jù)，并且第二平面緩沖器用于存儲(chǔ)隨時(shí)間變化的圖像數(shù)據(jù)的幀。通過(guò) 硬件，以上述傳統(tǒng)方式對(duì)第一和第二平面緩沖器的內(nèi)容進(jìn)行組合，并 且將組合的圖像數(shù)據(jù)存儲(chǔ)到最終平面緩沖器中。第三平面緩沖器用于 存儲(chǔ)構(gòu)成了 GUI的前景部分的其他圖像數(shù)據(jù)和窗口。為了實(shí)現(xiàn)對(duì)圖像 數(shù)據(jù)的完全組合，將第三平面緩沖器的內(nèi)容傳送到最終平面緩沖器， 以便在適當(dāng)情況下將第三平面緩沖器的圖像數(shù)據(jù)疊加在最終平面緩沖 器的內(nèi)容上。然而，上述技術(shù)代表了通過(guò)GUI對(duì)隨時(shí)間變化的圖像數(shù)據(jù)的正確 顯示的問(wèn)題的不完善或部分的解決方案。在這方面，由于硬件約束， 許多實(shí)施方式局限于對(duì)兩個(gè)平面上的圖像數(shù)據(jù)進(jìn)行處理，即前景平面
和背景平面。在該局限不存在的情況下，需要對(duì)GUI進(jìn)行附加編程， 以便于支持將GUI分成前景部分和背景部分，并且還支持對(duì)相關(guān)幀緩 沖器的操作。當(dāng)將電子裝置設(shè)備的硬件設(shè)計(jì)成支持多種操作系統(tǒng)時(shí)， 對(duì)GUI的前景/背景部分的支持是不切實(shí)際的。
此外，許多GUI不支持多級(jí)別的視頻平面。因此，不總是可能通 過(guò)GUI來(lái)顯示附加的、獨(dú)特的、隨時(shí)間變化的圖像數(shù)據(jù)。在這方面， 對(duì)于每個(gè)附加視頻平面而言，必須提供新的平面緩沖器，并且GUI必 須支持該新的平面緩沖器，這導(dǎo)致要消耗寶貴的存儲(chǔ)器資源。此外， 不是所有類(lèi)型的顯示控制器都可實(shí)現(xiàn)使用這種技術(shù)來(lái)支持多個(gè)視頻平 面。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供了一種如所附權(quán)利要求所述的用于傳送圖像數(shù) 據(jù)的方法和圖像處理設(shè)備。


現(xiàn)在僅通過(guò)示例的方式，參考附圖對(duì)本發(fā)明的至少一個(gè)實(shí)施例進(jìn) 行描述，其中
圖1是包括支持本發(fā)明的實(shí)施例的硬件的電子裝置的示意圖；以
及
圖2是構(gòu)成了本發(fā)明實(shí)施例的用于傳送圖像數(shù)據(jù)的方法的流程圖。
具體實(shí)施例方式
在以下整個(gè)描述中，相同參考數(shù)字用于標(biāo)識(shí)相似部分。參考圖1，例如諸如所謂智能手機(jī)100這樣的具有無(wú)線數(shù)據(jù)通信
能力的個(gè)人數(shù)字助理(PDA)裝置之類(lèi)的便攜式計(jì)算裝置構(gòu)成了計(jì)算 機(jī)與通信手持機(jī)的組合。因此，智能手機(jī)100包括例如與諸如小鍵盤(pán) 和/或觸摸屏輸入裝置這樣的一個(gè)或多個(gè)輸入裝置104相耦合的處理器 102之類(lèi)的處理資源。該處理器102還與例如隨機(jī)存取存儲(chǔ)器(RAM) 106之類(lèi)的易失性存儲(chǔ)裝置，以及例如只讀存儲(chǔ)器(ROM) 108之類(lèi)的 非易失性存儲(chǔ)裝置相耦合。
還提供了數(shù)據(jù)總線110，并且該數(shù)據(jù)總線110與處理器102相耦 合，該數(shù)據(jù)總線110還與視頻控制器112、圖象處理器114、音頻處理 器116、以及諸如閃存貯存單元118這樣的可插(plug-in) jJC存模塊相
賴合o
數(shù)字照相機(jī)單元115與圖象處理器U4相耦合，并且揚(yáng)聲器120 和麥克風(fēng)121耦合到音頻處理器116。芯片外裝置(在該示例中為液晶 顯示(LCD)面板122)與視頻控制器112相耦合。
為了支持例如諸如通用移動(dòng)電信系統(tǒng)(UMTS)服務(wù)這樣的蜂窩式 電信服務(wù)的無(wú)線通信服務(wù)，將射頻(RF)芯片組124與處理器102耦 合，該RF芯片組還與天線(未示出)相耦合。
上述硬件構(gòu)成了硬件平臺(tái)，并且本領(lǐng)域普通技術(shù)人員應(yīng)該理解的 是可以將處理器102、 RAM106、視頻控制器112、圖像處理器114、 和/或音頻處理器116中一個(gè)或多個(gè)制造成例如諸如可從Freescale半導(dǎo) 體公司獲得的Argon LV處理器或者i.MX31處理器這樣的應(yīng)用處理器 或基帶處理器(未示出)的一個(gè)或多個(gè)集成電路(IC)。在該示例中， 使用i.MX31處理器。
i.MX31處理器的處理器102是Advanced Rise Machines (ARM)設(shè)計(jì)的處理器，并且視頻控制器112和圖象處理器114共同構(gòu)成了
i.MX31處理器的圖像處理單元(IPU)。當(dāng)然，操作系統(tǒng)運(yùn)行在智能 手機(jī)100的硬件上，并且在該示例中操作系統(tǒng)是Linux。
在智能手機(jī)100的上下中描述了便攜式計(jì)算裝置的上述示例的同 時(shí)，本領(lǐng)域普通技術(shù)人員應(yīng)清楚的是可采用其他計(jì)算裝置。此外，為 了簡(jiǎn)潔且清楚描述起見(jiàn)，在這里僅對(duì)用于理解該實(shí)施例所必需的智能 手機(jī)100的部分進(jìn)行了描述；然而，本領(lǐng)域普通技術(shù)人員應(yīng)清楚的其 他技術(shù)細(xì)節(jié)與智能手機(jī)100相關(guān)。
在操作中(圖2)，例如Linux的QT之類(lèi)的GUI軟件200提供了 呈現(xiàn)平面202，該呈現(xiàn)平面202包括背景或"桌面"204;背景對(duì)像，在 該示例中為多個(gè)背景窗口 206;第一中間對(duì)像，在該示例中為第一中間 窗口 208;以及與操作系統(tǒng)有關(guān)前景對(duì)象210，其中，對(duì)于該描述，前 景對(duì)象210的目的是不相關(guān)的。
將呈現(xiàn)平面202存儲(chǔ)在構(gòu)成了第一存儲(chǔ)空間的用戶接口幀緩沖器 212中，并且在該示例中以每秒5幀的幀速率(fps)更新。呈現(xiàn)平面 202是通過(guò)在用戶接口幀緩沖器212中產(chǎn)生桌面204;多個(gè)背景對(duì)象， 在該示例中為背景窗口 206;第一中間窗口 208;以及前景對(duì)象210而 實(shí)現(xiàn)的。雖然在圖2中圖形地示出，但是對(duì)于與顯示裝置122 —起工 作的IPU，所期望的是，桌面204、多個(gè)背景窗口 206、第一中間窗口 208、以及前景對(duì)象210駐留在用戶接口幀緩沖器212中以作為第一圖 像數(shù)據(jù)。
多個(gè)背景窗口 206包括與視頻或者媒體播放器應(yīng)用相關(guān)的，構(gòu)成 了第二中間對(duì)象的視頻窗口 214。與視頻播放器應(yīng)用相關(guān)的取景器小程 序(viewfinder applet) 215利用GUI還產(chǎn)生了構(gòu)成了第三中間對(duì)象的 取景器窗口 216。在該示例中，視頻播放器應(yīng)用支持因特網(wǎng)協(xié)議(VOIP) 功能之上的音頻和視頻，視頻窗口 214用于顯示第三方的第一個(gè)隨時(shí)間變化的圖像，其中，智能手機(jī)100的用戶與該第三方進(jìn)行通信。提
供了取景器窗口 216以便用戶可知曉智能手機(jī)100的數(shù)字照相機(jī)單元 115的視場(chǎng)，并且由此例如在視頻呼叫期間知曉如何向第三方顯示用戶 圖像。該示例的取景器窗口 216部分地疊加在視頻窗口 214和第一中 間窗口 208上，并且前景對(duì)象210疊加在取景器窗口 216上。
在該示例中，作為視頻播發(fā)器應(yīng)用一部分的視頻解碼小程序218 用于產(chǎn)生構(gòu)成了視頻平面的第一視頻圖像220的幀，所述第一視頻圖 像220的幀作為第二個(gè)隨時(shí)間變化的圖像數(shù)據(jù)而存儲(chǔ)在第一視頻平面 緩沖器222中，第一視頻平面緩沖器222構(gòu)成了第二存儲(chǔ)空間。同樣 地，同樣作為視頻播放器應(yīng)用一部分的取景器小程序215用于產(chǎn)生構(gòu) 成了第二視頻平面的第二視頻圖像226的幀，所述第二視頻圖像226 的幀作為第三個(gè)隨時(shí)間變化的圖像數(shù)據(jù)而存儲(chǔ)在構(gòu)成了第三存儲(chǔ)空間 的第二視頻平面緩沖器228中。在該示例中，以30fps的速率刷新第二 和第三隨時(shí)間變化的圖像數(shù)據(jù)。
首先為了便于對(duì)第一視頻圖像220與用戶接口幀緩沖器212的內(nèi) 容進(jìn)行組合，并且其次為了便于對(duì)第二視頻圖像226與用戶接口幀緩 沖器212的內(nèi)容進(jìn)行組合，采用蒙板(masking)或者區(qū)域保留處理。 具體地，第一視頻圖像220出現(xiàn)在視頻窗口 214中，并且第二視頻圖 像出現(xiàn)在取景器窗口 216中。
在該示例中，GUI使用構(gòu)成了第一蒙板數(shù)據(jù)的第一基本色數(shù)據(jù)， 以填充視頻窗戶214所劃界的第一保留或蒙板區(qū)域230，其中，第一視 頻圖像220的至少一部分位于區(qū)域230中并且是可見(jiàn)的，g卩，視頻窗 口 220的一部分未被前景或者中間窗口/對(duì)象遮掩。同樣地，GUI使用 構(gòu)成了第二蒙板數(shù)據(jù)的第二基本色數(shù)據(jù)，以填充取景器窗口 216之內(nèi) 的第二保留或蒙板區(qū)域232，其中，第二視頻圖像226的至少一部分位 于該區(qū)域232中并且被示出。第一和第二基本色是以下所選顏色，該 所選顏色用于構(gòu)成被第一視頻平面緩沖器222的內(nèi)容和第二視頻平面緩沖器228的內(nèi)容分別所要替代的第一和第二蒙板區(qū)域。然而，按照 蒙板的概念，該替代的范圍是僅從第一視頻平面緩沖器222和第二視 頻平面緩沖器228中將第一和第二保留或蒙板區(qū)域230、 232所限定的 內(nèi)容的部分取出以進(jìn)行組合。因此，當(dāng)圖形地顯示時(shí)，由分別限定第 一和第二蒙板區(qū)域230、 232的像素坐標(biāo)來(lái)限定替代與第一和第二蒙板 區(qū)域230、 232相對(duì)應(yīng)的第一和第二基本色數(shù)據(jù)的第一視頻平面緩沖器 222和第二視頻平面緩沖器228的部分。在這方面，當(dāng)通過(guò)GUI打開(kāi) 視頻窗口 214時(shí)，通過(guò)例如視頻解碼小程序218之類(lèi)的與第一基本色 數(shù)據(jù)相關(guān)的應(yīng)用，將與第一蒙板區(qū)域230的位置相關(guān)的像素坐標(biāo)所限 定的第一蒙板區(qū)域230的位置以及第一基本色數(shù)據(jù)傳送到IPU。同樣 地，當(dāng)GUI打開(kāi)取景器窗口 216時(shí)，通過(guò)例如取景器小程序215之類(lèi) 的與第二基本色數(shù)據(jù)相關(guān)的應(yīng)用，將與第二蒙板區(qū)域232的位置相關(guān) 的像素坐標(biāo)所限定的第二蒙板區(qū)域232的位置以及第二基本色數(shù)據(jù)傳 送到IPU。當(dāng)然，當(dāng)考慮幀緩沖器時(shí)，由視頻窗口 214和取景器窗口 216的存儲(chǔ)或者緩沖器地址來(lái)限定像素坐標(biāo)。
在該示例中，通過(guò)使用嵌入在i.MX31處理器的IPU中的微碼來(lái)支 持將數(shù)據(jù)從源存儲(chǔ)空間傳送到目的存儲(chǔ)空間的能力，可實(shí)現(xiàn)IPU使用 基本色來(lái)實(shí)現(xiàn)第一和第二蒙板區(qū)域230、 232，其中，所述源存儲(chǔ)空間 是連續(xù)的，并且所述目的存儲(chǔ)空間是不連續(xù)的。有時(shí)還將該能力稱(chēng)為 "2D DMA"，該2D DMA可實(shí)現(xiàn)考慮了例如基本色或者a混合 (AlphaBlending)數(shù)據(jù)所限定的透明度的疊加技術(shù)。有時(shí)還將該能力 稱(chēng)為"圖形組合"功能。
具體地，在該示例中，IPU使用所獲取的視頻窗口 214和取景器 窗口 216的位置以利用2D DMA傳送處理來(lái)逐像地讀取用戶接口緩沖 器212。如果在2D DMA傳送處理中所使用的從先前標(biāo)識(shí)的視頻窗口 214當(dāng)中所"讀取"的像素不是第一基本色，那么將像素傳送到構(gòu)成了 復(fù)合存儲(chǔ)空間的主幀緩沖器236。重復(fù)該處理，直至在第一視頻窗口 214之內(nèi)遭遇到第一基本色的像素，即，遭遇到第一蒙板區(qū)域230的像素。當(dāng)在與視頻窗口 214的內(nèi)部相對(duì)應(yīng)的用戶接口緩沖器212中遭遇 到第一基本色的像素時(shí)，所實(shí)現(xiàn)的2D DMA傳送處理導(dǎo)致重獲來(lái)自第 一視頻平面緩沖器222的相應(yīng)像素，并且將其傳送到主幀緩沖器236 以代替所遭遇到的基本色像素。在這方面，當(dāng)圖形地顯示時(shí)，從第一 視頻平面緩沖器222所重獲的像素與和第一基本色的像素相同的位置 相對(duì)應(yīng)，即，從第一視頻平面緩沖器222所重獲的像素的坐標(biāo)與所遭 遇到的基本色像素的坐標(biāo)相對(duì)應(yīng)。因此，可實(shí)現(xiàn)蒙板操作。對(duì)于視頻 窗口 214，為在用戶接口緩沖器212中所遭遇到的所有基本色像素以及 非基本色像素，重復(fù)上述蒙板操作。這構(gòu)成了第一組合步驟234。然而， 當(dāng)在取景器窗口 216中遭遇到第二基本色的像素時(shí)，2D DMA傳送處 理導(dǎo)致對(duì)第二視頻平面緩沖器228進(jìn)行訪問(wèn)，因?yàn)榫腿【捌鞔翱?216 的內(nèi)容而言，第二基本色與第二蒙板區(qū)域232相對(duì)應(yīng)。與第一基本色 的像素和第一蒙板區(qū)域230的情況一樣，在利用2D DMA傳送處理而 在取景器窗口 216之內(nèi)遭遇到第二基本色的像素的情況下，當(dāng)圖形地 表示時(shí)，將來(lái)自第二視頻平面緩沖器228的相應(yīng)位置的像素傳送到主 幀緩沖器236，以代替第二基本色的像素。再次，從第二視頻平面緩沖 器222所重獲的像素的坐標(biāo)與所遭遇到的基本色像素的坐標(biāo)相對(duì)應(yīng)。 對(duì)于取景器窗口 216，為在用戶接口緩沖器212中所遭遇到的所有基本 色像素和非基本色像素重復(fù)該蒙板操作。這構(gòu)成了第二組合步驟235。 因此該主幀緩沖器236包含對(duì)用戶接口幀緩沖器212、第一和第二蒙板 區(qū)域230， 232所限制的第一視頻平面緩沖器222和第二視頻平面緩沖 器228的最終組合。在該示例中分離地執(zhí)行第一和第二組合步驟234、 235，但是出于改善性能的考慮可基本上同時(shí)執(zhí)行。然而，第一和第二 組合步驟的分離執(zhí)行的有利之處在于由于第二圖像數(shù)據(jù)226的幀速率 小于第一圖像數(shù)據(jù)220的幀速率，則不必如例如執(zhí)行第一組合步驟234 那樣頻繁地執(zhí)行第二組合步驟235。
此后，視頻控制器112使用主幀緩沖器236的內(nèi)容以通過(guò)顯示裝 置122來(lái)圖形地顯示主幀緩沖器236的內(nèi)容?？舍娪萌魏芜m當(dāng)?shù)囊阎?技術(shù)。在該示例中，適當(dāng)?shù)募夹g(shù)采用異步顯示控制器(ADC)，但是也可使用同步顯示控制器(SDC)。為了減輕閃爍，可采用任何適當(dāng)?shù)?br> 雙緩沖器、或者利用用戶接口幀緩沖器212的現(xiàn)有技術(shù)所熟知的三緩
沖器技術(shù)。
雖然利用基本色像素在上述示例中形成了第一和第二保留或者蒙
板區(qū)域230、 232，但是可利用像素的局部a混合或全局a混合性質(zhì)來(lái) 標(biāo)識(shí)第一和/或第二保留或蒙板區(qū)域230， 232。在這方面，代替利用 基本色參數(shù)來(lái)對(duì)一個(gè)或多個(gè)蒙板區(qū)域的像素進(jìn)行標(biāo)識(shí)的2D DMA，可 對(duì)每個(gè)像素的a混合參數(shù)進(jìn)行分析以對(duì)用于限定一個(gè)或多個(gè)保留區(qū)域 的像素進(jìn)行標(biāo)識(shí)。例如，具有100%透明度的像素可用于表示蒙板區(qū)域 的像素。當(dāng)利用i.MX31處理器時(shí)，可以具有根據(jù)a混合參數(shù)來(lái)執(zhí)行 DMA的能力。
如果需要，可采用一個(gè)或多個(gè)中間緩沖器，以臨時(shí)存儲(chǔ)數(shù)據(jù)來(lái)作 為蒙板操作的一部分。因此可簡(jiǎn)單地執(zhí)行2D DMA以將數(shù)據(jù)傳送到一 個(gè)或多個(gè)中間緩沖器，并且隨后可執(zhí)行對(duì)蒙板區(qū)域的基本色和/或a混 合的分析。 一旦蒙板操作完成了，那么可再次簡(jiǎn)單地使用2D DMA傳 送處理，以將已處理的圖像數(shù)據(jù)傳送到主幀緩沖器236。
為了降低網(wǎng)絡(luò)處理開(kāi)銷(xiāo)并且由此節(jié)省功率，可對(duì)第一視頻平面緩 沖器222進(jìn)行監(jiān)控以便檢測(cè)到第一視頻圖像220的變化，任何已檢測(cè) 到的變化用于觸發(fā)執(zhí)行第一組合步驟234。對(duì)于到第二視頻平面緩沖器 228的變化和第二組合步驟235的執(zhí)行而言可采用相同方法。
因此可提供一種圖像處理設(shè)備以及用于對(duì)下述圖像數(shù)據(jù)進(jìn)行傳送 的方法，所述圖像數(shù)據(jù)不局限于用戶接口可顯示的、最大數(shù)目平面的 隨時(shí)間變化的圖像數(shù)據(jù)。此外，包含隨時(shí)間變化的圖像數(shù)據(jù)的窗口不 必是均一的，例如不必是四邊形，并且當(dāng)疊加在另一窗口上時(shí)，可擁 有例如曲線邊之類(lèi)的非直角邊。另外，當(dāng)圖形地顯示時(shí)，保存窗口的 相對(duì)位置(以及它們的內(nèi)容)，并且可同時(shí)顯示與不同刷新率相關(guān)的圖像數(shù)據(jù)塊。如果需要的話，該方法可專(zhuān)門(mén)以硬件來(lái)實(shí)現(xiàn)。因此，可 避免軟件處理系列化，并且不用通過(guò)軟件來(lái)執(zhí)行特定的同步。
該方法和設(shè)備既不是操作系統(tǒng)又不是特定用戶接口。同樣地，顯 示裝置類(lèi)型與該方法和設(shè)備無(wú)關(guān)。無(wú)需利用附加緩沖器來(lái)存儲(chǔ)蒙板數(shù) 據(jù)。同樣地，無(wú)需例如視頻這樣的中間隨時(shí)間變化數(shù)據(jù)的緩沖器。此 外，由于可以用硬件實(shí)現(xiàn)該方法的能力，因此用于對(duì)隨時(shí)間變化的圖 像數(shù)據(jù)與用戶接口進(jìn)行組合所需的MIPS開(kāi)銷(xiāo)以及由此的功耗減低了。 實(shí)際上，僅需刷新主幀緩沖器，而無(wú)需產(chǎn)生多個(gè)前景、中間、以及背 景平面。刷新用戶接口緩沖器不會(huì)影響窗口的相對(duì)位置。當(dāng)然，上述 優(yōu)點(diǎn)是示例性的，并且本發(fā)明可實(shí)現(xiàn)這些或其他優(yōu)點(diǎn)。此外，本領(lǐng)域 普通技術(shù)人員應(yīng)理解，不是所有上述優(yōu)點(diǎn)都是必定由這里所描述的實(shí) 施例所實(shí)現(xiàn)。
本發(fā)明的替代實(shí)施例可以被實(shí)現(xiàn)為作為供計(jì)算機(jī)系統(tǒng)使用的計(jì)算
機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品是，例如存儲(chǔ)在諸如磁盤(pán)、CD-ROM、 ROM、或者硬盤(pán)這樣的有形數(shù)據(jù)記錄介質(zhì)中的一系列計(jì)算機(jī)指令，或 者其可以實(shí)施在計(jì)算機(jī)數(shù)據(jù)信號(hào)中，其中，該信號(hào)是通過(guò)有形介質(zhì)或 者例如微波或紅外線之類(lèi)的無(wú)線介質(zhì)來(lái)傳送的。這一系列計(jì)算機(jī)指令 構(gòu)成了上述所有功能或者其的一部分，并且還可存儲(chǔ)在諸如半導(dǎo)體、 磁存儲(chǔ)裝置、光存儲(chǔ)裝置、或者其他存儲(chǔ)裝置這樣的任何易失性或非 易失性存儲(chǔ)裝置中。
權(quán)利要求
1. 一種用于將圖像數(shù)據(jù)傳送到復(fù)合存儲(chǔ)空間(236)以通過(guò)顯示裝置(122)輸出的方法，該方法包括以下步驟在第一存儲(chǔ)空間(212)中提供第一圖像數(shù)據(jù)(204，206，208，210，216)，所述第一圖像數(shù)據(jù)(204，206，208，210，216)具有與之相關(guān)的第一幀速率；所述方法特征在于將蒙板數(shù)據(jù)并入到所述第一圖像數(shù)據(jù)(204，206，208，210，216)中，所述蒙板數(shù)據(jù)用于限定保留輸出區(qū)(230)；將所述第一圖像數(shù)據(jù)(204，206，208，210，216)的至少一部分和第二圖像數(shù)據(jù)(220)的至少一部分傳送到所述復(fù)合存儲(chǔ)空間(236)，所述第二圖像數(shù)據(jù)(220)駐留在第二存儲(chǔ)空間(222)中，并且具有與之相關(guān)的第二幀速率；其中與所述第二圖像數(shù)據(jù)(220)有關(guān)的蒙板處理使用所述蒙板數(shù)據(jù)，以便提供基本上代替所述蒙板數(shù)據(jù)的所述第二圖像數(shù)據(jù)的至少一部分，使得當(dāng)輸出時(shí)，所述第二圖像數(shù)據(jù)(220)的至少一部分占據(jù)所述保留輸出區(qū)(230)。
2. 如權(quán)利要求1所述的方法，其中所述復(fù)合存儲(chǔ)空間(236)是 用于顯示裝置(122)的主幀緩沖器。
3. 如權(quán)利要求1或2所述的方法，其中所述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216)構(gòu)成了呈現(xiàn)平面(202)。
4. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述第一圖像數(shù) 據(jù)(204， 206， 208， 210， 216)與圖形用戶界面相對(duì)應(yīng)。
5. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中，當(dāng)輸出時(shí)，所 述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216)對(duì)多個(gè)顯示對(duì)象進(jìn)行限 定。
6. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中，當(dāng)輸出時(shí)，所述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216)限定了前景對(duì)象(210) 和中間對(duì)象(214)。
7. 如權(quán)利要求6所述的方法，其中所述前景對(duì)象(210)疊加在 所述中間對(duì)象(214)上。
8. 如權(quán)利要求6或7所述的方法，其中，當(dāng)輸出時(shí)，所述第一圖 像數(shù)據(jù)(204， 206， 208， 210， 216)還限定了布置在所述中間對(duì)象(214) 與所述前景對(duì)象(210)之間的另一中間對(duì)象(216)。
9. 如權(quán)利要求8所述的方法，其中，當(dāng)輸出時(shí)，所述第一圖像數(shù) 據(jù)(204， 206， 208， 210， 216)還限定了布置在所述中間對(duì)象(214) 與所述另一中間對(duì)象(216)之間的又一中間對(duì)象(208)。
10. 如權(quán)利要求6或7所述的方法，其中，當(dāng)輸出時(shí)，所述第一 圖像數(shù)據(jù)限定了背景對(duì)象(204)，所述中間對(duì)象(214)布置在所述 背景對(duì)象(204)和所述前景對(duì)象(210)之間。
11. 如權(quán)利要求6至10中任何一項(xiàng)所述的方法，其中，當(dāng)輸出時(shí)， 所述保留輸出區(qū)(230)與所述中間對(duì)象(214)所占據(jù)的、且所述前 景對(duì)象(210)和/或所述另一中間對(duì)象(216)和/或所述又一中間對(duì)象(208)所公開(kāi)的區(qū)域相對(duì)應(yīng)。
12. 如權(quán)利要求6至11中任何一項(xiàng)所述的方法，其中所述中間對(duì) 象(214)是第一窗口和/或所述又一中間對(duì)象(208)是第二窗口。
13. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述保留輸出 區(qū)(230)在所述中間對(duì)象(214)的邊界所劃界的區(qū)內(nèi)。
14. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述第一存儲(chǔ)空間(212)是第一幀緩沖器和/或所述第二存儲(chǔ)空間(222)是第二幀 緩沖器。
15. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述第一幀速 率與所述第二幀速率不同。
16. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述第一幀速 率小于所述第二幀速率。
17. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述第二圖像 數(shù)據(jù)(220)與視頻數(shù)據(jù)相對(duì)應(yīng)。
18. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述保留輸出 區(qū)(230)是不均勻的。
19. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述保留輸出 區(qū)(230)至少部分地被非直角邊緣或者曲線邊緣劃界。
20. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中，當(dāng)輸出時(shí)， 所述第二圖像數(shù)據(jù)(220)的至少一部分布置在所述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216)的輸出之中。
21. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中，當(dāng)輸出時(shí)， 所述蒙板數(shù)據(jù)限定了在所述第一圖像數(shù)據(jù)(204， 206， 208, 210， 216)之中的顯示位置。
22. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中與所述第二圖 像數(shù)據(jù)(220)有關(guān)的所述蒙板處理使用所述蒙板數(shù)據(jù)，以便當(dāng)傳送到所述復(fù)合存儲(chǔ)空間(236)時(shí)選擇所述第二圖像數(shù)據(jù)(220)的至少一 部分。
23. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，其中所述第二圖像 數(shù)據(jù)(220)構(gòu)成了視頻平面。
24. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，進(jìn)一步包括-在第三存儲(chǔ)空間(228)中提供第三圖像數(shù)據(jù)(226)，所述第三圖像數(shù)據(jù)具有與之相關(guān)的第三幀速率。
25. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，進(jìn)一步包括 將又一蒙板數(shù)據(jù)并入到所述第一圖像數(shù)據(jù)中，所述又一蒙板數(shù)據(jù)限定了又一保留輸出區(qū)(232)。
26. 如權(quán)利要求25所述的方法，其中所述又一蒙板數(shù)據(jù)覆寫(xiě)所述 蒙板數(shù)據(jù)的一部分，以便所述又一保留輸出區(qū)(232)疊加在所述保留 輸出區(qū)(230)上，并且其對(duì)于所述保留輸出區(qū)(230)而言是首要的。
27. 如權(quán)利要求25或權(quán)利要求26所述的方法，其中所述又一保 留輸出區(qū)(232)與所述保留輸出區(qū)(230)相鄰，并且至少部分地與 所述保留輸出區(qū)(230)相接。
28. 如權(quán)利要求24至27中任何一項(xiàng)所述的方法，其中所述第三 幀速率與所述第一幀速率不同。
29. 如權(quán)利要求25至28中任何一項(xiàng)所述的方法，當(dāng)從屬于權(quán)利 要求22時(shí)，進(jìn)一步包括以下步驟將所述第三圖像數(shù)據(jù)(226)的至少一部分傳送到復(fù)合存儲(chǔ)空間 (236)，與所述第三圖像數(shù)據(jù)(226)有關(guān)的所述蒙板處理使用所述 又一蒙板數(shù)據(jù)，以便提供基本上代替所述又一蒙板數(shù)據(jù)的所述第三圖像數(shù)據(jù)(226)的至少一部分，使得當(dāng)輸出時(shí)，所述第三圖像數(shù)據(jù)(226) 的至少一部分占據(jù)所述又一保留輸出區(qū)(232)。
30. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，進(jìn)一步包括以下步驟采用DMA傳送處理，以提供與所述第二圖像數(shù)據(jù)(220)有關(guān)的 所述蒙板處理，并且將所述第二圖像數(shù)據(jù)(220)的至少一部分傳送到 所述復(fù)合存儲(chǔ)空間(236)。
31. 如在前權(quán)利要求中任何一項(xiàng)所述的方法，進(jìn)一步包括以下步驟對(duì)所述第二圖像數(shù)據(jù)的至少一部分進(jìn)行監(jiān)控；并且其中 提供基本上代替所述蒙板數(shù)據(jù)的所述第二圖像數(shù)據(jù)的至少一部 分，以響應(yīng)在所述第二圖像數(shù)據(jù)的至少一部分中檢測(cè)到變化。
32. —種包括有代碼部分的計(jì)算機(jī)程序產(chǎn)品，所述代碼部分在可 編程設(shè)備上運(yùn)行時(shí)用于執(zhí)行如在前權(quán)利要求中任何一項(xiàng)所述的方法。
33. —種圖像處理設(shè)備，該設(shè)備包括-處理資源(102， 112， 114)，所述處理資源(102， 112， 114) 被安排為用于在使用時(shí)將圖像數(shù)據(jù)傳送到復(fù)合緩沖器(236)，以通過(guò) 顯示裝置(122)輸出；第一緩沖器(212)，所述第一緩沖器(212)在使用時(shí)包括第一 圖像數(shù)據(jù)(204， 206， 208， 210, 216)，所述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216)具有與之相關(guān)的第一幀速率；所述設(shè)備特征在 于所述處理資源(102， 112， 114)支持蒙板處理，并且被安排為用 于將蒙板數(shù)據(jù)并入到所述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216) 中，所述蒙板數(shù)據(jù)用于限定保留輸出區(qū)(230);并且所述處理資源(102， 112， 114)支持?jǐn)?shù)據(jù)傳送，并且被安排為用于將所述第一圖像數(shù)據(jù)(204， 206， 208， 210， 216)的至少一部分和 第二圖像數(shù)據(jù)(220)的至少一部分傳送到所述復(fù)合存儲(chǔ)空間(236)， 所述第二圖像數(shù)據(jù)(220)駐留在第二緩沖器(222)中，并且具有與之相關(guān)的第二幀速率；其中與所述第二圖像數(shù)據(jù)(220)有關(guān)的所述蒙板處理使用所述蒙板數(shù) 據(jù)，以便提供基本上代替所述蒙板數(shù)據(jù)的所述第二圖像數(shù)據(jù)(220)的 至少一部分，使得當(dāng)輸出時(shí)，所述第二圖像數(shù)據(jù)(220)的至少一部分 占據(jù)所述保留輸出區(qū)(230)。
全文摘要
一種用于將圖像數(shù)據(jù)傳送到復(fù)合存儲(chǔ)空間(236)的方法，包括使用于限定保留輸出區(qū)(230)的蒙板數(shù)據(jù)包含在第一存儲(chǔ)空間(212)中，并且包含具有與此相關(guān)的第一幀速率的第一隨時(shí)間變化的數(shù)據(jù)。第二隨時(shí)間變化的圖像數(shù)據(jù)(220)存儲(chǔ)在第二存儲(chǔ)空間(222)中并且與第二幀速率相關(guān)。將第一圖像數(shù)據(jù)的至少一部分傳送到復(fù)合存儲(chǔ)空間，并且將第二圖像數(shù)據(jù)(220)的至少一部分傳送到復(fù)合存儲(chǔ)器(236)。蒙板數(shù)據(jù)用于提供第二圖像數(shù)據(jù)(220)的至少一部分，因此當(dāng)輸出時(shí)，第二圖像數(shù)據(jù)(220)的至少一部分占據(jù)保留輸出區(qū)(230)。
文檔編號(hào)G09G5/14GK101523481SQ200680056096
公開(kāi)日2009年9月2日 申請(qǐng)日期2006年10月13日 優(yōu)先權(quán)日2006年10月13日
發(fā)明者克里斯托?！た灼账? 維安尼·朗屈雷爾, 西爾萬(wàn)·加維勒 申請(qǐng)人:飛思卡爾半導(dǎo)體公司