專利名稱：以可變采樣模式使用行緩沖器方法對(duì)像素?cái)?shù)據(jù)進(jìn)行預(yù)取的制作方法
技術(shù)領(lǐng)域：
本發(fā)明針對(duì)視頻信號(hào)處理，更具體地說，針對(duì)視頻信號(hào)處理中的運(yùn)動(dòng)補(bǔ)償。
背景技術(shù)：
計(jì)算機(jī)裝置，包括微處理器和數(shù)字信號(hào)處理器，已經(jīng)設(shè)計(jì)為廣闊范圍的應(yīng)用，并且事實(shí)上已經(jīng)用于每一工業(yè)領(lǐng)域。出于各種理由，許多這種應(yīng)用被導(dǎo)向處理視頻數(shù)據(jù)，并要求最小量級(jí)的功耗和緊湊性。一些應(yīng)用進(jìn)一步要求可以有效地在實(shí)時(shí)或者近似實(shí)時(shí)的基礎(chǔ)上執(zhí)行的高速計(jì)算引擎。許多這些視頻處理應(yīng)用需要能夠以不斷增加的速度執(zhí)行多種功能的數(shù)據(jù)信號(hào)處理電路。
然而，增加這種計(jì)算引擎的能力和通用性可能削弱其它重要的目標(biāo)。例如，更快的計(jì)算引擎消耗更多的功率和電路實(shí)際面積(circuitreal estate)，而理想的引擎使功耗和為實(shí)現(xiàn)該計(jì)算引擎所需要的電路的數(shù)量兩者都最小化。
此外，提供通用性和高能力通常會(huì)加劇電路實(shí)際面積的問題，這是因?yàn)樾枰鞣N類型的處理電路，每一種處理電路要專門設(shè)計(jì)和為不同的處理功能有選擇地起動(dòng)。當(dāng)比較例如在視頻應(yīng)用中相對(duì)慢的通用處理和用于實(shí)時(shí)壓縮和解壓縮視頻數(shù)據(jù)的專門化視頻信號(hào)濾波處理時(shí)，這一現(xiàn)象可以被理解。因?yàn)閷ｉT化處理電路通常被優(yōu)化以跟上視頻數(shù)據(jù)的實(shí)時(shí)速度，因此經(jīng)常很難提供一種充分通用的單一的視頻數(shù)據(jù)處理電路，而不用提供僅對(duì)有限應(yīng)用看起來過量的電路。
作為一個(gè)更特別的例子，許多視頻信號(hào)處理應(yīng)用使用各種專門化視頻信號(hào)處理結(jié)構(gòu)，用于高速處理施加到視頻數(shù)據(jù)的功能。除別的事項(xiàng)外，這些高速處理功能包括普通低通和高通濾波、運(yùn)動(dòng)補(bǔ)償?shù)膾呙杷俾首儞Q、和縮放和峰值濾波。在視頻處理應(yīng)用中，這些功能經(jīng)常通過操作所存儲(chǔ)的表示用于刷新表示顯示的像素的顯示數(shù)據(jù)的水平線和垂直線的數(shù)據(jù)來執(zhí)行。
在每一個(gè)上述視頻處理應(yīng)用中，有與設(shè)計(jì)、制造和維護(hù)用以提供這種功能的集成電路相關(guān)聯(lián)的很大的成本。例如，運(yùn)行在較少噪聲環(huán)境中的一種高速實(shí)現(xiàn)可以允許以較不頻繁的速率采樣相應(yīng)于一個(gè)視頻幀的像素?cái)?shù)據(jù)，例如，所述視頻幀存儲(chǔ)在存儲(chǔ)器中或者通過攝像機(jī)拍攝，而另一高速實(shí)現(xiàn)可能需要以較頻繁的速率采樣像素?cái)?shù)據(jù)。用于后處理(例如濾波)這種不同采樣的數(shù)據(jù)的高速結(jié)構(gòu)通常用不同方式實(shí)現(xiàn)。在每一種這樣的應(yīng)用中，與這種結(jié)構(gòu)不兼容的結(jié)構(gòu)相關(guān)聯(lián)的成本是很大的。
因此，存在一種廣泛被認(rèn)知的需要，即開發(fā)一種較緊湊的視頻處理結(jié)構(gòu)，它可以包容這些多種功能，而不會(huì)顯著損失數(shù)據(jù)處理通過量。一直特別困難維持高的通過量和提供一種足夠靈活用于廣闊范圍應(yīng)用的結(jié)構(gòu)；因而為實(shí)現(xiàn)這種目標(biāo)的努力一直是緊張的競爭。本發(fā)明針對(duì)一種數(shù)據(jù)處理結(jié)構(gòu)，使用可以從可選擇的采樣窗口的范圍定義的采樣模式，它可以給這種視頻處理級(jí)交付固定數(shù)目的像素。

發(fā)明內(nèi)容
本發(fā)明的各方面針對(duì)一種數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法使用可能被視頻處理級(jí)所需要的、被去耦合(decouple)且可以交付固定數(shù)目像素的行緩沖器，使用被定義為多個(gè)可選擇的采樣窗口之一的采樣模式。其優(yōu)點(diǎn)包括最小化行緩沖器的使用，像素?cái)?shù)據(jù)處理中的等待時(shí)間，和隨之而來的功耗。
與一個(gè)示范實(shí)施例一致，本發(fā)明針對(duì)處理相應(yīng)于一個(gè)視頻像素陣列的輸入像素流，其中，作為覆蓋該陣列中的像素的二維窗口的可變窗口大小被用來采樣該陣列的子集。所述方法首先通過確立一窗口大小和一采樣窗口大小，以固定數(shù)目像素的形式把輸入的像素流交付到視頻處理級(jí)。在一個(gè)更具體的實(shí)施例中，窗口大小是采樣窗口大小的倍數(shù)，而采樣窗口大小定義固定的像素?cái)?shù)目。所述處理包括并發(fā)地把來自輸入流的像素存儲(chǔ)到第一組行緩沖器中，在該第一組行緩沖器中存儲(chǔ)的像素相應(yīng)于已確立的窗口大小；把存儲(chǔ)的像素從第一組行緩沖器中預(yù)取到第二組行緩沖器中，該第二組行緩沖器長到足以存儲(chǔ)至少相應(yīng)于已確立的采樣窗口大小的像素；以及為視頻處理級(jí)從第二組行緩沖器中取固定數(shù)目的像素。
在另一個(gè)相關(guān)的示范實(shí)施例中，視頻處理電路包括可編程電路，用于確立一窗口大小和一采樣窗口大小，使得該窗口大小是該采樣窗口大小的倍數(shù)，并且該采樣窗口大小定義固定的像素?cái)?shù)目，和使用第一和第二組行緩沖器處理數(shù)據(jù)。數(shù)據(jù)處理電路通過并發(fā)執(zhí)行上述把來自輸入流的像素存儲(chǔ)到第一組行緩沖器中、把存儲(chǔ)的像素從第一組行緩沖器預(yù)取到第二組行緩沖器、和從第二組行緩沖器取固定數(shù)目的像素的任務(wù)來處理視頻像素。
本發(fā)明的其它示范實(shí)施例分別針對(duì)其它各種相關(guān)方面，包括這種處理的方法、電路、和基于系統(tǒng)的實(shí)現(xiàn)。例如，一個(gè)這種方面針對(duì)一種應(yīng)用，在該應(yīng)用中第二組行緩沖器包括依據(jù)相對(duì)于一個(gè)當(dāng)前像素定義的距離參數(shù)而被尋址的像素，而距離參數(shù)是依據(jù)X行和Y列的窗口大小定義的，這里X是固定的整數(shù)，Y被選擇用來確立采樣窗口大小。另一方面與這樣的應(yīng)用相關(guān)，在該應(yīng)用中使用第一組行緩沖器來從第二組行緩沖器去耦合輸入的像素流。再一個(gè)方面相關(guān)于這樣的應(yīng)用，在該應(yīng)用中所述各行緩沖器具有被定義成用于優(yōu)化通過量的長度，并且其中，數(shù)據(jù)處理電路進(jìn)一步被配置為和安排為通過各行緩沖器傳送(pan)像素?cái)?shù)據(jù)以減小周期時(shí)間。
本發(fā)明的上述概述不打算說明每一圖示的實(shí)施例或者本發(fā)明的每一實(shí)現(xiàn)。后面的附圖和詳細(xì)的說明更具體地舉例說明這些實(shí)施例。


結(jié)合附圖考慮本發(fā)明的各種實(shí)施例的下面的詳細(xì)說明，可以更全面地理解本發(fā)明，附圖中圖1A是表示根據(jù)本發(fā)明的具有5×5像素陣列的二維窗口的一個(gè)示范實(shí)施例的圖；圖1B是表示根據(jù)本發(fā)明的具有10×5像素陣列的二維窗口的一個(gè)示范實(shí)施例的圖；圖2是表示二維采樣窗口的一個(gè)示范實(shí)施例的圖，說明根據(jù)本發(fā)明的相對(duì)尋址系統(tǒng)；圖3是表示具有20×5像素陣列的二維窗口的一個(gè)示范實(shí)施例的圖，說明根據(jù)本發(fā)明的相對(duì)尋址系統(tǒng)；以及圖4是表示一個(gè)像素?cái)?shù)據(jù)處理電路的示范實(shí)施例的圖，該電路具有根據(jù)本發(fā)明的視頻處理電路。
盡管本發(fā)明適合于各種修改和替換的形式的，附圖中用示例方式表示出其特征，并將詳細(xì)說明。然而，應(yīng)該理解，本發(fā)明不限于所說明的特定實(shí)施例。相反，意圖是覆蓋落入由所附權(quán)利要求所定義的本發(fā)明的精神和范圍中的所有的修改、等價(jià)物和替換形式。
具體實(shí)施例方式
相信本發(fā)明高度可應(yīng)用于像素?cái)?shù)據(jù)處理的方法和裝置，和在從不規(guī)則采樣窗口采樣像素?cái)?shù)據(jù)的應(yīng)用中，包括使用行緩沖器通用去耦合輸入和處理采樣數(shù)據(jù)速率。數(shù)字視頻圖像是由像素?cái)?shù)據(jù)的陣列或矩陣組成的。像素?cái)?shù)據(jù)通常安排在像素的行和列中。發(fā)現(xiàn)本發(fā)明特別有利于需要或得益于使用不規(guī)則(變化的)大小的滑動(dòng)窗口的二維像素采樣的視頻像素處理裝置，例如設(shè)置為處理變化大小(亦即變化的像素?cái)?shù)據(jù)陣列大小)的數(shù)字圖像的視頻像素處理裝置，或者在滑動(dòng)窗口大小根據(jù)從先前窗口樣本中導(dǎo)出的反饋信息變化的場合。雖然本發(fā)明不一定限于這種應(yīng)用，不過通過對(duì)在這種環(huán)境中的例子的討論能最好地獲得對(duì)本發(fā)明的各個(gè)方面的理解。
數(shù)字視頻圖像由二維像素陣列組成，例如通常是通過在視頻顯示器上的720×512像素陣列顯示的圖像。視頻圖像隨時(shí)間的運(yùn)動(dòng)或者其它改變在視頻圖像的“快照”中捕獲，這些快照一起觀看并統(tǒng)稱為幀。數(shù)字視頻圖像的每一個(gè)像素用一組數(shù)據(jù)表示(“像素?cái)?shù)據(jù)”)。一個(gè)特定像素的質(zhì)量(例如亮度等)可以響應(yīng)從幀到幀的一個(gè)像素的像素?cái)?shù)據(jù)的改變從幀到幀改變。來自每一720×512像素陣列的像素?cái)?shù)據(jù)通常存儲(chǔ)在幀存儲(chǔ)器中，并且隨后被處理以控制視頻圖像。
一個(gè)特定像素的質(zhì)量，作為集成的數(shù)字圖像的一部分，通常以某種方式與附近的像素質(zhì)量相關(guān)。另外，其它公共方式特征，諸如噪聲，經(jīng)常要求在處理特定像素的像素?cái)?shù)據(jù)時(shí)考慮附近的像素?？紤]圍繞感興趣的像素的二維像素子集(亦即窗口)是公知的，將該感興趣的像素的數(shù)據(jù)以及在該窗口中的附近的像素以某種方式作為一組被一起處理。通常，隨著顯示器中每一相繼的像素的數(shù)據(jù)的處理窗口沿顯示器滑動(dòng)，保持相對(duì)于感興趣的像素的位置一個(gè)特定的取向。按常規(guī)，根據(jù)像素相對(duì)于顯示器的位置處理像素，從顯示器的左上角的像素開始，從左到右從上到下進(jìn)行。在處理(例如調(diào)整或修改)感興趣的像素的數(shù)據(jù)時(shí)確定有關(guān)在該滑動(dòng)窗口內(nèi)的像素的行為的某些信息。
某些視頻數(shù)據(jù)操作對(duì)固定數(shù)量的數(shù)據(jù)進(jìn)行操作，例如同時(shí)操作N個(gè)像素。處理視頻數(shù)據(jù)的一種方法是選擇圍繞感興趣的像素只包括N個(gè)像素的統(tǒng)一的窗口，N是一次可以操作的像素的數(shù)量。窗口的大小，從而圍繞感興趣的像素的范圍(例如距離)受N的大小限制。在某些像素?cái)?shù)據(jù)處理方法(例如噪聲濾波)中，希望考慮圍繞感興趣的像素的一個(gè)寬廣的范圍，但是這樣做而不增加N的數(shù)量，以保持處理效率和速度。
一種考慮圍繞感興趣的像素的較寬的窗口的方法是從該窗口內(nèi)選擇代表性的像素?cái)?shù)據(jù)的子集，并且進(jìn)一步只處理選擇的像素?cái)?shù)據(jù)以確定某些信息。在一個(gè)示范實(shí)施例中，當(dāng)在從窗口內(nèi)的像素?cái)?shù)據(jù)導(dǎo)出的信息中沒有檢測到多少變化時(shí)，擴(kuò)展圍繞感興趣的像素的像素窗口的窗口大小。反之，當(dāng)檢測到導(dǎo)出的信息的變化的某些閾值時(shí)收縮窗口大小。中央處理單元(CPU)或其它邏輯電路動(dòng)態(tài)確定和改變窗口大小，從而改變在該窗口內(nèi)包含的像素的數(shù)量。然而，如果下游數(shù)據(jù)操作速率保持固定，則會(huì)產(chǎn)生復(fù)雜的數(shù)據(jù)同步問題。根據(jù)本發(fā)明的方法，一種解決方案是從該窗口內(nèi)選擇另外的N個(gè)像素的代表性的子集(例如抽樣窗口)，只把選擇的像素?cái)?shù)據(jù)傳遞給MMIO。
與一般實(shí)施例一致，本發(fā)明以像素?cái)?shù)據(jù)處理電路的形式實(shí)現(xiàn)，該電路具有連接到中間預(yù)取緩沖器的去耦合行緩沖器電路，該去耦合行緩沖器電路、中間預(yù)取緩沖器和其間的通信由邏輯電路控制。本發(fā)明的像素?cái)?shù)據(jù)處理電路處理例如從MMIO選擇的相應(yīng)于來自一個(gè)可變大小的二維窗口的視頻像素陣列的像素輸入流。處理后的像素?cái)?shù)據(jù)被輸出到另外的一個(gè)數(shù)據(jù)操作級(jí)，例如設(shè)置為同時(shí)操作固定數(shù)量的像素的低通濾波器視頻處理級(jí)。于是像素?cái)?shù)據(jù)處理電路的輸出速率固定在下游數(shù)據(jù)操作級(jí)的輸入速率上，它可能不同于輸入數(shù)據(jù)速率。本發(fā)明的像素?cái)?shù)據(jù)處理電路被配置為和安排為最小化在輸入數(shù)據(jù)流和下游數(shù)據(jù)操作級(jí)從像素?cái)?shù)據(jù)處理電路所取的像素?cái)?shù)據(jù)之間的像素等待時(shí)間。
到本發(fā)明的電路的輸入像素?cái)?shù)據(jù)流包括根據(jù)預(yù)先確定的取向從可變大小的窗口中選擇的和預(yù)先安排在具有固定大小的采樣窗口陣列中的像素?cái)?shù)據(jù)。本發(fā)明的電路進(jìn)一步準(zhǔn)備樣本窗口像素?cái)?shù)據(jù)以便交付到數(shù)據(jù)操作級(jí)。預(yù)先定義采樣窗口大小以容納固定數(shù)量N的像素，N是數(shù)據(jù)操作級(jí)可以同時(shí)操作的像素?cái)?shù)據(jù)的數(shù)量。
在一個(gè)示范實(shí)施例中，可變窗口大小優(yōu)選具有固定的像素行數(shù)量，X，但是具有可變的像素列數(shù)量，Y。在另外可選擇的實(shí)施例中，像素行的數(shù)量X也是可變的。去耦合行緩沖器電路被配置成具有X+1個(gè)行緩沖器，每一行緩沖器的長度足以存儲(chǔ)相應(yīng)于多于YMAX個(gè)像素的數(shù)據(jù)，這里YMAX是最大期望窗口大小的像素列的數(shù)目。預(yù)取中間緩沖器被耦合到去耦合行緩沖器電路。邏輯電路被配置和安排成用于控制在去耦合行緩沖器電路和預(yù)取中間緩沖器之間及通過它們的像素?cái)?shù)據(jù)的傳送。
在本發(fā)明的一個(gè)更特定的示范實(shí)施例中，本發(fā)明的視頻處理電路作為功能塊被緊接地包含在上述參考的共同待審的美國專利申請中說明的視頻信號(hào)處理裝置中的“SWAN”單元之前，所引用的美國專利申請的名稱為“Motion Compensation With Subblock Scanning”。“SWAN”單元是包括像素?cái)?shù)據(jù)的低通濾波的數(shù)據(jù)操作級(jí)。
本發(fā)明的視頻處理電路包括去耦合行緩沖器電路，它由一組行緩沖器和一個(gè)第二中間預(yù)取緩沖器組成。視頻處理電路接收串行輸入的像素?cái)?shù)據(jù)流，該像素?cái)?shù)據(jù)是從圍繞感興趣的像素的窗口中選擇的采樣窗口像素?cái)?shù)據(jù)。感興趣的像素被包含在采樣窗口像素?cái)?shù)據(jù)中。輸入的像素?cái)?shù)據(jù)流表示相應(yīng)于具有可變窗口大小的視頻像素陣列的像素，所述可變窗口大小作為覆蓋顯示陣列中的像素的二維窗口且用于采樣像素的視頻顯示陣列。視頻處理電路安排固定數(shù)量的像素?cái)?shù)據(jù)以便并行輸出到一個(gè)數(shù)據(jù)操作級(jí)，從而減小對(duì)該數(shù)據(jù)操作級(jí)的重新加載時(shí)間并節(jié)約帶寬。下游數(shù)據(jù)操作級(jí)同時(shí)(亦即并行)取N個(gè)像素，N優(yōu)選為等于一個(gè)完全平方的數(shù)。在本發(fā)明的一個(gè)示范實(shí)施例中，數(shù)據(jù)操作級(jí)同時(shí)取表示25個(gè)像素的像素?cái)?shù)據(jù)。
在一個(gè)示范實(shí)施例中，可變窗口大小優(yōu)選具有固定的X個(gè)(行的)像素的高度和可變的Y個(gè)(列的)像素的寬度。另外，Y優(yōu)選是X的整數(shù)倍n。在一個(gè)可選擇的實(shí)施例中，X不需要固定。Y不需要是X的整數(shù)倍。采樣窗口優(yōu)選為對(duì)稱的，具有X×X的尺度。從可變窗口選擇的像素被安排在采樣窗口中，其彼此的相對(duì)位置取向在采樣窗口中和在可變窗口中保持的像素一樣。對(duì)于本發(fā)明的實(shí)施例，當(dāng)N是一個(gè)完全平方時(shí)，采樣窗口被配置成具有等于X的均勻尺度，X是N的平方根。最小可變窗口大小是采樣窗口大小。例如，N個(gè)像素在具有等于X×X的尺度的陣列中安排。用于采樣的最大窗口大小對(duì)于一個(gè)特定的像素?cái)?shù)據(jù)處理電路應(yīng)用來說也是預(yù)先定義的。
在本發(fā)明的一個(gè)示范實(shí)施例中，最大期望窗口大小是20×5，該最大窗口大小包括100個(gè)像素。作為X×X的采樣窗口大小因此是5×5，采樣窗口包括25個(gè)像素的固定數(shù)量。下游數(shù)據(jù)操作級(jí)從本發(fā)明的視頻處理電路同時(shí)取25個(gè)像素(即一個(gè)采樣窗口的像素)的像素?cái)?shù)據(jù)供進(jìn)一步的數(shù)據(jù)操作。在采樣窗口位于像素顯示區(qū)域的邊緣而使得鄰近當(dāng)前像素的像素不存在的場合，復(fù)制最近的像素列/行并用以代替不存在的像素列/行；因此該實(shí)現(xiàn)很容易執(zhí)行，例如使用行選擇多路選擇。
圖1A表示窗口實(shí)施例100的一個(gè)特定例子，其中窗口大小和采樣窗口大小相同，兩者都是5個(gè)像素(亦即行)高乘5個(gè)像素寬(即5列)，包含25個(gè)像素110。窗口(和采樣窗口)像素陣列圍繞當(dāng)前中心像素120對(duì)稱。當(dāng)前中心像素位于當(dāng)前行122上。視頻圖像行常規(guī)地是從左到右，從上到下編號(hào)的，從顯示器的左上角開始。當(dāng)前行被定義為這樣的行，在其上有當(dāng)前感興趣的像素。為了參照，窗口(和采樣窗口)100的每一行被相關(guān)于當(dāng)前行命名，當(dāng)前行下面的1行的被標(biāo)注為“行+1”124，當(dāng)前行上面的1行的被標(biāo)注為“行-1”126，低于當(dāng)前行的2行的被標(biāo)注為“行+2”128，高于當(dāng)前行2行的被標(biāo)注為“行-2”130。行“行-1”和“行+1”相對(duì)于當(dāng)前行對(duì)稱，行“行-2”和“行+2”也相對(duì)于當(dāng)前行對(duì)稱，分別在“行-1”和“行+1”之外，如圖所示。
圖1B表示另一種窗口實(shí)施例140的一個(gè)特定的示范實(shí)施例，窗口尺度為5個(gè)像素(亦即行)高、10個(gè)像素寬。因此該窗口實(shí)施例包含50個(gè)像素110，包括當(dāng)前中心像素120。像素110不需要相對(duì)于當(dāng)前中心像素120對(duì)稱，如圖1B所示的情況。像素行如圖1A中表示。當(dāng)前中心像素120位于當(dāng)前行122中。窗口140的采樣窗口大小是X×X，即5×5，采樣窗口包括25個(gè)像素。窗口參數(shù)可以被編程，最大窗口大小被預(yù)先確定。來自窗口的像素?cái)?shù)據(jù)由數(shù)據(jù)操作電路以一次N個(gè)像素的固定速率處理，換句話說，一次一個(gè)采樣窗口，因?yàn)槊恳徊蓸哟翱诎∟個(gè)像素。
圖2表示本發(fā)明的窗口200(并且在本實(shí)施例中，還有采樣窗口，因?yàn)榇翱诔叨仁菍?duì)稱的)的一個(gè)示范實(shí)施例，并表示在5×5窗口內(nèi)相對(duì)像素尋址的系統(tǒng)。每一像素位置由相對(duì)于當(dāng)前中心像素120的一組變量說明。與其它像素相關(guān)的當(dāng)前中心像素120可選地偏離窗口的中心，例如當(dāng)窗口列數(shù)是偶數(shù)時(shí)，不可能使當(dāng)前中心像素120左邊和右邊的像素?cái)?shù)量相等。表1列出了用于根據(jù)本發(fā)明的像素相對(duì)尋址的一個(gè)示范系統(tǒng)的相對(duì)尋址變量。
表1

例如，當(dāng)前中心像素120和在當(dāng)前行上的附近像素(亦即一行上的非端像素)之間的左/右偏移是“cn_dist”，并在本發(fā)明的相對(duì)尋址系統(tǒng)中被允許在從1到4(含)的整數(shù)范圍內(nèi)變化。變量“cn_dist”標(biāo)簽包括“c”，表示正被尋址的像素在當(dāng)前行內(nèi)，“n”表示附近像素(相對(duì)于端像素)，而“dist”表示距離。變量“ce_dist”的e表示端像素，變量標(biāo)簽的其它部分表示的特征如上所述。
窗口200的每一像素在圖2中都用一個(gè)參考號(hào)碼標(biāo)記，表2使用表1的相對(duì)尋址變量把窗口200的每一像素的該參考號(hào)碼與一個(gè)表達(dá)式相關(guān)，說明每一像素如圖2所示的位置。
表2

從窗口內(nèi)任何像素(亦即一個(gè)被采樣的像素)相對(duì)于在當(dāng)前行上的當(dāng)前中心像素的距離由表2內(nèi)定義的相對(duì)尋址表達(dá)式指示。因?yàn)榇翱趨?shù)(亦即尺度)可編程，因此窗口和采樣窗口的每一像素的位置兩者都可以相對(duì)于分別用該窗口和采樣窗口選擇的當(dāng)前中心像素說明。
圖3表示可變窗口300的示范實(shí)施例，它包括20×5的像素陣列。用圓圈表示的像素是從窗口300中由CPU選擇的，選擇的像素由上述相對(duì)尋址表達(dá)式確定。圖3中被選擇的像素被賦予與圖2表示的參考編號(hào)相似的參考編號(hào)，不過增加100以表示圖3的某些像素是根據(jù)相應(yīng)于圖2所示的相似參考的像素的表達(dá)式確定的。窗口300內(nèi)用圓圈符號(hào)(而不是用“×”符號(hào))指示的像素，是由表1和表2的相對(duì)尋址表達(dá)式的應(yīng)用選擇的，具有相對(duì)于窗口300內(nèi)的其它選擇的像素的每一個(gè)的取向，它們相似于窗口200的相似參考的像素之間的取向。
圖4表示本發(fā)明的一個(gè)像素?cái)?shù)據(jù)處理電路400的示范實(shí)施例，具有去耦合行緩沖器電路410、中間預(yù)取緩沖器420和控制邏輯電路430。從顯示緩沖器(未圖示)傳送來的像素?cái)?shù)據(jù)以第一速率由電路400串行接收，并以例如具有6行每一行256個(gè)像素總共1536像素的結(jié)構(gòu)排列在去耦合行緩沖器電路410中。在另一個(gè)實(shí)施例中，去耦合行緩沖器電路配置被針對(duì)5行128個(gè)像素加以配置。無論哪種情況，這些像素?cái)?shù)據(jù)由控制邏輯電路430串行導(dǎo)入到去耦合行緩沖器電路410中。
控制邏輯電路430，從去耦合行緩沖器電路410的6行中的每一行開始把首先到達(dá)的32個(gè)像素復(fù)制到中間預(yù)取緩沖器組、或像素單元陣列的相應(yīng)的一個(gè)中中，被描述為項(xiàng)420a-420f。根據(jù)先前討論的采樣窗口配置，這一復(fù)制包括傳遞相應(yīng)于當(dāng)前采樣窗口的像素?cái)?shù)據(jù)。
在本發(fā)明的一個(gè)示范實(shí)施例中，采樣窗口陣列具有5行像素?cái)?shù)據(jù)，來自去耦合行緩沖器電路410的6行中的5行被用來保存輸入像素?cái)?shù)據(jù)和從視頻處理電路的處理(亦即輸出)速率中去耦合視頻處理電路的像素?cái)?shù)據(jù)輸入速率。如上所述，根據(jù)采樣窗口配置，去耦合行緩沖器電路410中的5個(gè)行緩沖器中的每一個(gè)被用來來供給中間預(yù)取緩沖器組420a-420f之一。
在一個(gè)示范實(shí)現(xiàn)中，控制邏輯430包括基于多路選擇器的邏輯電路，它具有5個(gè)選擇輸入，用于選擇先前討論的對(duì)應(yīng)中間行緩沖器的25個(gè)單元中的每一個(gè)。在另一個(gè)可選擇的實(shí)施例中，例如由在互連總線上引導(dǎo)像素?cái)?shù)據(jù)傳遞的控制邏輯電路430，通過軟件操作去耦合行緩沖器電路410和中間預(yù)取緩沖器420之間的像素?cái)?shù)據(jù)來實(shí)現(xiàn)選擇邏輯。
中間預(yù)取緩沖器420通過并行通道450通信地連接到數(shù)據(jù)操作級(jí)440，并行通道450設(shè)置為同時(shí)傳遞采樣窗口的所有N個(gè)像素。圖4表示在中間預(yù)取緩沖器420的每一像素單元陣列內(nèi)的陰影像素位置，表示同時(shí)用時(shí)鐘觸發(fā)到并行通道450上供傳遞到數(shù)據(jù)操作級(jí)440的像素單元位置。每一陰影像素單元陣列位置耦合到在一個(gè)示范實(shí)施例中以硬件實(shí)現(xiàn)的通道450上，例如通過專用數(shù)據(jù)通信路徑(亦即硬接線)，或者另外可選擇通過解復(fù)器的裝置。在本發(fā)明的另一個(gè)實(shí)施例中，例如由引導(dǎo)像素?cái)?shù)據(jù)通信的控制邏輯電路430，通過軟件操作在中間預(yù)取緩沖器420和通道450之間的像素?cái)?shù)據(jù)實(shí)現(xiàn)這一耦合，。
在圖4所示的一個(gè)示范實(shí)施例中，行緩沖器412保持對(duì)應(yīng)5×5采樣窗口的當(dāng)前行的5個(gè)像素的像素?cái)?shù)據(jù)。行緩沖器414保存對(duì)應(yīng)5×5采樣窗口的行+1的5個(gè)像素的像素?cái)?shù)據(jù)。行緩沖器414的每一像素根據(jù)上面表2中敘述并示于圖2的方法參照，行緩沖器414中的像素?cái)?shù)據(jù)被復(fù)制并被存儲(chǔ)到像素單元陣列423中，表示為以5行安排，每一行具有來自行緩沖器414的當(dāng)前行像素?cái)?shù)據(jù)的5個(gè)像素。在另外可選的實(shí)施例中，在每一像素單元陣列內(nèi)的像素?cái)?shù)據(jù)的取向可以根據(jù)圖4的所示加以取向修改，例如像素的順序在像素單元陣列中以逆序存儲(chǔ)，使得像素232占據(jù)“右上”位置和像素240占據(jù)“左下”位置，從而可以從頂?shù)降籽赝ǖ?50安排像素?cái)?shù)據(jù)，所用方式為當(dāng)從位于采樣窗口的左上角的像素從左向右和從上向下運(yùn)動(dòng)時(shí)會(huì)遇到像素(例如參考圖2并從像素202開始，向右運(yùn)動(dòng)先遇到像素204，然后206、208、210，然后212、214等，直到最后遇到像素250)。在通道450中的、要提供到數(shù)據(jù)操作級(jí)440的像素?cái)?shù)據(jù)的配置由電路設(shè)計(jì)者和/或目標(biāo)應(yīng)用確定。
因此，本發(fā)明的各種示范實(shí)現(xiàn)的描述數(shù)據(jù)處理方法的特征，它們包括用于去耦合到來的像素顯示數(shù)據(jù)和通過并行通道交付固定數(shù)目的像素的行緩沖器，例如它可能是一個(gè)視頻處理級(jí)諸如用作級(jí)440的低通濾波器所需要。這些示范實(shí)現(xiàn)的各個(gè)方面可以實(shí)現(xiàn)成減小像素等待時(shí)間，節(jié)省硬件和設(shè)計(jì)費(fèi)用，和補(bǔ)償在需要能力來處理從可變大小窗口導(dǎo)出的像素?cái)?shù)據(jù)的像素?cái)?shù)據(jù)處理應(yīng)用中的復(fù)雜性。在本發(fā)明的各種實(shí)現(xiàn)中，預(yù)取像素?cái)?shù)據(jù)到中間預(yù)取緩沖器提供靈活性和減小對(duì)下游級(jí)的重新加載時(shí)間。這種實(shí)現(xiàn)可以與相對(duì)尋址方法一起使用，提供包含在可變大小的窗口中的可變像素?cái)?shù)據(jù)數(shù)量和固定的數(shù)據(jù)操作級(jí)之間的去耦合，從而允許在有利于整體視頻圖像處理模式的場合改變窗口大小。
本發(fā)明不應(yīng)該考慮為限制在上面說明的特定實(shí)施例。各種修改、等效的處理、以及本發(fā)明可以應(yīng)用于其上的大量結(jié)構(gòu)都落入本發(fā)明的范圍內(nèi)，這在所附權(quán)利要求中清楚地說明。
權(quán)利要求
1.在具有相應(yīng)于一個(gè)視頻像素陣列的輸入像素流、具有作為覆蓋該陣列中像素的二維窗口且用于采樣陣列的子集的可變窗口(300)大小、具有使用固定的像素?cái)?shù)目輸入像素的視頻處理級(jí)(440)的視頻處理電路中，一種用于把輸入像素流交付給視頻處理級(jí)(440)的方法，所述方法包括-確立一窗口大小和一采樣窗口大小，使得該窗口大小是該采樣窗口大小的倍數(shù)，且該采樣窗口大小定義固定的像素?cái)?shù)目；和并發(fā)地-把來自輸入流的像素存儲(chǔ)到第一組行緩沖器(410)中，在第一組行緩沖器中存儲(chǔ)的像素包括對(duì)應(yīng)已確立的窗口大小的像素，-把存儲(chǔ)的像素從第一組行緩沖器預(yù)取到第二組行緩沖器(420)中，該第二組行緩沖器長到足以存儲(chǔ)至少相應(yīng)于已確立的采樣窗口大小的像素，和-為視頻處理級(jí)(440)從第二組行緩沖器取固定數(shù)目的像素。
2.如權(quán)利要求1所述的方法，其中，每一視頻像素陣列表示一個(gè)視頻幀。
3.如權(quán)利要求2所述的方法，其中，窗口大小具有X行和Y列，采樣窗口大小具有X行，這里X是固定的整數(shù)。
4.如權(quán)利要求3所述的方法，其中，確立窗口大小包括從一組可能的整數(shù)中選擇Y。
5.如權(quán)利要求4所述的方法，其中，固定的像素?cái)?shù)目等于25，X等于5，和用于Y的可能的整數(shù)集合是1到4。
6.如權(quán)利要求1所述的方法，其中，使用第一組行緩沖器(410)從第二組行緩沖器(420)去耦合輸入像素流。
7.如權(quán)利要求1所述的方法，其中，第二組行緩沖器(420)包括根據(jù)相對(duì)于當(dāng)前像素(120)定義的距離參數(shù)而被尋址的像素。
8.如權(quán)利要求7所述的方法，其中，根據(jù)窗口大小定義距離參數(shù)。
9.如權(quán)利要求1所述的方法，其中，第二組行緩沖器包括根據(jù)相對(duì)于當(dāng)前像素定義的距離參數(shù)而被尋址的像素，其中，距離參數(shù)根據(jù)X行和Y列的窗口大小定義，這里X是固定的整數(shù)，Y被選擇用來確立采樣窗口大小。
10.如權(quán)利要求1所述的方法，其中，所述各行緩沖器(410&420)具有被規(guī)定成用于優(yōu)化通過量的長度，及其中，所述預(yù)取和所述取包括通過各行緩沖器傳送像素?cái)?shù)據(jù)以減小周期時(shí)間。
11.如權(quán)利要求1所述的方法，其中，窗口大小具有X行和Y列，這里X是固定的整數(shù)，Y被選擇用來確立采樣窗口大小，并且第二組行緩沖器包括分別用于存儲(chǔ)X行像素的X個(gè)行緩沖器，。
12.如權(quán)利要求11所述的方法，其中，第二組行緩沖器(420)的X個(gè)行緩沖器包括用于存儲(chǔ)相應(yīng)于窗口的當(dāng)前行(122)的一行像素的中心行緩沖器(412)，和至少一個(gè)用于存儲(chǔ)另一行像素(例如124)的行緩沖器(例如414)。
13.如權(quán)利要求11所述的方法，其中，固定的像素?cái)?shù)目等于25，X等于5，和用于Y的可能的整數(shù)集合是1到4。
14.在具有相應(yīng)于一個(gè)視頻像素陣列的輸入像素流、具有作為覆蓋該陣列中像素的二維窗口且用于采樣陣列的子集的可變窗口大小、具有使用固定的像素?cái)?shù)目輸入像素的視頻處理級(jí)的視頻處理電路中，一種用于把輸入像素流交付給視頻處理級(jí)的方法，所述方法包括-確立一窗口大小和一采樣窗口大小，使得該窗口大小是該采樣窗口大小的倍數(shù)，且該采樣窗口大小定義固定的像素?cái)?shù)目；和并發(fā)地-通過使用第一組行緩沖器存儲(chǔ)來自輸入流的像素而從輸入流去耦合像素，在第一組行緩沖器中存儲(chǔ)的像素包括對(duì)應(yīng)已確立的窗口大小的像素，-把存儲(chǔ)的像素從第一組行緩沖器預(yù)取到第二組行緩沖器中，該第二組行緩沖器長到足以存儲(chǔ)至少相應(yīng)于已確立的采樣窗口大小的像素，和-通過根據(jù)相對(duì)于在第二組行緩沖器中存儲(chǔ)的一個(gè)當(dāng)前像素定義的距離參數(shù)尋址，為視頻處理級(jí)從第二組行緩沖器取固定數(shù)目的像素，其中，距離參數(shù)按照X行Y列的窗口大小定義，這里X是固定的整數(shù)，Y被選擇用來確立采樣窗口大小。
15.在具有相應(yīng)于一個(gè)視頻像素陣列的輸入像素流、具有作為覆蓋陣列中像素的二維窗口且用于采樣陣列的子集的可變窗口(300)大小、具有使用固定的像素?cái)?shù)目輸入像素的視頻處理級(jí)(440)的視頻處理電路中，一種用于把輸入像素流交付給視頻處理級(jí)的電路裝置，所述電路裝置包括-用于確立一窗口大小和一采樣窗口大小的裝置，使得該窗口大小是該采樣窗口大小的倍數(shù)，且該采樣窗口大小定義固定的像素?cái)?shù)目；-第一組行緩沖器；-第二組行緩沖器；和-用于并發(fā)地執(zhí)行下述操作的裝置-把來自輸入流的像素存儲(chǔ)到第一組行緩沖器中，在第一組行緩沖器中存儲(chǔ)的像素包括對(duì)應(yīng)已確立的窗口大小的像素，-把存儲(chǔ)的像素從第一組行緩沖器預(yù)取到第二組行緩沖器中，該第二組行緩沖器長到足以存儲(chǔ)至少相應(yīng)于已確立的采樣窗口大小的像素；和-為視頻處理級(jí)從第二組行緩沖器取固定數(shù)目的像素。
16.在具有相應(yīng)于一個(gè)視頻像素陣列的輸入像素流、具有作為覆蓋該陣列中像素的二維窗口且用于采樣陣列的子集的可變窗口大小、具有使用固定的像素?cái)?shù)目輸入像素的視頻處理級(jí)的視頻處理電路中，一種用于把輸入像素流交付給視頻處理級(jí)(440)的電路裝置，所述電路裝置包括-可編程電路，用于確立一窗口大小和一采樣窗口大小，使得該窗口大小是該采樣窗口大小的倍數(shù)，且該采樣窗口大小定義固定的像素?cái)?shù)目；-第一組行緩沖器(410)；-第二組行緩沖器(420)；和-數(shù)據(jù)處理電路(43)，被配置并安排為并發(fā)地執(zhí)行下述操作來處理視頻像素-把來自輸入流的像素存儲(chǔ)到第一組行緩沖器中，在第一組行緩沖器中存儲(chǔ)的像素包括對(duì)應(yīng)已確立的窗口大小的像素，-把存儲(chǔ)的像素從第一組行緩沖器預(yù)取到第二組行緩沖器中，該第二組行緩沖器長到足以存儲(chǔ)至少相應(yīng)于已確立的采樣窗口大小的像素，和-為視頻處理級(jí)從第二組行緩沖器取固定數(shù)目的像素。
全文摘要
像素?cái)?shù)據(jù)處理電路使用由可變定義的采樣窗口定義的不規(guī)則采樣模式交付固定數(shù)目的像素給視頻處理級(jí)。在一個(gè)針對(duì)處理相應(yīng)于一個(gè)視頻像素陣列的輸入像素流的示范實(shí)施例中，窗口大小是從用于采樣該陣列子集的各種選項(xiàng)中選擇的，作為覆蓋該陣列中的像素的一個(gè)二維窗口。這樣使用采樣窗口，使得窗口大小是采樣窗口大小的倍數(shù)，且采樣窗口大小定義固定的像素?cái)?shù)目。所述處理包括并發(fā)地移動(dòng)像素?cái)?shù)據(jù)從輸入流到第一組行緩沖器中，在第一組行緩沖器存儲(chǔ)的像素包括對(duì)應(yīng)已確立的窗口大小的像素，把存儲(chǔ)的像素從第一組行緩沖器預(yù)取到第二組行緩沖器中，該第二組行緩沖器長到足以存儲(chǔ)至少相應(yīng)于已確立的采樣窗口大小的像素，和從第二組行緩沖器取固定數(shù)目的像素。在各種應(yīng)用中，除靈活性之外，本發(fā)明還實(shí)現(xiàn)增加的通過量。
文檔編號(hào)H04N7/50GK1575608SQ02821046
公開日2005年2月2日 申請日期2002年10月25日 優(yōu)先權(quán)日2001年10月26日
發(fā)明者林謙信, K·陳 申請人:皇家飛利浦電子股份有限公司