專利名稱：螺旋高速緩存電源管理、自適應大小調整和接口操作的制作方法
技術領域：
本發(fā)明涉及高速緩沖存儲器，更具體地說，涉及螺旋高速緩沖存儲器中的電源管理、自適應大小調整和接口操作。
背景技術：
在現(xiàn)今的高速緩沖存儲器系統(tǒng)中，在存取最頻繁存取的值所需的時間與最短存取時間內(nèi)可提供的此類值的數(shù)目之間存在權衡。例如，在傳統(tǒng)多級高速緩存層級中，一級(Li) 高速緩存針對特定數(shù)目的值提供一致存取時間，并且某些系統(tǒng)中的控制電路和其他算法特性用于維護Ll高速緩存內(nèi)的最頻繁存取的值。但是，由于物理布線約束以及電子系統(tǒng)受電子信號傳播速度的限制，因此Ll高速緩存越大，典型Ll高速緩存的(固定)存取時間越長。類似地，當為了縮短存取時間而減小Ll高速緩存的大小時，未存儲在Ll高速緩存內(nèi)的頻繁存取的值的數(shù)目將增加。未存儲在Ll高速緩存內(nèi)的值因此被存儲在存儲器層級的更高階級別(例如，L2高速緩存)中，L2高速緩存的存取時間損失遠大于Ll高速緩存的存取時間損失，這是因為典型高速緩沖存儲器系統(tǒng)是包含性的，也就是說，存儲器層級的較高級別包含下一較低級別高速緩存中存儲的所有值。在實際應用中，給定的較高級別高速緩沖存儲器一般遠大于下一較低級的高速緩沖存儲器，并且給定諸如RC線延遲之類的上述傳播速度約束以及裸片互連中電場傳播固有速度的最終限制，較高級別的高速緩存將慢得多，通常在比下一較低級別的高速緩沖存儲器慢10到100倍的量級。此外，存儲器層級中較大的高級別高速緩存將增加功耗，雖然可以將高速緩沖存儲器分成可單獨進行電源管理的分區(qū)，但是這種電源管理需要在分區(qū)之間重新組織和移動數(shù)據(jù)以便減小高速緩存的大小不會損害正確性或導致性能降低。進而，由于需要在高速緩存中重新組織數(shù)據(jù)，因此相對于數(shù)據(jù)流的速率，執(zhí)行電源管理操作的速度必然較低。此外，此類高速緩沖存儲器系統(tǒng)中采用的典型高速緩存控制算法通常一次處理一個對高速緩存級別的未完成請求。如果存取請求“未命中”高速緩存，則此存取將停止或失敗，因此請求源(例如，下一較低編號的高速緩存級別或Ll高速緩存未命中情況下的處理器存儲器存取邏輯)必須重試存取。所述請求從處理器向高速緩沖存儲器的更高階級別傳播，但是稍后在Ll級別處重試請求確保了當依賴于請求值的硬件線程等待所述請求成功時，仍為其他可執(zhí)行的指令提供對所述高速緩存的存取?？商峁┩Ｖ拐麄€處理器流水線的備選方法，但是性能損失將更為嚴重。最后，一般由高速緩沖存儲器層級中的控制結構(例如，高速緩存控制器)實施高速緩沖存儲器層級中值的組織，所述控制結構根據(jù)諸如最近最少使用(LRU)之類的方案衡量存取頻率并組織高速緩存級別以使用驅逐(cast-out)邏輯將最頻繁存取的值保持在低階高速緩存中。提出了除上述傳統(tǒng)高速緩沖存儲器和層級以外的解決方案，其允許將多個請求流水線化，但是需要強制使用固定的最差存取延遲和緩沖來控制流水線信息流。進而，提出了非傳統(tǒng)高速緩沖存儲器，其具有非一致存取延遲并且在不使用其他存取度量和驅逐邏輯的情況下進行組織，但是相對于目前高速緩沖存儲器的操作而言，它總體上僅提供了很小的潛在改進，其方式是交換高速緩存表項以便緩慢地將頻繁存取的值遷移到“較近的”位置，同時將不常使用的值遷移到“較遠的”位置。此類非一致高速緩沖存儲器還需要額外的通路來執(zhí)行交換，并且通常是路由系統(tǒng)，其中使用開關電路執(zhí)行特定高速緩存組(cache bank)的選擇。因此，希望提供一種可以支持多個未完成請求，針對頻繁存取的值提供非常低的存取延遲，以及在不需要復雜的區(qū)域密集型路由電路以及LRU和驅逐邏輯的情況下提供此類操作的高速緩沖存儲器和高速緩存操作方法。進而，希望提供此類在不需要重新組織高速緩存內(nèi)容的情況下應用電源管理且具有改進的響應性的高速緩存。

發(fā)明內(nèi)容
本發(fā)明提供了如權利要求1所述的方法以及相應的裝置和計算機程序。本發(fā)明體現(xiàn)在螺旋高速緩沖存儲器和操作方法中。所述螺旋高速緩沖存儲器包含多個塊(tile)，所述塊具有用于存儲值的存儲位置，每個塊可以是諸如直接映射高速緩存或關聯(lián)高速緩存之類的較小高速緩沖存儲器。始終在到最前端塊的接口處提供請求值，從高速緩存自身或包括所述高速緩存的存儲器層級的更高階級別提供這些值。如果高速緩存已滿，則通過經(jīng)由后備存儲器接口逐出值來釋放存儲位置以便存儲請求值?？梢蕴峁┚彌_器和流控制邏輯來防止被寫入后備存儲器的逐出值溢出。所述螺旋高速緩存支持多個未完成請求，無需在向高速緩存發(fā)出另一請求之前將值返回到最前端塊?？梢酝ㄟ^將高速緩存分成可按塊調整的活動和不活動部分來執(zhí)行螺旋高速緩存的電源管理。劃分不活動部分和活動部分的邊界可以由全局控制邏輯來設置，也可以由塊自身內(nèi)的單獨邏輯/控制算法來自動確定。通過下面對附圖中所示的本發(fā)明優(yōu)選實施例的更具體的描述，本發(fā)明的上述和其他目的、特征和優(yōu)點將變得顯而易見。


在所附權利要求中說明了被認為是本發(fā)明特性的新穎特征。但是，當結合附圖閱讀時，通過參考以下對本發(fā)明的詳細說明，可以最佳地理解發(fā)明本身以及優(yōu)選使用方式，進一步的目的和優(yōu)點，其中相同的標號指示相同的組件，這些附圖是圖1A-1C是示出根據(jù)本發(fā)明的實施例的螺旋高速緩存內(nèi)的放置技術的優(yōu)點的畫圖示意圖；圖2是示出根據(jù)本發(fā)明的實施例的螺旋高速緩存內(nèi)的值的動態(tài)重新排列的畫圖示意圖；圖3是根據(jù)本發(fā)明的實施例的螺旋高速緩存的方塊圖；圖4A-4C是示出圖3的螺旋高速緩存內(nèi)的幾何重試的方塊圖；圖5是圖3的螺旋高速緩存的方塊圖，示出了操作期間數(shù)據(jù)流的收縮時間線；圖6是示出圖3的螺旋高速緩存內(nèi)的高速緩存微操作的時序圖；圖7A-7B是示出修改為在獨占層級中結合移至前端放置策略的存儲器層級的方
4塊圖，圖7C是包括根據(jù)本發(fā)明的實施例的螺旋高速緩存的存儲器層級的方塊圖；圖8A和8B是示出根據(jù)本發(fā)明的實施例的螺旋高速緩存中的電源管理技術的方塊圖；圖9是示出根據(jù)本發(fā)明的實施例的塊管理式電源管理技術的流程圖。
具體實施例方式簡介本發(fā)明包括存儲器電路以及操作方法，它們可體現(xiàn)在高速緩沖存儲器結構中，所述高速緩沖存儲器結構在結構上被組織為螺旋形并且自組織其內(nèi)容以將最近存取的值放置在最前端中央存儲位置，同時在每次存取時將其他值后移到除最前端中央存儲位置之外的位置。所形成的體系結構提供根據(jù)本發(fā)明的實施例的行為，所述行為在到平鋪結構的最前端塊的接口處提供每個請求值，同時通過將不常請求的值逐出到后備存儲器來為頻繁請求的值騰出空間。所述螺旋結構還實現(xiàn)了電源管理，其通過根據(jù)可按塊調整的邊界將存儲器劃分為活動部分和不活動部分而降低存儲器電路功耗。所述螺旋高速緩存的基本原理是傳統(tǒng)的一致存取延遲隨機存取存儲器(RAM)模型對于單芯片體系結構不再有效。當今高時鐘頻率下跨大型裸片的信號傳播延遲在數(shù)十個時鐘周期的量級。同時，單芯片集成的優(yōu)點使得大型片上高速緩沖存儲器成為必要。大型而快速的高速緩沖存儲器長期以來被視為難題，因為大型存儲器需要較大空間范圍，而快速存儲器需要較小空間范圍以便最小化傳播延遲。根據(jù)本發(fā)明的螺旋高速緩存通過基本連續(xù)地動態(tài)移動高速緩存行而提供大型快速的高速緩存。根據(jù)本發(fā)明的螺旋高速緩存的關鍵特征包括1.小型快速(例如直接映射)高速緩存的平鋪體系結構在技術和物理限制下平衡線延遲和緩存存取時間；2.使用移至前端試探動態(tài)地放置和替換高速緩存行且理論上保證最大存取時間；3.所述螺旋高速緩存的N個塊的行為類似N-路關聯(lián)高速緩存而沒有諸如最近最少使用(LRU)計數(shù)器之類的傳統(tǒng)簿記成本；4.所述螺旋高速緩存體系結構提供了能夠保持多個存儲器存取同時處于工作狀態(tài)的無沖突收縮流水線，而沒有路由或切換延遲并且無需數(shù)據(jù)緩沖來實現(xiàn)流控制；以及5.所述螺旋高速緩存體系結構實現(xiàn)自適應電源管理，所述自適應電源管理維護一組活動塊中的值的工作集的壓縮副本，同時能夠使可動態(tài)調整的一組不活動塊處于斷電狀態(tài)。如上所述，雖然提出了高速緩沖存儲器的收縮體系結構，但在這些設計中，無論處于高速緩沖存儲器中的哪個位置，針對每個請求值都存在最差存取延遲。在此類設計中，請求必須傳送到高速緩沖存儲器的遠端，然后在返回處理器或其他請求方的路上遍歷每個區(qū)塊(或本發(fā)明使用的術語中的“塊”)。所述螺旋高速緩沖存儲器在每次存取時不會經(jīng)歷最差延遲。相反，大多數(shù)存取產(chǎn)生只存取最前端塊的最佳延遲，因此所述螺旋高速緩存提供了改進的性能。其他流水線存儲器體系結構需要內(nèi)部緩沖器來控制通過一維存儲器塊層級的數(shù)據(jù)流。本發(fā)明的存儲陣列不需要內(nèi)部流控制緩沖器并且不限于一維設計。實際上，如以下實例中描述的螺旋高速緩存中體現(xiàn)的本發(fā)明的存儲陣列利用歐幾里得空間維度來減小最差存取延遲。根據(jù)本發(fā)明的一個實施例的存儲陣列可以被視為所謂的非一致高速緩存體系結構(NUCA)，所述非一致高速緩存體系結構可被實現(xiàn)為螺旋高速緩存。動杰高諫緩存放置為了減小頻繁存取的值的存取時間并且如上所述，在此披露的示意性存儲陣列在存取期間進行動態(tài)自組織以將較頻繁存取的值放置到螺旋中心處的最前端位置，并將不常存取的值放置到螺旋外側。對于大型快速VLSI設計而言，主要設計約束在于跨線的信號傳播延遲，提供了以下說明以解釋本發(fā)明的存儲器體系結構的優(yōu)點。空間存儲器樽型為了說明線延時，下面通過示例引入了一種存儲器模型，其中可以將寬度與一維存儲器陣列的每個單元關聯(lián)，如圖IA中所示。當處理器P向存儲單元7發(fā)出加載請求時， 請求信號跨存儲單元1至6傳播到存儲單元7，并且存儲單元7中存儲的數(shù)據(jù)以相反方向傳播回處理器P。為了使收縮實施方式提供存儲單元1-7之間的移動(將作為螺旋高速緩存中的值移動機制進一步詳細描述)，必須在一個時鐘周期內(nèi)跨一個存儲單元傳送信號。如果存儲單元1-7被實現(xiàn)為1位存儲器，則所示存儲器陣列的空間范圍可以很小并且將支持高時鐘頻率以滿足收縮設計的一個時鐘周期要求。但是，如果存儲單元被實現(xiàn)為較大的存儲器結構，例如直接映射高速緩存或組關聯(lián)高速緩存，則可以分配與存儲器陣列的存取延遲匹配的時鐘頻率。存儲器陣列越小，跨存儲器陣列傳送的信號的傳播延遲就越短，因此與存儲器陣列的存取延遲匹配的時鐘頻率就越高。第i個單元的存取延遲是從處理器P到單元 I的往返傳播時間，表示為、=2x,或、=2i個時鐘周期(假設信號在一個時鐘周期內(nèi)通過一個存儲單元的距離)。因此，在所述示例中，存取存儲單元7所需的時間X7是14個時鐘周期。在下面的說明中，使用空間存儲器模型比較高速緩存的放置算法。放置算法高速緩存放置算法確定程序地址到存儲器位置(通常為高速緩存行)的映射。在常規(guī)高速緩存設計中，使用諸如最近最少使用(LRU)之類的放置算法來管理組關聯(lián)體系結構的相同組(也稱為同余類)內(nèi)的行。在上面給定的空間存儲器模型中，放置算法對平均存取延遲具有直接影響，即使整個工作集適合高速緩存并且沒有由于沖突的未命中而發(fā)生逐出也是如此?？梢允褂脴永嫒「櫽^察不同放置算法對平均存取延遲的影響load A、load B、load C、load C、load B、load B。最簡單的高速緩存放置算法(直接映射高速緩存設計中采用其變型)將行地址的最低有效位解釋為高速緩存行的索引?，F(xiàn)在參考圖1B，提供了一個實例，其中映射從地址到存儲器單元索引，其中地址A的值存儲在存儲單元7中，地址B的值存儲在存儲單元10 中，地址C的值存儲在存儲單元2中。要指出的是，上面的映射排除了處理器對值放置距離進行任何控制?？梢酝ㄟ^計算樣例存取跟蹤的平均存取延遲來評估放置算法的有效性。假設高速緩存初始為空，由指令load A導致的第一次存取需要后備存儲器存取，對應于地址 A的加載值存儲在存儲單元7中，則產(chǎn)生t7= 14個時鐘周期的高速緩存存取延遲。接下來的兩個加載指令load B和load C也需要后備存儲器存取，而其余的三個指令直接在高速緩存外部提供。下表I中給出了存取延遲(以周期為單位)。
權利要求
1.一種在存儲設備內(nèi)緩存多個值的方法，其中所述存儲設備包括在至少一個電通路中具有有序排列的多個存儲塊，所述至少一個電通路從所述多個存儲塊中的最前端存儲塊到所述多個存儲塊中的最后端存儲塊而互連所述多個存儲塊，所述方法包括將所述多個值存儲在多個存儲塊中；在輸入接口處接收對所述值的請求；響應于所述請求，通過與所述最前端存儲塊耦合的第一輸出接口提供來自所述最前端存儲塊的所請求的值，其中在響應于對在所述輸入接口處發(fā)出的先前請求值的先前請求而在所述第一輸出接口處提供所述先前請求值之前，向所述輸入接口發(fā)出多個請求；以及響應于騰空所述最前端存儲塊中的存儲位置以存儲特定的請求值，將所述多個值中除了所述最前端存儲塊中存儲的值以外的一個值從第二輸出接口逐出到存儲器層級的更高階級別。
2.如權利要求1中所述的方法，其中僅在所述多個存儲塊均被值占據(jù)時才執(zhí)行所述逐出，并且進一步包括如果所述多個存儲塊未均被占據(jù)，則從所述存儲器層級接收其他值而不逐出所述多個值之一。
3.如權利要求1中所述的方法，還包括將所述多個值中被逐出的值緩沖在隊列中；以及根據(jù)流控制邏輯的操作來防止所述被逐出的值將輸入溢出到所述存儲器層級的更高階級別。
4.如權利要求1中所述的方法，其中所述逐出從可動態(tài)選擇的塊位置逐出所述多個值之一，由此根據(jù)對所述可動態(tài)選擇的塊位置的選擇來動態(tài)地調整存儲電路的有效大小，并且其中所述方法進一步包括選擇所述可動態(tài)選擇的塊位置以設置所述存儲電路的有效大
5.如權利要求4中所述的方法，還包括移除從與所述可動態(tài)選擇的塊位置相鄰的塊延伸且遠離所述最前端塊的一組不活動塊內(nèi)的至少一個存儲元件的電力，由此停用所述存儲電路的不活動部分以降低所述存儲電路中的功耗。
6.如權利要求4中所述的方法，其中所述移除包括在所述多個存儲塊內(nèi)分別地判定是否要進入斷電狀態(tài)；以及其中響應于判定應進入斷電狀態(tài)，所述多個存儲塊進入斷電狀態(tài)。
7.一種裝置，包括適于執(zhí)行根據(jù)任一上述方法權利要求的方法的所有步驟的部件。
8.一種計算機程序，包括當所述計算機程序在計算機系統(tǒng)上執(zhí)行時，用于執(zhí)行根據(jù)任一上述方法權利要求的方法的所有步驟的指令。
全文摘要
一種螺旋高速緩沖存儲器，通過自組織以始終將請求值移至螺旋高速緩沖存儲器的最前端存儲塊而為頻繁存取的值提供低存取延遲。如果所述螺旋高速緩存需要逐出值以便為移至所述最前端塊的值騰出空間，則通過將值從所述高速緩存逐出到后備存儲器來騰出空間。使用緩沖器連同流控制邏輯來防止逐出值的寫入溢出到總體較慢的后備存儲器。所述螺旋高速緩存中的塊可以是單個存儲位置，也可以組織為某種形式的高速緩沖存儲器，例如直接映射高速緩存或組關聯(lián)高速緩存。通過將所述螺旋高速緩存劃分成可按塊調整的活動和不活動分區(qū)，可以降低所述高速緩存的功耗。塊產(chǎn)生的或全局的斷電決策可以設置所述分區(qū)的大小。
文檔編號G06F12/12GK102216914SQ200980145056
公開日2011年10月12日 申請日期2009年11月10日 優(yōu)先權日2008年11月13日
發(fā)明者M·菲爾高, V·斯特倫彭 申請人:國際商業(yè)機器公司