欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

預(yù)測計算平臺存儲器功率利用率的制作方法

文檔序號:6561843閱讀:156來源:國知局
專利名稱:預(yù)測計算平臺存儲器功率利用率的制作方法
背景技術(shù)
功率消耗和冷卻約束是在計算平臺操作環(huán)境中所面臨的典型難題。在典型電信網(wǎng)絡(luò)或數(shù)據(jù)中心中(其中部署有例如在架子(rack)或柜子等中)的多個計算平臺)這些難題被放大了。為了縮減擁有者對這些部署的總花費并且還增加性能,對服務(wù)提供商和數(shù)據(jù)中心管理者施加了持續(xù)的壓力。為了改進性能,這樣做就可能會在計算平臺上和/或在架子級別上導(dǎo)致更高密度的處理元件。最小化功率消耗是服務(wù)提供商和數(shù)據(jù)中心縮減能源費用成本和擁有者的總成本的重要目標。


圖1是示例計算平臺的元件的圖示;圖2提供了示例存儲器功率利用率(MPU)管理器體系結(jié)構(gòu)的框圖;圖3是MPU管理器實施示例統(tǒng)計預(yù)測模塊的元件的圖示;圖4提供了描述將被監(jiān)控的示例操作參數(shù)的表;圖5是示例存儲器功率狀態(tài)的圖示;以及圖6是預(yù)測存儲器功率利用率和基于該預(yù)測把存儲器模塊轉(zhuǎn)變到另一個功率狀態(tài)的示例方法的流程圖。
具體實施例方式
如在背景技術(shù)中所提及的,最小化功率消耗是降低擁有者的總成本的一個重要目標。盡管已經(jīng)特別集中在降低處理單元(例如中央處理單元(CPU))所利用的功率,但是當前所提出的存儲器技術(shù)也日益變成功率消耗的重要源。這在設(shè)計高性能的計算平臺并且縮減擁有者的總成本中提出了挑戰(zhàn)。
在一個示例中,實施一個或多個統(tǒng)計預(yù)測模塊來預(yù)測存儲器功率利用率并降低計算平臺的功率消耗。此實施包括確定計算平臺的配置參數(shù),監(jiān)控計算平臺的操作參數(shù)并預(yù)測計算平臺的存儲器功率利用率。該預(yù)測基于確定的配置參數(shù)和監(jiān)控的操作參數(shù)。駐留在計算平臺上的一個或多個存儲器模塊至少部分地基于經(jīng)由一個或多個統(tǒng)計預(yù)測模型的實施所預(yù)測的存儲器功率利用率而被轉(zhuǎn)變到多個功率狀態(tài)中的一個。
圖1是示例計算平臺100的元件的圖示。在一個示例中,如圖1所繪制的,計算平臺100包括存儲器功率利用率(MPU)管理器110、網(wǎng)絡(luò)接口120、處理元件130、存儲器控制器140、存儲器功率面150和存儲器模塊160。盡管在圖1中未示出,計算平臺100還可包括其它硬件、軟件、固件或這些元件的組合并且可以作為計算裝置的一部分。該計算裝置可以是底盤和/或架子中的單刀片計算機、桌上計算機、膝上計算機、筆記本計算機、數(shù)字寬帶電話裝置、數(shù)字家庭網(wǎng)絡(luò)裝置(例如有線/衛(wèi)星/機頂盒等)、個人數(shù)字助理(PDA)、芯片上系統(tǒng)(SOC)等。
在一個示例中,如下進一步所述,MPU管理器110確定計算平臺100的配置參數(shù)并監(jiān)控操作參數(shù)來預(yù)測存儲器功率利用率。在計算平臺100上的元件(例如MPU管理器110、存儲器控制器140)可使得存儲器功率面150將一個或多個存儲器模塊從一個功率狀態(tài)轉(zhuǎn)變到另一個功率狀態(tài)(參見圖5)。
在一個示例中,MPU110通過一個或多個通信鏈路耦合到計算平臺100的其它元件。這些鏈路例如在圖1中繪制為通信鏈路112、114、116和118。如在以下進一步描述的,MPU管理器110例如包括到這些其它元件的適當接口用以確定配置參數(shù)、監(jiān)控操作參數(shù)并使得存儲器模塊轉(zhuǎn)變到另一個功率狀態(tài)。
在一個示例中,網(wǎng)絡(luò)接口120包括一接口,計算平臺100通過該接口經(jīng)由網(wǎng)絡(luò)鏈路101耦合到網(wǎng)絡(luò),該網(wǎng)絡(luò)例如有線或無線本地局域網(wǎng)(LAN/WLAN)、廣域網(wǎng)(WAN/WWAN)、城域網(wǎng)(MAN)、個人局域網(wǎng)(PAN)以及蜂窩或無線寬帶電話網(wǎng)。網(wǎng)絡(luò)接口120例如包括硬件、軟件或固件用以把數(shù)據(jù)發(fā)送到該網(wǎng)絡(luò)和從該網(wǎng)絡(luò)接收數(shù)據(jù)。這可包括一個或多個網(wǎng)絡(luò)接口卡、光纖接口卡或其它元件用以經(jīng)由網(wǎng)絡(luò)鏈路101接收并發(fā)送數(shù)據(jù)。在一個示例中,通信鏈路122可被網(wǎng)絡(luò)接口120元件使用來作出對存儲器控制器140的存儲器讀取/寫入請求。這些請求可從存儲器模塊160獲取數(shù)據(jù)/向存儲器模塊160發(fā)送數(shù)據(jù)。盡管沒有在圖1中示出,但是MPU管理器110例如也可耦合到通信鏈路101并直接監(jiān)控網(wǎng)絡(luò)帶寬。
在一個示例中,處理元件130包括軟件、硬件和/或固件用以支持計算平臺100上的一個或多個處理操作。這可包括軟件比如操作系統(tǒng)和/或應(yīng)用、硬件比如微處理器、網(wǎng)絡(luò)處理器、服務(wù)處理器、微控制器、現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC),以及固件用以包括可執(zhí)行代碼來啟動基本輸入/輸出系統(tǒng)(BIOS)和/或啟動計算平臺100元件進行可視化操作。在一個示例中,通信鏈路132可被處理元件130用來對存儲器控制器140作出存儲器讀取/寫入請求。
在一個示例中,存儲器控制器140處理/完成對將被存儲(寫入)和獲取(讀取)到存儲器模塊160的一個或多個存儲器模塊中的數(shù)據(jù)的請求。例如,這些請求可通過通信鏈路122或132接收。在一種實施方式中,存儲器控制140可使用存儲器功率面150來基于由例如MPU管理器110確定的預(yù)測的存儲器功率利用率將這些一個或多個存儲器模塊轉(zhuǎn)變到各種功率狀態(tài)。
在一個示例中,存儲器控制器140可與處理元件130集成在一起。例如,存儲器控制器140可作為微處理器的集成存儲器控制器使用。在該示例中,MPU管理器110可通過與處理元件130(例如經(jīng)由通信鏈路112)耦合的接口或通過直接與集成存儲器控制器140(例如經(jīng)由通信鏈路132)耦合的接口與存儲器控制器140進行通信。
在一種實施方式中,存儲器功率面150經(jīng)由功率饋線152向存儲器模塊160提供功率。例如圖1所示的功率饋線路152被布線連接到存儲器模塊160中的每個存儲器模塊。功率饋線152可提供多個不同電壓電平的功率,例如0.9v、1.5v、1.8v、3.3v、5v等。這些電壓電平例如被調(diào)整用以在一定電壓范圍內(nèi)提供功率。
在一個示例中,存儲器模塊160包括多個存儲器模塊。這些存儲器模塊在圖1中描述為160-1到160-n+1,其中n表示任何正數(shù)。在一種實施方式中,這些存儲器模塊成對地通過至少一個存儲器通道(例如包括數(shù)據(jù)發(fā)送和數(shù)據(jù)接收通信鏈路)與存儲器控制器140相耦合。這種耦合的一個示例在圖1中描述并且包括存儲器通道162、164和166。這種公開不限于每個通道一對模塊而且可以包括每個通道有任意數(shù)量的存儲器,并且還可包括任意數(shù)量的存儲器通道。向每一對存儲器模塊上寫入和從中讀取的數(shù)據(jù)通過這些存儲器通道被路由,例如通過點到點串行通信鏈路路由。如下進一步所述,這些存儲器模塊可由各種類型存儲器組成,該存儲器可基于對計算平臺100預(yù)測的存儲器功率利用率被置于各種功率狀態(tài)或電平中。
圖2提供示例MPU管理器110體系結(jié)構(gòu)的框圖。在圖2中,MPU管理器110的示例體系結(jié)構(gòu)包括功率優(yōu)化邏輯210、控制邏輯220、存儲器230、輸入/輸出(I/O)接口240和任選的一個或多個應(yīng)用250。
在一個示例中,圖2的框圖中描繪的元件是支持或?qū)崿F(xiàn)本公開中描述的MPU管理器110的那些元件,不過給定的MPU管理器可以包括圖2中描述的那些元件中的一些元件、可以包括圖2中描述的那些元件的全部,或者可以包括比圖2中描述的那些元件更多的元件。例如,功率優(yōu)化邏輯210和控制邏輯220均可以表示或者一起來表示實施MPU管理器110功能部件(feature)的多種可執(zhí)行內(nèi)容或者邏輯裝置。這些邏輯裝置可包括微處理器、網(wǎng)絡(luò)處理器、服務(wù)處理器、微控制器、FPGA、ASIC、多核心/多線程微處理器的隔離線程或核心、處理器的特定操作模式(例如系統(tǒng)管理模式)或它們的組合。
在圖2中,功率優(yōu)化邏輯210包括配置功能部件212、監(jiān)控功能部件214、預(yù)測功能部件216和轉(zhuǎn)變功能部件218。在一種實施方式中,功率優(yōu)化邏輯210使用這些功能部件來執(zhí)行一些操作。這些操作包括例如確定配置參數(shù)、監(jiān)控操作參數(shù)和基于確定的配置參數(shù)和監(jiān)控的操作參數(shù)預(yù)測計算平臺100的存儲器功率利用率。這些操作還可包括基于對計算平臺100預(yù)測的存儲器功率利用率使一個或多個存儲器模塊至少部分轉(zhuǎn)變到多個功率狀態(tài)。
控制邏輯220可控制MPU管理器110的總體操作,并且如上所述,可表示實施MPU管理器110的控制多種邏輯裝置或可執(zhí)行內(nèi)容中的任意一個。在可替換的示例中,控制邏輯220的功能部件和功能在功率優(yōu)化邏輯210中實施。
根據(jù)一個示例,存儲器230存儲可執(zhí)行內(nèi)容。該可執(zhí)行內(nèi)容可被控制邏輯220和/或功率優(yōu)化邏輯210使用來實施或激活MPU管理器110的功能部件或元件。存儲器230還可臨時保持由功率優(yōu)化邏輯210的功能部件獲得來預(yù)測計算平臺100的存儲器功率利用率的配置和操作參數(shù)。
I/O接口240可經(jīng)由MPU管理器110與計算平臺100上的元件之間通信介質(zhì)或鏈路提供接口。如上對圖1中所述,MPU管理器110可經(jīng)由通信鏈路112、114、116和118與這些元件耦合。I/O接口240例如包括根據(jù)各種通信協(xié)議來操作以在這些通信鏈路上通信的接口。例如,I/O接口240根據(jù)在規(guī)范(比如2000年8月出版、版本2.0的系統(tǒng)管理總線(SMBus)規(guī)范和/或之后的版本)中描述的通信協(xié)議來操作。如在以下更詳細描述的,計算平臺100的元件可提供在本公開中稱為“鉤子(hook)”的存儲器寄存器或存儲器表中的信息。功率優(yōu)化邏輯210的功能部件可使用I/O接口240來通過通信鏈路112、114、116和118來訪問這些鉤子。
I/O接口240還可提供到遠離計算平臺100的元件的接口。因此,I/O接口240可使功率優(yōu)化邏輯210或控制邏輯220能夠從這些元件接收指令序列。該指令序列可使功率優(yōu)化邏輯210和/或控制邏輯220實現(xiàn)MPU管理器110的一個或多個功能部件。
在一個示例中,MPU管理器110包括一個或多個應(yīng)用250用以給控制邏輯220和/或功率優(yōu)化邏輯210提供內(nèi)部指令。
圖3是MPU管理器110實施一個示例統(tǒng)計預(yù)測模塊300的元件的圖示。在一個示例中,MPU管理器110的元件是功率優(yōu)化邏輯210的功能部件。如圖3所繪制的,這些功能部件包括配置功能部件212、監(jiān)控功能部件214和預(yù)測功能部件216。
在一種實施方式中,配置功能部件212、監(jiān)控功能部件214和預(yù)測功能部件216是由功率優(yōu)化邏輯210激活的統(tǒng)計預(yù)測或探試性模塊的一部分。在一個示例中,配置功能部件212獲得與駐留在計算平臺100上的元件相關(guān)聯(lián)的配置參數(shù)。這些配置參數(shù)包括例如存在于計算平臺100上的資源(例如處理元件、網(wǎng)絡(luò)接口、存儲器、軟件、固件等)和這些資源的配置。例如存儲器模塊160被用于可以不同方式影響存儲器功率利用率的各種配置中。這些使用配置例如從存儲器控制器140獲得并且包括而不限于存儲器交錯、存儲器鏡像、存儲器備份和等級次序分配。配置參數(shù)還可包括監(jiān)控功能部件214用于確定什么操作參數(shù)被監(jiān)控并且怎樣獲得它們的信息。
在一個示例中,配置功能部件212獲得信息,該信息被監(jiān)控功能部件214用來獲得與計算平臺100的元件相關(guān)聯(lián)或由其保持的置于鉤子中的操作參數(shù)。在一個示例中,這些鉤子被保持在存儲器表或存儲器寄存器中,并在圖3中分別繪制為用于網(wǎng)絡(luò)接口120、處理元件130、存儲器控制器140和存儲器功率面150的鉤子320、330、340和360。
如圖4所示,表400列出了與鉤子320、330、340和350相關(guān)聯(lián)的類別和操作參數(shù)的示例。在一個示例中,表400的至少一部分內(nèi)容通過配置功能部件212獲得(例如在計算平臺100的上電期間)并且使其可被監(jiān)控功能部件214(例如臨時存儲在存儲器230中)可訪問。然后監(jiān)控功能部件214可通過(例如經(jīng)由通信鏈路112、114、116或118)訪問存儲器寄存器或與鉤子相關(guān)聯(lián)的存儲器表監(jiān)控計算平臺100的操作參數(shù)。在一個示例中,配置功能部件212和監(jiān)控功能部件214為預(yù)測功能部件216提供配置和操作參數(shù)。預(yù)測功能部件216例如實施各種統(tǒng)計預(yù)測模型(包括在預(yù)測算法中使用基于計算平臺100的配置和操作參數(shù)的統(tǒng)計參數(shù))來預(yù)測計算平臺100的存儲器功率利用率。
在一個示例中,轉(zhuǎn)變功能部件218可從預(yù)測功能部件216接收對計算平臺100的存儲器功率利用率的預(yù)測。轉(zhuǎn)變功能部件218基于從預(yù)測功能部件216接收的預(yù)測例如觸發(fā)或引起存儲器模塊160中的一個或多個存儲器模塊轉(zhuǎn)變到其它功率狀態(tài)。
在一個示例中,如圖4所示,鉤子320包括網(wǎng)絡(luò)通信業(yè)務(wù)類別。鉤子320例如包括與通過網(wǎng)絡(luò)接口120接收和轉(zhuǎn)發(fā)的數(shù)據(jù)量和/或數(shù)據(jù)速率相關(guān)聯(lián)的信息。這還可包括對通過網(wǎng)絡(luò)接口120從耦合到計算平臺100的網(wǎng)絡(luò)接收的數(shù)據(jù)和轉(zhuǎn)發(fā)到該網(wǎng)絡(luò)的數(shù)據(jù)(例如基于數(shù)據(jù)包的)的網(wǎng)絡(luò)通信業(yè)務(wù)統(tǒng)計(例如使用模式、吞吐量、擁塞、數(shù)據(jù)通信業(yè)務(wù)類型等)。
鉤子330例如包含多個類型的與處理元件利用率、性能、功率狀態(tài)和存儲器分配相關(guān)聯(lián)的信息。例如,該處理元件可包括微處理器并且其利用率可基于空閑時間、輸入/輸出時間、系統(tǒng)時間、用戶時間或在微處理上運行的進程數(shù)。該微處理器的性能可基于高速緩存未命中、存儲器加載和存儲請求,以及該微處理器的功率狀態(tài)還可是保持在鉤子330中的被監(jiān)控的操作參數(shù)。在一個示例中,該微處理器的功率狀態(tài)包括掛起、待機和深度睡眠(例如微處理器被中止并且指令不被執(zhí)行)。
該處理元件還可包括操作系統(tǒng)和操作系統(tǒng)的存儲器管理。在一個例子中,這可包括保持在鉤子330中的物理頁面分配。解除分配例如可以是保持在鉤子330中的另一個操作參數(shù)。
鉤子340例如包含存儲器訪問模式信息。這可以包括在給定時間段內(nèi)存儲器控制器140為計算平臺100服務(wù)或完成的讀取和寫入的數(shù)。這還可包括未決的命令數(shù)目和存儲器控制器140在給定時間段內(nèi)執(zhí)行擦除的次數(shù)。還可包括存儲器控制器140處理/完成的鏡像數(shù)量(例如冗余存儲器讀取/寫入請求)作為保持在鉤子340中的操作參數(shù)。
鉤子350例如包含存儲器模塊功率狀態(tài)信息。這可包括由存儲器功率面150提供給存儲器模塊160的功率等級。
附加的鉤子也可通過計算平臺100的各種其它元件來維持。因此,本公開不限于如上所述與鉤子320、330、340和350相關(guān)聯(lián)的操作參數(shù)。
在一個例子中,如上所述,預(yù)測功能部件216在一個或多個預(yù)測算法中使用統(tǒng)計參數(shù)。在一種實施方式中,這些統(tǒng)計參數(shù)可在計算平臺100最初被上電起動或開始之時被學習到或確定出。所學習到或確定出的統(tǒng)計參數(shù)還可在計算平臺100的運行時期間被自動或定期的調(diào)節(jié)。在一個例子中,該統(tǒng)計參數(shù)還可在給定時間段(例如訓(xùn)練時間)內(nèi)被學習到,或者針對一個或多個類型的計算平臺100資源和/或利用率參數(shù)而被配置。
在一種實施方式中,統(tǒng)計參數(shù)允許預(yù)測功能部件216預(yù)見將存儲器模塊160轉(zhuǎn)變到不同狀態(tài)來滿足存儲器利用率需求的需要。隨著一個或多個存儲器模塊160被轉(zhuǎn)變到這些不同的功率狀態(tài),該預(yù)見例如可降低可能的存儲器等待時間或降低該計算平臺100的數(shù)據(jù)吞吐量?;谟嬎闫脚_100的功率預(yù)算分布的功率預(yù)算限制例如也可能會影響存儲器利用率需求。因此,預(yù)測功能部件216可預(yù)見滿足計算平臺100的給定功率預(yù)算分布的轉(zhuǎn)變需求。預(yù)測功能部件216使用的這些統(tǒng)計參數(shù)可包括但不限于對存儲器控制器作出的存儲器請求、處理元件利用率、網(wǎng)絡(luò)帶寬和功率預(yù)算分布。
在一個示例中,從鉤子320獲得的網(wǎng)絡(luò)通信業(yè)務(wù)信息能夠加入到統(tǒng)計參數(shù)中用于預(yù)見網(wǎng)絡(luò)帶寬。存儲器利用率例如基于網(wǎng)絡(luò)帶寬改變,因為計算平臺100可使用存儲器模塊160來至少臨時存儲從網(wǎng)絡(luò)接收或發(fā)送到該網(wǎng)絡(luò)的信息。因此,用于預(yù)測存儲器利用率的統(tǒng)計參數(shù)可基于從鉤子320獲得的網(wǎng)絡(luò)通信業(yè)務(wù)信息在上電時、定期地或在給定時間段上來調(diào)節(jié)。
在一種實施方式中,對計算平臺100的存儲器訪問模式在初始訓(xùn)練期間或在運行應(yīng)用時從鉤子340獲得。這可產(chǎn)生指示計算平臺100的峰值、忙通信業(yè)務(wù)時間或遠離峰值或低存儲器通信業(yè)務(wù)時間的學習的統(tǒng)計參數(shù)??紤]與應(yīng)用相關(guān)聯(lián)的各種通信業(yè)務(wù)模型,這些忙或較低通信業(yè)務(wù)時間可基于每天的時間、每年的日期和假期。忙或低通信業(yè)務(wù)時間也可基于滑動時間窗或具有平均和方差參數(shù)的標準概率分布函數(shù)。適當?shù)拿虻屯ㄐ艠I(yè)務(wù)模型在訓(xùn)練期間被確定,并且還可經(jīng)由確定的配置參數(shù)引入到統(tǒng)計模型中。這些忙或低的通信業(yè)務(wù)時間可用于以下表1所示的預(yù)測算法(針對單個或多個存儲器模塊160)
表1if(current_time==busy_traffic_time)監(jiān)控操作參數(shù)來確認忙通信業(yè)務(wù)時間。
If(memory_access_pattern==busy_traffic)功率狀態(tài)不變。
Else if(memory access pattern==low traffic or no traffic)調(diào)整統(tǒng)計參數(shù)以學習低通信業(yè)務(wù)時間的實例;功率狀態(tài)不變。
Else if(current_time==low_traffic_time or idle_time)基于空閑窗和剩余空閑的概率確定存儲器模塊的適當?shù)牡凸β薁顟B(tài)和基于所學習到的統(tǒng)計參數(shù)確定在某段時間上在低通信業(yè)務(wù)時間中存儲器模塊的適當?shù)牡凸β薁顟B(tài);將存儲器模塊轉(zhuǎn)變到低功率狀態(tài);基于低或空閑通信業(yè)務(wù)時間的期望時間段,啟動將存儲器轉(zhuǎn)變出低功率狀態(tài)的結(jié)束時間段計時器;繼續(xù)監(jiān)控操作參數(shù)(存儲器容量利用率、CPU利用率、網(wǎng)絡(luò)通信業(yè)務(wù)、存儲器訪問模式)來在其被需要之前主動將存儲器模塊向回轉(zhuǎn)變到活動狀態(tài)。
在另一種實施方式中,從鉤子320獲得的網(wǎng)絡(luò)通信業(yè)務(wù)信息和從鉤子340獲得的存儲器訪問模式產(chǎn)生了學習的統(tǒng)計參數(shù),該統(tǒng)計參數(shù)指示忙或低通信業(yè)務(wù)時間可與從鉤子330獲得的信息得出的學習的統(tǒng)計參數(shù)一起使用。這些從鉤子330獲得的信息得出的統(tǒng)計參數(shù)可指示處理元件130的峰值存儲器利用率(例如CPU存儲器利用率)。在一個示例中,計算平臺100的配置參數(shù)包括存儲器模塊160的存儲容量,并且該存儲器容量可與峰值存儲器利用率和在以下表2所示的示例預(yù)測算法中的忙或低通信業(yè)務(wù)時間相比較。忙或低通信業(yè)務(wù)時間可基于上述的規(guī)則(例如每天的時間、每一年的日期、假期、時間窗、概率分布函數(shù))。
表2if(current_time==busy_traffic_time)監(jiān)控操作參數(shù)或鉤子(330)以確認忙通信業(yè)務(wù)時間If(memory_capacity_utilization==peak_memory)
功率狀態(tài)不變.
Else if(memory_capacity_utilization==low_traffic or no_traffic)調(diào)整統(tǒng)計參數(shù)以學習該低通信業(yè)務(wù)時間的實例;功率狀態(tài)不變.
Else if(current_time==low_traffic_time or idle_time)基于空閑窗和剩余空閑的概率確定存儲器模塊的適當?shù)牡凸β薁顟B(tài)和基于所學習到的統(tǒng)計參數(shù)確定在某段時間上在低通信業(yè)務(wù)時間中存儲器模塊的適當?shù)牡凸β薁顟B(tài);將存儲器模塊轉(zhuǎn)變?yōu)榈凸β薁顟B(tài);基于低或空閑通信業(yè)務(wù)的期望時間段,啟動將存儲器轉(zhuǎn)變出低功率狀態(tài)的結(jié)束時間段計時器;繼續(xù)監(jiān)控操作參數(shù)(存儲器容量利用率、CPU利用率、網(wǎng)絡(luò)帶寬)以在其被需要之前主動將存儲器模塊向回轉(zhuǎn)變到活動狀態(tài)。
在另一種實施方式中,使用計算平臺100的功率預(yù)算分布和由計算平臺100消耗的功率一起來確定限制由計算平臺100將存儲器模塊160所消耗的功率的需要。在該實施方式中,鉤子330和340中的信息被獲得來為計算平臺100消耗的功率聚集或監(jiān)控操作參數(shù)。例如,從鉤子330獲得的CPU利用率和從鉤子340獲得的存儲器帶寬可與計算平臺100所消耗的功率相關(guān)。該功率預(yù)算分布可與在以下表3所示的示例預(yù)測算法中的功率消耗相比較。
表3If(power_consumed>power_budget_profile);If(CPU_utilization>peak_CPU_utilization)檢查存儲器利用率(330,340)If(low_memory_traffic)將存儲器模塊轉(zhuǎn)變到低功率狀態(tài)來降低所消耗的功率;或壓制存儲器帶寬來降低所消耗的功率;繼續(xù)監(jiān)控所消耗的功率;Else if(CPU_utilization==low_traffic)將CPU轉(zhuǎn)變到不同功率狀態(tài)來降低所消耗的功率。
圖5是轉(zhuǎn)變功能部件218可將存儲器模塊160中的一個或多個存儲器模塊轉(zhuǎn)變到的示例存儲器功率狀態(tài)500的圖示。如圖5所示,存儲器功率狀態(tài)500包括離線狀態(tài)510、在線狀態(tài)520、待機狀態(tài)530和掛起狀態(tài)540。
在一種實施方式中,存儲器模塊160的存儲模塊可以是雙列直插存儲器模塊(DIMM)。在該實施方式中,DIMM包括緩沖器(未示出)用于臨時保持向DIMM寫入或從其讀取的數(shù)據(jù)。該包括緩沖器的DIMM例如被稱為全緩沖DIMM或FB-DIMM。例如,F(xiàn)B-DIMM可按照JEDEC固態(tài)技術(shù)協(xié)會提出的FB-DIMM標準中所描述的方式進行操作。根據(jù)提出的FB-DIMM標準,F(xiàn)B-DIMM的緩沖部分被稱為高級存儲器緩沖器(AMB)。
在一個示例中,F(xiàn)B-DIMM AMB通過存儲器通道與存儲器控制器140相耦合。在一種配置中,例如,2個FB-DIMM通過單個存儲器通道耦合到存儲器控制器140。例如,用于存儲模塊160-1和160-2的AMB通過存儲器通道162耦合,用于存儲模塊160-3和160-4的AMB通過存儲器通道164耦合,以及用于存儲模塊160-n和160-n+1的AMB通過通信通道166耦合(參見圖1)。在該配置中,例如,將寫入DIMM或從其讀取的數(shù)據(jù)首先被路由到AMB并然后轉(zhuǎn)發(fā)到其目的地(例如存儲器控制器140或DIMM)。
根據(jù)一個示例,對于FB-DIMM來說,離線狀態(tài)510表示其中AMB和DIMM都被斷開電源的功率狀態(tài)。在線狀態(tài)520例如是當DIMM和AMB被完全供電時的狀態(tài)。待機狀態(tài)530例如是當DIMM相對于被完全供電的低功率模式(例如,低電模式)并且將DIMM耦合到存儲器管理器140的AMB上的接口被關(guān)閉(例如傳輸和接收通信鏈路被禁止了一段短的、固定時間段或被禁止了一段長的、變化時間段)之時。掛起狀態(tài)540可表示其中AMB被斷開電源并且DIMM處于自刷新模式的功率狀態(tài)。
在一種實施方式中,如圖5所描繪的,F(xiàn)B-DIMM可從離線狀態(tài)510轉(zhuǎn)變到在線狀態(tài)520。在在線狀態(tài)520中,例如,F(xiàn)B-DIMM能夠被轉(zhuǎn)變到掛起狀態(tài)540或待機狀態(tài)530。FB-DIMM可從待機狀態(tài)530或掛起狀態(tài)540轉(zhuǎn)變到在線狀態(tài)520。另外,如果在待機狀態(tài)530中,那么FB-DIMM也可轉(zhuǎn)變到掛起狀態(tài)540。最后,如果在掛起狀態(tài)540中,那么FB-DIMM可轉(zhuǎn)變到離線狀態(tài)510或轉(zhuǎn)變到待機狀態(tài)530。本公開不限于這幾種類型的存儲器功率狀態(tài)轉(zhuǎn)變并且也不限于僅FB-DIMM存儲器類型。其它存儲器類型可包括但是不限于幾代雙數(shù)據(jù)速率(DDR)靜動隨機訪問存儲器,比如DDR(第一代)、DDR2(第二代)或DDR3(第三代)。其它類型的存儲器還可包括FB-DIMM的未來幾代或其它存儲器技術(shù)。
圖6是預(yù)測存儲器功率利用率和基于預(yù)測將存儲器模塊轉(zhuǎn)變到另一個功率狀態(tài)的示例方法的流程圖。在一個例子中,如圖1所示的計算平臺100被用于描述該方法。在方框610中,例如,計算平臺100被供電著或被上電。該上電可在功率被最初提供給計算平臺100時發(fā)生,或在計算平臺100的復(fù)位時伴隨發(fā)生。
在方框620中,在一個示例中,在計算平臺100上電時,MPU管理器110中的功率優(yōu)化邏輯210激活配置功能部件212。配置功能部件212在一個示例中獲得與駐留在計算平臺100上的元件相關(guān)聯(lián)的一個或多個配置參數(shù)。這些配置參數(shù)可包括計算平臺100的資源和那些資源的配置。配置功能部件212在一個示例中將這些配置參數(shù)的至少一部分編輯到表中并且將該表臨時存儲到存儲器中(例如存儲器230)。配置參數(shù)212還可編輯類似于表400的表來指示通過其操作參數(shù)可被監(jiān)控的鉤子。例如,該表至少被臨時存儲在存儲器中(例如,存儲器230)。
在方框630中,在一個示例中,功率優(yōu)化邏輯210激活監(jiān)控功能部件214。在一種實施方式中,監(jiān)控功能部件214獲得或訪問由配置功能部件212臨時存儲的表。例如,監(jiān)控功能部件214使用在類似于表400的表中描述的鉤子來便于監(jiān)控計算平臺100的操作參數(shù)。例如,監(jiān)控功能部件214使用鉤子320、330、340和360來獲得與網(wǎng)絡(luò)接口120、處理元件130、存儲器控制器140和存儲器模塊160分別相關(guān)聯(lián)的操作參數(shù)。
在方框640中,在一個示例中,功率優(yōu)化邏輯210激活預(yù)測功能部件216。預(yù)測功能部件216在一個示例中收集由配置功能部件212和監(jiān)控功能部件214獲得的配置參數(shù)和操作參數(shù)。如上所述,預(yù)測功能部件216圍繞計算平臺100的配置和操作參數(shù)實施各統(tǒng)計預(yù)測模型,用以預(yù)測計算平臺100的存儲器功率利用率。
在一種實施方式中,預(yù)測功能部件216對包括配置和操作參數(shù)的各種統(tǒng)計預(yù)測模型的實施,允許預(yù)測功能部件216通過各計算平臺100元件來預(yù)測存儲器利用率的變化。例如,在存儲器模塊160的給定存儲模塊中的存儲器要么由處理元件130的一個或多個實體(例如,操作系統(tǒng)和/或應(yīng)用)分配很重,要么完全沒有分配。當監(jiān)控功能部件214從處理元件130定期獲得鉤子330時,這可被指示出來。至少部分地基于鉤子330中的信息和計算平臺100的配置參數(shù)和學習或訓(xùn)練的統(tǒng)計參數(shù),預(yù)測功能部件216能夠預(yù)測給定存儲器模塊的利用率并且其功率可相應(yīng)地改變來降低存儲器的等待時間或滿足對計算平臺100的給定功率預(yù)算分布。
除了使用模式之外,在一個示例中,預(yù)測功能部件216還可考慮存儲器模塊160的各種配置參數(shù),比如存儲器交錯、存儲器鏡像、存儲器備份和等級次序分配。當一個或多個給定存儲器模塊被轉(zhuǎn)變到另一個功率狀態(tài)時,這種考慮可允許預(yù)測功能部件216確定可最少影響計算平臺100元件(例如,處理元件130)性能的預(yù)測。
在一種實施方式中,存儲器模塊160-1-160-n+1是如上圖5所述的FB-DIMM。在一個示例中,存儲器模塊160-1-160-n+1在每個分支每個通信通道具有2個DIMM的配置,不過本公開不限于這種類型的存儲器模塊配置。例如,如果BIOS已經(jīng)啟用了分支順序和等級交錯4∶1配置,那么在給定分支中的等級參與到分支存儲器區(qū)域中以及甚至更低級存儲器地址訪問進入給定分支上的DIMM。因此,預(yù)測功能部件216可考慮這種交叉,并且將一組四個DIMM視為單個存儲器資源組,該單個存儲器資源組有可能被轉(zhuǎn)變到相同的功率狀態(tài)(例如,從功率狀態(tài)500中)。類似的,預(yù)測功能部件216可考慮其它類型的存儲器交錯配置并且還可考慮計算平臺100上實施的終端用戶的應(yīng)用的功率和性能友好的存儲器配置。
在方框650中,在一個示例中,功率優(yōu)化邏輯210激活轉(zhuǎn)變功能部件218。轉(zhuǎn)變功能部件218在一個示例中從預(yù)測功能部件216接收預(yù)測基于它對至少一個統(tǒng)計預(yù)測模型的實施將不利用存儲器模塊160的給定的一個或多個存儲器模塊。例如給定的存儲器模塊為存儲器模塊160-1。因此,例如,轉(zhuǎn)變功能部件218使存儲器模塊160-1轉(zhuǎn)變到另一個功率狀態(tài)以節(jié)省計算平臺100的功率。這另一功率狀態(tài)可以是在圖5所述的功率狀態(tài)500之一。例如,如果模塊160-1是在線狀態(tài)520,那么轉(zhuǎn)變功能部件218可使存儲器模塊160-1轉(zhuǎn)變到離線狀態(tài)510、待機狀態(tài)530或掛起狀態(tài)540。
在一個示例中,在模塊160-1轉(zhuǎn)變到另一個功率狀態(tài)后,由預(yù)測功能部件216基于配置和操作參數(shù)所做的相繼預(yù)測可吸收可能的再激活/等待時間損失,該損失會使計算平臺100的性能變差。因此,該過程可返回到方框620和/或630來預(yù)測存儲器模塊160-1的使用,然后基于該預(yù)測的使用或使用模式使模塊160-1轉(zhuǎn)變到另一個功率狀態(tài)。
再次參考圖1中的MPU管理器110。MPU管理器110例如被描述為計算平臺100的元件,其與網(wǎng)絡(luò)接口120、處理元件130和存儲器控制器140相分離開。在該示例中,MPU管理器110可以是專用的管理微控制器(比如服務(wù)處理器)的一部分或位于其上。
在另一個示例中,MPU管理器110駐留在包括存儲器控制器140(例如芯片組)的一組計算平臺100資源中。MPU管理器110在該另一個示例中可以是芯片組內(nèi)的專用管理微控制器的一部分或被包括在存儲器控制器140內(nèi)或位于其上。MPU110例如通過各種與存儲器控制器140耦合的通信鏈路獲得配置和操作參數(shù)。
在又一個示例中,MPU管理器110是計算平臺100的虛擬分區(qū)的一部分。這可以是運行在專用隔離核心上的服務(wù)操作系統(tǒng)或在處理元件130中使用虛擬技術(shù)/虛擬機監(jiān)控(VT/VMM)支持的核心的一部分。MPU管理器110例如可使用各種通信鏈路,該通信鏈路耦合到處理元件130和/或其中MPU管理器110存在或正在執(zhí)行以獲得配置和操作參數(shù)的虛擬部分。
再次參考圖2中的存儲器230。存儲器230可包括許多種存儲介質(zhì),包括但是不限于易失性存儲器、非易失性存儲器、閃存、可程序化變量或狀態(tài)、隨機訪問存儲器(RAM)、只讀存儲器(ROM)、閃存或其它靜態(tài)或動態(tài)存儲介質(zhì)。
在一個示例中,機器可讀指令可從一種形式的機器可訪問介質(zhì)提供給存儲器230。機器可訪問介質(zhì)可表示任何機制,該機制提供(即存儲和/或傳輸)可由機器(例如ASIC、特殊功能控制器或處理器、FPGA或其它硬件設(shè)備)讀取的形式的信息或內(nèi)容。例如,機器可訪問介質(zhì)包括ROM;ROM;磁盤存儲介質(zhì);光存儲介質(zhì);閃存設(shè)備;電、光、聲或其它形式的傳播信號(例如載波、紅外信號、數(shù)字信號)等等。
在前面的描述中,為了解釋的目的,描述了很多特定細節(jié)來提供對于本公開的理解。很明顯本公開可在沒有這些指定細節(jié)的情況下實踐。在其它情況中,結(jié)構(gòu)和設(shè)備以框圖塊的形式示出來避免使本公開的不清楚。
本公開中對術(shù)語“響應(yīng)于”的參考不限于僅響應(yīng)于特定功能部件和/或結(jié)構(gòu)。功能部件還可“響應(yīng)于”其它功能部件和/或結(jié)構(gòu)并且還可位于該功能部件和/或結(jié)構(gòu)之內(nèi)。此外,術(shù)語“響應(yīng)于”還可與其它術(shù)語比如“可通信地耦合到”或“可操作地耦合到”表示同義,不過該術(shù)語在此方面并不受限制。
權(quán)利要求
1.一種方法,包括實施至少一個統(tǒng)計預(yù)測模型來預(yù)測存儲器功率利用率并且降低計算平臺的功率消耗,該實施包括確定計算平臺的配置參數(shù);監(jiān)控計算平臺的操作參數(shù);以及基于所確定的配置參數(shù)和監(jiān)控的操作參數(shù)預(yù)測計算平臺的存儲器功率利用率;以及至少部分地基于經(jīng)由至少一個統(tǒng)計預(yù)測模型的實施所預(yù)測的存儲器功率利用率,將駐留在計算平臺上的至少一個存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)中的一個。
2.如權(quán)利要求1所述的方法,其中至少一個統(tǒng)計預(yù)測模型包括在預(yù)測算法中使用在計算平臺被最初上電時開始的給定時間段期間所確定的統(tǒng)計參數(shù)。
3.如權(quán)利要求1所述的方法,其中至少一個統(tǒng)計預(yù)測模型包括在預(yù)測算法中使用在給定時間段期間所確定且在計算平臺的運行期間被定期調(diào)節(jié)的統(tǒng)計參數(shù)。
4.如權(quán)利要求3所述的方法,其中該統(tǒng)計參數(shù)包括從以下組中選擇的至少一個統(tǒng)計參數(shù)對存儲器控制器作出的對至少一個存儲器模塊的存儲器請求、計算平臺上的處理元件的處理元件利用率、計算平臺上的處理元件的功率狀態(tài)、計算平臺上的處理元件的存儲器容量利用率以及在計算平臺和網(wǎng)絡(luò)之間的至少一個通信鏈路上的網(wǎng)絡(luò)帶寬。
5.如權(quán)利要求3所述的方法,其中處理元件的功率狀態(tài)包括掛起功率狀態(tài)、待機功率狀態(tài)和深度睡眠功率狀態(tài)之一。
6.如權(quán)利要求1所述的方法,其中確定配置參數(shù)包括從存儲器控制器獲得至少一個存儲器模塊的配置參數(shù),該配置參數(shù)包括該至少一個存儲器模塊的至少一個使用配置,該至少一個使用配置選自以下項組成的組中存儲器交錯、存儲器鏡像、存儲器備份和等級次序分配。
7.如權(quán)利要求6所述的方法,其中監(jiān)控操作參數(shù)包括通過從處理元件、存儲器控制器、網(wǎng)絡(luò)接口和至少一個存儲器模塊中之一的至少一個存儲器寄存器獲得信息來監(jiān)控操作參數(shù)。
8.如權(quán)利要求7所述的方法,其中從處理元件的至少一個存儲器寄存器獲得信息包括該信息包括選自下組中的至少之一處理元件利用率、處理元件性能和處理元件功率狀態(tài)。
9.如權(quán)利要求1所述的方法,其中將至少一個存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)之一包括該功率狀態(tài)包括離線狀態(tài)、在線狀態(tài)、待機狀態(tài)和掛起狀態(tài)。
10.如權(quán)利要求9所述的方法,其中該至少一個存儲器模塊是全緩沖的雙列直插存儲器模塊(FB-DIMM)。
11.如權(quán)利要求10所述的方法,其中將FB-DIMM轉(zhuǎn)變到多個功率狀態(tài)之一使得駐留在計算平臺上的另一個FB-DIMM也轉(zhuǎn)變到相同的功率狀態(tài)。
12.一種設(shè)備,包括存儲器功率利用率管理器,其包括實施至少一個統(tǒng)計預(yù)測模型以預(yù)測計算平臺的存儲器功率利用率的邏輯,該實施包括該邏輯用于確定計算平臺的配置參數(shù);監(jiān)控計算平臺的操作參數(shù);以及基于確定的配置參數(shù)和監(jiān)控的操作參數(shù)預(yù)測計算平臺的存儲器功率利用率,其中存儲器功率利用率管理器將預(yù)測的存儲器功率利用率指示給駐留在計算平臺上的存儲器控制器,以便讓存儲器控制器至少部分地基于所指示的對計算平臺的存儲器功率利用率的預(yù)測,將駐留在計算平臺上的至少一個存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)中的一個。
13.如權(quán)利要求12所述的裝置,其中確定配置參數(shù)包括該邏輯從存儲器控制器獲得配置參數(shù),該配置參數(shù)包括至少一個存儲器模塊的至少一個使用配置,該至少一個使用配置選自以下項組成的組中存儲器交錯、存儲器鏡像、存儲器備份和等級次序分配。
14.如權(quán)利要求13所述的裝置,其中監(jiān)控操作參數(shù)包括該邏輯通過從處理元件、存儲器控制器、網(wǎng)絡(luò)接口和至少一個存儲器模塊中之一的至少一個存儲器寄存器獲得信息來監(jiān)控操作參數(shù)。
15.如權(quán)利要求14所述的裝置,其中從存儲器控制器的至少一個存儲器寄存器獲得信息包括該信息包括對該存儲器控制器的存儲器訪問模式,該存儲器訪問模式包括在給定時間段該存儲器控制器為計算平臺完成的讀取和寫入請求的數(shù)量。
16.如權(quán)利要求12所述的裝置,其中存儲器功率利用率管理器包括位于駐留在計算平臺上的專用管理微控制器上的存儲器功率利用率管理器。
17.如權(quán)利要求12所述的裝置,其中存儲器功率利用率管理器包括位于存儲器控制器上的存儲器功率利用率管理器。
18.如權(quán)利要求12所述的裝置,其中存儲器功率利用率管理器包括位于計算平臺的虛擬分區(qū)中的存儲器功率利用率管理器。
19.如權(quán)利要求12所述的裝置,其中存儲器功率利用率管理器至少包括運行在專用隔離核心或使用虛擬技術(shù)操作的處理元件的核心的一部分之一上的服務(wù)操作系統(tǒng)的一部分。
20.一種計算平臺,包括處理元件;多存儲器模塊;該存儲器模塊的存儲器控制器;接收和轉(zhuǎn)發(fā)數(shù)據(jù)的網(wǎng)絡(luò)接口;以及存儲器功率利用率管理器,其包括實施一個或多個統(tǒng)計預(yù)測模型用以預(yù)測計算平臺的存儲器功率利用率的邏輯,該實施包括該邏輯來確定計算平臺的配置參數(shù);監(jiān)控計算平臺的操作參數(shù);以及基于確定的配置參數(shù)和監(jiān)控的操作參數(shù)預(yù)測計算平臺的存儲器功率利用率,其中存儲器功率利用率管理器將預(yù)測的存儲器功率利用率指示給存儲器控制器,以便存儲器控制器至少部分地基于所指示的對計算平臺的存儲器功率利用率的預(yù)測,將該多個存儲器模塊中的存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)中的一個。
21.如權(quán)利要求20所述的計算平臺,其中確定配置參數(shù)包括該邏輯從存儲器控制器獲得配置參數(shù),該配置參數(shù)包括多個存儲器模塊的至少一個使用配置,該至少一個使用配置選自以下項組成的組中存儲器交錯、存儲器鏡像、存儲器備份和等級次序分配。
22.如權(quán)利要求21所述的計算平臺,其中監(jiān)控操作參數(shù)包括該邏輯通過從處理元件、存儲器控制器、網(wǎng)絡(luò)接口和至少一個存儲器模塊中之一的至少一個存儲器寄存器獲得信息來監(jiān)控操作參數(shù)。
23.如權(quán)利要求22所述的計算平臺,其中從網(wǎng)絡(luò)接口的至少一個存儲器寄存器獲得信息包括該信息包括對從通過網(wǎng)絡(luò)接口耦合到計算平臺的網(wǎng)絡(luò)接收和轉(zhuǎn)發(fā)到該網(wǎng)絡(luò)的基于數(shù)據(jù)包的數(shù)據(jù)的網(wǎng)絡(luò)通信業(yè)務(wù)統(tǒng)計。
24.如權(quán)利要求20所述的計算平臺,其中將該多個存儲器模塊的存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)之一包括功率狀態(tài)包括離線狀態(tài)、在線狀態(tài)、待機狀態(tài)和掛起狀態(tài)。
25.一種包括內(nèi)容的機器可訪問介質(zhì),其中當由駐留在計算平臺上的機器執(zhí)行該內(nèi)容時,該內(nèi)容使得該機器實施至少一個統(tǒng)計預(yù)測模型來預(yù)測存儲器功率利用率并且降低計算平臺的功率消耗,該實施包括-確定計算平臺的配置參數(shù);-監(jiān)控計算平臺的操作參數(shù);以及-基于確定的配置參數(shù)和監(jiān)控的操作參數(shù)預(yù)測計算平臺的存儲器功率利用率;以及-至少部分地基于經(jīng)由至少一個統(tǒng)計預(yù)測模型的實施所預(yù)測的存儲器功率利用率,將駐留在計算平臺上的至少一個存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)中的一個。
26.如權(quán)利要求25所述的機器可訪問介質(zhì),其中確定配置參數(shù)包括從存儲器控制器獲得該至少一個存儲器模塊的配置參數(shù),配置參數(shù)包括至少一個存儲器模塊的至少一個使用配置,該至少一個使用配置選自以下項組成的組中存儲器交錯、存儲器鏡像、存儲器備份和等級次序分配。
27.如權(quán)利要求26所述的機器可訪問介質(zhì),其中監(jiān)控操作參數(shù)包括通過從處理元件、存儲器控制器、網(wǎng)絡(luò)接口和至少一個存儲器模塊中之一的至少一個存儲器寄存器獲得信息來監(jiān)控操作參數(shù)。
28.如權(quán)利要求27所述的機器可訪問介質(zhì),其中從處理元件的至少一個存儲器寄存器獲得信息包括,該信息包括從以下組中選擇的至少之一處理元件利用率、處理元件性能和處理元件功率狀態(tài)。
全文摘要
一種方法包括實施至少一個統(tǒng)計預(yù)測模型來預(yù)測存儲器功率的利用率并且降低計算平臺的功率消耗。該實施包括確定計算平臺的配置參數(shù),監(jiān)控計算平臺的操作參數(shù),以及基于確定的配置參數(shù)和監(jiān)控的操作參數(shù)預(yù)測計算平臺的存儲器功率利用率。該方法還包括至少部分地基于經(jīng)由至少一個統(tǒng)計預(yù)測模型的實施所預(yù)測的存儲器功率利用率,將駐留在計算平臺上的至少一個存儲器模塊轉(zhuǎn)變到多個功率狀態(tài)中的一個。
文檔編號G06F1/32GK101086679SQ20061013096
公開日2007年12月12日 申請日期2006年12月30日 優(yōu)先權(quán)日2006年6月6日
發(fā)明者R·多德亞, N·錢德瓦尼, C·海爾馬思, U·穆克赫吉, A·安布洛斯 申請人:英特爾公司
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
临桂县| 乐山市| 峨眉山市| 蒙阴县| 友谊县| 加查县| 祁门县| 长岛县| 遂川县| 宣威市| 赤城县| 双辽市| 青龙| 娱乐| 满洲里市| 鹤壁市| 贵阳市| 治多县| 合阳县| 宁夏| 靖边县| 吉林省| 汕尾市| 文水县| 遂平县| 新竹县| SHOW| 岳池县| 万山特区| 林西县| 嘉禾县| 崇文区| 扬中市| 武冈市| 辽阳县| 天津市| 澜沧| 万年县| 闽侯县| 南和县| 工布江达县|