欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

利用存儲(chǔ)器集線器存儲(chǔ)器模塊組織數(shù)據(jù)傳送的系統(tǒng)和方法

文檔序號(hào):6655813閱讀:397來(lái)源:國(guó)知局
專(zhuān)利名稱(chēng):利用存儲(chǔ)器集線器存儲(chǔ)器模塊組織數(shù)據(jù)傳送的系統(tǒng)和方法
技術(shù)領(lǐng)域
本發(fā)明涉及基于處理器的系統(tǒng),更具體地說(shuō),涉及具有存儲(chǔ)器模塊的基于處理器的系統(tǒng),其中的存儲(chǔ)器模塊用存儲(chǔ)器集線器將幾個(gè)存儲(chǔ)器裝置與處理器或其它存儲(chǔ)器訪問(wèn)裝置連接起來(lái)。
背景技術(shù)
基于處理器的系統(tǒng),比如計(jì)算機(jī)系統(tǒng),使用存儲(chǔ)器裝置,如動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(“DRAM”)裝置,作為系統(tǒng)存儲(chǔ)器來(lái)保存由處理器訪問(wèn)的指令和數(shù)據(jù)。在典型的計(jì)算機(jī)系統(tǒng)中,處理器通過(guò)處理器總線以及存儲(chǔ)器控制器與系統(tǒng)存儲(chǔ)器通信。處理器發(fā)出存儲(chǔ)器請(qǐng)求,該存儲(chǔ)器請(qǐng)求包括如讀命令一樣的存儲(chǔ)器命令,以及指定要從中讀取數(shù)據(jù)或指令或者要向其中寫(xiě)入數(shù)據(jù)或指令的位置的地址。存儲(chǔ)器控制器利用命令和地址產(chǎn)生適當(dāng)?shù)拿钚盘?hào)以及行和列地址,這些信息被應(yīng)用于系統(tǒng)存儲(chǔ)器。響應(yīng)這些命令和地址,在系統(tǒng)存儲(chǔ)器和處理器之間傳送數(shù)據(jù)。存儲(chǔ)器控制器通常是系統(tǒng)控制器的一部分,系統(tǒng)控制器還包括用于把處理器總線和擴(kuò)展總線如PCI總線連接起來(lái)的總線橋電路。
盡管存儲(chǔ)器裝置的運(yùn)行速度一直在提高,但是這種運(yùn)行速度的提高未能趕上處理器運(yùn)行速度的提高。連接處理器和存儲(chǔ)器裝置的存儲(chǔ)器控制器的運(yùn)行速度的提高更慢。存儲(chǔ)器控制器和存儲(chǔ)器裝置的較慢速度限制了處理器和存儲(chǔ)器裝置間的數(shù)據(jù)帶寬。
增大進(jìn)出存儲(chǔ)器裝置數(shù)據(jù)帶寬的途徑之一是使用通過(guò)存儲(chǔ)器集線器和處理器連接的多個(gè)存儲(chǔ)器裝置,如圖1所示。采用存儲(chǔ)器集線器結(jié)構(gòu)的計(jì)算機(jī)系統(tǒng)100包括處理器104用于完成各種計(jì)算功能,比如執(zhí)行專(zhuān)門(mén)的軟件完成專(zhuān)門(mén)的計(jì)算或任務(wù)。處理器104包括處理器總線106,處理器總線一般包括地址總線、控制總線和數(shù)據(jù)總線。典型情況下處理器總線106和高速緩沖存儲(chǔ)器108連接,高速緩沖存儲(chǔ)器通常是靜態(tài)隨機(jī)存取存儲(chǔ)器(“SRAM”)。最后,處理器總線106和有時(shí)也叫做總線橋的系統(tǒng)控制器110連接。
系統(tǒng)控制器110包括和處理器104連接的存儲(chǔ)器集線器控制器128。存儲(chǔ)器集線器控制器128還通過(guò)總線系統(tǒng)134和一些存儲(chǔ)器模塊130a~n連接。每個(gè)存儲(chǔ)器模塊130a~n都包括存儲(chǔ)器集線器140,該存儲(chǔ)器集線器通過(guò)命令、地址和數(shù)據(jù)總線連接著一些存儲(chǔ)器裝置148,將這些總線統(tǒng)一表示為總線150。存儲(chǔ)器集線器140在控制器128和存儲(chǔ)器裝置148之間有效地發(fā)送存儲(chǔ)器請(qǐng)求與響應(yīng)。采用這種結(jié)構(gòu)的計(jì)算機(jī)系統(tǒng)具有更高的帶寬,因?yàn)樘幚砥?04能夠訪問(wèn)一個(gè)存儲(chǔ)器模塊130a~n,同時(shí)另一個(gè)存儲(chǔ)器模塊130a~n正在響應(yīng)先前的存儲(chǔ)器訪問(wèn)。例如,處理器104能夠向系統(tǒng)中的存儲(chǔ)器模塊130a~n之一輸出寫(xiě)數(shù)據(jù),同時(shí)系統(tǒng)中的另一個(gè)存儲(chǔ)器模塊130a~n正準(zhǔn)備向處理器104提供讀數(shù)據(jù)。采用存儲(chǔ)器集線器結(jié)構(gòu)的計(jì)算機(jī)系統(tǒng)的運(yùn)行效率,使得極大地提高存儲(chǔ)器系統(tǒng)的數(shù)據(jù)帶寬更加實(shí)際。存儲(chǔ)器集線器結(jié)構(gòu)還能夠顯著提高計(jì)算機(jī)系統(tǒng)中的存儲(chǔ)器容量。
系統(tǒng)控制器110也充當(dāng)各種其它組件到處理器104的通信路徑。具體而言,系統(tǒng)控制器110包括圖形端口,該圖形端口通常和圖形控制器112連接,圖形控制器112則和視頻終端114連接。系統(tǒng)控制器110還和一個(gè)或多個(gè)輸入裝置118如鍵盤(pán)或鼠標(biāo)連接,以使操作者和計(jì)算機(jī)系統(tǒng)110對(duì)接。通常,計(jì)算機(jī)系統(tǒng)100還包括通過(guò)系統(tǒng)控制器110和處理器104連接的一個(gè)或多個(gè)輸出裝置120,如打印機(jī)。一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)裝置124通常也通過(guò)系統(tǒng)控制器110和處理器104連接,使處理器104能夠?qū)?shù)據(jù)存入內(nèi)部或外部存儲(chǔ)介質(zhì)(未示出)或從中獲得數(shù)據(jù)。典型存儲(chǔ)裝置124的實(shí)例包括硬盤(pán)、軟盤(pán)、盒式磁帶和光盤(pán)只讀存儲(chǔ)器(CD-ROM)。
存儲(chǔ)器集線器結(jié)構(gòu)能夠大大提高針對(duì)存儲(chǔ)器保存和讀出數(shù)據(jù)的速率,因?yàn)樗试S多個(gè)存儲(chǔ)器模塊130中的每一個(gè)中的存儲(chǔ)器請(qǐng)求同時(shí)得到服務(wù)。事實(shí)上,采用每個(gè)模塊都包括存儲(chǔ)器集線器的多個(gè)存儲(chǔ)器模塊的存儲(chǔ)器系統(tǒng),能夠以這樣的高速率一起發(fā)送和接收數(shù)據(jù),從而使得總線系統(tǒng)134成為限制存儲(chǔ)器系統(tǒng)數(shù)據(jù)帶寬的“瓶頸”。
已經(jīng)使用了兩種技術(shù)來(lái)擴(kuò)大采用存儲(chǔ)器集線器結(jié)構(gòu)的存儲(chǔ)器系統(tǒng)的數(shù)據(jù)帶寬。第一種,不采用傳統(tǒng)的地址、數(shù)據(jù)和控制總線,而是將每個(gè)存儲(chǔ)器請(qǐng)求或“事務(wù)處理”的地址、數(shù)據(jù)和控制位在單獨(dú)一個(gè)數(shù)據(jù)包中一起發(fā)送。數(shù)據(jù)包包括命令頭,命令頭后面是讀出的或者要寫(xiě)入的數(shù)據(jù)。命令頭包括對(duì)應(yīng)于存儲(chǔ)器命令比如寫(xiě)入或讀出命令的位、標(biāo)識(shí)位和地址位,標(biāo)識(shí)位指定要將請(qǐng)求發(fā)送過(guò)去的目標(biāo)存儲(chǔ)器模塊,地址位指定在由請(qǐng)求訪問(wèn)的指定存儲(chǔ)器模塊中存儲(chǔ)器裝置148的地址。命令頭還可以指定跟隨在命令頭后的讀出或?qū)懭霐?shù)據(jù)的數(shù)量。使用采用數(shù)據(jù)包方式的存儲(chǔ)器系統(tǒng)允許存儲(chǔ)器集線器控制器128通過(guò)簡(jiǎn)單地發(fā)送數(shù)據(jù)包來(lái)發(fā)出存儲(chǔ)器請(qǐng)求,代替發(fā)送一系列命令、地址以及在寫(xiě)請(qǐng)求情況下的寫(xiě)入數(shù)據(jù)信號(hào)。結(jié)果是,存儲(chǔ)器集線器控制器128能夠以更快的速率發(fā)出存儲(chǔ)器請(qǐng)求。另外,采用數(shù)據(jù)包方式的存儲(chǔ)器系統(tǒng)將存儲(chǔ)器集線器控制器128從必須跟蹤每個(gè)存儲(chǔ)器請(qǐng)求的處理中釋放出來(lái)。取而代之的是,存儲(chǔ)器集線器控制器128只需要發(fā)送數(shù)據(jù)包就行了。然后,作為存儲(chǔ)器請(qǐng)求目標(biāo)的存儲(chǔ)器模塊130中的存儲(chǔ)器集線器140處理存儲(chǔ)器請(qǐng)求,不再與存儲(chǔ)器集線器控制器128進(jìn)行交互。在讀請(qǐng)求的情況下,存儲(chǔ)器集線器140將數(shù)據(jù)包發(fā)送回存儲(chǔ)器集線器控制器128,可以直接地或通過(guò)存儲(chǔ)器模塊130間接地發(fā)送,數(shù)據(jù)包包括讀出數(shù)據(jù),以及在命令頭中標(biāo)識(shí)讀出數(shù)據(jù)的標(biāo)識(shí)位。存儲(chǔ)器集線器控制器128利用標(biāo)識(shí)位將讀出的數(shù)據(jù)與具體的存儲(chǔ)器請(qǐng)求聯(lián)系起來(lái)。
已經(jīng)使用的增大采用存儲(chǔ)器集線器結(jié)構(gòu)的存儲(chǔ)器系統(tǒng)數(shù)據(jù)帶寬的第二種技術(shù)是實(shí)現(xiàn)總線系統(tǒng)134,該總線系統(tǒng)采用分開(kāi)的高速“上游”和“下游”總線(圖1中未畫(huà)出)。高速下游總線將數(shù)據(jù)從存儲(chǔ)器集線器控制器128傳送到存儲(chǔ)器模塊130,并且從存儲(chǔ)器模塊130傳送到離存儲(chǔ)器集線器控制器128更遠(yuǎn)的存儲(chǔ)器模塊130。高速上游總線將數(shù)據(jù)從存儲(chǔ)器模塊130傳送到存儲(chǔ)器集線器控制器128,并且從存儲(chǔ)器模塊130傳送到離存儲(chǔ)器集線器控制器128更近的存儲(chǔ)器模塊130。
現(xiàn)在參考圖2說(shuō)明所提出的為存儲(chǔ)器集線器系統(tǒng)形成數(shù)據(jù)包的一種途徑,其中在圖2的右邊畫(huà)出幾個(gè)32位數(shù)據(jù)組,這些數(shù)據(jù)組來(lái)自幾個(gè)存儲(chǔ)器訪問(wèn)或“事務(wù)處理”中的每一個(gè)。事務(wù)處理T0包括7個(gè)32位數(shù)據(jù)組D0~D6,在96位總線162上將它們傳送給數(shù)據(jù)組織單元160。因此在內(nèi)核時(shí)鐘CCLK信號(hào),即存儲(chǔ)器集線器140內(nèi)部使用的時(shí)鐘信號(hào)的每個(gè)周期里,總線162能夠?qū)⑷齻€(gè)32位數(shù)據(jù)組傳送到數(shù)據(jù)組織162。事務(wù)處理T1也包括7個(gè)32位數(shù)據(jù)組D0~D6,在64位總線164上將它傳送到數(shù)據(jù)組織單元160,在每個(gè)CCLK周期它能夠?qū)蓚€(gè)32位數(shù)據(jù)組傳送到數(shù)據(jù)組織162。事務(wù)處理T2只包括5個(gè)32位數(shù)據(jù)組D0~D4,也在64位總線166上將它傳送到數(shù)據(jù)組織單元160,每個(gè)CCLK周期兩個(gè)32位組。最后,事務(wù)處理T3包括12個(gè)32位數(shù)據(jù)組D0~D11,在128位總線168上將它傳送給數(shù)據(jù)組織單元160,每個(gè)CCLK周期這一總線能夠?qū)⑺膫€(gè)32位數(shù)據(jù)組發(fā)送到數(shù)據(jù)組織162。因此,可以看出存儲(chǔ)器集線器140中以各自不同寬度的總線輸出數(shù)據(jù)的組件,能夠與數(shù)據(jù)組織單元160對(duì)接。
如同所建議的一樣,在事務(wù)處理T0~T3的數(shù)據(jù)組已經(jīng)被按照時(shí)鐘信號(hào)輸入到數(shù)據(jù)組織單元160后,將它們重新組織成相應(yīng)的數(shù)據(jù)包。這些數(shù)據(jù)包被并行地按照時(shí)鐘信號(hào)輸出數(shù)據(jù)組織單元,接著被傳送到并串轉(zhuǎn)換器174,并串轉(zhuǎn)換器174隨后在多達(dá)8個(gè)32位數(shù)據(jù)組D0~D7中輸出這個(gè)數(shù)據(jù)包。在圖2所示的實(shí)施例中,所述數(shù)據(jù)是按照高速系統(tǒng)時(shí)鐘SCLK信號(hào)從并串轉(zhuǎn)換器174輸出的。數(shù)據(jù)組織單元160發(fā)送數(shù)據(jù)的數(shù)量依賴(lài)于內(nèi)核時(shí)鐘信號(hào)與系統(tǒng)時(shí)鐘信號(hào)之間的相對(duì)頻率以及總線134的寬度??梢詫⑾到y(tǒng)設(shè)計(jì)成將各種寬度的各種內(nèi)部總線連接到數(shù)據(jù)組織單元160。結(jié)果,可以將存儲(chǔ)器集線器140設(shè)計(jì)為具有由技術(shù)先進(jìn)性或系統(tǒng)的具體特性所規(guī)定的內(nèi)核時(shí)鐘頻率,而系統(tǒng)時(shí)鐘頻率可能已經(jīng)由它自己獨(dú)特的設(shè)計(jì)限制所規(guī)定。在圖2所示的實(shí)施例中,系統(tǒng)時(shí)鐘信號(hào)具有內(nèi)核時(shí)鐘頻率八倍的頻率。
在事務(wù)處理中每個(gè)數(shù)據(jù)包包括32位的命令頭,命令頭后是32位數(shù)據(jù)組。所述32位組,叫做“通道”,所述32位組被按照時(shí)鐘信號(hào)并行地從數(shù)據(jù)組織單元160輸出。將事務(wù)處理T0~T3的每個(gè)的通道組也畫(huà)在圖2中。在每個(gè)系統(tǒng)時(shí)鐘信號(hào)周期中從并串轉(zhuǎn)換器174按時(shí)鐘信號(hào)輸出的數(shù)據(jù)的通道數(shù)量依賴(lài)于高速總線系統(tǒng)134的寬度(這個(gè)例子中是32位)。
雖然如同參考圖2所說(shuō)明的一樣使用分開(kāi)的上游、下游總線和存儲(chǔ)器數(shù)據(jù)包有助于增大存儲(chǔ)器模塊130的進(jìn)出數(shù)據(jù)帶寬,但是有時(shí)數(shù)據(jù)帶寬仍然小于最佳帶寬,因?yàn)橛糜谑聞?wù)處理的數(shù)據(jù)包的大小可能小于高速總線系統(tǒng)134的容量,這是由于每個(gè)數(shù)據(jù)包中的數(shù)據(jù)量可以改變。進(jìn)一步參考圖2,每個(gè)事務(wù)處理的32位數(shù)據(jù)組是排列在數(shù)據(jù)包中的。如上所述,32位命令頭CH插在每個(gè)事務(wù)處理的第一個(gè)32位數(shù)據(jù)組的前面。由于事務(wù)處理T0包括7個(gè)32位數(shù)據(jù)組D0~D6,因此命令頭CH加上事務(wù)處理T0中的數(shù)據(jù),占據(jù)了第一個(gè)通道組175的全部8個(gè)通道。結(jié)果,要使用高速總線系統(tǒng)134的全部8個(gè)通道。同樣,由于事務(wù)處理T1也包括7個(gè)32位數(shù)據(jù)組D0~D6,因此要占用第二個(gè)通道組176的全部8個(gè)通道。所以,高速總線系統(tǒng)134的全部8個(gè)通道再一次被填滿(mǎn)。但是,由于事務(wù)處理T2只包括5個(gè)32位數(shù)據(jù)組D0~D4,因此只會(huì)占用第三個(gè)通道組177的6個(gè)通道(命令頭加上事務(wù)處理T2的5個(gè)32位數(shù)據(jù)組)。結(jié)果,第三個(gè)通道組177的兩個(gè)空通道會(huì)導(dǎo)致在高速系統(tǒng)時(shí)鐘信號(hào)的兩個(gè)周期期間不運(yùn)送任何數(shù)據(jù)包。
事務(wù)處理T3包括12個(gè)32位數(shù)據(jù)組D0~D11,所以,事務(wù)處理T3中前面的7個(gè)32位數(shù)據(jù)組D0~D6(加上32位命令頭)將填滿(mǎn)第四個(gè)通道組178的全部8個(gè)通道。結(jié)果,高速總線系統(tǒng)134會(huì)被全部占用。但是,剩余的5個(gè)32位數(shù)據(jù)組D7~D11只占用第五個(gè)通道組179的8個(gè)通道中的5個(gè)。因此,在系統(tǒng)時(shí)鐘信號(hào)的3個(gè)周期中不會(huì)通過(guò)高速總線系統(tǒng)134傳送數(shù)據(jù)。結(jié)果是,存儲(chǔ)器系統(tǒng)的數(shù)據(jù)帶寬可能比高速總線系統(tǒng)134全部8個(gè)通道總是填滿(mǎn)的情況下所能實(shí)現(xiàn)的數(shù)據(jù)帶寬明顯要小。
雖然針對(duì)具有具體總線寬度、具體大小的數(shù)據(jù)組等的計(jì)算機(jī)系統(tǒng)描述了數(shù)據(jù)組織方法,但是要明白的是具有其它設(shè)計(jì)參數(shù)的計(jì)算機(jī)系統(tǒng)也存在相同或相似的問(wèn)題。
因此需要系統(tǒng)和方法,來(lái)組織進(jìn)出存儲(chǔ)器集線器系統(tǒng)中的存儲(chǔ)器模塊的數(shù)據(jù),允許以滿(mǎn)負(fù)荷方式使用高速存儲(chǔ)器總線系統(tǒng)。

發(fā)明內(nèi)容
用于存儲(chǔ)器模塊的存儲(chǔ)器集線器,包括系統(tǒng)用來(lái)組織由存儲(chǔ)器模塊所發(fā)送的存儲(chǔ)器事務(wù)處理。組織系統(tǒng)將存儲(chǔ)器事務(wù)處理組織成數(shù)據(jù)包,每個(gè)數(shù)據(jù)包包括命令頭和數(shù)據(jù),數(shù)據(jù)可以有不同數(shù)量的數(shù)據(jù)位。組織系統(tǒng)將命令頭和數(shù)據(jù)組織到通道組中,每個(gè)通道組包括多個(gè)通道。每個(gè)通道包括多個(gè)并行命令頭位或并行數(shù)據(jù)位。組織系統(tǒng)組織通道組,使得每個(gè)通道組中的全部通道都用命令頭位或數(shù)據(jù)位填滿(mǎn)。如果需要,組織系統(tǒng)還將每個(gè)通道組轉(zhuǎn)換為通道的串行流,用于從存儲(chǔ)器集線器發(fā)送。每個(gè)發(fā)送通道包括多個(gè)并行命令頭位或并行數(shù)據(jù)位。


圖1是具有存儲(chǔ)器集線器控制器的計(jì)算機(jī)系統(tǒng)的框圖,該控制器和一些具有存儲(chǔ)器集線器結(jié)構(gòu)的存儲(chǔ)器模塊連接;圖2是示意圖,示出了所提出的一種方法,該方法用于組織進(jìn)出圖1所示存儲(chǔ)器模塊的數(shù)據(jù);圖3是示意圖,示出了符合本發(fā)明一個(gè)例子的一種方法,該方法用于組織進(jìn)出圖1所示存儲(chǔ)器模塊的數(shù)據(jù);圖4是能夠重新組織如圖3所示數(shù)據(jù)的存儲(chǔ)器集線器的框圖,可以將它用于圖1的存儲(chǔ)器模塊;圖5是數(shù)據(jù)組織系統(tǒng)的框圖,能夠用于存儲(chǔ)器集線器控制器、圖4的存儲(chǔ)器集線器或者一些其它的存儲(chǔ)器集線器設(shè)計(jì)中。
具體實(shí)施例方式
本發(fā)明的實(shí)施例針對(duì)存儲(chǔ)器集線器控制器,它通過(guò)高速下游總線和高速上游總線連接一些存儲(chǔ)器集線器模塊。具體而言,本發(fā)明的實(shí)施例針對(duì)一種系統(tǒng)和方法,其中將數(shù)據(jù)傳送到下游和上游總線之前,對(duì)它們進(jìn)行組織,從而能夠充分利用總線的全部容量。下面提供詳細(xì)資料,充分說(shuō)明本發(fā)明的各種實(shí)施例。但是,本領(lǐng)域的技術(shù)人員應(yīng)該明白,沒(méi)有這些具體細(xì)節(jié)也能夠?qū)嵺`本發(fā)明。另外,為了避免對(duì)本發(fā)明造成不必要的混淆,沒(méi)有詳細(xì)地給出眾所周知的電路、控制信號(hào)和時(shí)序協(xié)議。
現(xiàn)在參考圖3,說(shuō)明為符合本發(fā)明一個(gè)實(shí)例的存儲(chǔ)器集線器系統(tǒng)形成數(shù)據(jù)包的方法。如圖3所示,除了附加事務(wù)處理T4的一部分在圖3中示出之外,一些存儲(chǔ)器訪問(wèn)或“事務(wù)處理”中每一個(gè)的一些32位數(shù)據(jù)組與圖2所示的那些是相同的,這樣的目的是說(shuō)明它們之間的不同之處。如前所述,事務(wù)處理T0包括7個(gè)32位數(shù)據(jù)組D0~D6,事務(wù)處理T1也包括7個(gè)32位數(shù)據(jù)組D0~D6,事務(wù)處理T2包括5個(gè)32位數(shù)據(jù)組D0~D4,事務(wù)處理T3包括12個(gè)32位數(shù)據(jù)組D0~D11。
根據(jù)本發(fā)明的一個(gè)實(shí)施例,響應(yīng)內(nèi)核時(shí)鐘信號(hào)將事務(wù)處理T0~T4的數(shù)據(jù)組按時(shí)鐘順序輸入數(shù)據(jù)組織單元180(參考圖5說(shuō)明),在那里它們被重新組織成相應(yīng)的數(shù)據(jù)包。在圖3的例子中,每個(gè)數(shù)據(jù)包還包括32位命令頭CH,命令頭后是事務(wù)處理中的32位數(shù)據(jù)組。如前所述,32位組或通道是并行地按時(shí)鐘順序輸出數(shù)據(jù)組織單元180的,然后由并串轉(zhuǎn)換器182響應(yīng)系統(tǒng)時(shí)鐘信號(hào),將它們轉(zhuǎn)換成串行數(shù)據(jù)。
事務(wù)處理T0和T1,每個(gè)都由命令頭加上7個(gè)32位數(shù)據(jù)組D0~D6組成,按照前面參考圖2所說(shuō)明的相同方式,分別占用第一個(gè)通道組190和第二個(gè)通道組192的全部8個(gè)通道。同樣,事務(wù)處理T2還是只包括5個(gè)32位數(shù)據(jù)組D0~D4,所以只填充了第三個(gè)通道組194的6個(gè)通道(命令頭加上事務(wù)處理T2的5個(gè)32位數(shù)據(jù)組)。但是,在圖2的例子中空置的第三個(gè)通道組194的3個(gè)后續(xù)通道,則由命令頭CH和事務(wù)處理T3的第一個(gè)32位數(shù)據(jù)組D0填充。結(jié)果,在系統(tǒng)時(shí)鐘信號(hào)的相應(yīng)周期里,一個(gè)滿(mǎn)通道的數(shù)據(jù)通過(guò)高速總線系統(tǒng)134傳送。
繼續(xù)參考圖3,用事務(wù)處理T3的下面8個(gè)數(shù)據(jù)組D1~D8來(lái)填充第四個(gè)通道組196的全部8個(gè)通道,因此能夠充分利用高速總線系統(tǒng)134。為事務(wù)處理T3運(yùn)送數(shù)據(jù)D9~D11的剩余3個(gè)通道是放在第五個(gè)通道組198中的。但是,值得注意,第五個(gè)通道組198中剩余的5個(gè)通道用32位命令頭CH和事務(wù)處理T4開(kāi)頭的4個(gè)32位數(shù)據(jù)組D0~D3填充。按相似的方式,存儲(chǔ)器事務(wù)處理的命令頭和數(shù)據(jù)總是緊跟在來(lái)自前面事務(wù)處理的數(shù)據(jù)之后,所以能夠充分利用高速總線系統(tǒng)134。因此,假定有來(lái)自存儲(chǔ)器事務(wù)處理的數(shù)據(jù)在等待通過(guò)高速總線系統(tǒng)134,但總線系統(tǒng)134中從沒(méi)有任何空閑周期。結(jié)果是存儲(chǔ)器系統(tǒng)的數(shù)據(jù)帶寬得到了最大化。
圖3的數(shù)據(jù)組織單元180的另一個(gè)優(yōu)點(diǎn)是,每個(gè)通道組190~198的數(shù)據(jù)通道的數(shù)量能夠根據(jù)CCLK信號(hào)的頻率,從并串轉(zhuǎn)換器182按時(shí)鐘傳送數(shù)據(jù)的系統(tǒng)時(shí)鐘SCLK的頻率,以及外部總線134的寬度和其它可能的因素來(lái)配置。因此,可以將存儲(chǔ)器集線器140設(shè)計(jì)成具有由技術(shù)的先進(jìn)性或系統(tǒng)的具體特性決定的CCLK頻率,可能由它自己的設(shè)計(jì)約束決定SCLK頻率,這樣來(lái)改變CCLK與SCLK的頻率比。另外,可以將一些存儲(chǔ)器集線器140設(shè)計(jì)成具有比其它總線要寬的總線134。但是,改變每個(gè)CCLK周期按時(shí)種信號(hào)從數(shù)據(jù)組織單元180輸出的通道組數(shù)量的能力,能夠支持這些改變,而不用改變存儲(chǔ)器集線器140中的電路。可以對(duì)數(shù)據(jù)組織單元180編程,以通過(guò)合適的裝置輸出每個(gè)CCLK周期的具體通道數(shù),比如在初始化期間通過(guò)I/O端口。
圖4示出了一個(gè)存儲(chǔ)器集線器200的例子,它能夠以圖3所示的方式組織進(jìn)出存儲(chǔ)器裝置148的數(shù)據(jù)。存儲(chǔ)器集線器200包括下游接收接口210、上游發(fā)送接口212、上游接收接口214和下游發(fā)送接口216。下游接收接口210用于將數(shù)據(jù)從存儲(chǔ)器集線器控制器128(圖1)或上游存儲(chǔ)器模塊130傳送到存儲(chǔ)器模塊130中。上游發(fā)送接口212用于將數(shù)據(jù)從存儲(chǔ)器模塊130傳送到存儲(chǔ)器集線器控制器128或上游存儲(chǔ)器模塊130。上游接收接口214用于將數(shù)據(jù)從下游存儲(chǔ)器模塊130傳送到存儲(chǔ)器模塊130。最后,下游發(fā)送接口216用于將存儲(chǔ)器模塊130輸出的數(shù)據(jù)傳送到下游存儲(chǔ)器模塊130。值得注意,上游發(fā)送接口212包括數(shù)據(jù)組織系統(tǒng)220,該系統(tǒng)在連接到高速上游總線224之前組織命令頭和數(shù)據(jù)。將參考圖5說(shuō)明數(shù)據(jù)組織系統(tǒng)220的一個(gè)例子的結(jié)構(gòu)與操作。
接口210~216通過(guò)用總線228表示的多條總線和信號(hào)線與開(kāi)關(guān)(switch)260連接??偩€228是常規(guī)總線,包括和接收接口210、224連接的寫(xiě)數(shù)據(jù)總線以及和發(fā)送接口212、222連接的讀數(shù)據(jù)總線。
開(kāi)關(guān)260和四個(gè)存儲(chǔ)器接口270a~d連接,這些接口則連接著存儲(chǔ)器裝置160(圖1)。通過(guò)為每組存儲(chǔ)器裝置160提供分開(kāi)的和獨(dú)立的存儲(chǔ)器接口270a~d,存儲(chǔ)器集線器200能夠避免通常只在單通道存儲(chǔ)器結(jié)構(gòu)中出現(xiàn)的總線或存儲(chǔ)器組沖突。開(kāi)關(guān)260通過(guò)用總線274表示的多條總線和信號(hào)線與每個(gè)存儲(chǔ)器接口連接。除了將接口210~216連接到存儲(chǔ)器接口外,開(kāi)關(guān)260還能夠?qū)⒋鎯?chǔ)器接口210~216互相連接,從而允許通過(guò)存儲(chǔ)器模塊130將存儲(chǔ)器數(shù)據(jù)包向下游或上游傳送到另一個(gè)存儲(chǔ)器模塊130或存儲(chǔ)器集線器控制器128。
在本發(fā)明的一個(gè)實(shí)施例中,每個(gè)存儲(chǔ)器接口270a~d都是專(zhuān)門(mén)適合于它所連接的存儲(chǔ)器裝置148(圖1)的。具體而言,每個(gè)存儲(chǔ)器接口270a~d都是專(zhuān)門(mén)適合于提供和接收每個(gè)接口所連接的存儲(chǔ)器裝置148收到和產(chǎn)生的具體信號(hào)的。存儲(chǔ)器接口270a~d還能夠以不同的時(shí)鐘頻率與存儲(chǔ)器裝置148一起工作。結(jié)果是,存儲(chǔ)器接口270a~d將處理器104與接口可能發(fā)生的改變隔離開(kāi),接口是在存儲(chǔ)器集線器200和連接到存儲(chǔ)器集線器200的存儲(chǔ)器裝置148之間的接口,它提供了存儲(chǔ)器裝置148可以與之連接的更加受控的環(huán)境。
開(kāi)關(guān)260可以是各種常規(guī)的或以后開(kāi)發(fā)的開(kāi)關(guān)。例如,開(kāi)關(guān)260可以是縱橫制開(kāi)關(guān)或一組多路復(fù)用器,多路復(fù)用器不能提供與縱橫制開(kāi)關(guān)相同程度的連結(jié)性,但是仍然能夠?qū)⒖偩€接口210~216連接到每個(gè)存儲(chǔ)器接口470a~d上。開(kāi)關(guān)260還可以包括仲裁邏輯(未示出),以決定哪些存儲(chǔ)器訪問(wèn)相對(duì)于其它存儲(chǔ)器訪問(wèn)應(yīng)該有優(yōu)先權(quán)。對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)實(shí)現(xiàn)這個(gè)功能的總線仲裁是眾所周知的。
進(jìn)一步參考圖4,存儲(chǔ)器接口270a~d中的每一個(gè)都包括各自的存儲(chǔ)器控制器280,各自的寫(xiě)緩沖器282,以及各自的高速緩沖存儲(chǔ)器單元284。通過(guò)向與它連接的存儲(chǔ)器裝置148提供控制、地址和數(shù)據(jù)信號(hào),并且接收與它連接的存儲(chǔ)器裝置148的數(shù)據(jù)信號(hào),存儲(chǔ)器控制器280實(shí)現(xiàn)和常規(guī)存儲(chǔ)器控制器相同的功能。但是,由存儲(chǔ)器控制器280發(fā)送和接收的信號(hào)特性要對(duì)應(yīng)于存儲(chǔ)器裝置148適合發(fā)送和接收的信號(hào)特性。高速緩沖存儲(chǔ)器單元284包括高速緩沖存儲(chǔ)器的常用組件,包括標(biāo)志存儲(chǔ)器、數(shù)據(jù)存儲(chǔ)器、比較器等,如同本領(lǐng)域里眾所周知的一樣。寫(xiě)緩沖器282中使用的存儲(chǔ)器裝置和高速緩沖存儲(chǔ)器單元284可以是DRAM器件、靜態(tài)隨機(jī)存取存儲(chǔ)器(“SRAM”)器件、其它類(lèi)型的存儲(chǔ)器器件,或者所有這三者的組合。另外,這些存儲(chǔ)器裝置的任何一種或全部以及高速緩沖存儲(chǔ)器單元284使用的其它組件可以是嵌入的或獨(dú)立的裝置。
每個(gè)存儲(chǔ)器接口270a~d中的寫(xiě)緩沖器282是用于在處理讀請(qǐng)求時(shí)保存寫(xiě)請(qǐng)求的。在這樣的系統(tǒng)中,即使作為寫(xiě)請(qǐng)求發(fā)送目標(biāo)的存儲(chǔ)器裝置148正在處理先前的寫(xiě)或讀請(qǐng)求,處理器104也能夠向系統(tǒng)存儲(chǔ)器裝置發(fā)出寫(xiě)請(qǐng)求。寫(xiě)緩沖器282優(yōu)選地積累一些從開(kāi)關(guān)260接收到的寫(xiě)請(qǐng)求,這些寫(xiě)請(qǐng)求可能散布在讀請(qǐng)求中間,然后再將它們依次應(yīng)用于每個(gè)存儲(chǔ)器裝置148,不插入任何讀請(qǐng)求。用這種方式給寫(xiě)請(qǐng)求排上順序,因?yàn)楸苊饬俗x/寫(xiě)轉(zhuǎn)換之間的固有延時(shí),因此能夠更有效地處理它們。緩沖寫(xiě)請(qǐng)求從而能夠處理讀請(qǐng)求的能力也能夠大大地減少很多存儲(chǔ)器讀等待時(shí)間,因?yàn)槟軌蚪o予讀請(qǐng)求第一優(yōu)先權(quán),而不管它們的時(shí)間順序。
在數(shù)據(jù)是最近從存儲(chǔ)器裝置148讀出或?qū)懭肫渲羞@種情況下,每個(gè)存儲(chǔ)器接口270a~d中高速緩沖存儲(chǔ)器單元284的使用允許處理器104響應(yīng)給各個(gè)存儲(chǔ)器裝置148的讀命令接收數(shù)據(jù),而不用等待存儲(chǔ)器裝置148提供這樣的數(shù)據(jù)。因此,這樣高速緩沖存儲(chǔ)器單元284縮短了存儲(chǔ)器裝置148a~d的讀等待時(shí)間,增大計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器帶寬。同樣地,處理器104能夠?qū)?xiě)數(shù)據(jù)保存在高速緩沖存儲(chǔ)器單元284中,然后執(zhí)行其它功能,而同一存儲(chǔ)器接口270a~d中的存儲(chǔ)器控制器280則將寫(xiě)數(shù)據(jù)從高速緩沖存儲(chǔ)器單元284傳送到它連接的存儲(chǔ)器裝置148中。
存儲(chǔ)器集線器200中還可能包括自檢模塊290,通過(guò)測(cè)試總線292和開(kāi)關(guān)260連接。自檢模塊290還和維護(hù)總線296連接,比如系統(tǒng)管理總線(SMBus)或符合聯(lián)合測(cè)試行動(dòng)小組(JTAG)和IEEE 1149.1標(biāo)準(zhǔn)的維護(hù)總線。對(duì)于本領(lǐng)域技術(shù)人員而言SMBus和JTAG兩個(gè)標(biāo)準(zhǔn)是眾所周知的。通常,為了設(shè)置存儲(chǔ)器測(cè)試參數(shù)和接收測(cè)試結(jié)果,維護(hù)總線296提供對(duì)自檢模塊290的用戶(hù)訪問(wèn)。例如,用戶(hù)能夠通過(guò)維護(hù)總線296連接單獨(dú)的PC主機(jī),設(shè)置要施加在存儲(chǔ)器裝置148之上的信號(hào)之間的相對(duì)時(shí)序。同樣地,可以將表明從存儲(chǔ)器裝置148接收的信號(hào)之間相對(duì)時(shí)序的數(shù)據(jù)通過(guò)維護(hù)總線296傳送到PC主機(jī)。
存儲(chǔ)器集線器200還可能包括DMA引擎286,通過(guò)總線288和開(kāi)關(guān)260連接。DMA引擎286使存儲(chǔ)器集線器200能夠?qū)?shù)據(jù)塊從存儲(chǔ)器裝置148之一的一個(gè)位置移動(dòng)到存儲(chǔ)器裝置中的另一個(gè)位置,而不用處理器104干預(yù)??偩€288包括很多常規(guī)總線和信號(hào)線,比如地址、控制、數(shù)據(jù)總線等等,用于處理系統(tǒng)存儲(chǔ)器中的數(shù)據(jù)傳送。本領(lǐng)域技術(shù)人員都知道的常規(guī)DMA操作能夠由DMA引擎286實(shí)現(xiàn)。
在圖中存儲(chǔ)器模塊130以點(diǎn)對(duì)點(diǎn)連接方式和存儲(chǔ)器集線器控制器128連接,其中高速總線132、134的每一部分只在兩點(diǎn)之間連接。但是,應(yīng)該明白也可以使用其它的拓?fù)溥B接。例如可以使用多站式布局,其中一條下游總線(未示出)和一條上游總線(未示出)連接著全部存儲(chǔ)器模塊130。也可以使用開(kāi)關(guān)拓?fù)?,其中存?chǔ)器集線器控制器128是通過(guò)開(kāi)關(guān)(未示出)有選擇地和每個(gè)存儲(chǔ)器模塊130連接的??梢允褂玫钠渌?fù)溥B接對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。
在圖5中畫(huà)出了圖4的存儲(chǔ)器集線器200中使用的數(shù)據(jù)組織系統(tǒng)220的一個(gè)實(shí)施例。也可以在存儲(chǔ)器集線器控制器128中使用數(shù)據(jù)組織系統(tǒng)220來(lái)將數(shù)據(jù)傳送到高速下游總線222。接收接口210、224(圖4)的那些部分和從高速總線132、134獲取存儲(chǔ)器數(shù)據(jù)包的存儲(chǔ)器集線器控制器128中的接收接口相對(duì)而言是直截了當(dāng)?shù)?,?duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)設(shè)計(jì)合適的系統(tǒng)是在其能力范圍之內(nèi)的。
數(shù)據(jù)組織系統(tǒng)220包括數(shù)據(jù)緩沖器230,該數(shù)據(jù)緩沖器接收32位數(shù)據(jù)組,這些數(shù)據(jù)組是要通過(guò)高速總線132、134傳送的。在存儲(chǔ)器集線器控制器128中的數(shù)據(jù)組織系統(tǒng)220的情況下,數(shù)據(jù)源可能是處理器104(圖1)或任何其它的存儲(chǔ)器訪問(wèn)裝置。在存儲(chǔ)器模塊130的情況下,數(shù)據(jù)可以來(lái)源于存儲(chǔ)器模塊130中的存儲(chǔ)器裝置148或者來(lái)自其它存儲(chǔ)器模塊130。在任何情況下,數(shù)據(jù)組是響應(yīng)內(nèi)核時(shí)鐘信號(hào),按照時(shí)鐘信號(hào)輸入數(shù)據(jù)緩沖器230中的,如同圖5所表明的一樣。還是如同圖5所說(shuō)明的一樣,為不同的事務(wù)處理保存在數(shù)據(jù)緩沖器230中的數(shù)據(jù)具有不同的長(zhǎng)度。
在數(shù)據(jù)組織系統(tǒng)220中還包括命令隊(duì)列234,它是為存儲(chǔ)器數(shù)據(jù)包保存命令頭的小緩沖器。也是按照內(nèi)核時(shí)鐘信號(hào)傳送的命令隊(duì)列234,與一些為命令頭提供信息的多個(gè)其它組件對(duì)接,但是為了簡(jiǎn)潔,已經(jīng)從圖5中省去了這些組件。
將保存在數(shù)據(jù)緩沖器230中的數(shù)據(jù)和保存在命令隊(duì)列234中的命令頭傳送到多路復(fù)用器236,多路復(fù)用器由仲裁單元238控制。多路復(fù)用器236為數(shù)據(jù)緩沖器230保存的事務(wù)處理之一選擇數(shù)據(jù),并且從命令隊(duì)列234中選擇對(duì)應(yīng)的命令頭。仲裁單元238依據(jù)各種算法能夠使多路復(fù)用器為事務(wù)處理選擇數(shù)據(jù)和命令頭。例如,仲裁單元238可以給予事務(wù)處理以?xún)?yōu)先級(jí),包括來(lái)自下游存儲(chǔ)器模塊130的響應(yīng),從而在從存儲(chǔ)器模塊130中的存儲(chǔ)器裝置148中發(fā)送本地事務(wù)處理之前,在總線224(圖4)向上游發(fā)送這樣的事務(wù)處理。相反,仲裁單元238可以給予包括本地響應(yīng)的事務(wù)處理以?xún)?yōu)先級(jí)別。仲裁單元238也可以選擇發(fā)送本地事務(wù)處理和下游或上游事務(wù)處理。更簡(jiǎn)單地,仲裁單元238能夠發(fā)送事務(wù)處理,以便存儲(chǔ)器集線器140接收到它們。雖然在每個(gè)存儲(chǔ)器集線器140中,仲裁單元238最好以相同方式工作,但實(shí)在替換實(shí)施例中在不同存儲(chǔ)器集線器140中的仲裁單元可以按照不同的方式工作。在仲裁單元238和實(shí)現(xiàn)仲裁單元的邏輯電路的工作過(guò)程中,其它的變化對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)是顯而易見(jiàn)的。
值得注意,忽略仲裁單元238選擇事務(wù)處理的順序,仲裁單元使多路復(fù)用器236為選擇的事務(wù)處理組織命令頭和數(shù)據(jù),因此在多路復(fù)用器236的輸出口上通道組240的全部通道都是填滿(mǎn)的。然后通道組240和并串轉(zhuǎn)換器244連接,例如,轉(zhuǎn)換器可能是一系列以并行放置的移位寄存器。然后通過(guò)系統(tǒng)時(shí)鐘信號(hào)將數(shù)據(jù)按時(shí)鐘信號(hào)輸出到并串轉(zhuǎn)換器244,并且傳遞給高速總線222、224之一,如同上面參考圖3所說(shuō)明的一樣。通過(guò)填充每個(gè)通道組240的全部通道,利用了高速總線222、224的整個(gè)數(shù)據(jù)帶寬。
根據(jù)前文應(yīng)該理解,盡管為了進(jìn)行說(shuō)明描述了本發(fā)明的具體實(shí)施例,但是可以進(jìn)行各種修改而不會(huì)偏離本發(fā)明的精神和范圍。因此,本發(fā)明的范圍應(yīng)該由后附的權(quán)利要求來(lái)限定。
權(quán)利要求
1.一種存儲(chǔ)器模塊,包括多個(gè)存儲(chǔ)器裝置;以及存儲(chǔ)器集線器,包括存儲(chǔ)器控制器,和所述多個(gè)存儲(chǔ)器裝置連接;至少一個(gè)接收接口,和所述存儲(chǔ)器控制器連接;以及至少一個(gè)發(fā)送接口,和所述存儲(chǔ)器控制器連接,用于從所述存儲(chǔ)器模塊發(fā)送存儲(chǔ)器事務(wù)處理,每個(gè)發(fā)送接口接收存儲(chǔ)器事務(wù)處理,每個(gè)存儲(chǔ)器事務(wù)處理包括命令頭和數(shù)據(jù),所述數(shù)據(jù)具有可變數(shù)量的數(shù)據(jù)位,每個(gè)發(fā)送接口包括數(shù)據(jù)組織系統(tǒng),該數(shù)據(jù)組織系統(tǒng)用于將所述命令頭和數(shù)據(jù)組織到多個(gè)通道組中,每個(gè)通道組包括多個(gè)通道,每個(gè)通道包括多個(gè)并行命令頭位或并行數(shù)據(jù)位,所述數(shù)據(jù)組織系統(tǒng)組織所述多個(gè)通道組,使得每個(gè)通道組中的全部通道都填充多個(gè)命令頭位或數(shù)據(jù)位,所述數(shù)據(jù)組織系統(tǒng)用于將所述多個(gè)通道組中的每一個(gè)轉(zhuǎn)換成所述多個(gè)通道的串行流,由所述發(fā)送接口發(fā)送,發(fā)送的所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或并行數(shù)據(jù)位。
2.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述多個(gè)通道組中的每一個(gè)都包括八個(gè)通道。
3.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述多個(gè)通道中的每一個(gè)包括命令頭或數(shù)據(jù)的32個(gè)并行位。
4.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述至少一個(gè)發(fā)送接口包括上游發(fā)送接口和下游發(fā)送接口,這些接口中的每一個(gè)接口都包括所述數(shù)據(jù)組織系統(tǒng)。
5.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述多個(gè)存儲(chǔ)器裝置包括多個(gè)動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器裝置。
6.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織系統(tǒng)包括數(shù)據(jù)組織單元,用于將所述命令頭和數(shù)據(jù)組織到多個(gè)通道組中,所述多個(gè)通道組中的每一個(gè)包括多個(gè)通道,這些通道包括命令頭或數(shù)據(jù),所述數(shù)據(jù)組織單元對(duì)所述多個(gè)通道組進(jìn)行組織,使得每個(gè)通道組中的全部通道都填充多個(gè)命令頭位或多個(gè)數(shù)據(jù)位;以及并串轉(zhuǎn)換器,用于將所述多個(gè)通道組中的每一個(gè)轉(zhuǎn)換成所述多個(gè)通道的串行流,由所述發(fā)送接口發(fā)送。
7.如權(quán)利要求6所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織單元包括數(shù)據(jù)緩沖器,用于為多個(gè)所述事務(wù)處理保存各自的數(shù)據(jù),所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)是有選擇地從所述數(shù)據(jù)緩沖器通過(guò)的;以及命令隊(duì)列,用于為多個(gè)所述多個(gè)事務(wù)處理保存各自的命令頭,所述多個(gè)事務(wù)處理的每一個(gè)的命令頭有選擇地從所述命令隊(duì)列通過(guò),而所述對(duì)應(yīng)事務(wù)處理的數(shù)據(jù)從所述數(shù)據(jù)緩沖器通過(guò)。
8.如權(quán)利要求7所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織單元還包括多路復(fù)用器,連接起來(lái)用于接收為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述數(shù)據(jù)緩沖器中的數(shù)據(jù)以及為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述命令隊(duì)列中的多個(gè)命令頭,所述多路復(fù)用器用于響應(yīng)多個(gè)多路復(fù)用器控制信號(hào),將所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)和所述多個(gè)事務(wù)處理的每一個(gè)的命令頭傳送到輸出端口;仲裁單元,連接到所述數(shù)據(jù)緩沖器和所述命令隊(duì)列中的至少一個(gè)以接收信息,該信息表明為所述多個(gè)事務(wù)處理分別保存在所述數(shù)據(jù)緩沖器和命令隊(duì)列中的數(shù)據(jù)和多個(gè)命令頭,所述仲裁單元用于響應(yīng)表明所述數(shù)據(jù)和多個(gè)命令頭的信息產(chǎn)生所述多個(gè)控制信號(hào),引起所述多路復(fù)用器將數(shù)據(jù)或命令頭的通道組和所述多個(gè)事務(wù)處理的至少一個(gè)的數(shù)據(jù)傳送到所述多路復(fù)用器的輸出端口。
9.如權(quán)利要求8所述的存儲(chǔ)器模塊,還包括并串轉(zhuǎn)換器,該轉(zhuǎn)換器連接到所述多路復(fù)用器的輸出端口,所述并串轉(zhuǎn)換器用于在所述多路復(fù)用器的輸出端口將所述通道組轉(zhuǎn)換成所述多個(gè)通道的串行流。
10.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織單元是可配置的,以改變時(shí)鐘信號(hào)的每個(gè)周期期間從所述數(shù)據(jù)組織發(fā)送的每個(gè)通道組中的通道數(shù)量。
11.如權(quán)利要求1所述的存儲(chǔ)器模塊,其中所述多個(gè)事務(wù)處理的每一個(gè)的命令頭和數(shù)據(jù)包括存儲(chǔ)器數(shù)據(jù)包。
12.一種存儲(chǔ)器模塊,包括多個(gè)存儲(chǔ)器裝置;以及存儲(chǔ)器集線器,包括存儲(chǔ)器控制器,和所述多個(gè)存儲(chǔ)器裝置連接;至少一個(gè)接收接口,和所述存儲(chǔ)器控制器連接;以及至少一個(gè)發(fā)送接口,和所述存儲(chǔ)器控制器連接,用于從所述存儲(chǔ)器模塊發(fā)送多個(gè)存儲(chǔ)器事務(wù)處理,每個(gè)發(fā)送接口接收多個(gè)存儲(chǔ)器事務(wù)處理,所述多個(gè)存儲(chǔ)器事務(wù)處理的每一個(gè)包括命令頭和數(shù)據(jù),所述數(shù)據(jù)具有可變數(shù)量的數(shù)據(jù)位,每個(gè)發(fā)送接口包括數(shù)據(jù)組織系統(tǒng),該數(shù)據(jù)組織系統(tǒng)用于將所述命令頭和數(shù)據(jù)組織到多個(gè)組中,所述多個(gè)組中的每一個(gè)包括預(yù)定大小、預(yù)定數(shù)量的分組,所述分組的每一個(gè)包括多個(gè)并行命令頭位或數(shù)據(jù)位,包括用于第一個(gè)事務(wù)處理的數(shù)據(jù)的每個(gè)分組后面緊跟一個(gè)分組,該分組包括用于第一個(gè)事務(wù)處理的附加數(shù)據(jù)或用于第二個(gè)事務(wù)處理的命令頭,使得每個(gè)組用包括多個(gè)命令頭位或多個(gè)數(shù)據(jù)位的多個(gè)分組填充,所述數(shù)據(jù)組織系統(tǒng)還用于輸出每組數(shù)據(jù)作為所述多個(gè)分組的串行流。
13.如權(quán)利要求12所述的存儲(chǔ)器模塊,其中所述多個(gè)組中的每一個(gè)包括八個(gè)分組。
14.如權(quán)利要求12所述的存儲(chǔ)器模塊,其中所述多個(gè)組中的每一個(gè)包括命令頭或數(shù)據(jù)的32個(gè)并行位。
15.如權(quán)利要求12所述的存儲(chǔ)器模塊,其中所述至少一個(gè)發(fā)送接口包括上游發(fā)送接口和下游發(fā)送接口,這些接口中的每一個(gè)都包括所述數(shù)據(jù)組織系統(tǒng)。
16.如權(quán)利要求12所述的存儲(chǔ)器模塊,其中所述多個(gè)存儲(chǔ)器裝置包括多個(gè)動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器裝置。
17.如權(quán)利要求12所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織系統(tǒng)包括數(shù)據(jù)組織單元,用于將所述命令頭和數(shù)據(jù)組織到多個(gè)組中,所述多個(gè)組中的每一個(gè)包括多個(gè)分組,這些分組包括命令頭或數(shù)據(jù),所述數(shù)據(jù)組織單元組織這些組,使得每個(gè)組中的全部分組都填充多個(gè)命令頭位或數(shù)據(jù)位;以及并串轉(zhuǎn)換器,用于將所述多個(gè)組中的每一個(gè)轉(zhuǎn)換成所述多個(gè)分組的串行流,由所述發(fā)送接口發(fā)送。
18.如權(quán)利要求17所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織單元包括數(shù)據(jù)緩沖器,用于為多個(gè)事務(wù)處理保存各自的數(shù)據(jù),所述多個(gè)事務(wù)處理中每一個(gè)的數(shù)據(jù)有選擇地通過(guò)所述數(shù)據(jù)緩沖器;以及命令隊(duì)列,用于為多個(gè)事務(wù)處理保存各自的命令頭,所述多個(gè)事務(wù)處理的每一個(gè)的命令頭有選擇地從所述命令隊(duì)列通過(guò),而所述對(duì)應(yīng)事務(wù)處理的數(shù)據(jù)從所述數(shù)據(jù)緩沖器通過(guò)。
19.如權(quán)利要求18所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織單元還包括多路復(fù)用器,連接起來(lái)用于接收為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述數(shù)據(jù)緩沖器中的數(shù)據(jù)以及為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述命令隊(duì)列中的多個(gè)命令頭,所述多路復(fù)用器用于響應(yīng)多個(gè)多路復(fù)用器控制信號(hào),將用于所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)和用于所述多個(gè)事務(wù)處理的每一個(gè)的命令頭傳送到輸出端口;仲裁單元,連接到所述數(shù)據(jù)緩沖器和所述命令隊(duì)列的至少一個(gè)來(lái)接收信息,該信息表明所述多個(gè)事務(wù)處理的分別保存在所述數(shù)據(jù)緩沖器和命令隊(duì)列中的數(shù)據(jù)和多個(gè)命令頭,所述仲裁單元用于響應(yīng)表明所述數(shù)據(jù)和多個(gè)命令頭的信息產(chǎn)生所述多個(gè)控制信號(hào),引起所述多路復(fù)用器將包括數(shù)據(jù)或命令頭的一組分組和所述多個(gè)事務(wù)處理的至少一個(gè)的數(shù)據(jù)傳送到所述多路復(fù)用器的輸出端口。
20.如權(quán)利要求19所述的存儲(chǔ)器模塊,還包括并串轉(zhuǎn)換器,該轉(zhuǎn)換器連接到所述多路復(fù)用器的輸出端口,所述并串轉(zhuǎn)換器用于在所述多路復(fù)用器的輸出端口將所述組轉(zhuǎn)換為所述多個(gè)分組的串行流。
21.如權(quán)利要求17所述的存儲(chǔ)器模塊,其中所述數(shù)據(jù)組織單元是可配置的,以改變時(shí)鐘信號(hào)的每個(gè)周期期間從所述數(shù)據(jù)組織發(fā)送的每個(gè)通道組中的通道數(shù)量。
22.如權(quán)利要求12所述的存儲(chǔ)器模塊,其中所述多個(gè)事務(wù)處理的每一個(gè)的命令頭和數(shù)據(jù)包括存儲(chǔ)器數(shù)據(jù)包。
23.一種數(shù)據(jù)組織系統(tǒng),包括數(shù)據(jù)組織單元,用于將多個(gè)存儲(chǔ)器事務(wù)處理中每一個(gè)的命令頭和數(shù)據(jù)組織到多個(gè)通道組中,所述多個(gè)通道組的每一個(gè)包括多個(gè)通道,所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或并行數(shù)據(jù)位,所述數(shù)據(jù)組織單元對(duì)所述通道組進(jìn)行組織,使得每個(gè)通道組中的全部通道填充多個(gè)命令頭位或多個(gè)數(shù)據(jù)位;以及并串轉(zhuǎn)換器,用于將所述多個(gè)通道組的每一個(gè)轉(zhuǎn)換成所述多個(gè)通道的串行流,所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或并行數(shù)據(jù)位。
24.如權(quán)利要求23所述的數(shù)據(jù)組織系統(tǒng),其中所述多個(gè)通道組的每一個(gè)包括八個(gè)通道。
25.如權(quán)利要求23所述的數(shù)據(jù)組織系統(tǒng),其中所述多個(gè)通道的每一個(gè)包括命令頭或數(shù)據(jù)的32個(gè)并行位。
26.如權(quán)利要求23所述的數(shù)據(jù)組織系統(tǒng),還包括數(shù)據(jù)緩沖器,用于為多個(gè)事務(wù)處理保存各自的數(shù)據(jù),所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)有選擇地從所述數(shù)據(jù)緩沖器通過(guò);以及命令隊(duì)列,用于為多個(gè)事務(wù)處理保存各自的命令頭,所述多個(gè)事務(wù)處理的每一個(gè)的命令頭有選擇地從所述命令隊(duì)列通過(guò),而所述對(duì)應(yīng)事務(wù)處理的數(shù)據(jù)從所述數(shù)據(jù)緩沖器通過(guò)。
27.如權(quán)利要求26所述的數(shù)據(jù)組織系統(tǒng),其中所述數(shù)據(jù)組織單元還包括多路復(fù)用器,連接起來(lái)接收為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述數(shù)據(jù)緩沖器中的數(shù)據(jù)以及為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述命令隊(duì)列中的多個(gè)命令頭,所述多路復(fù)用器用于響應(yīng)多個(gè)多路復(fù)用器控制信號(hào),將所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)和所述多個(gè)事務(wù)處理的每一個(gè)的命令頭發(fā)送到輸出端口;仲裁單元,連接到所述數(shù)據(jù)緩沖器和所述命令隊(duì)列的至少一個(gè)來(lái)接收信息,該信息表明所述多個(gè)事務(wù)處理的分別保存在所述數(shù)據(jù)緩沖器和命令隊(duì)列中的數(shù)據(jù)和多個(gè)命令頭,所述仲裁單元用于響應(yīng)表明所述數(shù)據(jù)和多個(gè)命令頭的信息產(chǎn)生所述多個(gè)控制信號(hào),引起所述多路復(fù)用器將數(shù)據(jù)或命令頭的通道組和所述多個(gè)事務(wù)處理的至少一個(gè)的數(shù)據(jù)傳送到所述多路復(fù)用器的輸出端口。
28.如權(quán)利要求23所述的數(shù)據(jù)組織系統(tǒng),其中所述數(shù)據(jù)組織單元是可配置的,以改變時(shí)鐘信號(hào)的每個(gè)周期期間從所述數(shù)據(jù)組織發(fā)送的每個(gè)通道組中的通道數(shù)量。
29.一種基于處理器的系統(tǒng),包括處理器,其具有處理器總線;系統(tǒng)控制器,和所述處理器總線連接,所述系統(tǒng)控制器具有外圍設(shè)備端口;至少一個(gè)輸入裝置,和所述系統(tǒng)控制器的外圍設(shè)備端口連接;至少一個(gè)輸出裝置,和所述系統(tǒng)控制器的外圍設(shè)備端口連接;至少一個(gè)數(shù)據(jù)存儲(chǔ)裝置,和所述系統(tǒng)控制器的外圍設(shè)備端口連接;以及存儲(chǔ)器集線器控制器,和所述處理器總線連接;多個(gè)存儲(chǔ)器模塊,通過(guò)至少一條總線和所述存儲(chǔ)器集線器控制器連接,所述多個(gè)存儲(chǔ)器模塊的每一個(gè)包括多個(gè)存儲(chǔ)器裝置;以及存儲(chǔ)器集線器,包括存儲(chǔ)器控制器,和所述多個(gè)存儲(chǔ)器裝置連接;接收接口,通過(guò)總線系統(tǒng)和所述存儲(chǔ)器控制器連接;以及發(fā)送接口,通過(guò)所述總線系統(tǒng)和所述存儲(chǔ)器控制器連接,從所述存儲(chǔ)器模塊向所述存儲(chǔ)器控制器發(fā)送存儲(chǔ)器事務(wù)處理,所述發(fā)送接口接收多個(gè)存儲(chǔ)器事務(wù)處理,所述多個(gè)存儲(chǔ)器事務(wù)處理的每一個(gè)包括命令頭和數(shù)據(jù),所述數(shù)據(jù)具有可變數(shù)量的數(shù)據(jù)位,所述發(fā)送接口包括數(shù)據(jù)組織系統(tǒng),該數(shù)據(jù)組織系統(tǒng)將命令頭和數(shù)據(jù)組織到多個(gè)通道組中,所述多個(gè)通道組的每一個(gè)包括多個(gè)通道,所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或并行數(shù)據(jù)位,所述數(shù)據(jù)組織系統(tǒng)組織所述多個(gè)通道組,使得每個(gè)通道組中的全部通道都用多個(gè)命令頭位或多個(gè)數(shù)據(jù)位填充,所述數(shù)據(jù)組織系統(tǒng)用于將所述多個(gè)通道組的每一個(gè)轉(zhuǎn)換成所述多個(gè)通道的串行流,由所述發(fā)送接口發(fā)送,發(fā)送的所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或并行數(shù)據(jù)位。
30.如權(quán)利要求29所述的基于處理器的系統(tǒng),其中所述多個(gè)通道組的每一個(gè)包括八個(gè)通道。
31.如權(quán)利要求29所述的基于處理器的系統(tǒng),其中所述多個(gè)通道的每一個(gè)包括命令頭或數(shù)據(jù)的32個(gè)并行位。
32.如權(quán)利要求29所述的基于處理器的系統(tǒng),其中所述總線系統(tǒng)包括下游總線和上游總線,該下游總線用于傳送由所述多個(gè)存儲(chǔ)器模塊背向所述存儲(chǔ)器控制器發(fā)送的多個(gè)存儲(chǔ)器事務(wù)處理,該上游總線用于傳送由所述多個(gè)存儲(chǔ)器模塊朝向所述存儲(chǔ)器控制器發(fā)送的存儲(chǔ)器事務(wù)處理,其中所述發(fā)送接口包括連接到所述上游總線的上游發(fā)送接口和連接到所述下游總線的下游發(fā)送接口,所述上游和下游發(fā)送接口的每一個(gè)都包括所述多個(gè)數(shù)據(jù)組織系統(tǒng)的相應(yīng)的一個(gè)。
33.如權(quán)利要求29所述的基于處理器的系統(tǒng),其中所述多個(gè)存儲(chǔ)器裝置包括動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器裝置。
34.如權(quán)利要求29所述的基于處理器的系統(tǒng),其中所述數(shù)據(jù)組織系統(tǒng)包括數(shù)據(jù)組織單元,用于將所述命令頭和數(shù)據(jù)組織到多個(gè)通道組中,所述多個(gè)通道組的每一個(gè)包括多個(gè)通道,這些通道包括命令頭或數(shù)據(jù),所述數(shù)據(jù)組織單元對(duì)所述多個(gè)通道組進(jìn)行組織,使得每個(gè)通道組中的全部通道都用多個(gè)命令頭位或多個(gè)數(shù)據(jù)位填充;以及并串轉(zhuǎn)換器,用于將所述多個(gè)通道組的每一個(gè)轉(zhuǎn)換成所述多個(gè)通道的串行流,由所述發(fā)送接口發(fā)送。
35.如權(quán)利要求34所述的基于處理器的系統(tǒng),其中所述數(shù)據(jù)組織單元包括數(shù)據(jù)緩沖器,用于為多個(gè)所述事務(wù)處理保存各自的數(shù)據(jù),所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)有選擇地從所述數(shù)據(jù)緩沖器通過(guò);以及命令隊(duì)列,用于為多個(gè)所述事務(wù)處理保存各自的命令頭,所述多個(gè)事務(wù)處理的每一個(gè)的命令頭有選擇地從所述命令隊(duì)列通過(guò),而所述對(duì)應(yīng)事務(wù)處理的數(shù)據(jù)從所述數(shù)據(jù)緩沖器通過(guò)。
36.如權(quán)利要求35所述的基于處理器的系統(tǒng),其中所述數(shù)據(jù)組織單元還包括多路復(fù)用器,連接起來(lái)用于接收為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述數(shù)據(jù)緩沖器中的所述數(shù)據(jù)以及為所述多個(gè)事務(wù)處理的每一個(gè)保存在所述命令隊(duì)列中的所述多個(gè)命令頭,所述多路復(fù)用器用于響應(yīng)多個(gè)多路復(fù)用器控制信號(hào),將用于所述多個(gè)事務(wù)處理的每一個(gè)的數(shù)據(jù)和用于所述多個(gè)事務(wù)處理的每一個(gè)的命令頭傳送到輸出端口;仲裁單元,連接到所述數(shù)據(jù)緩沖器和所述命令隊(duì)列的至少一個(gè)來(lái)接收信息,該信息表明為所述多個(gè)事務(wù)處理分別保存在所述數(shù)據(jù)緩沖器和命令隊(duì)列中的所述數(shù)據(jù)和多個(gè)命令頭,所述仲裁單元用于響應(yīng)表明所述數(shù)據(jù)和多個(gè)命令頭的信息產(chǎn)生所述多個(gè)控制信號(hào),引起所述多路復(fù)用器將數(shù)據(jù)或命令頭的通道組和所述多個(gè)事務(wù)處理的至少一個(gè)的數(shù)據(jù)傳送到所述多路復(fù)用器的輸出端口。
37.如權(quán)利要求36所述的基于處理器的系統(tǒng),還包括并串轉(zhuǎn)換器,該轉(zhuǎn)換器連接到所述多路復(fù)用器的輸出端口,所述并串轉(zhuǎn)換器用于在所述多路復(fù)用器的輸出端口將所述通道組轉(zhuǎn)換成所述多個(gè)通道的串行流。
38.如權(quán)利要求34所述的基于處理器的系統(tǒng),其中所述數(shù)據(jù)組織單元是可配置的,以改變時(shí)鐘信號(hào)的每個(gè)周期期間從所述數(shù)據(jù)組織發(fā)送的每個(gè)通道組中的通道數(shù)量。
39.如權(quán)利要求29所述的基于處理器的系統(tǒng),其中所述用于所述多個(gè)事務(wù)處理的每一個(gè)的命令頭和數(shù)據(jù)包括存儲(chǔ)器數(shù)據(jù)包。
40.一種發(fā)送多個(gè)存儲(chǔ)器事務(wù)處理的方法,所述多個(gè)存儲(chǔ)器事務(wù)處理的每一個(gè)包括命令頭和可變數(shù)量的數(shù)據(jù),所述方法包括將所述命令頭和數(shù)據(jù)組織到多個(gè)組中,多個(gè)組的每一個(gè)包括預(yù)定大小、預(yù)定數(shù)量的分組,所述多個(gè)分組的每一個(gè)包括多個(gè)并行命令頭位或數(shù)據(jù)位,包括用于第一個(gè)事務(wù)處理的數(shù)據(jù)的每個(gè)分組后面緊跟包括用于所述第一個(gè)事務(wù)處理的附加數(shù)據(jù)或用于第二個(gè)事務(wù)處理的命令頭的分組,使得每個(gè)組用包括多個(gè)命令頭位或多個(gè)數(shù)據(jù)位的多個(gè)分組填充;以及發(fā)送每組數(shù)據(jù)作為所述多個(gè)分組的串行流,所述多個(gè)分組的每一個(gè)包括所述多個(gè)并行命令頭位或數(shù)據(jù)位。
41.如權(quán)利要求40所述的方法,其中將所述命令頭和數(shù)據(jù)組織到多個(gè)組中的操作包括組織所述命令頭和數(shù)據(jù)到多個(gè)組中,所述多個(gè)組的每一個(gè)包括八個(gè)分組。
42.如權(quán)利要求40所述的方法,其中將所述命令頭和數(shù)據(jù)組織到包括預(yù)定數(shù)量的分組的多個(gè)組中的操作包括所述命令頭和數(shù)據(jù),使得每個(gè)分組包括命令頭或數(shù)據(jù)的32個(gè)并行位。
43.如權(quán)利要求40所述的方法,還包括改變每一組中多個(gè)分組的量。
44.一種傳送多個(gè)存儲(chǔ)器事務(wù)處理的方法,所述多個(gè)存儲(chǔ)器事務(wù)處理的每一個(gè)包括命令頭和可變量的數(shù)據(jù),所述方法包括將所述命令頭和數(shù)據(jù)組織到多個(gè)通道組中,所述多個(gè)通道組的每一個(gè)包括預(yù)定大小的多個(gè)通道,所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或數(shù)據(jù)位,對(duì)所述多個(gè)通道組進(jìn)行組織,使得每個(gè)通道組中的全部通道都用多個(gè)命令頭位或多個(gè)數(shù)據(jù)位填充。
45.如權(quán)利要求44所述的方法,還包括將所述多個(gè)通道組的每一個(gè)轉(zhuǎn)換成所述多個(gè)通道的串行流,所述多個(gè)通道的每一個(gè)包括多個(gè)并行命令頭位或并行數(shù)據(jù)位。
46.如權(quán)利要求44所述的方法,其中將所述命令頭和數(shù)據(jù)組織到多個(gè)通道組中的操作包括組織所述命令頭和數(shù)據(jù)到多個(gè)通道組中,所述多個(gè)通道組的每一個(gè)包括八個(gè)通道。
47.如權(quán)利要求44所述的方法,其中將所述命令頭和數(shù)據(jù)組織到多個(gè)通道組中的操作包括組織所述命令頭和數(shù)據(jù),使得每個(gè)通道包括命令頭或數(shù)據(jù)的32個(gè)并行位,其中所述多個(gè)通道組的每一個(gè)包括預(yù)定數(shù)量的通道。
48.如權(quán)利要求44所述的方法,還包括改變每個(gè)通道組中通道的數(shù)量。
全文摘要
存儲(chǔ)器系統(tǒng),包括和多個(gè)存儲(chǔ)器模塊連接的存儲(chǔ)器集線器控制器,每個(gè)模塊包括存儲(chǔ)器集線器。每個(gè)存儲(chǔ)器集線器包括發(fā)送接口,發(fā)送接口具有數(shù)據(jù)組織系統(tǒng),為多個(gè)存儲(chǔ)器事務(wù)處理的每一個(gè)將命令頭和數(shù)據(jù)組織到多個(gè)通道組中,每個(gè)通道組包括預(yù)定數(shù)量的通道。每個(gè)通道包括并行命令頭位或并行數(shù)據(jù)位。然后將通道組轉(zhuǎn)換成通道的串行流,從存儲(chǔ)器集線器通過(guò)高速總線發(fā)送。對(duì)通道組進(jìn)行組織,使得總是用通道將它們填充,所述通道包括命令頭或數(shù)據(jù)。結(jié)果是,在從存儲(chǔ)器集線器發(fā)送存儲(chǔ)器事務(wù)處理期間,高速總線從不空閑,從而增大了存儲(chǔ)器系統(tǒng)的存儲(chǔ)器帶寬。
文檔編號(hào)G06F13/38GK1965302SQ200580015692
公開(kāi)日2007年5月16日 申請(qǐng)日期2005年3月16日 優(yōu)先權(quán)日2004年3月18日
發(fā)明者柯?tīng)査闺だ啄峥?申請(qǐng)人:米克倫技術(shù)公司
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
康保县| 肃南| 辉南县| 瓦房店市| 西城区| 上思县| 鄂托克旗| 新龙县| 丰原市| 洞头县| 邵武市| 九江市| 江源县| 淅川县| 文登市| 浏阳市| 伊金霍洛旗| 理塘县| 泸水县| 河北省| 黔江区| 白山市| 凤凰县| 杂多县| 连城县| 蒙山县| 六枝特区| 江阴市| 惠水县| 财经| 松桃| 漳浦县| 抚顺市| 商洛市| 神木县| 霍林郭勒市| 无为县| 虎林市| 河津市| 阿瓦提县| 津南区|