本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法及裝置。

背景技術(shù)：

應(yīng)用于新型非易失性存儲(chǔ)器上的傳統(tǒng)IO棧開銷已經(jīng)成為存儲(chǔ)系統(tǒng)性能瓶頸的問題。與處理器的帶寬相比，傳統(tǒng)磁盤存在延遲高、帶寬低的弊端，這也是基于磁盤的存儲(chǔ)系統(tǒng)的一個(gè)性能瓶頸點(diǎn)。而基于新型非易失性存儲(chǔ)介質(zhì)的SSD，沒有機(jī)械動(dòng)作，具有高帶寬低延遲和隨機(jī)訪問性能高的特點(diǎn)，主要性能指標(biāo)比傳統(tǒng)機(jī)械磁盤高，近年研究也取得了較大進(jìn)展，未來具有很大的發(fā)展?jié)摿Α?/p>

在基于磁盤的存儲(chǔ)系統(tǒng)中，軟件層的優(yōu)化主要是針對(duì)磁盤的特性來進(jìn)行，目的是通過減少磁頭移動(dòng)來提高性能。然而基于flash、PCM等新型存儲(chǔ)介質(zhì)的SSD不含任何機(jī)械裝置，傳統(tǒng)的IO棧中針對(duì)磁盤的優(yōu)化措施不再適合，而一些研究結(jié)果表明，基于flash等新型非易失性存儲(chǔ)介質(zhì)的存儲(chǔ)系統(tǒng)的IO操作，軟件開銷帶來的延遲和能耗已經(jīng)到了迫切需要解決的程度。

現(xiàn)有技術(shù)中對(duì)于IO請(qǐng)求的響應(yīng)方式主要是采用中斷以異步的方式進(jìn)行。但是中斷產(chǎn)生后中斷服務(wù)程序執(zhí)行本身需要時(shí)間，特別是在高負(fù)載下即使采用中斷聚合的方式每秒也會(huì)產(chǎn)生成千上萬的中斷請(qǐng)求，由于中斷的優(yōu)先級(jí)較高對(duì)中斷的處理就會(huì)消耗大量的CPU資源，同時(shí)也會(huì)增加單個(gè)請(qǐng)求的完成延遲；其次，采用中斷方式在設(shè)備執(zhí)行請(qǐng)求時(shí)會(huì)引起進(jìn)程切換，但很快存儲(chǔ)設(shè)備IO請(qǐng)求會(huì)執(zhí)行完成，從而引起中斷喚醒阻塞的進(jìn)程繼續(xù)執(zhí)行，這樣會(huì)頻繁地切換進(jìn)程但執(zhí)行時(shí)間卻很少，導(dǎo)致頻繁地更換硬件緩存中的內(nèi)容，產(chǎn)生抖動(dòng)現(xiàn)象降低硬件緩存的命中率，最終降低性能。

由此可見，在響應(yīng)IO請(qǐng)求時(shí)如何減少進(jìn)程切換所帶來的軟件開銷，改善整個(gè)存儲(chǔ)系統(tǒng)的性能是本領(lǐng)域技術(shù)人員亟待解決的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法及裝置，用于在響應(yīng)IO請(qǐng)求時(shí)如何減少進(jìn)程切換所帶來的軟件開銷，改善整個(gè)存儲(chǔ)系統(tǒng)的性能。

為解決上述技術(shù)問題，本發(fā)明提供一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法，用于存儲(chǔ)設(shè)備，包括：

接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出所述操作請(qǐng)求中包含的IO請(qǐng)求；

將所述IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中；

當(dāng)?shù)竭_(dá)所述IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度所述IO請(qǐng)求至相應(yīng)的線程中。

優(yōu)選地，當(dāng)所述線程為單線程時(shí)，所述當(dāng)?shù)竭_(dá)所述IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度所述IO請(qǐng)求至相應(yīng)的線程中具體為：

當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果上一個(gè)IO請(qǐng)求還未執(zhí)行完畢，則繼續(xù)保留該IO請(qǐng)求在所述執(zhí)行隊(duì)列中。

優(yōu)選地，當(dāng)所述線程為多線程時(shí)，所述當(dāng)?shù)竭_(dá)所述IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度所述IO請(qǐng)求至相應(yīng)的線程中具體為：

當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果線程中有空閑的線程，則將該IO請(qǐng)求加入到空閑的線程中，如果線程中沒有空閑的線程，則繼續(xù)保留該IO請(qǐng)求在所述執(zhí)行隊(duì)列中。

優(yōu)選地，還包括：當(dāng)執(zhí)行完所述IO請(qǐng)求時(shí)，向所述服務(wù)器發(fā)送反饋信息；

其中，所述反饋信息包括響應(yīng)成功信息和響應(yīng)失敗信息。

優(yōu)選地，當(dāng)所述反饋信息為所述響應(yīng)失敗信息時(shí)，還包括：重新接收所述服務(wù)器發(fā)送的IO請(qǐng)求。

一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)裝置，用于存儲(chǔ)設(shè)備，包括：

接收單元，用于接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出所述操作請(qǐng)求中包含的IO請(qǐng)求；

排序單元，用于將所述IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中；

調(diào)度單元，用于當(dāng)?shù)竭_(dá)所述IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度所述IO請(qǐng)求至相應(yīng)的線程中。

優(yōu)選地，當(dāng)所述線程為單線程時(shí)，所述調(diào)度單元具體用于當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果上一個(gè)IO請(qǐng)求還未執(zhí)行完畢，則繼續(xù)保留該IO請(qǐng)求在所述執(zhí)行隊(duì)列中。

優(yōu)選地，當(dāng)所述線程為多線程時(shí)，所述調(diào)度單元具體用于當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果線程中有空閑的線程，則將該IO請(qǐng)求加入到空閑的線程中，如果線程中沒有空閑的線程，則繼續(xù)保留該IO請(qǐng)求在所述執(zhí)行隊(duì)列中。

優(yōu)選地，還包括：反饋單元，用于當(dāng)執(zhí)行完所述IO請(qǐng)求時(shí)，向所述服務(wù)器發(fā)送反饋信息；

其中，所述反饋信息包括響應(yīng)成功信息和響應(yīng)失敗信息。

優(yōu)選地，當(dāng)所述反饋信息為所述響應(yīng)失敗信息時(shí)，所述接收單元還用于重新接收所述服務(wù)器發(fā)送的IO請(qǐng)求。

本發(fā)明所提供的對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法及裝置，包括接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出操作請(qǐng)求中包含的IO請(qǐng)求；將IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中；當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中。該方法中，無需考慮各個(gè)IO請(qǐng)求的優(yōu)先級(jí)，因此可以避免采用中斷的方式所帶來的消耗大量的CPU資源，也可以減少頻繁切換線程的問題，改善了整個(gè)存儲(chǔ)系統(tǒng)的性能。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例，下面將對(duì)實(shí)施例中所需要使用的附圖做簡(jiǎn)單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法的流程圖；

圖2為本發(fā)明實(shí)施例提供的一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)裝置的結(jié)構(gòu)圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下，所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)范圍。

本發(fā)明的核心是提供一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法及裝置。

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。

圖1為本發(fā)明實(shí)施例提供的一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法的流程圖。如圖1所示，對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)裝置，用于存儲(chǔ)設(shè)備，包括：

S10：接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出操作請(qǐng)求中包含的IO請(qǐng)求。

在具體實(shí)施中，服務(wù)器會(huì)向存儲(chǔ)設(shè)備發(fā)送多種類型的操作請(qǐng)求，例如IO請(qǐng)求。本發(fā)明中提到的方法只針對(duì)IO請(qǐng)求，其它請(qǐng)求采用現(xiàn)有的處理方式即可。需要說明的是，本發(fā)明中提到的IO請(qǐng)求指的是讀操作請(qǐng)求和寫操作請(qǐng)求。

S11：將IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中。

S12：當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中。

當(dāng)篩選出IO請(qǐng)求后，將全部的IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中。需要說明的是，響應(yīng)時(shí)間距當(dāng)前時(shí)刻最近的IO請(qǐng)求排列在隊(duì)列的隊(duì)首，這樣當(dāng)?shù)搅嗽揑O請(qǐng)求的響應(yīng)時(shí)間時(shí)，這個(gè)IO請(qǐng)求被優(yōu)先送至響應(yīng)的線程中。

需要說明的是，不同的存儲(chǔ)設(shè)備的處理方式不同，有的存儲(chǔ)設(shè)備只有一個(gè)線程對(duì)IO請(qǐng)求進(jìn)行響應(yīng)，有的存儲(chǔ)設(shè)備有多個(gè)(大于1個(gè))線程對(duì)IO請(qǐng)求進(jìn)行響應(yīng)。

作為優(yōu)選地實(shí)施方式，當(dāng)線程為單線程時(shí)，當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中具體為：

當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果上一個(gè)IO請(qǐng)求還未執(zhí)行完畢，則繼續(xù)保留該IO請(qǐng)求在執(zhí)行隊(duì)列中。

如果只有一個(gè)線程，那么全部的IO請(qǐng)求都需要在這個(gè)一個(gè)線程中執(zhí)行，因此，如果上一個(gè)IO請(qǐng)求還未執(zhí)行完畢，則該線程就不是空閑線程，無法執(zhí)行其余IO請(qǐng)求，此時(shí)即使到了這個(gè)IO請(qǐng)求的執(zhí)行時(shí)間，則該IO請(qǐng)求仍然需要繼續(xù)等待。

作為優(yōu)選地實(shí)施方式，當(dāng)線程為多線程時(shí)，當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中具體為：

當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果線程中有空閑的線程，則將該IO請(qǐng)求加入到空閑的線程中，如果線程中沒有空閑的線程，則繼續(xù)保留該IO請(qǐng)求在執(zhí)行隊(duì)列中。

如果線程為多線程，那么意味著在同一時(shí)間可以執(zhí)行多個(gè)IO請(qǐng)求。例如有3個(gè)線程，那么排列在隊(duì)列中的前3個(gè)IO請(qǐng)求能夠分別在這3個(gè)線程中被執(zhí)行。如果在執(zhí)行這3個(gè)IO請(qǐng)求的過程中，當(dāng)前隊(duì)列中的第一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間到達(dá)時(shí)，3個(gè)線程都不是空閑的，無法執(zhí)行該IO請(qǐng)求，因此該IO請(qǐng)求需要繼續(xù)在隊(duì)列中等待。

可以理解的是，如果當(dāng)前隊(duì)列中的第一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間到達(dá)時(shí)，3個(gè)線程中有一個(gè)線程是空閑的，那么該IO請(qǐng)求就被調(diào)度至空閑的線程中。

本實(shí)施例提供的對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法，包括接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出操作請(qǐng)求中包含的IO請(qǐng)求；將IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中；當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中。該方法中，無需考慮各個(gè)IO請(qǐng)求的優(yōu)先級(jí)，因此可以避免采用中斷的方式所帶來的消耗大量的CPU資源，也可以減少頻繁切換線程的問題，改善了整個(gè)存儲(chǔ)系統(tǒng)的性能。

作為優(yōu)選地實(shí)施方式，還包括：當(dāng)執(zhí)行完IO請(qǐng)求時(shí)，向服務(wù)器發(fā)送反饋信息；

其中，反饋信息包括響應(yīng)成功信息和響應(yīng)失敗信息。

本步驟執(zhí)行完IO請(qǐng)求有三種方式：

一種是每執(zhí)行完一個(gè)IO請(qǐng)求，就會(huì)向服務(wù)器發(fā)送反饋信息，可以理解的是，反饋信息中包含有該IO請(qǐng)求的屬性，以便服務(wù)器能夠分辨出是哪個(gè)IO請(qǐng)求對(duì)應(yīng)的反饋信息。

另一種是在特定周期內(nèi)執(zhí)行完1個(gè)或多個(gè)IO請(qǐng)求，就會(huì)向服務(wù)器發(fā)送反饋信息，可以理解的是，反饋信息中包含有該IO請(qǐng)求的屬性，以便服務(wù)器能夠分辨出是哪個(gè)IO請(qǐng)求對(duì)應(yīng)的反饋信息。

第三種是執(zhí)行完全部的IO請(qǐng)求，就會(huì)向服務(wù)器發(fā)送反饋信息，可以理解的是，反饋信息中包含有該IO請(qǐng)求的屬性，以便服務(wù)器能夠分辨出是哪個(gè)IO請(qǐng)求對(duì)應(yīng)的反饋信息。

作為優(yōu)選地實(shí)施方式，當(dāng)反饋信息為響應(yīng)失敗信息時(shí)，還包括：重新接收服務(wù)器發(fā)送的IO請(qǐng)求。

如果反饋信息為響應(yīng)失敗信息，則說明對(duì)應(yīng)的IO請(qǐng)求沒有被成功響應(yīng)，即沒有完成讀操作或者寫操作，因此，服務(wù)器需要再次向存儲(chǔ)設(shè)備發(fā)送IO請(qǐng)求，對(duì)于存儲(chǔ)設(shè)備這一側(cè)來說就是重新接收服務(wù)器發(fā)送的IO請(qǐng)求。

可以理解的是，為了能夠區(qū)分出同樣一個(gè)IO請(qǐng)求是首次發(fā)送還是非首次發(fā)送，可以為在發(fā)送IO請(qǐng)求時(shí)添加次數(shù)信息，以便區(qū)分該IO請(qǐng)求是第幾次發(fā)送。

另外，為了節(jié)約時(shí)間，如果同樣一個(gè)IO請(qǐng)求被執(zhí)行預(yù)定的次數(shù)后都失敗，則在最后一次向服務(wù)器發(fā)送反饋信息時(shí)包含有報(bào)警提示信息。該報(bào)警提示信息就代表對(duì)應(yīng)的IO請(qǐng)求已經(jīng)被執(zhí)行多次，且都是響應(yīng)失敗。在服務(wù)器接收到禁止發(fā)送信息后就不需要再向存儲(chǔ)設(shè)備發(fā)送該IO請(qǐng)求。

圖2為本發(fā)明實(shí)施例提供的一種對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)裝置的結(jié)構(gòu)圖。如圖2所示，對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)裝置，用于存儲(chǔ)設(shè)備，包括：

接收單元10，用于接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出操作請(qǐng)求中包含的IO請(qǐng)求；

排序單元11，用于將IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中；

調(diào)度單元12，用于當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中。

本實(shí)施例提供的對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)裝置，包括接收服務(wù)器發(fā)送的操作請(qǐng)求，并篩選出操作請(qǐng)求中包含的IO請(qǐng)求；將IO請(qǐng)求按照響應(yīng)時(shí)間的先后順序加入執(zhí)行隊(duì)列中；當(dāng)?shù)竭_(dá)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)調(diào)度IO請(qǐng)求至相應(yīng)的線程中。該方法中，無需考慮各個(gè)IO請(qǐng)求的優(yōu)先級(jí)，因此可以避免采用中斷的方式所帶來的消耗大量的CPU資源，也可以減少頻繁切換線程的問題，改善了整個(gè)存儲(chǔ)系統(tǒng)的性能。

作為優(yōu)選地實(shí)施方式，當(dāng)線程為單線程時(shí)，調(diào)度單元12具體用于當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果上一個(gè)IO請(qǐng)求還未執(zhí)行完畢，則繼續(xù)保留該IO請(qǐng)求在執(zhí)行隊(duì)列中。

作為優(yōu)選地實(shí)施方式，當(dāng)線程為多線程時(shí)，調(diào)度單元12具體用于當(dāng)?shù)竭_(dá)一個(gè)IO請(qǐng)求的執(zhí)行時(shí)間時(shí)，如果線程中有空閑的線程，則將該IO請(qǐng)求加入到空閑的線程中，如果線程中沒有空閑的線程，則繼續(xù)保留該IO請(qǐng)求在執(zhí)行隊(duì)列中。

作為優(yōu)選地實(shí)施方式，還包括：反饋單元，用于當(dāng)執(zhí)行完IO請(qǐng)求時(shí)，向服務(wù)器發(fā)送反饋信息；

其中，反饋信息包括響應(yīng)成功信息和響應(yīng)失敗信息。

作為優(yōu)選地實(shí)施方式，當(dāng)反饋信息為響應(yīng)失敗信息時(shí)，接收單元10還用于重新接收服務(wù)器發(fā)送的IO請(qǐng)求。

由于裝置部分的實(shí)施例與方法部分的實(shí)施例相互對(duì)應(yīng)，因此裝置部分的實(shí)施例請(qǐng)參見方法部分的實(shí)施例的描述，這里暫不贅述。

以上對(duì)本發(fā)明所提供的對(duì)非易失性存儲(chǔ)的IO請(qǐng)求響應(yīng)方法及裝置進(jìn)行了詳細(xì)介紹。說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。對(duì)于實(shí)施例公開的裝置而言，由于其與實(shí)施例公開的方法相對(duì)應(yīng)，所以描述的比較簡(jiǎn)單，相關(guān)之處參見方法部分說明即可。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對(duì)本發(fā)明進(jìn)行若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。

專業(yè)人員還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實(shí)施。軟件模塊可以置于隨機(jī)存儲(chǔ)器(RAM)、內(nèi)存、只讀存儲(chǔ)器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動(dòng)磁盤、CD-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。