海量資料索引建立系統(tǒng)及方法
【專利摘要】一種海量資料索引建立系統(tǒng)及方法，該系統(tǒng)安裝并運行于計算裝置中，該計算裝置包括存儲設備。該系統(tǒng)包括：資料分配模塊，用于從資料列表池中獲取資料列表，在存儲設備中建立多個資料隊列，并將資料列表分配到資料隊列中。索引建立模塊，用于針對每一個資料隊列中的資料列表建立一個資料子索引，并將該資料列表從相應的資料隊列中移除。優(yōu)先處理模塊，用于當資料列表需要優(yōu)先處理時將優(yōu)先權級別最高的該資料列表移入資料隊列中優(yōu)先處理。索引合并模塊，用于將資料子索引進行合并成資料列表池的資料根索引。本發(fā)明能夠同時監(jiān)控多個建立索引進程，排配建立索引的優(yōu)先級，并依照當前系統(tǒng)的可用運算資源的多少來動態(tài)調整建立索引的速度。
【專利說明】海量資料索引建立系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及一種資料索引管理系統(tǒng)及方法，特別是關于一種海量資料索引建立系統(tǒng)及方法。
【背景技術】
[0002]在資料處理過程中，建立資料索引是一種常見的管理資料需求。當資料具有相當規(guī)模的海量資料時，如何為海量資料建立索引是一件較為困難的課題。然而，利用傳統(tǒng)索引建立方法，無法啟動多個建索引程序為多筆資料同時建立索引，無法彈性地排配建立索引的優(yōu)先級，也無法依照當前計算機系統(tǒng)的可用運算資源多少來動態(tài)調整建立索引的速度。

【發(fā)明內容】

[0003]鑒于以上內容，有必要提供一種海量資料索引建立系統(tǒng)及方法，能夠同時監(jiān)控多個建立索引進程，排配建立索引的優(yōu)先級，并依照當前系統(tǒng)的可用運算資源的多少來動態(tài)調整建立索引的速度。
[0004]所述的海量資料索引建立系統(tǒng)安裝并運行于計算裝置中，該計算裝置包括存儲設備。該海量資料索引建立系統(tǒng)包括:資料分配模塊，用于從存儲設備的資料列表池中獲取需要建立索引的資料列表，為每一個資料列表設定一個優(yōu)先權級別，在存儲設備中建立多個資料隊列，并按照優(yōu)先權級別將獲取的資料列表分配到資料隊列中；索引建立模塊，用于針對每一個資料隊列中的資料列表建立一個資料子索引，將已建立的資料子索引保存在存儲設備中，并將該資料列表從相應的資料隊列中移除；優(yōu)先處理模塊，用于檢查資料列表池中是否有資料列表需要優(yōu)先處理，當資料列表需要優(yōu)先處理時，從資料列表池中獲取優(yōu)先權級別最高的資料列表，并將該資料列表移入空閑的資料隊列中優(yōu)先處理；索引合并模塊，用于將所有建立的資料子索引合并成一個資料列表池的資料根索引，并將該資料根索引保存在存儲設備中。
[0005]所述的海量資料索引建立方法應用于計算裝置中，該計算裝置包括存儲設備。該方法包括步驟:從存儲設備的資料列表池中獲取需要建立索引的資料列表，并為每一個資料列表設定一個優(yōu)先權級別；在存儲設備中建立多個資料隊列，并按照優(yōu)先權級別將獲取的資料列表分配到資料隊列中；針對每一個資料隊列中的資料列表建立一個資料子索弓I ；將已建立的資料子索弓I保存在存儲設備中，并將該資料列表從相應的資料隊列中移除；檢查資料列表池中是否有資料列表需要優(yōu)先處理；當資料列表需要優(yōu)先處理時，從資料列表池中獲取優(yōu)先權級別最高的資料列表，并將該資料列表移入空閑的資料隊列中優(yōu)先處理；將所有建立的資料子索引合并成一個資料列表池的資料根索引，并將該資料根索引保存在存儲設備中。
[0006]相較于現(xiàn)有技術，本發(fā)明所述的海量資料索引建立系統(tǒng)及方法，能夠彈性地同時監(jiān)控多個建立索引進程，彈性地排配建立索引的優(yōu)先級，也能依照當前系統(tǒng)的可用運算資源的多少來動態(tài)調整建立索引的速度?！緦＠綀D】

【附圖說明】
[0007]圖1是本發(fā)明海量資料索引建立系統(tǒng)較佳實施例的架構圖。
[0008]圖2是本發(fā)明海量資料索引建立方法較佳實施例的流程圖。
[0009]圖3是一種建立海量資料索引的不意圖。
[0010]圖4是一種優(yōu)先處理資料索引的示意圖。
[0011]主要元件符號說明
[0012]計算裝置100
[0013]資料索引建立系統(tǒng)10
[0014]資料分配模塊101
[0015]索引建立模塊102
[0016]優(yōu)先處理模塊103
[0017]索引合并模塊104
[0018]存儲設備11
[0019]處理器12
[0020]如下【具體實施方式】將`結合上述附圖進一步說明本發(fā)明。
【具體實施方式】
[0021]如圖1所示，是本發(fā)明海量資料索引建立系統(tǒng)10較佳實施例的架構圖。在本實施例中，所述的資料索引建立系統(tǒng)10安裝并運行于計算裝置100中，能夠同時監(jiān)控多個建立索引進程，彈性地排配建立索引的優(yōu)先級，也能夠依照當前系統(tǒng)的可用運算資源的多少來動態(tài)調整建立資料索引的速度。在本實施例中，所述的計算裝置100還包括，但不僅限于，存儲設備11以及處理器12。該計算裝置100可以為個人計算機、或者服務器之一種。
[0022]所述的存儲設備11可以為一種磁盤或網(wǎng)絡存儲裝置，用于存儲資料列表池、資料隊列以及海量資料。所述的資料列表池包括多個資料列表，參考圖3所示的資料列表ListO, ListU List2、…、ListN0所述的資料隊列用于存儲資料列表，每一資料列表存儲有用于識別不同類別資料的資料序號，例如序號SOOalOl、S00al02等。每一資料序號分別對應有存儲在存儲設備11中的資料。
[0023]在本實施例中，將生產物料視為海量資料，生產機臺視為資料序號，生產成品視為索引，從而為大量的生產物料建立資料索引。利用一些簡單的手段就能進行大批量的工單排程，若有更多的機臺資源，也能以類似于擴產能的方式增加產量。
[0024]在本實施例中，所述的資料索引建立系統(tǒng)10包括資料分配模塊101、索引建立模塊102、優(yōu)先處理模塊103以及索引合并模塊104。本發(fā)明所稱的模塊系指一種能夠被處理器12所執(zhí)行并且能夠完成固定功能的一系列程序指令段，其存儲于所述的存儲設備11中。
[0025]所述的資料分配模塊101用于從存儲設備11的資料列表池中獲取需要建立索引的資料列表，并為每一個資料列表設定一個優(yōu)先權級別。例如，資料列表ListO中的資料需要優(yōu)先處理，則資料分配模塊101將資料列表ListO的優(yōu)先權級別設為最高級，并按照資料列表的文件名稱依次設置資料列表池中資料列表的優(yōu)先權級別。
[0026]所述的資料分配模塊101還用于在存儲設備11中建立多個資料隊列，并按照優(yōu)先權級別將獲取的資料列表分配到資料隊列中。參考圖4所示，資料分配模塊101建立了兩個資料隊列，其中，資料隊列I用于存放資料列表Listl和資料列表List3，以及資料隊列2用于存放資料列表List2和資料列表List4。
[0027]所述的索引建立模塊102用于針對每一個資料隊列中的資料列表建立一個資料子索引。參考圖3所示，索引建立模塊102為資料隊列I建立資料子索引1，為資料隊列2建立資料子索引2，以及為資料隊列3建立資料子索引3。
[0028]所述的索引建立模塊102還用于將已建立的資料子索引保存在存儲設備11中，并將該資料列表從相應的資料隊列中移除。參考圖4所示，當資料隊列I中的資料列表Listl已建立了資料子索引I時，索引建立模塊102將資料列表Listl從資料隊列I中移除，以便釋放系統(tǒng)運算資源。
[0029]所述的優(yōu)先處理模塊103用于檢查資料列表池中是否有資料列表需要優(yōu)先處理。當資料列表需要優(yōu)先處理，優(yōu)先處理模塊103從資料列表池中獲取優(yōu)先權級別最高的資料列表，并將該資料列表移入空閑的資料隊列中優(yōu)先處理。參考圖4所示，資料列表ListO的需要優(yōu)先處理，其優(yōu)先權級別為最高，優(yōu)先處理模塊103將資料列表ListO移入資料隊列I中，并插入資料列表List3的前優(yōu)先處理。
[0030]所述的索引合并模塊104用于將所有建立的資料子索引進行合并成一個資料列表池的資料根索引，并將該資料根索引保存在存儲設備11中。參考圖3所示，索引合并模塊104將資料隊列I的資料子索引1、資料隊列2的資料子索引2、以及為資料隊列3的資料子索引3進行合并，從而為資料列表池建立一個資料根索引。
[0031]參考圖2所示，是本發(fā)明海量資料索引建立方法較佳實施例的流程圖。在本實施例中，該方法能夠同時監(jiān)控多個建立索引進程，彈性地排配建立索引的優(yōu)先級，也能夠依照當前系統(tǒng)的可用運算資源的多少來動態(tài)調整建立索引的速度。
[0032]步驟S21，資料分配模塊101從存儲設備11的資料列表池中獲取需要建立索引的資料列表，并為每一個資料列表設定一個優(yōu)先權級別。例如，資料列表ListO中的資料需要優(yōu)先處理，則資料分配模塊101將資料列表ListO的優(yōu)先權級別設為最高級，并按照資料列表的文件名稱依次設置資料列表池中資料列表的優(yōu)先權級別。
[0033]步驟S22，資料分配模塊101在存儲設備11中建立多個資料隊列，并按照優(yōu)先權級別將獲取的資料列表分配到資料隊列中。參考圖4所示，資料分配模塊101建立了兩個資料隊列，其中，資料隊列I用于存放資料列表Listl和資料列表List3，以及資料隊列2用于存放資料列表List2和資料列表List4。
[0034]步驟S23，索引建立模塊102針對每一個資料隊列中的資料列表建立一個資料子索引。參考圖3所示，索引建立模塊102為資料隊列I建立資料子索引1，為資料隊列2建立資料子索引2，以及為資料隊列3建立資料子索引3。
[0035]步驟S24，索引建立模塊102將已建立的資料子索引保存在存儲設備11中，并將該資料列表從相應的資料隊列中移除。參考圖4所示，當資料隊列I中的資料列表Listl已建立了資料子索引I時，索引建立模塊102將資料列表Listl從資料隊列I中移除，以便釋放系統(tǒng)運算資源。
[0036]步驟S25，優(yōu)先處理模塊103檢查資料列表池中是否有資料列表需要優(yōu)先處理。若資料列表池中有需要優(yōu)先處理的資料列表，則流程執(zhí)行步驟S26 ;若資料列表池中沒有優(yōu)先處理的資料列表，則流程執(zhí)行步驟S28。
[0037]步驟S26，優(yōu)先處理模塊103從資料列表池中獲取優(yōu)先權級別最高的資料列表，并將該資料列表移入空閑的資料隊列中優(yōu)先處理。參考圖4所示，資料列表ListO的需要優(yōu)先處理，其優(yōu)先權級別為最高，優(yōu)先處理模塊103將資料列表ListO移入資料隊列I中，并插入資料列表List3的前優(yōu)先處理。
[0038]步驟S27，優(yōu)先處理模塊103檢查資料隊列中是否還有資料列表。若資料隊列中還有資料列表，則流程返回步驟S23 ;若資料隊列中沒有資料列表，則流程執(zhí)行步驟S28。
[0039]步驟S28，索引合并模塊104將所有建立的資料子索引進行合并成一個資料列表池的資料根索引，并將該資料根索引保存在存儲設備11中。參考圖3所示，索引合并模塊104將資料隊列I的資料子索引1、資料隊列2的資料子索引2、以及為資料隊列3的資料子索引3進行合并，從而為資料列表池建立一個資料根索引。
[0040]以上實施例僅用以說明本發(fā)明的技術方案而非限制，盡管參照以上較佳實施例對本發(fā)明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發(fā)明的技術方案進行修改或者等同替換都不應脫離本發(fā)明技術方案的精神和范圍。
【權利要求】
1.一種海量資料索引建立系統(tǒng)，安裝并運行于計算裝置中，該計算裝置包括存儲設備，其特征在于，所述的海量資料索引建立系統(tǒng)包括: 資料分配模塊，用于從存儲設備的資料列表池中獲取需要建立索引的資料列表，為每一個資料列表設定一個優(yōu)先權級別，在存儲設備中建立多個資料隊列，并按照優(yōu)先權級別將獲取的資料列表分配到資料隊列中； 索引建立模塊，用于針對每一個資料隊列中的資料列表建立一個資料子索引，將已建立的資料子索引保存在存儲設備中，并將該資料列表從相應的資料隊列中移除； 優(yōu)先處理模塊，用于檢查資料列表池中是否有資料列表需要優(yōu)先處理，當有資料列表需要優(yōu)先處理時，從資料列表池中獲取優(yōu)先權級別最高的資料列表，并將該資料列表移入空閑的資料隊列中優(yōu)先處理；以及 索引合并模塊，用于將所有建立的資料子索引合并成一個資料列表池的資料根索引，并將該資料根索引保存在存儲設備中。
2.如權利要求1所述的海量資料索引建立系統(tǒng)，其特征在于，所述的優(yōu)先處理模塊還用于判斷資料隊列中是否還有資料列表需要建立索引。
3.如權利要求1所述的海量資料索引建立系統(tǒng)，其特征在于，所述的資料分配模塊將資料列表池中需要優(yōu)先處理的資料列表的優(yōu)先權級別設為最高級，并按照資料列表的文件名稱依次設置資料列表池中資料列表的優(yōu)先權級別。
4.如權利要求1所 述的海量資料索引建立系統(tǒng)，其特征在于，所述的資料列表池包括多個資料列表，每一資料列表存儲有用于識別不同類別資料的資料序號，并分別對應于存儲在存儲設備中的資料。
5.如權利要求1所述的海量資料索引建立系統(tǒng)，其特征在于，所述的存儲設備為一種磁盤或網(wǎng)絡存儲裝置，用于存儲資料列表池、資料隊列以及海量資料。
6.一種海量資料索引建立方法，應用于計算裝置中，該計算裝置包括存儲設備，其特征在于，該方法包括步驟: 從存儲設備的資料列表池中獲取需要建立索引的資料列表，并為每一個資料列表設定一個優(yōu)先權級別； 在存儲設備中建立多個資料隊列，并按照優(yōu)先權級別將獲取的資料列表分配到資料隊列中； 針對每一個資料隊列中的資料列表建立一個資料子索引； 將已建立的資料子索引保存在存儲設備中，并將該資料列表從相應的資料隊列中移除； 檢查資料列表池中是否有資料列表需要優(yōu)先處理； 當有資料列表需要優(yōu)先處理時，從資料列表池中獲取優(yōu)先權級別最高的資料列表，并將該資料列表移入空閑的資料隊列中優(yōu)先處理；以及 將所有建立的資料子索引合并成一個資料列表池的資料根索引，并將該資料根索引保存在存儲設備中。
7.如權利要求6所述的海量資料索引建立方法，其特征在于，該方法還包括步驟: 判斷資料隊列中是否還有資料列表需要建立索引； 當資料隊列中還有資料列表需要建立索引時，針對該資料隊列中的資料列表建立一個資料子索引。
8.如權利要求6所述的海量資料索引建立方法，其特征在于，所述的需要優(yōu)先處理的資料列表的優(yōu)先權級別設為最高級，資料列表池中剩余資料列表的優(yōu)先權級別按照資料列表的文件名稱來設置。
9.如權利要求6所述的海量資料索引建立方法，其特征在于，所述的資料列表池包括多個資料列表，每一資料列表存儲有用于識別不同類別資料的資料序號，并分別對應于存儲在存儲設備中的資料。
10.如權利要求6所述的海量資料索引建立方法，其特征在于，所述的存儲設備為一種磁盤或網(wǎng)絡存儲裝置，用于存儲資料列表池、資料隊列以及海量資料。
【文檔編號】G06F17/30GK103631792SQ201210300880
【公開日】2014年3月12日 申請日期:2012年8月22日 優(yōu)先權日:2012年8月22日
【發(fā)明者】李忠一, 葉建發(fā), 蔡程豐, 盧俊锜 申請人:鴻富錦精密工業(yè)（深圳）有限公司, 鴻海精密工業(yè)股份有限公司