點是否存在，都需要記錄其每級對應(yīng)的前驅(qū)節(jié)點pre[i]。如果在某一級找到了 k對應(yīng)的節(jié)點，貝lj在位于該級以下的當(dāng)前節(jié)點succ的值顯然都是相同的(即其自身節(jié)點)，所以只需更新一次。Locate操作本身不用加鎖，它的作用是返回一個3元組，表示定位的結(jié)果level，當(dāng)前節(jié)點的位置succ，前驅(qū)節(jié)點的位置preds。
[0047]在插入操作中:
[0048]1)首先調(diào)用定位操作，返回定位的結(jié)果，如果找到當(dāng)前節(jié)點，則說明鍵值為k的節(jié)點已經(jīng)存在，不能插入。否則，進行接下來的插入操作。
[0049]2)對前驅(qū)節(jié)點數(shù)組pre自下向上加鎖。
[0050]3)驗證返回的pre和后繼節(jié)點數(shù)組succ的下一節(jié)點是否發(fā)生變化。假如pre和succ的下一節(jié)點發(fā)生了變化，則先釋放剛才的鎖，然后重新定位pre和succ。如果pre和succ都沒有發(fā)生了變化，進行下一步。
[0051]4)從底級開始向上進行插入操作，然后置linked標(biāo)志位為true，表示插入節(jié)點已經(jīng)完全鏈接，最后釋放所有的鎖。
[0052]刪除操作將指定的節(jié)點刪除，基本步驟和插入操作一樣，首先定位節(jié)點，然后判定當(dāng)前節(jié)點的狀態(tài)是否合理，即該節(jié)點完全鏈接，且沒有正在被刪除。如果該節(jié)點狀態(tài)合理，則對該節(jié)點上鎖，然而有可能該節(jié)點已經(jīng)被其他線程刪除，此時返回false，否則，置節(jié)點marked標(biāo)志位為true。接下來和插入操作一樣，自下向上對前驅(qū)節(jié)點上鎖，如果succ和pre的狀態(tài)發(fā)生改變，則釋放之前的鎖，然后，重新定位節(jié)點。最后，進行節(jié)點的物理刪除，然后釋放所有鎖，返回true。
[0053]檢索操作先通過定位查找節(jié)點的位置，然后返回檢索結(jié)果，以及相應(yīng)的前驅(qū)節(jié)點和后繼節(jié)點。這里沒有采用任何的鎖機制和同步機制，因此，檢索操作是無等待的。如果沒有找到相應(yīng)節(jié)點，當(dāng)前節(jié)點正在被刪除，或當(dāng)前節(jié)點沒有完全連接，則檢索失敗。如果找到相應(yīng)節(jié)點，并且該節(jié)點沒有正在被刪除且完全鏈接，則是一次成功的檢索。
[0054]綜上所述，本發(fā)明提出了一種數(shù)據(jù)檢索方法，有效支持多種形式的檢索，可擴展性強，改善了主索引的并發(fā)性，動態(tài)實時性好，保證了索引結(jié)構(gòu)整體負(fù)載均衡。
[0055]顯然，本領(lǐng)域的技術(shù)人員應(yīng)該理解，上述的本發(fā)明的各模塊或各步驟可以用通用的計算系統(tǒng)來實現(xiàn)，它們可以集中在單個的計算系統(tǒng)上，或者分布在多個計算系統(tǒng)所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算系統(tǒng)可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲系統(tǒng)中由計算系統(tǒng)來執(zhí)行。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
[0056]應(yīng)當(dāng)理解的是，本發(fā)明的上述【具體實施方式】僅僅用于示例性說明或解釋本發(fā)明的原理，而不構(gòu)成對本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。此外，本發(fā)明所附權(quán)利要求旨在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修改例。
【主權(quán)項】
1.一種基于云計算的大數(shù)據(jù)處理方法，其特征在于，包括: 在云存儲系統(tǒng)中建立兩級索引，包括主索引和本地索引，當(dāng)接收到用戶檢索請求時，以主索引作為唯一入口，通過主索引的定位將檢索操作轉(zhuǎn)到本地索引中以獲取數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在云存儲系統(tǒng)中建立兩級索引，進一步包括: 首先對待索引的數(shù)據(jù)集進行分割，按照平均的原則，分成包含等量數(shù)據(jù)的子集，劃分的個數(shù)與下級的本地索引服務(wù)器相等；然后將劃分好的數(shù)據(jù)子集與下級索引服務(wù)器一一對應(yīng)，在各下級索引服務(wù)器中以鏈?zhǔn)疥犃袨榛A(chǔ)建立本地索引；各本地索引選擇一部分節(jié)點作為自己索引范圍的代表，并發(fā)布到上級的主索引中；發(fā)布時，抽取這些被發(fā)布節(jié)點的元數(shù)據(jù)，所述元數(shù)據(jù)包括索引的鍵、本地索引服務(wù)器IP地址、本地索引服務(wù)器磁盤物理塊號，并僅將元數(shù)據(jù)發(fā)送到上級主索引中；主索引接收到下級各本地索引發(fā)布的元數(shù)據(jù)后，通過鏈?zhǔn)疥犃械男问綄⑦@些元數(shù)據(jù)組織成一個全局的索引，在邏輯上將下級各獨立的本地索引關(guān)聯(lián)起來；上級的主索引作為整個索引的入口，通過主索引的定位，檢索操作轉(zhuǎn)到下級某一個具體的本地索引上，最終在下級找到需要的數(shù)據(jù)，然后返回；其中，在本地索引發(fā)布向上級發(fā)布節(jié)點時，采用自頂向下的方式逐步增加發(fā)布的主節(jié)點數(shù)量，首先，每一個本地索引將最高級的節(jié)點發(fā)布到主索引中，接著各本地索引根據(jù)發(fā)布后預(yù)估的檢索速度增加比和發(fā)布后主索引內(nèi)存占用的增長比來判斷是否要繼續(xù)往下級發(fā)布，在向下擴展發(fā)布的時候，僅將之前沒有包含的新節(jié)點的元數(shù)據(jù)發(fā)送給上級的主索引，即僅在主索引中插入之前沒有的節(jié)點。3.根據(jù)權(quán)利要求2所述的方法，還包括:在提交數(shù)據(jù)更新之前，每個事務(wù)先檢查在該事務(wù)讀取數(shù)據(jù)后，有沒有其他事務(wù)修改了該數(shù)據(jù)；如果其他事務(wù)有更新，將正在提交的事務(wù)進行回滾；所述的鏈?zhǔn)疥犃忻總€節(jié)點中還包含2個標(biāo)志位和1個鎖；其中，marked標(biāo)志位用于標(biāo)識該節(jié)點是否正在被刪除；linked標(biāo)志位標(biāo)識該節(jié)點是否完全插入，即所有層次的指針域都更新完畢，每一個節(jié)點分別維護一個鎖lock ;另外還定義2個哨兵節(jié)點head和tail，其鍵值分別為常數(shù)min_int和max_int ； 所述鏈?zhǔn)疥犃械亩ㄎ徊僮魇紫葟纳诒?jié)點head的最高級開始查找，依次下降，每一級查找到待查詢鍵值k所在位置或者哨兵節(jié)點tail停止，如果找到k對應(yīng)的節(jié)點，則更新節(jié)點i表示該節(jié)點的最高級，記錄其每級對應(yīng)的前驅(qū)節(jié)點pre[i]； 所述鏈?zhǔn)疥犃械牟迦氩僮靼? 1)首先調(diào)用定位操作，返回定位的結(jié)果，如果找到當(dāng)前節(jié)點，即鍵值為k的節(jié)點已經(jīng)存在，不能插入，否則，進入步驟2的操作； 2)對前驅(qū)節(jié)點數(shù)組pre自下向上加鎖； 3)驗證返回的pre和后繼節(jié)點數(shù)組succ的下一節(jié)點是否發(fā)生變化，若pre和succ的下一節(jié)點發(fā)生變化，則先釋放剛才的鎖，然后重新定位pre和succ ;如果pre和succ都沒有發(fā)生了變化，進行步驟4; 4)從底級開始向上進行插入操作，然后置1inked標(biāo)志位為true，表示插入節(jié)點已經(jīng)完全鏈接，最后釋放所有的鎖； 所述鏈?zhǔn)疥犃械膭h除操作將指定的節(jié)點刪除，首先定位節(jié)點，然后判定當(dāng)前節(jié)點的狀態(tài)是否為完全鏈接，且沒有正在被刪除，如果該節(jié)點狀態(tài)合理，則對該節(jié)點上鎖，然而有可能該節(jié)點已經(jīng)被其他線程刪除，此時返回false，否則，置節(jié)點marked標(biāo)志位為true然后自下向上對前驅(qū)節(jié)點上鎖，如果succ和pre的狀態(tài)發(fā)生改變，則釋放之前的鎖，然后重新定位節(jié)點；最后，進行節(jié)點的物理刪除然后釋放所有鎖，返回true ; 所述鏈?zhǔn)疥犃械臋z索操作先通過定位查找節(jié)點的位置，然后返回檢索結(jié)果，以及相應(yīng)的前驅(qū)節(jié)點和后繼節(jié)點；如果沒有找到相應(yīng)節(jié)點，當(dāng)前節(jié)點正在被刪除，或當(dāng)前節(jié)點沒有完全連接，則檢索失?。蝗绻业较鄳?yīng)節(jié)點，并且該節(jié)點沒有正在被刪除且完全鏈接，則檢索成功。
【專利摘要】本發(fā)明提供了一種基于云計算的大數(shù)據(jù)處理方法，該方法包括：在云存儲系統(tǒng)中建立兩級索引，包括主索引和本地索引，當(dāng)接收到用戶檢索請求時，以主索引作為唯一入口，通過主索引的定位將檢索操作轉(zhuǎn)到本地索引中以獲取數(shù)據(jù)。本發(fā)明提出了一種數(shù)據(jù)檢索方法，有效支持多種形式的檢索，可擴展性強，改善了主索引的并發(fā)性，動態(tài)實時性好，保證了索引結(jié)構(gòu)整體負(fù)載均衡。
【IPC分類】G06F17/30
【公開號】CN105279241
【申請?zhí)枴緾N201510633428
【發(fā)明人】賴真霖, 文君
【申請人】成都四象聯(lián)創(chuàng)科技有限公司
【公開日】2016年1月27日
【申請日】2015年9月29日