數(shù)據(jù)遷移處理方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明實(shí)施例提供一種數(shù)據(jù)遷移處理方法、裝置及系統(tǒng)，該方法包括：遷出節(jié)點(diǎn)確定待遷移數(shù)據(jù)和與待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引；遷出節(jié)點(diǎn)將待遷移數(shù)據(jù)和與待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。本發(fā)明的技術(shù)方案，可以實(shí)現(xiàn)減少遷入節(jié)點(diǎn)在數(shù)據(jù)遷移過程中磁盤的I/O操作，提高分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)遷移的效率，進(jìn)而提高分布式存儲(chǔ)系統(tǒng)的性能。
【專利說明】數(shù)據(jù)遷移處理方法、裝置及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實(shí)施例涉及通信技術(shù)，尤其涉及一種數(shù)據(jù)遷移處理方法、裝置及系統(tǒng)。

【背景技術(shù)】
[0002] 關(guān)鍵字-對(duì)象值（Key-Value)類型的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)中多個(gè)key組成的集合 稱為區(qū)間（range)每個(gè)節(jié)點(diǎn)負(fù)責(zé)全部keyrange中的一部分range,如果有新節(jié)點(diǎn)加入或者 負(fù)載均衡時(shí)需要對(duì)集群中各個(gè)節(jié)點(diǎn)負(fù)責(zé)的range進(jìn)行重新分配，即進(jìn)行range的切分和該 range負(fù)責(zé)的數(shù)據(jù)的遷移。
[0003] 然而，現(xiàn)有技術(shù)存在進(jìn)行數(shù)據(jù)遷移的效率較低的問題，進(jìn)而影響分布式存儲(chǔ)系統(tǒng) 的性能。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例提供一種數(shù)據(jù)遷移處理方法、裝置及系統(tǒng)，用以提高分布式存儲(chǔ)系 統(tǒng)中數(shù)據(jù)遷移的效率，進(jìn)而提高分布式存儲(chǔ)系統(tǒng)的性能。
[0005] 本發(fā)明第一方面，提供一種數(shù)據(jù)遷移處理方法，包括：
[0006] 遷出節(jié)點(diǎn)確定待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引；
[0007] 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷 入節(jié)點(diǎn)。
[0008] 在第一方面的第一種可能的實(shí)現(xiàn)方式中，所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)和與所 述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)，包括：
[0009] 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)遷移到所述遷入節(jié)點(diǎn)；
[0010] 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
[0011] 根據(jù)第一方面的第一種可能的實(shí)現(xiàn)方式，在第一方面的第二種可能的實(shí)現(xiàn)方式 中，所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)之前，還包括：
[0012] 所述遷出節(jié)點(diǎn)確定所述待遷移數(shù)據(jù)發(fā)生更新；
[0013] 所述遷出節(jié)點(diǎn)將更新的數(shù)據(jù)同步到所述遷入節(jié)點(diǎn)；
[0014] 所述遷出節(jié)點(diǎn)更新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引；
[0015] 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)，包括：
[0016] 所述遷出節(jié)點(diǎn)將與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引遷移到遷入節(jié) 點(diǎn)。
[0017] 根據(jù)第一方面的第二種可能的實(shí)現(xiàn)方式，在第一方面的第三種可能的實(shí)現(xiàn)方式 中，所述遷出節(jié)點(diǎn)更新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括：
[0018] 所述遷出節(jié)點(diǎn)在接收到所述遷入節(jié)點(diǎn)發(fā)送的同步數(shù)據(jù)成功接收響應(yīng)之后，更新與 更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0019] 結(jié)合第一方面或第一方面的第一種至第三種可能的實(shí)現(xiàn)方式中任意一種，在第一 方面的第四種可能的實(shí)現(xiàn)方式中，所述遷出節(jié)點(diǎn)確定待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng) 的數(shù)據(jù)索引，包括：
[0020] 所述遷出節(jié)點(diǎn)根據(jù)待遷移區(qū)間中的關(guān)鍵字確定待遷移數(shù)據(jù)；
[0021] 所述遷出節(jié)點(diǎn)根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與所述待遷 移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
[0022] 根據(jù)第一方面的第四種可能的實(shí)現(xiàn)方式，在第一方面的第五種可能的實(shí)現(xiàn)方式 中，所述遷出節(jié)點(diǎn)根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與所述待遷移數(shù)據(jù) 對(duì)應(yīng)的索引數(shù)據(jù)之前，還包括：
[0023] 所述遷出節(jié)點(diǎn)確定所述數(shù)據(jù)索引庫是否處于維護(hù)狀態(tài)；
[0024] 若是，則所述遷出節(jié)點(diǎn)向所述遷入節(jié)點(diǎn)發(fā)送第一指示信息，所述第一指示信息用 于指示所述遷入節(jié)點(diǎn)在所述待遷移數(shù)據(jù)遷移完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的 索引數(shù)據(jù)；
[0025] 若否，則所述遷出節(jié)點(diǎn)向所述遷入節(jié)點(diǎn)發(fā)送第二指示信息，所述第二指示信息用 于指示所述遷入節(jié)點(diǎn)等待接收與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
[0026] 本發(fā)明第二方面，提供一種數(shù)據(jù)遷移處理方法，包括：
[0027] 遷入節(jié)點(diǎn)接收遷出節(jié)點(diǎn)發(fā)送的待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索 引；
[0028] 所述遷入節(jié)點(diǎn)根據(jù)待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引更新本地?cái)?shù) 據(jù)和與所述本地?cái)?shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0029] 在第二方面的第一種可能的實(shí)現(xiàn)方式中，所述遷入節(jié)點(diǎn)接收遷出節(jié)點(diǎn)發(fā)送的待遷 移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括：
[0030] 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)；
[0031] 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0032] 根據(jù)第二方面的第一種可能的實(shí)現(xiàn)方式，在第二方面的第二種可能的實(shí)現(xiàn)方式 中，所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之前，還包 括：
[0033] 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的更新的數(shù)據(jù)；
[0034] 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括：
[0035] 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的 數(shù)據(jù)索引。
[0036] 根據(jù)第二方面的第二種可能的實(shí)現(xiàn)方式，在第二方面的第三種可能的實(shí)現(xiàn)方式 中，所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索 引之前，還包括：
[0037] 所述遷入節(jié)點(diǎn)向所述遷出節(jié)點(diǎn)發(fā)送同步數(shù)據(jù)成功接收響應(yīng)，以使所述遷出節(jié)點(diǎn)更 新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0038] 結(jié)合第二方面或第二方面的第一種至第三種可能的實(shí)現(xiàn)方式中任意一種，在第二 方面的第四種可能的實(shí)現(xiàn)方式中，所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù) 對(duì)應(yīng)的數(shù)據(jù)索引之前，還包括：
[0039] 若所述遷入節(jié)點(diǎn)接收到所述遷出節(jié)點(diǎn)發(fā)送的第一指示信息，則所述遷入節(jié)點(diǎn)在所 述待遷移數(shù)據(jù)接收完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)；
[0040] 若所述遷入節(jié)點(diǎn)接收到所述遷出節(jié)點(diǎn)發(fā)送的第二指示信息，則所述遷入節(jié)點(diǎn)等待 接收與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
[0041] 本發(fā)明第三方面，提供一種遷出節(jié)點(diǎn)，包括：
[0042] 確定模塊，用于確定待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引；
[0043] 遷移模塊，用于將所述待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷 入節(jié)點(diǎn)。
[0044] 在第三方面的第一種可能的實(shí)現(xiàn)方式中，所述遷移模塊，具體用于：
[0045] 將所述待遷移數(shù)據(jù)遷移到所述遷入節(jié)點(diǎn)；
[0046] 將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
[0047] 根據(jù)第三方面的第一種可能的實(shí)現(xiàn)方式，在第三方面的第二種可能的實(shí)現(xiàn)方式 中，所述遷移模塊，還用于：在將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)之前，確 定所述待遷移數(shù)據(jù)發(fā)生更新；
[0048] 所述遷移模塊，還用于將更新的數(shù)據(jù)同步到所述遷入節(jié)點(diǎn)；
[0049] 所述遷出節(jié)點(diǎn)，還包括：
[0050] 更新模塊，用于更新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引；
[0051] 所述遷移模塊，還用于：
[0052] 將與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
[0053] 根據(jù)第三方面的第二種可能的實(shí)現(xiàn)方式，在第三方面的第三種可能的實(shí)現(xiàn)方式 中，所述更新模塊，還用于：
[0054] 所述遷出節(jié)點(diǎn)在接收到所述遷入節(jié)點(diǎn)發(fā)送的同步數(shù)據(jù)成功接收響應(yīng)之后，更新與 更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0055] 結(jié)合第三方面或第三方面的第一種至第三種可能的實(shí)現(xiàn)方式中任意一種，在第三 方面的第四種可能的實(shí)現(xiàn)方式中，所述確定模塊，具體用于：
[0056] 根據(jù)待遷移區(qū)間中的關(guān)鍵字確定待遷移數(shù)據(jù)；
[0057] 根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與所述待遷移數(shù)據(jù)對(duì)應(yīng)的 索引數(shù)據(jù)。
[0058] 根據(jù)第三方面的第四種可能的實(shí)現(xiàn)方式，在第三方面的第五種可能的實(shí)現(xiàn)方式 中，所述遷出節(jié)點(diǎn)，還包括：發(fā)送模塊；
[0059] 所述確定模塊，還用于在根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與 所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)之前，確定所述數(shù)據(jù)索引庫是否處于維護(hù)狀態(tài)；
[0060] 若是，則所述發(fā)送模塊向所述遷入節(jié)點(diǎn)發(fā)送第一指示信息，所述第一指示信息用 于指示所述遷入節(jié)點(diǎn)在所述待遷移數(shù)據(jù)遷移完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的 索引數(shù)據(jù)；
[0061] 若否，則所述發(fā)送模塊向所述遷入節(jié)點(diǎn)發(fā)送第二指示信息，所述第二指示信息用 于指示所述遷入節(jié)點(diǎn)等待接收與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
[0062] 本發(fā)明第四方面，提供一種遷入節(jié)點(diǎn)，包括：
[0063] 接收模塊，用于接收遷出節(jié)點(diǎn)發(fā)送的待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù) 索引；
[0064] 更新模塊，用于根據(jù)待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引更新本地?cái)?shù) 據(jù)和與所述本地?cái)?shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0065] 在第四方面的第一種可能的實(shí)現(xiàn)方式中，所述接收模塊，具體用于：
[0066] 接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)；
[0067] 接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0068] 根據(jù)第四方面的第一種可能的實(shí)現(xiàn)方式，在第四方面的第二種可能的實(shí)現(xiàn)方式 中，所述接收模塊，還用于在接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之 前，接收所述遷出節(jié)點(diǎn)發(fā)送的更新的數(shù)據(jù)；
[0069] 所述接收模塊還用于：
[0070] 接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引。
[0071] 根據(jù)第四方面的第二種可能的實(shí)現(xiàn)方式，在第四方面的第三種可能的實(shí)現(xiàn)方式 中，所述遷入節(jié)點(diǎn)，還包括：發(fā)送模塊，用于在接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移 數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引之前，向所述遷出節(jié)點(diǎn)發(fā)送同步數(shù)據(jù)成功接收響應(yīng)，以使所 述遷出節(jié)點(diǎn)更新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0072] 結(jié)合第四方面或第四方面的第一種至第三種可能的實(shí)現(xiàn)方式中任意一種，在第四 方面的第四種可能的實(shí)現(xiàn)方式中，所述遷入節(jié)點(diǎn)，還包括：處理模塊，用于在接收所述遷出 節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之前，若接收到所述遷出節(jié)點(diǎn)發(fā)送的第一指示 信息，則在所述待遷移數(shù)據(jù)接收完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)；若 接收到所述遷出節(jié)點(diǎn)發(fā)送的第二指示信息，則等待接收與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù) 據(jù)。
[0073] 本發(fā)明第五方面，提供一種系統(tǒng)，包括：第三方面或第三方面中任意一種可能的實(shí) 現(xiàn)方式中的遷出節(jié)點(diǎn)和第四方面或第四方面中任意一種可能的實(shí)現(xiàn)方式中的遷入節(jié)點(diǎn)。
[0074] 本發(fā)明實(shí)施例提供一種數(shù)據(jù)遷移處理方法、裝置及系統(tǒng)，通過遷出節(jié)點(diǎn)確定待遷 移數(shù)據(jù)和與待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，遷出節(jié)點(diǎn)再將待遷移數(shù)據(jù)和與待遷移數(shù)據(jù)對(duì)應(yīng)的 數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)，可以實(shí)現(xiàn)減少遷入節(jié)點(diǎn)在數(shù)據(jù)遷移過程中的磁盤I/O操作，提 高分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)遷移的效率，進(jìn)而提高分布式存儲(chǔ)系統(tǒng)的性能。

【專利附圖】

【附圖說明】
[0075] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0076] 圖1為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例一的流程圖；
[0077] 圖2A為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例一中確定待遷移數(shù)據(jù)和與待遷移 數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引的流程示意圖；
[0078] 圖2B為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例一的原理示意圖；
[0079] 圖3為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例二的流程圖；
[0080] 圖4為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例三的流程圖；
[0081] 圖5為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例四的流程圖；
[0082] 圖6為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例五的流程圖；
[0083] 圖7為本發(fā)明提供的遷出節(jié)點(diǎn)實(shí)施例一的結(jié)構(gòu)示意圖；
[0084] 圖8為本發(fā)明提供的遷出節(jié)點(diǎn)實(shí)施例二的結(jié)構(gòu)示意圖；
[0085] 圖9為本發(fā)明提供的遷出節(jié)點(diǎn)實(shí)施例三的結(jié)構(gòu)示意圖；
[0086] 圖10為本發(fā)明提供的遷入節(jié)點(diǎn)實(shí)施例一的結(jié)構(gòu)示意圖；
[0087] 圖11為本發(fā)明提供的遷入節(jié)點(diǎn)實(shí)施例二的結(jié)構(gòu)示意圖；
[0088] 圖12為本發(fā)明提供的遷入節(jié)點(diǎn)實(shí)施例三的結(jié)構(gòu)示意圖；
[0089] 圖13為本發(fā)明提供的系統(tǒng)實(shí)施例一的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0090] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0091] 圖1為本發(fā)明提供的數(shù)據(jù)遷移處理方法實(shí)施例一的流程圖，如圖1所示，本實(shí)施例 的數(shù)據(jù)遷移處理方法包括：
[0092] S101、遷出節(jié)點(diǎn)確定待遷移數(shù)據(jù)和與待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
[0093] S102、遷出節(jié)點(diǎn)將待遷移數(shù)據(jù)和與待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
[0094] 本實(shí)施例適用的場(chǎng)景為分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)遷移時(shí)附帶索引遷移。
[0095] 具體來說，遷出節(jié)點(diǎn)為遷出數(shù)據(jù)的節(jié)點(diǎn)，遷入節(jié)點(diǎn)為接收遷出數(shù)據(jù)的節(jié)點(diǎn)，本實(shí)施 例的數(shù)據(jù)索引可以包括與數(shù)據(jù)在文件中位置無關(guān)的索引，例如二級(jí)索引或者全文檢索過程 中適用的數(shù)據(jù)索引等，存儲(chǔ)節(jié)點(diǎn)通常通過建立二級(jí)索引來加速范圍查找，范圍查找是為了 實(shí)現(xiàn)一次請(qǐng)求查找一個(gè)范圍內(nèi)所有的key,范圍查詢的查詢請(qǐng)求被發(fā)送到多個(gè)節(jié)點(diǎn)，在每一 個(gè)節(jié)點(diǎn)執(zhí)行全表掃描查詢，并對(duì)結(jié)果進(jìn)行合并。如果節(jié)點(diǎn)數(shù)據(jù)量較大，全表掃描效率非常 低，此時(shí)就需要建立二級(jí)索引來加速范圍查找，所謂二級(jí)索引就是記錄了所有含有一個(gè)特 定value的key的集合，以下通過表1、表2和表3來解釋二級(jí)索引和原始數(shù)據(jù)表的關(guān)系，表 1為原始數(shù)據(jù)表，表2為Age列的二級(jí)索引表，表3為Sex列的二級(jí)索引表。

【權(quán)利要求】
1. 一種數(shù)據(jù)遷移處理方法，其特征在于，包括： 遷出節(jié)點(diǎn)確定待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引； 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié) 點(diǎn)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)和與所 述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)，包括： 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)遷移到所述遷入節(jié)點(diǎn)； 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)對(duì)應(yīng)的 數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)之前，還包括： 所述遷出節(jié)點(diǎn)確定所述待遷移數(shù)據(jù)發(fā)生更新； 所述遷出節(jié)點(diǎn)將更新的數(shù)據(jù)同步到所述遷入節(jié)點(diǎn)； 所述遷出節(jié)點(diǎn)更新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引； 所述遷出節(jié)點(diǎn)將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)，包括： 所述遷出節(jié)點(diǎn)將與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述遷出節(jié)點(diǎn)更新與更新后的待遷移數(shù) 據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括： 所述遷出節(jié)點(diǎn)在接收到所述遷入節(jié)點(diǎn)發(fā)送的同步數(shù)據(jù)成功接收響應(yīng)之后，更新與更新 后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
5. 根據(jù)權(quán)利要求1?4任一項(xiàng)所述的方法，其特征在于，所述遷出節(jié)點(diǎn)確定待遷移數(shù)據(jù) 和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括： 所述遷出節(jié)點(diǎn)根據(jù)待遷移區(qū)間中的關(guān)鍵字確定待遷移數(shù)據(jù)； 所述遷出節(jié)點(diǎn)根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與所述待遷移數(shù) 據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述遷出節(jié)點(diǎn)根據(jù)待遷移區(qū)間中的關(guān)鍵 字從數(shù)據(jù)索引庫中過濾得到與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)之前，還包括： 所述遷出節(jié)點(diǎn)確定所述數(shù)據(jù)索引庫是否處于維護(hù)狀態(tài)； 若是，則所述遷出節(jié)點(diǎn)向所述遷入節(jié)點(diǎn)發(fā)送第一指示信息，所述第一指示信息用于指 示所述遷入節(jié)點(diǎn)在所述待遷移數(shù)據(jù)遷移完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引 數(shù)據(jù)； 若否，則所述遷出節(jié)點(diǎn)向所述遷入節(jié)點(diǎn)發(fā)送第二指示信息，所述第二指示信息用于指 示所述遷入節(jié)點(diǎn)等待接收與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
7. -種數(shù)據(jù)遷移處理方法，其特征在于，包括： 遷入節(jié)點(diǎn)接收遷出節(jié)點(diǎn)發(fā)送的待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引； 所述遷入節(jié)點(diǎn)根據(jù)待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引更新本地?cái)?shù)據(jù)和 與所述本地?cái)?shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于，所述遷入節(jié)點(diǎn)接收遷出節(jié)點(diǎn)發(fā)送的待遷 移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括： 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)； 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的 所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之前，還包括： 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的更新的數(shù)據(jù)； 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引，包括： 所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù) 索引。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于，所述遷入節(jié)點(diǎn)接收所述遷出節(jié)點(diǎn)發(fā)送的 與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引之前，還包括： 所述遷入節(jié)點(diǎn)向所述遷出節(jié)點(diǎn)發(fā)送同步數(shù)據(jù)成功接收響應(yīng)，W使所述遷出節(jié)點(diǎn)更新與 更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
11. 根據(jù)權(quán)利要求8-10中任一項(xiàng)所述的方法，其特征在于，所述遷入節(jié)點(diǎn)接收所述遷 出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之前，還包括： 若所述遷入節(jié)點(diǎn)接收到所述遷出節(jié)點(diǎn)發(fā)送的第一指示信息，則所述遷入節(jié)點(diǎn)在所述待 遷移數(shù)據(jù)接收完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)； 若所述遷入節(jié)點(diǎn)接收到所述遷出節(jié)點(diǎn)發(fā)送的第二指示信息，則所述遷入節(jié)點(diǎn)等待接收 與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
12. -種遷出節(jié)點(diǎn)，其特征在于，包括： 確定模塊，用于確定待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引； 遷移模塊，用于將所述待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié) 點(diǎn)。
13. 根據(jù)權(quán)利要求12所述的遷出節(jié)點(diǎn)，其特征在于，所述遷移模塊，具體用于： 將所述待遷移數(shù)據(jù)遷移到所述遷入節(jié)點(diǎn)； 將所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
14. 根據(jù)權(quán)利要求13所述的遷出節(jié)點(diǎn)，其特征在于，所述遷移模塊，還用于：在將所述 待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)之前，確定所述待遷移數(shù)據(jù)發(fā)生更新； 所述遷移模塊，還用于將更新的數(shù)據(jù)同步到所述遷入節(jié)點(diǎn)； 所述遷出節(jié)點(diǎn)，還包括： 更新模塊，用于更新與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引； 所述遷移模塊，還用于： 將與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引遷移到遷入節(jié)點(diǎn)。
15. 根據(jù)權(quán)利要求14所述的遷出節(jié)點(diǎn)，其特征在于，所述更新模塊，還用于： 所述遷出節(jié)點(diǎn)在接收到所述遷入節(jié)點(diǎn)發(fā)送的同步數(shù)據(jù)成功接收響應(yīng)之后，更新與更新 后的待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
16. 根據(jù)權(quán)利要求12?15任一項(xiàng)所述的遷出節(jié)點(diǎn)，其特征在于，所述確定模塊，具體用 于： 根據(jù)待遷移區(qū)間中的關(guān)鍵字確定待遷移數(shù)據(jù)； 根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引 數(shù)據(jù)。
17. 根據(jù)權(quán)利要求16所述的遷出節(jié)點(diǎn)，其特征在于，所述遷出節(jié)點(diǎn)，還包括；發(fā)送模 塊； 所述確定模塊，還用于在根據(jù)待遷移區(qū)間中的關(guān)鍵字從數(shù)據(jù)索引庫中過濾得到與所述 待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)之前，確定所述數(shù)據(jù)索引庫是否處于維護(hù)狀態(tài)； 若是，則所述發(fā)送模塊向所述遷入節(jié)點(diǎn)發(fā)送第一指示信息，所述第一指示信息用于指 示所述遷入節(jié)點(diǎn)在所述待遷移數(shù)據(jù)遷移完成之后自行創(chuàng)建與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引 數(shù)據(jù)； 若否，則所述發(fā)送模塊向所述遷入節(jié)點(diǎn)發(fā)送第二指示信息，所述第二指示信息用于指 示所述遷入節(jié)點(diǎn)等待接收與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
18. -種遷入節(jié)點(diǎn)，其特征在于，包括： 接收模塊，用于接收遷出節(jié)點(diǎn)發(fā)送的待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索 引； 更新模塊，用于根據(jù)待遷移數(shù)據(jù)和與所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引更新本地?cái)?shù)據(jù)和 與所述本地?cái)?shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
19. 根據(jù)權(quán)利要求18所述的遷入節(jié)點(diǎn)，其特征在于，所述接收模塊，具體用于： 接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)； 接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引。
20. 根據(jù)權(quán)利要求19所述的遷入節(jié)點(diǎn)，其特征在于，所述接收模塊，還用于在接收所述 遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之前，接收所述遷出節(jié)點(diǎn)發(fā)送的更新的數(shù) 據(jù)； 所述接收模塊還用于： 接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引。
21. 根據(jù)權(quán)利要求20所述的遷入節(jié)點(diǎn)，其特征在于，所述遷入節(jié)點(diǎn)，還包括；發(fā)送模塊， 用于在接收所述遷出節(jié)點(diǎn)發(fā)送的與更新后的待遷移數(shù)據(jù)對(duì)應(yīng)的更新后的數(shù)據(jù)索引之前，向 所述遷出節(jié)點(diǎn)發(fā)送同步數(shù)據(jù)成功接收響應(yīng)，W使所述遷出節(jié)點(diǎn)更新與更新后的待遷移數(shù)據(jù) 對(duì)應(yīng)的數(shù)據(jù)索引。
22. 根據(jù)權(quán)利要求19-21中任一項(xiàng)所述的遷入節(jié)點(diǎn)，其特征在于，所述遷入節(jié)點(diǎn)，還包 括；處理模塊，用于在接收所述遷出節(jié)點(diǎn)發(fā)送的所述待遷移數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)索引之前，若接 收到所述遷出節(jié)點(diǎn)發(fā)送的第一指示信息，則在所述待遷移數(shù)據(jù)接收完成之后自行創(chuàng)建與所 述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)；若接收到所述遷出節(jié)點(diǎn)發(fā)送的第二指示信息，則等待接收 與所述待遷移數(shù)據(jù)對(duì)應(yīng)的索引數(shù)據(jù)。
23. -種系統(tǒng)，其特征在于，包括：如權(quán)利要求12-17任一項(xiàng)所述的遷出節(jié)點(diǎn)和如權(quán)利 要求18-22任一項(xiàng)所述的遷入節(jié)點(diǎn)。
【文檔編號(hào)】G06F17/30GK104348862SQ201310329438
【公開日】2015年2月11日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2013年7月31日
【發(fā)明者】李勇, 王鐵英, 魯水鋒 申請(qǐng)人:華為技術(shù)有限公司