本發(fā)明涉及大數(shù)據(jù)
技術(shù)領(lǐng)域：
：，尤其涉及一種負(fù)載均衡的方法和單元、分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)。
背景技術(shù)：
：：目前hbase是hadoop生態(tài)體系中最著名的分布式nosql數(shù)據(jù)庫(kù)之一。其設(shè)計(jì)理念來(lái)源于google的bigtable。hbase主要組件包括hmaster和hregionsever，為用戶提供表格類型的數(shù)據(jù)模型，表按主鍵范圍劃分為多個(gè)region，hmaster負(fù)責(zé)管理和分配region，hregionserver負(fù)責(zé)region數(shù)據(jù)的讀寫。hmaster會(huì)將表按主鍵范圍劃分為多個(gè)region，分配到hregionserver。運(yùn)行過(guò)程中，隨著數(shù)據(jù)量的不斷增加，熱點(diǎn)數(shù)據(jù)會(huì)出現(xiàn)分配不均的情況，即只有一小部分hregionserver在承擔(dān)絕大所的訪問(wèn)，這樣照成集群的處理能力下降及服務(wù)器資源的浪費(fèi)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明實(shí)施例的目的是提供一種負(fù)載均衡的方法和單元、分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，動(dòng)態(tài)平衡負(fù)載、動(dòng)態(tài)調(diào)整數(shù)據(jù)及索引分布，提高運(yùn)行效率，充分利用服務(wù)器資源。為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種均衡負(fù)載的方法，基于分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，所述分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)包括master單元、worker單元和hbase單元，所述均衡負(fù)載的方法包括：接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息，其中，所述負(fù)載信息包括所述worker單元的負(fù)載偏差值；將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。進(jìn)一步的，所述分布式newsql數(shù)據(jù)庫(kù)還包括sqlplaner單元，其中，所述master單元用于所接入的用戶請(qǐng)求，并協(xié)調(diào)多個(gè)處理器之間的數(shù)據(jù)通訊以及管理整體流程，并將所述用戶請(qǐng)求優(yōu)先發(fā)送給sqlplaner單元；所述sqlplaner單元用于解析所述用戶請(qǐng)求，根據(jù)所述用戶請(qǐng)求編譯以及定制執(zhí)行計(jì)劃；所述worker單元，用于并行地執(zhí)行所述計(jì)劃，以獲得數(shù)據(jù)進(jìn)行歸并匯總以返回給master單元。進(jìn)一步的，所述hbase單元還包括coprocessor模塊，其中，所述coprocessor模塊用于將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；所述coprocessor模塊還用于將超過(guò)預(yù)設(shè)數(shù)據(jù)量閥值的所述region切分成兩個(gè)。相應(yīng)，本發(fā)明實(shí)施例還公開一種均衡負(fù)載的單元，適用于分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，所述分布式newsql數(shù)據(jù)庫(kù)包括master單元、worker單元和hbase單元，所述均衡負(fù)載的單元包括：信息收集模塊，用于接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息，其中，所述負(fù)載信息包括所述worker單元的負(fù)載偏差值；region分配模塊，用于將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；region切分模塊，用于獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。進(jìn)一步的，所述分布式newsql數(shù)據(jù)庫(kù)還包括sqlplaner單元，其中，所述master單元用于所接入的用戶請(qǐng)求，并協(xié)調(diào)多個(gè)處理器之間的數(shù)據(jù)通訊以及管理整體流程，并將所述用戶請(qǐng)求優(yōu)先發(fā)送給sqlplaner單元；所述sqlplaner單元用于解析所述用戶請(qǐng)求，根據(jù)所述用戶請(qǐng)求編譯以及定制執(zhí)行計(jì)劃；所述worker單元，用于并行地執(zhí)行所述計(jì)劃，以獲得數(shù)據(jù)進(jìn)行歸并匯總以返回給master單元。進(jìn)一步的，所述hbase單元還包括coprocessor模塊,其中，所述coprocessor模塊用于將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；所述coprocessor模塊還用于將超過(guò)預(yù)設(shè)數(shù)據(jù)量閥值的所述region切分成兩個(gè)。進(jìn)一步的，所述region分配模塊判定所述負(fù)載偏差值超過(guò)閥值時(shí)，通過(guò)觸發(fā)所述master單元啟動(dòng)數(shù)據(jù)分布調(diào)整，進(jìn)而由所述master單元觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配。進(jìn)一步的，所述region切分模塊判定所述region的數(shù)據(jù)量超過(guò)閥值，通過(guò)觸發(fā)所述master單元啟動(dòng)數(shù)據(jù)分布調(diào)整，進(jìn)而由所述master單元觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。相應(yīng)，本發(fā)明實(shí)施例還提供一種分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，包括上述本發(fā)明提供的一種均衡負(fù)載的單元，還包括master單元、worker單元和hbase單元。進(jìn)一步的，所述分布式newsql數(shù)據(jù)庫(kù)還包括sqlplaner單元，其中，所述master單元用于所接入的用戶請(qǐng)求，并協(xié)調(diào)多個(gè)處理器之間的數(shù)據(jù)通訊以及管理整體流程，并將所述用戶請(qǐng)求優(yōu)先發(fā)送給sqlplaner單元；所述sqlplaner單元用于解析所述用戶請(qǐng)求，根據(jù)所述用戶請(qǐng)求編譯以及定制執(zhí)行計(jì)劃；所述worker單元，用于并行地執(zhí)行所述計(jì)劃，以獲得數(shù)據(jù)進(jìn)行歸并匯總以返回給master單元。與現(xiàn)有技術(shù)相比，本發(fā)明公開的一種負(fù)載均衡的方法和單元、分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，通過(guò)接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息；將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)的技術(shù)方案，解決了現(xiàn)有技術(shù)**問(wèn)題，獲得了動(dòng)態(tài)平衡負(fù)載、動(dòng)態(tài)調(diào)整數(shù)據(jù)及索引分布，提高運(yùn)行效率，充分利用服務(wù)器資源的有益效果。附圖說(shuō)明圖1是本發(fā)明實(shí)施例1中一種均衡負(fù)載的方法的流程示意圖；圖2是本發(fā)明實(shí)施例2中一種均衡負(fù)載的單元的結(jié)構(gòu)示意圖；圖3是本發(fā)明實(shí)施例3中一種分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)的結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明實(shí)施例1提供了一種均衡負(fù)載的方法，適用于基于分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，參見圖1，圖1是本發(fā)明實(shí)施例1的結(jié)構(gòu)示意圖，所述分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)包括master單元、worker單元和hbase單元，所述均衡負(fù)載的方法包括：s1、接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息，其中，所述負(fù)載信息包括所述worker單元的負(fù)載偏差值；s2、將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；s3、獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)?，F(xiàn)有技術(shù)中，hmaster會(huì)將表按主鍵范圍劃分為多個(gè)region，分配到hregionserver。運(yùn)行過(guò)程中，隨著數(shù)據(jù)量的不斷增加，熱點(diǎn)數(shù)據(jù)會(huì)出現(xiàn)分配不均的情況，即只有一小部分hregionserver在承擔(dān)絕大所的訪問(wèn)，這樣照成集群的處理能力下降及服務(wù)器資源的浪費(fèi)。本實(shí)施例針對(duì)運(yùn)行過(guò)程中的負(fù)載均衡及高可用，監(jiān)控hbase單元各個(gè)hregionsever的負(fù)載及數(shù)據(jù)分布，動(dòng)態(tài)平衡hregionsever負(fù)載及動(dòng)態(tài)調(diào)整數(shù)據(jù)及索引分布，在使用過(guò)程中保持最優(yōu)狀態(tài)，始終處在一個(gè)較高的運(yùn)行效率，充分利用服務(wù)器資源。進(jìn)一步的，所述分布式newsql數(shù)據(jù)庫(kù)還包括sqlplaner單元，其中，所述master單元用于所接入的用戶請(qǐng)求，并協(xié)調(diào)多個(gè)處理器之間的數(shù)據(jù)通訊以及管理整體流程，并將所述用戶請(qǐng)求優(yōu)先發(fā)送給sqlplaner單元；所述sqlplaner單元用于解析所述用戶請(qǐng)求，根據(jù)所述用戶請(qǐng)求編譯以及定制執(zhí)行計(jì)劃；所述worker單元，用于并行地執(zhí)行所述計(jì)劃，以獲得數(shù)據(jù)進(jìn)行歸并匯總以返回給master單元。進(jìn)一步的，所述hbase單元還包括coprocessor模塊，其中，所述coprocessor模塊用于將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；所述coprocessor模塊還用于將超過(guò)預(yù)設(shè)數(shù)據(jù)量閥值的所述region切分成兩個(gè)。具體實(shí)施時(shí)，首先，接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息；然后，將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；接著，獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。本實(shí)施例解決hbase在運(yùn)行中出現(xiàn)的數(shù)據(jù)分布不均及由此引發(fā)的負(fù)載不均衡問(wèn)題，動(dòng)態(tài)平衡負(fù)載、動(dòng)態(tài)調(diào)整數(shù)據(jù)及索引分布，提高運(yùn)行效率，充分利用服務(wù)器資源。參見圖2，圖2是本發(fā)明實(shí)施例公開的一種均衡負(fù)載的單元的結(jié)構(gòu)示意圖。本實(shí)施例適用于分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，所述分布式newsql數(shù)據(jù)庫(kù)包括master單元、worker單元和hbase單元，所述均衡負(fù)載的單元包括：信息收集模塊11，用于接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息，其中，所述負(fù)載信息包括所述worker單元的負(fù)載偏差值；region分配模塊12，用于將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；region切分模塊13，用于獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。進(jìn)一步的，所述分布式newsql數(shù)據(jù)庫(kù)還包括sqlplaner單元，其中，所述master單元用于所接入的用戶請(qǐng)求，并協(xié)調(diào)多個(gè)處理器之間的數(shù)據(jù)通訊以及管理整體流程，并將所述用戶請(qǐng)求優(yōu)先發(fā)送給sqlplaner單元；所述sqlplaner單元用于解析所述用戶請(qǐng)求，根據(jù)所述用戶請(qǐng)求編譯以及定制執(zhí)行計(jì)劃；所述worker單元，用于并行地執(zhí)行所述計(jì)劃，以獲得數(shù)據(jù)進(jìn)行歸并匯總以返回給master單元。進(jìn)一步的，所述hbase單元還包括coprocessor模塊,其中，所述coprocessor模塊用于將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；所述coprocessor模塊還用于將超過(guò)預(yù)設(shè)數(shù)據(jù)量閥值的所述region切分成兩個(gè)。進(jìn)一步的，所述region分配模塊判定所述負(fù)載偏差值超過(guò)閥值時(shí)，通過(guò)觸發(fā)所述master單元啟動(dòng)數(shù)據(jù)分布調(diào)整，進(jìn)而由所述master單元觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配。進(jìn)一步的，所述region切分模塊判定所述region的數(shù)據(jù)量超過(guò)閥值，通過(guò)觸發(fā)所述master單元啟動(dòng)數(shù)據(jù)分布調(diào)整，進(jìn)而由所述master單元觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。具體實(shí)施時(shí)，首先，通過(guò)信息收集模塊11接收所述hbase單元的數(shù)據(jù)分布信息，接收所述master單元中的所述worker單元的負(fù)載信息；然后，通過(guò)region分配模塊12將所述worker單元的負(fù)載偏差值與預(yù)設(shè)負(fù)載偏差閾值進(jìn)行比較，若判定所述負(fù)載偏差值超過(guò)閥值，觸發(fā)所述hbase單元將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；最后，通過(guò)region切分模塊13，用于獲取每一region的數(shù)據(jù)量，將每一所述region的數(shù)據(jù)量與預(yù)設(shè)數(shù)據(jù)量閾值進(jìn)行判斷，若判定所述region的數(shù)據(jù)量超過(guò)閥值，觸發(fā)所述hbase單元將超過(guò)預(yù)設(shè)數(shù)據(jù)量閾值的所述region切分成兩個(gè)。本實(shí)施例解決hbase在運(yùn)行中出現(xiàn)的數(shù)據(jù)分布不均及由此引發(fā)的負(fù)載不均衡問(wèn)題，動(dòng)態(tài)平衡負(fù)載、動(dòng)態(tài)調(diào)整數(shù)據(jù)及索引分布，提高運(yùn)行效率，充分利用服務(wù)器資源。參見圖3，圖3是本發(fā)明實(shí)施例的提供一種分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)的結(jié)構(gòu)示意圖，包括上述本發(fā)明提供的一種均衡負(fù)載的單元8，參考上述實(shí)施例的說(shuō)明，此處不贅述。本實(shí)施例還包括master單元2、worker單元4和hbase單元6。通常，均衡負(fù)載的單元8與master單元2連接。進(jìn)一步的，所述分布式newsql數(shù)據(jù)庫(kù)還包括sqlplaner單元，其中，所述master單元2用于所接入的用戶請(qǐng)求，并協(xié)調(diào)多個(gè)處理器之間的數(shù)據(jù)通訊以及管理整體流程，并將所述用戶請(qǐng)求優(yōu)先發(fā)送給sqlplaner單元；所述sqlplaner單元3用于解析所述用戶請(qǐng)求，根據(jù)所述用戶請(qǐng)求編譯以及定制執(zhí)行計(jì)劃；所述worker單元4，用于并行地執(zhí)行所述計(jì)劃，以獲得數(shù)據(jù)進(jìn)行歸并匯總以返回給master單元。進(jìn)一步的，所述hbase單元6還包括coprocessor模塊61，其中，所述coprocessor模塊61用于將命中率較高服務(wù)器上的region和命中率較低服務(wù)器上的region進(jìn)行從新分配；所述coprocessor模塊61還用于將超過(guò)預(yù)設(shè)數(shù)據(jù)量閥值的所述region切分成兩個(gè)。進(jìn)一步的，還包括數(shù)據(jù)庫(kù)接口單元1，用于與用戶進(jìn)行交互操作，包括接入用戶請(qǐng)求，以將用戶請(qǐng)求發(fā)送至master單元2；以及當(dāng)master單元2接收到根據(jù)用戶請(qǐng)求所獲得的結(jié)果時(shí)，接收master單元2發(fā)送的結(jié)果以發(fā)送給用戶。進(jìn)一步的，還包括：分布式事務(wù)管理器5，用于當(dāng)執(zhí)行計(jì)劃中涉及分布式事務(wù)時(shí),協(xié)調(diào)執(zhí)行計(jì)劃中的多方完成分布式事務(wù)管理。進(jìn)一步的，還包括：hbase單元6和搜索引擎服務(wù)器7，均用于儲(chǔ)存數(shù)據(jù)；worker單元4進(jìn)一步用于通過(guò)hbase單元6和搜索引擎服務(wù)器7獲取數(shù)據(jù)。進(jìn)一步的，hbase單元6包括coprocessor模塊61和filter模塊，coprocessor模塊61和filter模塊均用于針對(duì)數(shù)據(jù)生成索引表；coprocessor模塊61還用于根據(jù)索引定義以倒排索引的方式將索引數(shù)據(jù)并行寫入索引表，從而建立多個(gè)二級(jí)索引；master單元2還用于根據(jù)查詢條件動(dòng)態(tài)計(jì)算使用索引的代價(jià)；coprocessor模塊61還用于根據(jù)索引定義以及查詢條件優(yōu)先查詢索引表，并行地通過(guò)索引表查詢結(jié)果再次查詢數(shù)據(jù)表。本實(shí)施例提供的分布式newsql數(shù)據(jù)庫(kù)系統(tǒng)，包括了本實(shí)施例所提供的均衡負(fù)載的單元，能夠針對(duì)運(yùn)行過(guò)程中的負(fù)載均衡及高可用，實(shí)時(shí)監(jiān)控hbase各個(gè)hregionsever的負(fù)載及數(shù)據(jù)分布，動(dòng)態(tài)平衡hregionsever負(fù)載及動(dòng)態(tài)調(diào)整數(shù)據(jù)及索引分布，使得整個(gè)系統(tǒng)在使用過(guò)程中始終保持最優(yōu)狀態(tài)。以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本
技術(shù)領(lǐng)域：
：的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12