本申請涉及數(shù)據(jù)查詢,尤其涉及一種車聯(lián)網(wǎng)數(shù)據(jù)處理方法、設(shè)備及計算機可讀存儲介質(zhì)。
背景技術(shù):
1、隨著車聯(lián)網(wǎng)技術(shù)的迅速發(fā)展,車聯(lián)網(wǎng)數(shù)據(jù)呈現(xiàn)出規(guī)模性大、數(shù)據(jù)應(yīng)用價值高以及復(fù)雜多樣等顯著特點。然而,在車聯(lián)網(wǎng)數(shù)據(jù)的應(yīng)用中,面臨著一系列嚴峻的技術(shù)挑戰(zhàn)。
2、就數(shù)據(jù)存儲和查詢方式而言,現(xiàn)有技術(shù)存在諸多缺陷。由于車聯(lián)網(wǎng)數(shù)據(jù)量極為龐大,傳統(tǒng)的數(shù)據(jù)存儲采用關(guān)系型數(shù)據(jù)庫或簡單的文件系統(tǒng),這些方式在面對海量的車聯(lián)網(wǎng)數(shù)據(jù)時,存儲能力有限,難以應(yīng)對數(shù)據(jù)規(guī)模的快速擴張。
3、在數(shù)據(jù)查詢方面,現(xiàn)有技術(shù)多依賴于全表掃描的查詢方式,其在處理海量數(shù)據(jù)(如上億級別的車聯(lián)網(wǎng)數(shù)據(jù))時效率低下,難以滿足實時查詢的需求。這導(dǎo)致在進行行程分析、軌跡分析、電池數(shù)據(jù)預(yù)測、車輛保養(yǎng)與維修等應(yīng)用時,數(shù)據(jù)獲取的速度嚴重滯后,無法及時為相關(guān)決策提供準確支持。
4、同時,車聯(lián)網(wǎng)數(shù)據(jù)的復(fù)雜性使得查詢條件和需求不斷變化,而現(xiàn)有技術(shù)在應(yīng)對這種動態(tài)變化時靈活性不足。無法快速適應(yīng)不同的查詢條件和數(shù)據(jù)結(jié)構(gòu)變化,導(dǎo)致查詢結(jié)果的準確性和完整性難以保障。
技術(shù)實現(xiàn)思路
1、為克服相關(guān)技術(shù)中存在的問題,本說明書提供了車聯(lián)網(wǎng)數(shù)據(jù)處理方法、設(shè)備及計算機可讀存儲介質(zhì)。
2、根據(jù)本說明書實施例的第一方面,提供一種車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述方法應(yīng)用于車聯(lián)網(wǎng)平臺的服務(wù)端,所述方法包括:
3、接收車聯(lián)網(wǎng)平臺的客戶端發(fā)送的查詢請求,所述查詢請求包括行鍵信息;
4、根據(jù)所述行鍵信息,從hbase數(shù)據(jù)庫中獲取目標數(shù)據(jù),所述hbase數(shù)據(jù)庫中包括多個基于所述行鍵信息劃分的region,所述region上存儲有車聯(lián)網(wǎng)數(shù)據(jù);
5、對所述目標數(shù)據(jù)進行封裝,封裝后的數(shù)據(jù)反饋給所述客戶端用于展示。
6、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述目標數(shù)據(jù)包括總量數(shù)據(jù)和分頁數(shù)據(jù);
7、所述方法還包括:
8、調(diào)用所述異步編程工具,通過異步編程工具創(chuàng)建異步并發(fā)處理的第一線程和第二線程;所述第一線程用于獲取所述總量數(shù)據(jù),所述第二線程用獲取所述分頁數(shù)據(jù);
9、將所述第一線程的結(jié)果與所述第二線程的結(jié)果合并后形成目標數(shù)據(jù)。
10、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述方法還包括:
11、在所述第一線程中,調(diào)用所述車聯(lián)網(wǎng)平臺hbase的協(xié)處理器,基于根據(jù)所述行鍵信息,從hbase數(shù)據(jù)庫中獲取總量數(shù)據(jù);
12、其中,所述hbase數(shù)據(jù)庫中包括多個基于所述行鍵信息劃分的region,所述region上存儲有車聯(lián)網(wǎng)數(shù)據(jù)。
13、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述查詢請求還包括列族信息和列信息;
14、所述方法還包括:
15、基于根據(jù)所述行鍵信息、族信息和列信息,從hbase數(shù)據(jù)庫中獲取總量數(shù)據(jù)。
16、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述查詢請求還包括用于表征所述車聯(lián)網(wǎng)數(shù)據(jù)的數(shù)據(jù)類型的數(shù)據(jù)項;
17、所述方法還包括:
18、在所述第二線程中,根據(jù)所述行鍵信息和數(shù)據(jù)項,從hbase數(shù)據(jù)庫中獲取目標車輛數(shù)據(jù);
19、基于預(yù)設(shè)的查詢參數(shù),確定數(shù)據(jù)范圍;所述查詢參數(shù)包括查詢頁碼和每頁數(shù)據(jù)大?。?/p>
20、根據(jù)所述數(shù)據(jù)范圍確定目標車輛數(shù)據(jù)中用于反饋給所述客戶端的分頁數(shù)據(jù)。
21、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,在所述對所述目標數(shù)據(jù)進行封裝,封裝后的數(shù)據(jù)反饋給所述客戶端用于展示之前,所述方法還包括:
22、基于預(yù)設(shè)的轉(zhuǎn)義函數(shù)對所述分頁數(shù)據(jù)進行轉(zhuǎn)換,得到轉(zhuǎn)換后的目標數(shù)據(jù)。
23、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述查詢請求還包括索引信息;
24、所述根據(jù)所述行鍵信息,從hbase數(shù)據(jù)庫中獲取目標數(shù)據(jù),包括:
25、根據(jù)所述索引信息從預(yù)設(shè)的索引表中,確定hbase數(shù)據(jù)庫中待查詢的region;
26、根據(jù)所述行鍵信息從所述待查詢的region中獲取目標數(shù)據(jù);
27、其中,所述索引表是通過預(yù)設(shè)索引信息和所述region對應(yīng)的行鍵信息創(chuàng)建。
28、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述接收車聯(lián)網(wǎng)平臺的客戶端發(fā)送的查詢請求之后,所述方法還包括:
29、根據(jù)所述行鍵信息在預(yù)設(shè)的緩存區(qū)進行初步查詢;
30、在所述行鍵信息與所述緩存區(qū)中歷史行鍵信息匹配的情況下,從所述緩存區(qū)獲取所述歷史行鍵信息對應(yīng)的數(shù)據(jù)為目標數(shù)據(jù);
31、其中,所述緩存區(qū)包括至少一個基于歷史行鍵信息在所述hbase數(shù)據(jù)庫中首次查詢時的查詢記錄,所述查詢記錄包括所述歷史行鍵信息和首次查詢出的歷史目標數(shù)據(jù)。
32、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述根據(jù)所述行鍵信息,從hbase數(shù)據(jù)庫中獲取目標數(shù)據(jù)之前,所述方法還包括:
33、對在所述客戶端發(fā)起所述查詢請求的用戶進行權(quán)限校驗,在校驗通過的情況下,根據(jù)所述行鍵信息,從hbase數(shù)據(jù)庫中獲取目標數(shù)據(jù);所述權(quán)限校驗包括協(xié)議校驗。
34、根據(jù)本申請?zhí)峁┑囊环N車聯(lián)網(wǎng)數(shù)據(jù)處理方法,所述行鍵信息包括車輛識別碼和起止時間。
35、本申請還提供一種車聯(lián)網(wǎng)數(shù)據(jù)處理設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述車聯(lián)網(wǎng)數(shù)據(jù)處理方法。
36、本申請還提供一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述車聯(lián)網(wǎng)數(shù)據(jù)處理方法。
37、本說明書實施例中車聯(lián)網(wǎng)數(shù)據(jù)處理方法、設(shè)備及計算機可讀存儲介質(zhì),基于hbase數(shù)據(jù)庫存儲車輛數(shù)據(jù),方便對列的擴展,從而容納海量數(shù)據(jù),滿足了對車聯(lián)網(wǎng)數(shù)據(jù)復(fù)雜性的訴求,在hbase數(shù)據(jù)庫基礎(chǔ)上,對接收到的車聯(lián)網(wǎng)平臺的客戶端發(fā)送的查詢請求進行數(shù)據(jù)查詢的響應(yīng),基于查詢請求中的行鍵信息從hbase數(shù)據(jù)庫中獲取目標數(shù)據(jù),對目標數(shù)據(jù)進行封裝,封裝后的數(shù)據(jù)反饋給客戶端用于展示,提高了查詢結(jié)果的準確性和完整性。
38、應(yīng)當理解的是,以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的,并不能限制本說明書。
1.一種車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,所述方法應(yīng)用于車聯(lián)網(wǎng)平臺的服務(wù)端,所述方法包括:
2.如權(quán)利要求1所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,所述目標數(shù)據(jù)包括總量數(shù)據(jù)和分頁數(shù)據(jù);
3.如權(quán)利要求2所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
4.如權(quán)利要求3所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
5.如權(quán)利要求2所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
6.如權(quán)利要求5所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
7.如權(quán)利要求1所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
8.如權(quán)利要求1所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
9.如權(quán)利要求1所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
10.如權(quán)利要求1-9任一項所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法,其特征在于,
11.一種車聯(lián)網(wǎng)數(shù)據(jù)處理設(shè)備,其特征在于,包括存儲器,處理器及存儲在所述存儲器上并可在所述處理器上運行的車聯(lián)網(wǎng)數(shù)據(jù)處理程序,所述處理器執(zhí)行所述車聯(lián)網(wǎng)數(shù)據(jù)處理程序時實現(xiàn)如權(quán)利要求1-10中任一項所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法的步驟。
12.一種計算機可讀存儲介質(zhì),其特征在于,所述計算機可讀存儲介質(zhì)上存儲有車聯(lián)網(wǎng)數(shù)據(jù)處理程序,所述車聯(lián)網(wǎng)數(shù)據(jù)處理程序執(zhí)行時實現(xiàn)如權(quán)利要求1-10中任一項所述的車聯(lián)網(wǎng)數(shù)據(jù)處理方法的步驟。