一種跨數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法，該方法包括：協(xié)調(diào)節(jié)點接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址，逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息；被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)，向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大?。粎f(xié)調(diào)節(jié)點通知小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點；所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄；協(xié)調(diào)節(jié)點匯聚結(jié)果記錄。通過該方法及系統(tǒng)，能夠?qū)崿F(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接。
【專利說明】 一種跨數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，尤其涉及一種跨數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法及系統(tǒng)。

【背景技術(shù)】
[0002]當面臨大數(shù)據(jù)應(yīng)用需求時，在單機性能面臨瓶頸，關(guān)系數(shù)據(jù)庫集群系統(tǒng)已不能滿足大數(shù)據(jù)應(yīng)用需求的情況下，利用分布式存儲系統(tǒng)保存數(shù)據(jù)并采用基于SQL語言標準用戶接口已成為解決大規(guī)模結(jié)構(gòu)化數(shù)據(jù)檢索問題的有效方法?，F(xiàn)有技術(shù)，通常采用HDFS(HadoopDistributedFile System,Hadoop分布式文件系統(tǒng))存儲數(shù)據(jù)文件,并通過維護一份元數(shù)據(jù)將HDFS文件及其內(nèi)容映射為表結(jié)構(gòu)?，F(xiàn)有技術(shù)中的應(yīng)用場景均面向同一個數(shù)據(jù)中心，即面向一套分布式文件系統(tǒng)，然而，很多應(yīng)用場景要求系統(tǒng)對分布在不同數(shù)據(jù)中心的兩表或多表進行聯(lián)接操作，即對分布在不同HDFS的數(shù)據(jù)中心的數(shù)據(jù)表進行聯(lián)接，現(xiàn)有技術(shù)中不能實現(xiàn)跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接。


【發(fā)明內(nèi)容】

[0003]本發(fā)明提供了一種跨數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法及系統(tǒng)，能夠?qū)崿F(xiàn)跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接。
[0004]一方面，本發(fā)明提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法，所述方法包括:
[0005]協(xié)調(diào)節(jié)點接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址；
[0006]協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息；
[0007]協(xié)調(diào)節(jié)點根據(jù)數(shù)據(jù)聯(lián)接操作請求中的篩選條件對所述被請求表進行數(shù)據(jù)過濾；
[0008]協(xié)調(diào)節(jié)點根據(jù)過濾后的被請求表對應(yīng)的數(shù)據(jù)所在的節(jié)點的IP信息與該IP信息對應(yīng)的節(jié)點建立連接；
[0009]協(xié)調(diào)節(jié)點向建立連接的節(jié)點發(fā)送該節(jié)點中被請求的數(shù)據(jù)的信息；
[0010]被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾,篩選出本節(jié)點被請求的數(shù)據(jù)；
[0011]各個被請求節(jié)點向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大??；
[0012]協(xié)調(diào)節(jié)點比較任意待聯(lián)接的兩個表對應(yīng)的結(jié)果集的大小，通知所有小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點；
[0013]所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄；
[0014]協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄；
[0015]其中，所述配置文件中攜帶了數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址；所述協(xié)調(diào)節(jié)點為接收到數(shù)據(jù)聯(lián)接操作請求的節(jié)點；所述被請求節(jié)點為接收到協(xié)調(diào)節(jié)點發(fā)來的被請求的數(shù)據(jù)的信息的節(jié)點；所述小結(jié)果集節(jié)點為結(jié)果集小的表對應(yīng)的節(jié)點；所述大結(jié)果集節(jié)點為結(jié)果集大的表對應(yīng)的節(jié)點；所述被請求表為數(shù)據(jù)連接操作請求所請求的表；所述被請求元數(shù)據(jù)節(jié)點為包含所述被請求表的元數(shù)據(jù)節(jié)點。
[0016]進一步地，所述數(shù)據(jù)聯(lián)接操作請求通過SQL語句實現(xiàn)。
[0017]進一步地，在所述協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接之后，還包括協(xié)調(diào)節(jié)點調(diào)用元數(shù)據(jù)節(jié)點上的查詢進程來查詢當前元數(shù)據(jù)節(jié)點中有被請求表。
[0018]進一步地，所述被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)，包括:被請求節(jié)點通過本節(jié)點上的查詢進程來查詢本節(jié)點被請求的數(shù)據(jù)。
[0019]進一步地，在所述協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄之前，還包括:所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果記錄發(fā)送給協(xié)調(diào)節(jié)點。
[0020]另一方面，本發(fā)明提供了一種跨Hadoop分布式文件系統(tǒng)HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接系統(tǒng)，所述系統(tǒng)包括:
[0021]協(xié)調(diào)節(jié)點，用于接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址,逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息，根據(jù)數(shù)據(jù)聯(lián)接操作請求中的篩選條件對所述被請求表進行數(shù)據(jù)過濾，根據(jù)過濾后的被請求表對應(yīng)的數(shù)據(jù)所在的節(jié)點的IP信息與該IP信息對應(yīng)的節(jié)點建立連接，向建立連接的節(jié)點發(fā)送該節(jié)點中被請求的數(shù)據(jù)的信息，在接收到被請求節(jié)點發(fā)來的結(jié)果集后，比較任意待聯(lián)接的兩個表對應(yīng)的結(jié)果集的大小，通知所有小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點，匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄；
[0022]被請求節(jié)點，用于根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)，向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大??；
[0023]所述被請求節(jié)點還包括大結(jié)果集節(jié)點、小結(jié)果集節(jié)點；
[0024]所述小結(jié)果集節(jié)點，用于將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點；
[0025]大結(jié)果集節(jié)點，用于將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄；
[0026]其中，所述配置文件中攜帶了數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址；所述協(xié)調(diào)節(jié)點為接收到數(shù)據(jù)聯(lián)接操作請求的節(jié)點；所述被請求節(jié)點為接收到協(xié)調(diào)節(jié)點發(fā)來的被請求的數(shù)據(jù)的信息的節(jié)點；所述小結(jié)果集節(jié)點為結(jié)果集小的表對應(yīng)的節(jié)點；所述大結(jié)果集節(jié)點為結(jié)果集大的表對應(yīng)的節(jié)點；所述被請求表為數(shù)據(jù)連接操作請求所請求的表；所述被請求元數(shù)據(jù)節(jié)點為包含所述被請求表的元數(shù)據(jù)節(jié)點。
[0027]進一步地，所述數(shù)據(jù)聯(lián)接操作請求通過SQL語句實現(xiàn)。
[0028]進一步地，所述協(xié)調(diào)節(jié)點，還用于在所述協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接之后，調(diào)用元數(shù)據(jù)節(jié)點上的查詢進程來查詢當前元數(shù)據(jù)節(jié)點中有被請求表。
[0029]進一步地,所述被請求節(jié)點，用于通過本節(jié)點上的查詢進程來查詢本節(jié)點被請求的數(shù)據(jù)。
[0030]進一步地，所述大結(jié)果集節(jié)點還用于，在所述協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄之前，將本節(jié)點的結(jié)果記錄發(fā)送給協(xié)調(diào)節(jié)點。
[0031]本發(fā)明提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法及系統(tǒng)，協(xié)調(diào)節(jié)點通過獲取配置文件中的元數(shù)據(jù)節(jié)點的IP地址來與非本數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點連接，能夠?qū)崿F(xiàn)跨 HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接。

【專利附圖】

【附圖說明】
[0032]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0033]圖1是本發(fā)明實施例提供的一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法流程圖；
[0034]圖2是本發(fā)明實施例提供的一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接系統(tǒng)結(jié)構(gòu)示意圖。

【具體實施方式】
[0035]為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例，基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0036]本發(fā)明實施例提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法，參見圖1，所述方法包括:
[0037]步驟101:協(xié)調(diào)節(jié)點接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址；
[0038]步驟102:協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息；
[0039]步驟103:協(xié)調(diào)節(jié)點根據(jù)數(shù)據(jù)聯(lián)接操作請求中的篩選條件對所述被請求表進行數(shù)據(jù)過濾；
[0040]步驟104:協(xié)調(diào)節(jié)點根據(jù)過濾后的被請求表對應(yīng)的數(shù)據(jù)所在的節(jié)點的IP信息與該IP信息對應(yīng)的節(jié)點建立連接；
[0041]步驟105:協(xié)調(diào)節(jié)點向建立連接的節(jié)點發(fā)送該節(jié)點中被請求的數(shù)據(jù)的信息；
[0042]步驟106:被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)；
[0043]步驟107:各個被請求節(jié)點向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大??；
[0044]步驟108:協(xié)調(diào)節(jié)點比較任意待聯(lián)接的兩個表對應(yīng)的結(jié)果集的大小，通知所有小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點；
[0045]步驟109:所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄；
[0046]步驟110:協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄；
[0047]其中，所述配置文件中攜帶了數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址；所述協(xié)調(diào)節(jié)點為接收到數(shù)據(jù)聯(lián)接操作請求的節(jié)點；所述被請求節(jié)點為接收到協(xié)調(diào)節(jié)點發(fā)來的被請求的數(shù)據(jù)的信息的節(jié)點；所述小結(jié)果集節(jié)點為結(jié)果集小的表對應(yīng)的節(jié)點；所述大結(jié)果集節(jié)點為結(jié)果集大的表對應(yīng)的節(jié)點；所述被請求表為數(shù)據(jù)連接操作請求所請求的表；所述被請求元數(shù)據(jù)節(jié)點為包含所述被請求表的元數(shù)據(jù)節(jié)點。
[0048]本發(fā)明實施例提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法，協(xié)調(diào)節(jié)點通過獲取配置文件中的元數(shù)據(jù)節(jié)點的IP地址來與非本數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點連接，能夠?qū)崿F(xiàn)跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接。
[0049]在本發(fā)明實施例中，外部為協(xié)調(diào)節(jié)點提供了一個配置文件，在配置文件中記錄了所有數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址，使協(xié)調(diào)節(jié)點可以通過該IP地址與非本數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點進行連接。
[0050]協(xié)調(diào)節(jié)點通過逐個查詢配置文件中的元數(shù)據(jù)節(jié)點來確定數(shù)據(jù)聯(lián)接操作請求中要進行聯(lián)接的表存在于哪個元數(shù)據(jù)節(jié)點中。在元數(shù)據(jù)節(jié)點中存有本數(shù)據(jù)中心的所有節(jié)點的IP信息和所有節(jié)點所存儲的數(shù)據(jù)的信息，通過元數(shù)據(jù)節(jié)點能夠獲得被請求的數(shù)據(jù)所存儲的節(jié)點。
[0051]由于數(shù)據(jù)聯(lián)接操作請求中只是請求一個表中的部分數(shù)據(jù)，所在步驟103中，根據(jù)篩選條件對被請求表進行數(shù)據(jù)過濾，保留被請求表中要請求的數(shù)據(jù)的信息。
[0052]在步驟106中，被請求節(jié)點篩選出本節(jié)點被請求的數(shù)據(jù)后，暫時不進行匯聚操作，而是將被請求的數(shù)據(jù)存儲在本節(jié)點中。
[0053]由于在數(shù)據(jù)聯(lián)接時，需要每兩個表進行聯(lián)接，這兩個被請求表中，比較這兩個被請求表對應(yīng)的結(jié)果集的大小，而被請求表對應(yīng)的結(jié)果集為本表對應(yīng)的所有被請求節(jié)點的結(jié)果集之和。在將這兩個表聯(lián)接后形成一個新表，再將這個新表與其他表按照相同的上述步驟進行聯(lián)接。
[0054]在步驟109中，每一個大結(jié)果集節(jié)點會收到所有小結(jié)果集節(jié)點發(fā)來的本節(jié)點上的結(jié)果集，進而每一個大結(jié)果集上都會有結(jié)果集小的表的結(jié)果集。
[0055]其中，所述數(shù)據(jù)聯(lián)接操作請求通過SQL語句實現(xiàn)。
[0056]在所述協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接之后，還包括協(xié)調(diào)節(jié)點調(diào)用元數(shù)據(jù)節(jié)點上的查詢進程來查詢當前元數(shù)據(jù)節(jié)點中有被請求表。
[0057]所述被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)，包括:被請求節(jié)點通過本節(jié)點上的查詢進程來查詢本節(jié)點被請求的數(shù)據(jù)。
[0058]在所述協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄之前，還包括:所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果記錄發(fā)送給協(xié)調(diào)節(jié)點。
[0059]本發(fā)明實施例提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接系統(tǒng)，參見圖2，該系統(tǒng)包括:
[0060]協(xié)調(diào)節(jié)點201，用于接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址，逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息，根據(jù)數(shù)據(jù)聯(lián)接操作請求中的篩選條件對所述被請求表進行數(shù)據(jù)過濾，根據(jù)過濾后的被請求表對應(yīng)的數(shù)據(jù)所在的節(jié)點的IP信息與該IP信息對應(yīng)的節(jié)點建立連接，向建立連接的節(jié)點發(fā)送該節(jié)點中被請求的數(shù)據(jù)的信息，在接收到被請求節(jié)點發(fā)來的結(jié)果集后，比較任意待聯(lián)接的兩個表對應(yīng)的結(jié)果集的大小，通知所有小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點，匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄；
[0061]被請求節(jié)點202，用于根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)，向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大?。?br> [0062]所述被請求節(jié)點202還包括大結(jié)果集節(jié)點、小結(jié)果集節(jié)點；
[0063]所述小結(jié)果集節(jié)點2021，用于將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點；
[0064]大結(jié)果集節(jié)點2022，用于將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄；
[0065]其中，所述配置文件中攜帶了數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址；所述協(xié)調(diào)節(jié)點為接收到數(shù)據(jù)聯(lián)接操作請求的節(jié)點；所述被請求節(jié)點202為接收到協(xié)調(diào)節(jié)點201發(fā)來的被請求的數(shù)據(jù)的信息的節(jié)點；所述小結(jié)果集節(jié)點2021為結(jié)果集小的表對應(yīng)的節(jié)點；所述大結(jié)果集節(jié)點2022為結(jié)果集大的表對應(yīng)的節(jié)點；所述被請求表為數(shù)據(jù)連接操作請求所請求的表；所述被請求元數(shù)據(jù)節(jié)點為包含所述被請求表的元數(shù)據(jù)節(jié)點。
[0066]所述數(shù)據(jù)聯(lián)接操作請求通過SQL語句實現(xiàn)。
[0067]所述協(xié)調(diào)節(jié)點201，還用于在所述協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接之后，調(diào)用元數(shù)據(jù)節(jié)點上的查詢進程來查詢當前元數(shù)據(jù)節(jié)點中有被請求表。
[0068]所述被請求節(jié)點202，用于通過本節(jié)點上的查詢進程來查詢本節(jié)點被請求的數(shù)據(jù)。
[0069]所述大結(jié)果集節(jié)點2022還用于，在所述協(xié)調(diào)節(jié)點201匯聚所有大結(jié)果集節(jié)點2022的結(jié)果記錄之前，將本節(jié)點的結(jié)果記錄發(fā)送給協(xié)調(diào)節(jié)點201。
[0070]上述系統(tǒng)內(nèi)的各單元、子單元之間的信息交互、執(zhí)行過程等內(nèi)容，由于與本發(fā)明方法實施例基于同一構(gòu)思，具體內(nèi)容可參見本發(fā)明方法實施例中的敘述，此處不再贅述。
[0071]通過上述描述可見，本發(fā)明實施例具有如下有益效果:
[0072]本發(fā)明實施例提供了一種跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法及系統(tǒng)，協(xié)調(diào)節(jié)點通過獲取配置文件中的元數(shù)據(jù)節(jié)點的IP地址來與非本數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點連接，能夠?qū)崿F(xiàn)跨HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接。
[0073]需要說明的是，在本文中，諸如第一和第二之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同因素。
[0074]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲在計算機可讀取的存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括:R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)中。
[0075]最后需要說明的是:以上所述僅為本發(fā)明的較佳實施例，僅用于說明本發(fā)明的技術(shù)方案，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替換、改進等，均包含在本發(fā)明的保護范圍內(nèi)。
【權(quán)利要求】
1.一種跨Hadoop分布式文件系統(tǒng)HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接方法，其特征在于，所述方法包括: 協(xié)調(diào)節(jié)點接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址； 協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息； 協(xié)調(diào)節(jié)點根據(jù)數(shù)據(jù)聯(lián)接操作請求中的篩選條件對所述被請求表進行數(shù)據(jù)過濾； 協(xié)調(diào)節(jié)點根據(jù)過濾后的被請求表對應(yīng)的數(shù)據(jù)所在的節(jié)點的IP信息與該IP信息對應(yīng)的節(jié)點建立連接； 協(xié)調(diào)節(jié)點向建立連接的節(jié)點發(fā)送該節(jié)點中被請求的數(shù)據(jù)的信息； 被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)； 各個被請求節(jié)點向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大??； 協(xié)調(diào)節(jié)點比較任意待聯(lián)接的兩個表對應(yīng)的結(jié)果集的大小，通知所有小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點； 所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄； 協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄； 其中，所述配置文件中攜帶了數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址；所述協(xié)調(diào)節(jié)點為接收到數(shù)據(jù)聯(lián)接操作請求的節(jié)點；所述被請求節(jié)點為接收到協(xié)調(diào)節(jié)點發(fā)來的被請求的數(shù)據(jù)的信息的節(jié)點；所述小結(jié)果集節(jié)點為結(jié)果集小的表對應(yīng)的節(jié)點；所述大結(jié)果集節(jié)點為結(jié)果集大的表對應(yīng)的節(jié)點；所述被請求表為數(shù)據(jù)連接操作請求所請求的表；所述被請求元數(shù)據(jù)節(jié)點為包含所述被請求表的元數(shù)據(jù)節(jié)點。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)聯(lián)接操作請求通過SQL語句實現(xiàn)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接之后，還包括協(xié)調(diào)節(jié)點調(diào)用元數(shù)據(jù)節(jié)點上的查詢進程來查詢當前元數(shù)據(jù)節(jié)點中有被請求表。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述被請求節(jié)點根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾,篩選出本節(jié)點被請求的數(shù)據(jù)，包括:被請求節(jié)點通過本節(jié)點上的查詢進程來查詢本節(jié)點被請求的數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄之前，還包括:所有大結(jié)果集節(jié)點將本節(jié)點的結(jié)果記錄發(fā)送給協(xié)調(diào)節(jié)點。
6.一種跨Hadoop分布式文件系統(tǒng)HDFS的數(shù)據(jù)中心的數(shù)據(jù)聯(lián)接系統(tǒng)，其特征在于，所述系統(tǒng)包括: 協(xié)調(diào)節(jié)點，用于接收到數(shù)據(jù)聯(lián)接操作請求后，從配置文件中獲取元數(shù)據(jù)節(jié)點的IP地址,逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接，當查詢到當前元數(shù)據(jù)節(jié)點中有被請求表時，獲取該被請求元數(shù)據(jù)節(jié)點的元數(shù)據(jù)信息，根據(jù)數(shù)據(jù)聯(lián)接操作請求中的篩選條件對所述被請求表進行數(shù)據(jù)過濾，根據(jù)過濾后的被請求表對應(yīng)的數(shù)據(jù)所在的節(jié)點的IP信息與該IP信息對應(yīng)的節(jié)點建立連接，向建立連接的節(jié)點發(fā)送該節(jié)點中被請求的數(shù)據(jù)的信息，在接收到被請求節(jié)點發(fā)來的結(jié)果集后，比較任意待聯(lián)接的兩個表對應(yīng)的結(jié)果集的大小，通知所有小結(jié)果集節(jié)點將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點，匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄; 被請求節(jié)點，用于根據(jù)被請求的數(shù)據(jù)的信息來對本節(jié)點的數(shù)據(jù)進行過濾，篩選出本節(jié)點被請求的數(shù)據(jù)，向協(xié)調(diào)節(jié)點發(fā)送本節(jié)點所保存的結(jié)果集的大小； 所述被請求節(jié)點還包括大結(jié)果集節(jié)點、小結(jié)果集節(jié)點； 所述小結(jié)果集節(jié)點，用于將本節(jié)點保存的結(jié)果集發(fā)送給所有大結(jié)果集節(jié)點； 大結(jié)果集節(jié)點，用于將本節(jié)點的結(jié)果集與所有小結(jié)果集節(jié)點發(fā)來的結(jié)果集進行哈希連接得到結(jié)果記錄； 其中，所述配置文件中攜帶了數(shù)據(jù)中心的元數(shù)據(jù)節(jié)點的IP地址；所述協(xié)調(diào)節(jié)點為接收到數(shù)據(jù)聯(lián)接操作請求的節(jié)點；所述被請求節(jié)點為接收到協(xié)調(diào)節(jié)點發(fā)來的被請求的數(shù)據(jù)的信息的節(jié)點；所述小結(jié)果集節(jié)點為結(jié)果集小的表對應(yīng)的節(jié)點；所述大結(jié)果集節(jié)點為結(jié)果集大的表對應(yīng)的節(jié)點；所述被請求表為數(shù)據(jù)連接操作請求所請求的表；所述被請求元數(shù)據(jù)節(jié)點為包含所述被請求表的元數(shù)據(jù)節(jié)點。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)聯(lián)接操作請求通過SQL語句實現(xiàn)。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述協(xié)調(diào)節(jié)點，還用于在所述協(xié)調(diào)節(jié)點逐個與配置文件中的元數(shù)據(jù)節(jié)點建立連接之后，調(diào)用元數(shù)據(jù)節(jié)點上的查詢進程來查詢當前元數(shù)據(jù)節(jié)點中有被請求表。
9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述被請求節(jié)點，用于通過本節(jié)點上的查詢進程來查詢本節(jié)點被請求的數(shù)據(jù)。
10.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述大結(jié)果集節(jié)點還用于，在所述協(xié)調(diào)節(jié)點匯聚所有大結(jié)果集節(jié)點的結(jié)果記錄之前，將本節(jié)點的結(jié)果記錄發(fā)送給協(xié)調(diào)節(jié)點。
【文檔編號】G06F17/30GK104135505SQ201410081163
【公開日】2014年11月5日 申請日期:2014年3月6日 優(yōu)先權(quán)日:2014年3月6日
【發(fā)明者】汪東升, 張寶權(quán), 王占業(yè) 申請人:清華大學(xué)