本發(fā)明涉及大數(shù)據(jù)應(yīng)用領(lǐng)域，具體地說是一種基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)系統(tǒng)及部署方法。
背景技術(shù)：
大數(shù)據(jù)技術(shù)：大數(shù)據(jù)（big data），指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。
多租戶技術(shù)：或稱多重租賃技術(shù)，是一種軟件架構(gòu)技術(shù)，它是在探討與實現(xiàn)如何于多用戶的環(huán)境下共用相同的系統(tǒng)或程序組件，并且仍可確保各用戶間數(shù)據(jù)的隔離性。
企業(yè)應(yīng)用：隨著信息技術(shù)的快速發(fā)展和企業(yè)信息化的進一步深化，企業(yè)應(yīng)用提供的服務(wù)越來越多，相關(guān)應(yīng)用在企業(yè)中扮演的相關(guān)角色也越來越重要。同時應(yīng)用所依賴的技術(shù)也變得更復(fù)雜，造成了技術(shù)架構(gòu)及部署結(jié)構(gòu)越來越復(fù)雜。一方面用戶渴望更為穩(wěn)定的服務(wù)質(zhì)量，另一方面應(yīng)用的開發(fā)者無法完全掌握實際的運行環(huán)境的情況。應(yīng)用部署架構(gòu)的設(shè)計超出了傳統(tǒng)應(yīng)用設(shè)計開發(fā)者的工作范疇，不但影響了應(yīng)用的服務(wù)質(zhì)量也滯后了企業(yè)應(yīng)用的發(fā)展。
隨著大數(shù)據(jù)技術(shù)日臻成熟，其在政府、企業(yè)等得到了越來越廣泛的應(yīng)用，政府、企業(yè)都開始構(gòu)建自己的大數(shù)據(jù)平臺。另一方面政府、企業(yè)中存在著大量的傳統(tǒng)應(yīng)用，也逐步與大數(shù)據(jù)平臺進行集成，傳統(tǒng)應(yīng)用的服務(wù)和部署模式逐漸無法滿足日益增長的業(yè)務(wù)與數(shù)據(jù)需要。如何能夠充分利用平臺資源，保證業(yè)務(wù)系統(tǒng)的高效運行，實現(xiàn)應(yīng)用資源的統(tǒng)一管理與隔離成為目前大數(shù)據(jù)平臺的主要問題。
技術(shù)實現(xiàn)要素：
本發(fā)明的技術(shù)任務(wù)是提供一種基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)系統(tǒng)及部署方法，來解決如何能夠充分利用平臺資源，保證業(yè)務(wù)系統(tǒng)的高效運行，實現(xiàn)應(yīng)用資源的統(tǒng)一管理與隔離的問題。
本發(fā)明的技術(shù)任務(wù)是按以下方式實現(xiàn)的，一種基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)系統(tǒng)，該系統(tǒng)包括應(yīng)用分布模塊、應(yīng)用資源管理模塊、應(yīng)用狀態(tài)監(jiān)控模塊和應(yīng)用錯誤處理模塊；
其中，應(yīng)用分布模塊用于實現(xiàn)應(yīng)用的集群自動化部署，為每個應(yīng)用資源管理模塊提供對應(yīng)的配置及資源設(shè)置，自動將應(yīng)用及應(yīng)用所需的各種資源發(fā)送到集群中，完成集群相關(guān)環(huán)境設(shè)置；
應(yīng)用資源管理模塊依賴于YARN計算框架，實現(xiàn)層次化的應(yīng)用資源管理，為每個應(yīng)用限定所使用的CPU及內(nèi)存使用情況，不同應(yīng)用間實現(xiàn)資源的隔離，保證各個應(yīng)用的服務(wù)質(zhì)量；
應(yīng)用狀態(tài)控制模塊用于監(jiān)控應(yīng)用的發(fā)布狀態(tài)及運行狀態(tài)，實時獲得各個應(yīng)用的運行情況及資源占用情況；
應(yīng)用錯誤處理模塊依賴于應(yīng)用狀態(tài)監(jiān)控模塊，為每個應(yīng)用指定錯誤處理方法，當(dāng)監(jiān)控到應(yīng)用進入錯誤狀態(tài)如異常退出時，應(yīng)用服務(wù)系統(tǒng)自動調(diào)用錯誤處理方法，保證應(yīng)用的正常運行。
作為優(yōu)選，所述應(yīng)用資源管理模塊采用資源管理器。
作為優(yōu)選，所述應(yīng)用狀態(tài)控制模塊采用節(jié)點控制器，節(jié)點控制器設(shè)置有若干個。
作為優(yōu)選，所述節(jié)點控制器內(nèi)設(shè)置有應(yīng)用容器或應(yīng)用控制器。
一種基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)部署方法，該方法包括如下步驟：
（1）、客戶端提交應(yīng)用需求到資源管理器；
（2）、資源管理器在節(jié)點控制器中創(chuàng)建應(yīng)用控制器；
（3）、應(yīng)用控制器向資源管理器申請應(yīng)用資源；
（4）、資源管理器向其余節(jié)點控制器分配資源；
（5）、應(yīng)用控制器在步驟（4）中的節(jié)點控制器中創(chuàng)建應(yīng)用容器；
（6）、應(yīng)用容器向應(yīng)用控制器上報運行狀態(tài)。
本發(fā)明的基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)系統(tǒng)及部署方法具有以下優(yōu)點：
1、本發(fā)明不僅允許用戶在YARN集群上創(chuàng)建服務(wù)類應(yīng)用，實現(xiàn)用戶與版本的隔離，不同用戶可在集群上運行同一應(yīng)用的不同版本，應(yīng)用不同實例間可以使用不同配置，而且可以對應(yīng)用進行發(fā)布，啟停和狀態(tài)管理，將應(yīng)用信息存儲在HDFS中；
2、本發(fā)明方便將傳統(tǒng)應(yīng)用部署在大數(shù)據(jù)平臺之上，實現(xiàn)應(yīng)用的多版本及多配置管理，實現(xiàn)平臺資源的統(tǒng)一調(diào)度，實現(xiàn)大數(shù)據(jù)平臺的多租戶，提高大數(shù)據(jù)平臺的整體利用率；同時，hadoop大數(shù)據(jù)平臺實現(xiàn)了應(yīng)用服務(wù)部署及資源管理以及應(yīng)用服務(wù)的狀態(tài)監(jiān)控及錯誤處理。
本發(fā)明具有設(shè)計合理、結(jié)構(gòu)簡單、使用方便、一物多用等特點，因而，具有很好的推廣使用價值。
附圖說明
下面結(jié)合附圖對本發(fā)明進一步說明。
附圖1為基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)部署方法的流程框圖。
具體實施方式
參照說明書附圖和具體實施例對本發(fā)明的基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)系統(tǒng)及部署方法作以下詳細地說明。
實施例1：
本發(fā)明的基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)系統(tǒng)及部署方法, 該系統(tǒng)包括應(yīng)用分布模塊、應(yīng)用資源管理模塊、應(yīng)用狀態(tài)監(jiān)控模塊和應(yīng)用錯誤處理模塊；
其中，應(yīng)用分布模塊用于實現(xiàn)應(yīng)用的集群自動化部署，為每個應(yīng)用資源管理模塊提供對應(yīng)的配置及資源設(shè)置，自動將應(yīng)用及應(yīng)用所需的各種資源發(fā)送到集群中，完成集群相關(guān)環(huán)境設(shè)置；
應(yīng)用資源管理模塊依賴于YARN計算框架，實現(xiàn)層次化的應(yīng)用資源管理，為每個應(yīng)用限定所使用的CPU及內(nèi)存使用情況，不同應(yīng)用間實現(xiàn)資源的隔離，保證各個應(yīng)用的服務(wù)質(zhì)量；應(yīng)用資源管理模塊采用資源管理器；
應(yīng)用狀態(tài)控制模塊用于監(jiān)控應(yīng)用的發(fā)布狀態(tài)及運行狀態(tài)，實時獲得各個應(yīng)用的運行情況及資源占用情況；應(yīng)用狀態(tài)控制模塊采用節(jié)點控制器，節(jié)點控制器設(shè)置有若干個；節(jié)點控制器內(nèi)設(shè)置有應(yīng)用容器或應(yīng)用控制器；
應(yīng)用錯誤處理模塊依賴于應(yīng)用狀態(tài)監(jiān)控模塊，為每個應(yīng)用指定錯誤處理方法，當(dāng)監(jiān)控到應(yīng)用進入錯誤狀態(tài)如異常退出時，應(yīng)用服務(wù)系統(tǒng)自動調(diào)用錯誤處理方法，保證應(yīng)用的正常運行。
實施例2：
如附圖1所示，本發(fā)明的基于hadoop大數(shù)據(jù)平臺的應(yīng)用服務(wù)部署方法，該方法包括如下步驟：
（1）、客戶端提交應(yīng)用需求到資源管理器；
（2）、資源管理器在節(jié)點控制器中創(chuàng)建應(yīng)用控制器；
（3）、應(yīng)用控制器向資源管理器申請應(yīng)用資源；
（4）、資源管理器向其余節(jié)點控制器分配資源；
（5）、應(yīng)用控制器在步驟（4）中的節(jié)點控制器中創(chuàng)建應(yīng)用容器；
（6）、應(yīng)用容器向應(yīng)用控制器上報運行狀態(tài)。
通過上面具體實施方式，所述技術(shù)領(lǐng)域的技術(shù)人員可容易的實現(xiàn)本發(fā)明。但是應(yīng)當(dāng)理解，本發(fā)明并不限于上述的兩種具體實施方式。在公開的實施方式的基礎(chǔ)上，所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征，從而實現(xiàn)不同的技術(shù)方案。
除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。