一種基于Hadoop的FLASH P2P流媒體實(shí)時(shí)監(jiān)測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種實(shí)時(shí)監(jiān)測方法，具體涉及一種基于Hadoop的FLASH P2P流媒體實(shí)時(shí)監(jiān)測方法。
【背景技術(shù)】
[0002]FLASH P2P技術(shù)是現(xiàn)在視頻網(wǎng)站用的比較成熟的技術(shù)。Flash P2P視頻點(diǎn)播系統(tǒng)則使用Flash P2p技術(shù)，提供了一種全新分發(fā)點(diǎn)播視頻的方式，在保證觀眾良好觀看體驗(yàn)的同時(shí)降低了服務(wù)器負(fù)擔(dān)和帶寬使用，顯著提高視頻服務(wù)器的并發(fā)量和降低服務(wù)器和帶寬成本。目前國內(nèi)多家視頻門戶網(wǎng)站采用了 Flash P2P技術(shù)，例如優(yōu)酷、愛奇藝、搜狐等。
[0003]Hadoop是基于分布式技術(shù)、并行處理技術(shù)和網(wǎng)格計(jì)算技術(shù)發(fā)展的產(chǎn)物，是為了適應(yīng)用海量數(shù)據(jù)和大規(guī)模計(jì)算等新需求而發(fā)展出來的模型架構(gòu)。Hadoop也是一個(gè)分布式存儲(chǔ)和分布式計(jì)算的框架，可以高效的存儲(chǔ)海量數(shù)據(jù)，而且可以運(yùn)行、編寫分布式應(yīng)用程序處理海量數(shù)據(jù)。一方面Hadoop在編寫和運(yùn)行大型分布式程序計(jì)算方面具有很大優(yōu)勢，主要是Hadoop具有的方便和簡捷的特性。另一方面，Hadoop具有極高的拓展性，使得Hadoop在研宄和應(yīng)用領(lǐng)域得到了廣泛的應(yīng)用，且廣受歡迎。
[0004]Hadoop數(shù)據(jù)中心由連接在一起的千上萬的計(jì)算機(jī)構(gòu)成，用戶通過普通電腦接入就可以使用數(shù)據(jù)中心，根據(jù)自己的需求進(jìn)行存儲(chǔ)。HDFS作為Hadoop的分布式文件系統(tǒng)，具有高度的穩(wěn)定性和存儲(chǔ)效率；提供了高效的數(shù)據(jù)存儲(chǔ)，為用戶提供快速、穩(wěn)定的數(shù)據(jù)存儲(chǔ)服務(wù)。Map (化簡)Reduce (映射)是Hadoop的核心計(jì)算數(shù)據(jù)模型，用戶在使用Map (化簡)Reduce (映射)模型進(jìn)行大規(guī)模數(shù)據(jù)處理時(shí)，可以將主要精力放在如何編寫Map (化簡)和Reduce(映射)函數(shù)上，其它并行計(jì)算中的復(fù)雜問題諸如分布式文件系統(tǒng)、工作調(diào)度、容錯(cuò)、機(jī)器間通信等都交給Map (化簡)Reduce (映射)系統(tǒng)處理，極大程度上降低了整個(gè)編程的難度。

【發(fā)明內(nèi)容】

[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明提出一種基于hadoop的FLASH P2P流媒體實(shí)時(shí)監(jiān)測技術(shù)，提高了視頻的數(shù)據(jù)處理能力，更好的分析用戶行為，優(yōu)化了網(wǎng)站內(nèi)容，解決了數(shù)據(jù)量龐大而無法及時(shí)處理的問題，同時(shí)更具極高的時(shí)效性，商用性。
[0006]本發(fā)明的目的是采用下述技術(shù)方案實(shí)現(xiàn)的:
[0007]一種基于Hadoop的FLASH P2P流媒體實(shí)時(shí)監(jiān)測方法，所述方法包括:
[0008](I)客戶端啟動(dòng)作業(yè)，通過任務(wù)調(diào)度器獲取該作業(yè)，并將其放入作業(yè)隊(duì)列中；
[0009](2)通過所述客戶端開啟嗅探器，獲取數(shù)據(jù)包，將所述數(shù)據(jù)包發(fā)送給HDFS ;
[0010](3)從所述HDFS獲取輸入劃分信息，創(chuàng)建映射任務(wù)，并將每個(gè)映射任務(wù)分配給任務(wù)跟蹤器；
[0011](4)所述任務(wù)跟蹤器收到映射任務(wù)后，從HDFS獲取映射化簡程序Map (化簡)Reduce (映射)，同時(shí)對(duì)該任務(wù)執(zhí)行映射和化簡。
[0012]優(yōu)選的，所述步驟(I)中，所述作業(yè)用于將FLASH P2P流量從網(wǎng)絡(luò)流量中分離；
[0013]優(yōu)選的，所述步驟(2)中，每隔0.1s將獲取的數(shù)據(jù)包發(fā)送給HDFS ;其中，所述數(shù)據(jù)包包括 TCP、UDP、HTTP 和 DNS。
[0014]優(yōu)選的，所述步驟(4)中執(zhí)行映射的方法包括:在執(zhí)行映射前，確認(rèn)映射任務(wù)的輸入/輸出的路徑，并輸入目錄下的數(shù)據(jù)文件；獲取第一〈鍵，值〉、中間〈鍵，值 > 和第二〈鍵，值〉，先根據(jù)第一〈鍵，值〉進(jìn)行映射計(jì)算，對(duì)其輸出結(jié)果進(jìn)行第二次映射計(jì)算，得到映射輸出結(jié)果進(jìn)行化簡輸出，并將數(shù)據(jù)輸出到設(shè)定的目錄下。
[0015]進(jìn)一步地，第一次映射計(jì)算，包括通過映射函數(shù)根據(jù)數(shù)據(jù)包類型篩選UDP數(shù)據(jù)包，生成所述中間〈鍵，值 >，并刪除UDP數(shù)據(jù)包外的其他數(shù)據(jù)包，其中鍵值為該UDP數(shù)據(jù)包類型，value值為UDP數(shù)據(jù)包。
[0016]進(jìn)一步地，第二次映射計(jì)算，包括將所述中間〈鍵，值〉中的值重新作為數(shù)據(jù)，進(jìn)行第二次映射計(jì)算，定義第二〈鍵，值〉；其中鍵值為數(shù)據(jù)包的訪問端ID，如果所述訪問端ID能夠被4整除，則該數(shù)據(jù)包為FLASH P2P流量數(shù)據(jù)包。
[0017]進(jìn)一步地，所述化簡輸出包括:將第二次映射的輸出結(jié)果放入一個(gè)環(huán)形緩沖區(qū)，當(dāng)該緩沖區(qū)快要溢出時(shí)，在本地文件系統(tǒng)中創(chuàng)建一個(gè)溢出文件，將該緩沖區(qū)中的數(shù)據(jù)寫入該文件；當(dāng)緩沖區(qū)中的數(shù)據(jù)到達(dá)一定大小時(shí)，開始寫入硬盤；
[0018]寫入前，將數(shù)據(jù)劃分為與化簡任務(wù)數(shù)目相同的分區(qū)；寫入時(shí)，化簡任務(wù)向任務(wù)調(diào)度器獲取對(duì)應(yīng)的映射輸出位置和數(shù)據(jù)。
[0019]進(jìn)一步地，所述任務(wù)跟蹤器周期性的向任務(wù)調(diào)度器發(fā)送心跳包，告知任務(wù)調(diào)度器運(yùn)行新的作業(yè)，此時(shí)任務(wù)調(diào)度器調(diào)動(dòng)映射從HDFS獲取新的數(shù)據(jù)塊，無需重新獲取其他信息；所述心跳攜帶的信息為當(dāng)前映射任務(wù)完成的進(jìn)度信息；當(dāng)任務(wù)調(diào)度器收到作業(yè)的最后一個(gè)任務(wù)完成信息時(shí)，把該作業(yè)設(shè)置為“成功”。
[0020]與最接近的現(xiàn)有技術(shù)比，本發(fā)明的優(yōu)異效果為:
[0021]1、改變了傳統(tǒng)的計(jì)算模式，縮短了計(jì)算時(shí)間，通過該系統(tǒng)能夠更加有效的監(jiān)測到用戶交互的實(shí)時(shí)數(shù)據(jù)。
[0022]2、通過該技術(shù)能夠快速分析視頻產(chǎn)生的龐大的數(shù)據(jù)量，迅速分離flash p2p流量。
[0023]3、可以在分離出的flash p2p流量中可以獲取用戶的潛藏的信息，進(jìn)行商用，為客戶創(chuàng)造更大的利益。
【附圖說明】
[0024]圖1為本發(fā)明提供的基于Hadoop的FLASH P2P2流媒體實(shí)時(shí)監(jiān)測方法流程圖
[0025]圖2為本發(fā)明提供的基于Hadoop的FLASH P2P2流媒體實(shí)時(shí)監(jiān)測框圖
[0026]圖3為本發(fā)明提供的基于Hadoop的FLASH P2P2流媒體實(shí)時(shí)監(jiān)測時(shí)序圖
【具體實(shí)施方式】
[0027]下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明:
[0028]如圖1所示，一種基于Hadoop的FLASH P2P流媒體實(shí)時(shí)監(jiān)測方法，所述方法包括:
[0029]結(jié)合圖2、圖3所示，(I)客戶端啟動(dòng)作業(yè)，通過Job tracker (任務(wù)調(diào)度器)獲取該作業(yè)，并將其放入作業(yè)隊(duì)列中；所述步驟(I)中，所述作業(yè)用于將FLASH P2P流量從網(wǎng)絡(luò)流量中分離；
[0030](2)通過所述客戶端開啟嗅探器，獲取數(shù)據(jù)包，將所述數(shù)據(jù)包發(fā)送給HDFS ;所述步驟(2)中，每隔0.1s將獲取的數(shù)據(jù)包發(fā)送給HDFS ;其中，所述數(shù)據(jù)包包括TCP、UDP、HTTP和DNS0
[0031](3)從所述HDFS獲取輸入劃分信息，創(chuàng)建Map (化簡)任務(wù)，并將每個(gè)Map (化簡)任務(wù)分配給Task tra