專利名稱：一種基于Hadoop分布式文件預(yù)覽方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機領(lǐng)域，特別是涉及一種文件預(yù)覽方法及系統(tǒng)。
背景技術(shù)：
文件預(yù)覽是指將一定格式的文件，如微軟Office文件、PDF文件、文本文件和一些圖片文件，在不經(jīng)過文件編輯的情況下展示出文件內(nèi)容?，F(xiàn)有的文件預(yù)覽方式主要有基于網(wǎng)頁的預(yù)覽、基于縮略圖的瀏覽、蘋果公司的Quick Look和基于Flash的預(yù)覽?；诰W(wǎng)頁的瀏覽是指將文件內(nèi)容轉(zhuǎn)換為HTML格式進行展示，它的缺點是丟失文件格式信息?；诳s略圖的瀏覽是將文件內(nèi)容按頁生成圖片，以圖片方式進行查看，它的缺點是無法進行文本的查找。QuickLook技術(shù)是一種用在Mac OSX系統(tǒng)上的一種文件預(yù)覽方式，缺點是只能用于Mac OSX系統(tǒng)上，并且也不支持文件內(nèi)容查找?；贔lash的文件預(yù)覽是將文件轉(zhuǎn)換為SWF文件格式，并在網(wǎng)頁中嵌入SWF播放器進行查看文件。此解決方案的文件預(yù)覽基于Flash技術(shù)。上述的文件預(yù)覽解決方案只針對了文件格式的轉(zhuǎn)換與文件的預(yù)覽，但存在有以下問題對文件可靠性、海量文件轉(zhuǎn)換的時效性、海量文件檢索的問題。同時處理大文件或多文件時，轉(zhuǎn)換時效性及效率較低；在系統(tǒng)存在海量文件時，文件檢索效率低；在慢速網(wǎng)絡(luò)或者文件較大情況下播放預(yù)覽文件不流暢，影響用戶體驗。所以，有必要提出一種新的技術(shù)方案，以解決在文件預(yù)覽時提高文件可靠性、海量文件轉(zhuǎn)換的時效性、海量文件檢索的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于Hadoop分布式文件預(yù)覽方法及其系統(tǒng)，使得同時處理大文件多文件轉(zhuǎn)換時效性得到顯著提升，增強系統(tǒng)海量文件轉(zhuǎn)換處理能力與海量索引檢索能力，并能通過分頁播放預(yù)覽文件實現(xiàn)在慢速網(wǎng)絡(luò)或者文件較大情況下仍然能夠有效的維護用戶體驗的流暢性。為解決以下技術(shù)問題，本發(fā)明提供一種基于Hadoop分布式文件預(yù)覽方法，包括步驟I、將源文件存儲于Hadoop分布式文件系統(tǒng)中；步驟2、將存儲于Hadoop分布式文件系統(tǒng)的源文件轉(zhuǎn)換成SWF文件和TXT文件；步驟3、將已轉(zhuǎn)換為文本文件進行索引提取，建立索引；步驟4、根據(jù)索引從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件進行播放。進一步地,所述步驟2具體包括步驟2. I、獲取存儲于Hadoop分布式文件系統(tǒng)的源文件；步驟2. 2、將源文件轉(zhuǎn)換成PDF文件；步驟2. 3、將PDF文件格式抽取純文本內(nèi)容，存為文本文件；步驟2. 4、將PDF文件轉(zhuǎn)換為SWF文件。、
步驟2. 5、將轉(zhuǎn)換成功后的文本文件和SWF文件格式存回Hadoop分布式存儲中。進一步地，所述步驟3具體包括步驟3. I、在Hadoop分布式存儲中建立索引目錄；步驟3. 2、將轉(zhuǎn)換為純文本文件進行索引提取建立索引；步驟3. 3、將建立好的索引寫入合并到Hadoop索引目錄中。進一步地，所述步驟4具體包括步驟4. I、根據(jù)索引從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件；
步驟4. 2、將讀取到的SWF文件加載到文件預(yù)覽播放器播放。為解決以下技術(shù)問題，本發(fā)明還提供一種基于Hadoop分布式文件預(yù)覽系統(tǒng)，包括文件存儲裝置、文件轉(zhuǎn)換裝置、文件索引裝置、文件預(yù)覽裝置，所述文件存儲裝置，用于存儲待轉(zhuǎn)換的源文件，以及轉(zhuǎn)換成功的文本文件和SWF文件；所述文件轉(zhuǎn)換裝置，用于將源文件轉(zhuǎn)換為純文本文件格式和SWF格式；所述文件索引裝置，將轉(zhuǎn)換為純文本文件進行索引提取建立索引；所述文件預(yù)覽裝置，用于根據(jù)索引播放需要預(yù)覽展示的SWF文件。進一步地，所述文件存儲裝置基于Hadoop分布式文件系統(tǒng)中，真實數(shù)據(jù)存儲于Hadoop數(shù)據(jù)結(jié)點上。進一步地，所述文件轉(zhuǎn)換裝置包括轉(zhuǎn)換任務(wù)調(diào)度器、轉(zhuǎn)換任務(wù)執(zhí)行器，所述轉(zhuǎn)換任務(wù)調(diào)度器，用于提交文件轉(zhuǎn)換任務(wù)，并將轉(zhuǎn)換任務(wù)調(diào)度所述轉(zhuǎn)換任務(wù)執(zhí)行器；所述轉(zhuǎn)換任務(wù)執(zhí)行器，用于執(zhí)行轉(zhuǎn)換任務(wù)調(diào)度器派發(fā)的文件轉(zhuǎn)換任務(wù)。進一步地,所述轉(zhuǎn)換任務(wù)調(diào)度器是基于Hadoop MapReduce實現(xiàn),將提交文件轉(zhuǎn)換Map任務(wù)調(diào)度所述轉(zhuǎn)換任務(wù)執(zhí)行器。進一步地，所述轉(zhuǎn)換任務(wù)執(zhí)行器包括文件轉(zhuǎn)換任務(wù)守護進程、OpenOffice服務(wù)、以及 SWFTools，所述文件轉(zhuǎn)換任務(wù)守護進程，用于在收到文件轉(zhuǎn)換任務(wù)后，將此次轉(zhuǎn)換任務(wù)保存到磁盤中，守護文件轉(zhuǎn)換進度直至文件轉(zhuǎn)換任務(wù)完成；所述OpenOffice服務(wù),用于將OpenOffice支持的文件格式轉(zhuǎn)換成PDF文件；所述SWFTools，用于將PDF文件轉(zhuǎn)換為SWF文件。進一步地,所述文件預(yù)覽裝置是基于Flash播放器,能夠直接從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件。與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種基于Hadoop分布式文件預(yù)覽方法及其系統(tǒng)，具有以下技術(shù)優(yōu)點一、通過Hadoop海量存儲與分布式任務(wù)管理平臺，以每Hadoop MapReduce的任務(wù)調(diào)度方式進行，利用Hadoop集群進行文件轉(zhuǎn)換任務(wù)，讓同時大文件多文件轉(zhuǎn)換處理時效性得到顯著提升，文件轉(zhuǎn)換效率高，同時將文件存儲于Hadoop分布式存儲中，文件不會損壞，保證文件的有效性與冗余性，以達到在有多臺集群結(jié)點出現(xiàn)故障的情況下轉(zhuǎn)換工作仍能正常進行。二、在文件索引方面，索引建立采用分布式多結(jié)點進行，由文件守護進程集群進行文件索引建立，索引分兩級存儲，一級位于Hadoop分布式存儲中，一級位于文件守護進程內(nèi)存中；采用分布式檢索方式，返回所有文件守護進程所維護的內(nèi)存索引進行索引查詢，有效提升索引查詢速度。三、通過對Hadoop任務(wù)管理器與傳統(tǒng)SWF播放器的改進，使系統(tǒng)達到海量文件轉(zhuǎn)換處理能力與海量索引檢索能力，并能通過分頁播放預(yù)覽文件實現(xiàn)在慢速網(wǎng)絡(luò)或者文件較大情況下仍然能夠有效的維護用戶體驗的流暢性。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本發(fā)明的一部分 ，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中圖I是本發(fā)明提供的一種基于Hadoop分布式文件預(yù)覽系統(tǒng)結(jié)構(gòu)示意圖。圖2是本發(fā)明提供的一種基于Hadoop分布式文件預(yù)覽方法的流程圖。圖3是本發(fā)明提供的文件具體轉(zhuǎn)換過程的流程圖。圖4是本發(fā)明提供的建立文件索引的流程圖。
具體實施例方式為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。如圖I所示，本發(fā)明提供一種基于Hadoop分布式文件預(yù)覽系統(tǒng)，包括文件存儲裝置10、文件轉(zhuǎn)換裝置20、文件索引裝置30、文件預(yù)覽裝置40。文件存儲裝置10，用于存儲待轉(zhuǎn)換的源文件，以及轉(zhuǎn)換成功的純文本TXT文件和SffF文件。其中，文件存儲裝置基于Hadoop分布式文件系統(tǒng)中，真實數(shù)據(jù)存儲于Hadoop數(shù)據(jù)結(jié)點上。文件存儲裝置10存儲要進行預(yù)覽的文件格式如下所述源文件格式源文件格式即最初需要預(yù)覽的文件格式，此文件格式可以是微軟Office文件格式、PDF文件格式、GIF/PNG/JPEG圖片格式和純文本文件文件格式。純文本TXT格式純文本格式是指文件中的純文本內(nèi)容，無表格、無圖表也無具體文件格式信息，純文本格式用于文件索引裝置30建立索引與檢索。SWF文件格式SWF文件格式是文件預(yù)覽裝置40支持的文件格式，對于一個需要轉(zhuǎn)換的文件會被分為N個SWF文件，N可以手工配置。文件預(yù)覽裝置40可以識別并加載這些SffF格式文件，從而達到對原始文件的預(yù)覽。文件轉(zhuǎn)換裝置20，用于將源文件轉(zhuǎn)換為純文本文件格式和SWF格式。文件轉(zhuǎn)換裝置20包括轉(zhuǎn)換任務(wù)調(diào)度器、轉(zhuǎn)換任務(wù)執(zhí)行器。其中，轉(zhuǎn)換任務(wù)調(diào)度器是基于Hadoop MapReduce實現(xiàn),通過提交文件轉(zhuǎn)換Map任務(wù),將轉(zhuǎn)換任務(wù)調(diào)度到文件存儲裝置10的數(shù)據(jù)結(jié)點上執(zhí)行文件轉(zhuǎn)換任務(wù)。轉(zhuǎn)換任務(wù)調(diào)度器只負責(zé)調(diào)度任務(wù)派發(fā)，具體轉(zhuǎn)換任務(wù)由轉(zhuǎn)換任務(wù)執(zhí)行器來執(zhí)行。轉(zhuǎn)換任務(wù)執(zhí)行器是執(zhí)行轉(zhuǎn)換任務(wù)調(diào)度器派發(fā)的文件轉(zhuǎn)換任務(wù)。包括文件轉(zhuǎn)換任務(wù)守護進程、OpenOffice服務(wù)、以及SWFTools。其中，文件轉(zhuǎn)換任務(wù)守護進程是在收到文件轉(zhuǎn)換任務(wù)后，將此次轉(zhuǎn)換任務(wù)保存到磁盤中，守護文件轉(zhuǎn)換進度直至文件轉(zhuǎn)換任務(wù)完成，以便在系統(tǒng)發(fā)生偶發(fā)停機事件后仍能夠執(zhí)行未成功轉(zhuǎn)換的文件。OpenOffice服務(wù)是實現(xiàn)將OpenOffice支持的文件格式轉(zhuǎn)到PDF文件格式。SWFTools是一種轉(zhuǎn)換工具，用于將PDF文件轉(zhuǎn)換為SWF文件。文件索引裝置30，索引建立基于Lucene實現(xiàn)，將轉(zhuǎn)換為純文本文件進行索引提取建立索弓I，并將建立好的索引存儲于Hadoop分布式文件系統(tǒng)中。索引查詢基于Lucene分布式索引檢索接口，每個文件轉(zhuǎn)換任務(wù)守護進程還提供一個索引檢索服務(wù)，這樣由很多個文件轉(zhuǎn)換守護進程組成了多個索引查詢服務(wù)提供者，這些索引服務(wù)提供都保存著自己已經(jīng)轉(zhuǎn)換的文件的索引最新備份于內(nèi)存中。當發(fā)生索引檢索操作時，輪訓(xùn)所有活動的索引服務(wù)提供者，檢索得到此次索引結(jié)果。文件預(yù)覽裝置40，用于根據(jù)索引播放需要預(yù)覽展示的SWF文件，文件預(yù)覽裝置40基于Flash播放器，能夠直接從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件。這樣 可以達到跨平臺文件預(yù)覽。如圖2所示，本發(fā)明提供一種基于Hadoop分布式文件預(yù)覽方法，包括步驟I、文件存儲，將源文件存儲于Hadoop分布式文件系統(tǒng)中。步驟2、文件轉(zhuǎn)換，將存儲于Hadoop分布式文件系統(tǒng)的源文件轉(zhuǎn)換成文本文件和SffF文件。具體轉(zhuǎn)換過程包括(如圖3所示)步驟2. I、獲取存儲于Hadoop分布式文件系統(tǒng)的源文件，具體包括步驟2. I. I、啟動并配置轉(zhuǎn)換環(huán)境，主要包括啟動Hadoop集群環(huán)境，部署OpenOffice 和 SWFTools 到 Hadoop 數(shù)據(jù)結(jié)點上。步驟2. I. 2、由Hadoop任務(wù)結(jié)點啟動文件轉(zhuǎn)換任務(wù)守護進程，主要是通過提交Hadoop MapReduce任務(wù)，在此處的MapReduce任務(wù)只有Map過程無Reduce過程。步驟2. I. 3、提交Hadoop MapReduce文件轉(zhuǎn)換任務(wù),此任務(wù)也只由Map過程組成，目的在于執(zhí)行此任務(wù)的Hadoop任務(wù)結(jié)點與文件轉(zhuǎn)換任務(wù)守護進程通信，提交任務(wù)元信息到文件轉(zhuǎn)換任務(wù)守護進程中。步驟2. I. 4、文件轉(zhuǎn)換任務(wù)守護進程將文件轉(zhuǎn)換任務(wù)加入工作隊列，進行文件轉(zhuǎn)換任務(wù)。步驟2. 2、將源文件轉(zhuǎn)換成PDF文件，具體包括調(diào)用OpenOffice實現(xiàn)將OpenOff ice支持的文件格式轉(zhuǎn)到PDF文件格式，其中，如果文件已是PDF文件格式則不需要進行轉(zhuǎn)換，直接跳過此步驟到下一步；步驟2. 3、將PDF文件格式抽取純文本內(nèi)容，存為TXT文件。具體包括利用TOFBox將PDF格式文件中的內(nèi)容抽取為純文本內(nèi)容，存為TXT文件。步驟2. 4、將PDF文件轉(zhuǎn)換為SWF文件，具體包括用轉(zhuǎn)換工具SWFTools將PDF文件格式按每N頁方式轉(zhuǎn)換為SWF文件，以便文件預(yù)覽器能夠預(yù)覽文件。步驟2. 5、將轉(zhuǎn)換成功后的TXT文件和SWF文件格式存回Hadoop分布式存儲中。步驟3、文件索引，將已轉(zhuǎn)換為純文本文件進行索引提取，建立索引，并將建立好的索引存儲于Hadoop分布式文件系統(tǒng)中。具體包括(如圖4所示)步驟3. I、在啟動文件轉(zhuǎn)換任務(wù)守護進程時初始化Hadoop中需要用來作為索引存儲的部分，主要是在Hadoop分布式存儲中為每個文件建立索引目錄，目錄名稱為IP地址。
步驟3. 2、將轉(zhuǎn)換為純文本文件進行索引提取建立索弓丨，本發(fā)明實施例中采用Lucene開源Java實現(xiàn)索引建立。步驟3. 3、將建立好的索引寫入合并到Hadoop索引目錄中，并刷新文件轉(zhuǎn)換任務(wù)守護進程內(nèi)存索引，以內(nèi)存索引反映最新索引內(nèi)容并與Hadoop索引目錄中文件內(nèi)容一致。步驟4、文件預(yù)覽，根據(jù)索引從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件進行播放。具體包括步驟4. I、根據(jù)文件索引，從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件的元數(shù)據(jù)信息。
步驟4. 2、將讀取到的元數(shù)據(jù)信息形成加載頁面按分頁模式加載到文件預(yù)覽播放器播放。上述說明示出并描述了本發(fā)明的一個優(yōu)選實施例，但如前所述，應(yīng)當理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對其他實施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識進行改動。而本領(lǐng)域人員所進行的改動和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護范圍內(nèi)。
權(quán)利要求
1.一種基于Hadoop分布式文件預(yù)覽方法,其特征在于,包括 步驟I、將源文件存儲于Hadoop分布式文件系統(tǒng)中； 步驟2、將存儲于Hadoop分布式文件系統(tǒng)的源文件轉(zhuǎn)換成SWF文件和TXT文件； 步驟3、將已轉(zhuǎn)換為文本文件進行索引提取，建立索引； 步驟4、根據(jù)索引從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件進行播放。
2.如權(quán)利要求I所述的方法，其特征在于，所述步驟2具體包括 步驟2. I、獲取存儲于Hadoop分布式文件系統(tǒng)的源文件； 步驟2. 2、將源文件轉(zhuǎn)換成PDF文件； 步驟2. 3、將PDF文件格式抽取純文本內(nèi)容，存為文本文件； 步驟2. 4、將PDF文件轉(zhuǎn)換為SWF文件。
步驟2. 5、將轉(zhuǎn)換成功后的文本文件和SWF文件格式存回Hadoop分布式存儲中。
3.如權(quán)利要求I所述的方法，其特征在于，所述步驟3具體包括 步驟3. I、在Hadoop分布式存儲中建立索引目錄； 步驟3. 2、將轉(zhuǎn)換為純文本文件進行索引提取建立索引； 步驟3. 3、將建立好的索引寫入合并到Hadoop索引目錄中。
4.如權(quán)利要求I所述的方法，其特征在于，所述步驟4具體包括 步驟4. I、根據(jù)索引從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件； 步驟4. 2、將讀取到的SWF文件加載到文件預(yù)覽播放器播放。
5.一種基于Hadoop分布式文件預(yù)覽系統(tǒng)，其特征在于，包括文件存儲裝置、文件轉(zhuǎn)換裝置、文件索引裝置、文件預(yù)覽裝置， 所述文件存儲裝置，用于存儲待轉(zhuǎn)換的源文件，以及轉(zhuǎn)換成功的文本文件和SWF文件； 所述文件轉(zhuǎn)換裝置，用于將源文件轉(zhuǎn)換為純文本文件格式和SWF格式； 所述文件索引裝置，將轉(zhuǎn)換為純文本文件進行索引提取建立索引； 所述文件預(yù)覽裝置，用于根據(jù)索引播放需要預(yù)覽展示的SWF文件。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述文件存儲裝置基于Hadoop分布式文件系統(tǒng)中，真實數(shù)據(jù)存儲于Hadoop數(shù)據(jù)結(jié)點上。
7.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述文件轉(zhuǎn)換裝置包括轉(zhuǎn)換任務(wù)調(diào)度器、轉(zhuǎn)換任務(wù)執(zhí)行器， 所述轉(zhuǎn)換任務(wù)調(diào)度器，用于提交文件轉(zhuǎn)換任務(wù)，并將轉(zhuǎn)換任務(wù)調(diào)度所述轉(zhuǎn)換任務(wù)執(zhí)行器； 所述轉(zhuǎn)換任務(wù)執(zhí)行器，用于執(zhí)行轉(zhuǎn)換任務(wù)調(diào)度器派發(fā)的文件轉(zhuǎn)換任務(wù)。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述轉(zhuǎn)換任務(wù)調(diào)度器是基于HadoopMapReduce實現(xiàn)，將提交文件轉(zhuǎn)換Map任務(wù)調(diào)度所述轉(zhuǎn)換任務(wù)執(zhí)行器。
9.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述轉(zhuǎn)換任務(wù)執(zhí)行器包括文件轉(zhuǎn)換任務(wù)守護進程、OpenOffice服務(wù)、以及SWFTools, 所述文件轉(zhuǎn)換任務(wù)守護進程，用于在收到文件轉(zhuǎn)換任務(wù)后，將此次轉(zhuǎn)換任務(wù)保存到磁盤中，守護文件轉(zhuǎn)換進度直至文件轉(zhuǎn)換任務(wù)完成； 所述OpenOffice服務(wù),用于將OpenOffice支持的文件格式轉(zhuǎn)換成PDF文件； 所述SWFTools，用于將PDF文件轉(zhuǎn)換為SWF文件。
10.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述文件預(yù)覽裝置是基于Flash播放器，能夠直接從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件。
全文摘要
本發(fā)明提供一種基于Hadoop分布式文件預(yù)覽方法，包括步驟1、將源文件存儲于Hadoop分布式文件系統(tǒng)中；步驟2、將存儲于Hadoop分布式文件系統(tǒng)的源文件轉(zhuǎn)換成SWF文件和文本文件；步驟3、將文本文件進行索引提取，建立索引；步驟4、根據(jù)索引從Hadoop分布式存儲中讀取需要預(yù)覽展示的SWF文件進行播放。本發(fā)明還提供一種基于Hadoop分布式文件預(yù)覽方法。通過本發(fā)明提供一種基于Hadoop分布式文件預(yù)覽方法及其系統(tǒng)，使得同時處理大文件多文件轉(zhuǎn)換時效性得到顯著提升，增強系統(tǒng)海量文件轉(zhuǎn)換處理能力與海量索引檢索能力，以及播放預(yù)覽文件的流暢性。
文檔編號G06F17/30GK102750391SQ201210233929
公開日2012年10月24日 申請日期2012年7月6日 優(yōu)先權(quán)日2012年7月6日
發(fā)明者李偉 申請人:深圳市遠行科技有限公司