本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，更具體地說，涉及一種基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法及系統(tǒng)。

背景技術(shù)：

隨著移動互聯(lián)網(wǎng)的發(fā)展，網(wǎng)民通過手機APP瀏覽新聞并發(fā)表評論已逐漸成為一種趨勢。各大網(wǎng)站紛紛推出自有的新聞客戶端，如搜狐、鳳凰等，各新聞客戶端形式多樣，且內(nèi)容繁雜，這樣對移動終端的網(wǎng)絡(luò)輿情監(jiān)控提出了新的管理挑戰(zhàn)和要求，其中，新聞APP數(shù)據(jù)采集是網(wǎng)絡(luò)輿情監(jiān)控的重要環(huán)節(jié)。而目前并沒有關(guān)于新聞APP數(shù)據(jù)采集的解決方案。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于，針對目前并沒有關(guān)于新聞APP數(shù)據(jù)采集的解決方案，提供一種基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法及系統(tǒng)。

本發(fā)明解決上述問題的技術(shù)方案是提供了一種基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)，該系統(tǒng)至少包括一移動終端和一Windows機器，其中，所述移動終端與所述Windows機器連接，所述移動終端上安裝一新聞APP，所述新聞APP用于訪問頁面，所述Windows機器用于在所述新聞APP訪問頁面時監(jiān)聽所述新聞APP所訪問的所述頁面的所有網(wǎng)絡(luò)請求，分析監(jiān)聽到所有網(wǎng)絡(luò)請求的報文以獲取請求地址，并模擬所述請求地址訪問以獲取所述頁面的所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)中，所述Windows機器還用于在所述新聞APP訪問頁面時監(jiān)聽所述新聞APP所訪問的所述頁面的所有網(wǎng)絡(luò)應(yīng)答，分析監(jiān)聽到所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不 是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)以獲取所述頁面的所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)中，所述移動終端與所述Windows機器連接，設(shè)置所述Windows機器的http代理端口，以提供使所述移動終端連接其所在局域網(wǎng)的無線網(wǎng)絡(luò)；設(shè)置所述移動終端的http代理及端口，使所述移動終端連接所述Windows機器所在局域網(wǎng)的無線網(wǎng)絡(luò)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)中，所述Windows機器包括監(jiān)聽模塊、分析模塊和獲取模塊，所述監(jiān)聽模塊為安裝在所述Windows機器的抓包工具，其中：

所述監(jiān)聽模塊用于在所述新聞APP訪問頁面時監(jiān)聽所述頁面的所有網(wǎng)絡(luò)請求和所有網(wǎng)絡(luò)應(yīng)答；

所述分析模塊用于分析所述監(jiān)聽模塊監(jiān)聽到的所有網(wǎng)絡(luò)請求的報文并獲取所有網(wǎng)絡(luò)請求的請求地址；

所述獲取模塊用于模擬所述請求地址訪問并獲取所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)中，所述分析模塊還用于分析所述監(jiān)聽模塊監(jiān)聽到的所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)；

所述獲取模塊還用于獲取所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

本發(fā)明還提供了一種基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法，該方法包括以下步驟：

S1、移動終端上安裝一新聞APP；

S2、建立所述移動終端與所述Windows機器的連接；

S3、所述Windows機器在所述新聞APP訪問頁面時監(jiān)聽所述新聞APP所訪問的所述頁面的所有網(wǎng)絡(luò)請求，分析監(jiān)聽到所有網(wǎng)絡(luò)請求的報文以獲取請求地址，并模擬所述請求地址訪問以獲取所述頁面的所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法中，所述方法進(jìn)一步包括：

所述Windows機器在所述新聞APP訪問頁面時監(jiān)聽所述新聞APP所訪問的 所述頁面的所有網(wǎng)絡(luò)應(yīng)答，分析監(jiān)聽到所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)以獲取所述頁面的所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法中，所述步驟S2包括：

設(shè)置所述Windows機器的http代理端口，以提供使所述移動終端連接其所在局域網(wǎng)的無線網(wǎng)絡(luò)；

設(shè)置所述移動終端的http代理及端口，使所述移動終端連接所述Windows機器所在局域網(wǎng)的無線網(wǎng)絡(luò)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法中，所述步驟S3包括：

所述Windows機器在所述新聞APP訪問頁面時通過安裝在所述Windows機器的抓包工具監(jiān)聽所述頁面的所有網(wǎng)絡(luò)請求和所有網(wǎng)絡(luò)應(yīng)答；

分析所述監(jiān)聽模塊監(jiān)聽到的所有網(wǎng)絡(luò)請求的報文并獲取所有網(wǎng)絡(luò)請求的請求地址；

模擬所述請求地址訪問并獲取所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

在上述基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法中，所述步驟S3進(jìn)一步包括：

分析監(jiān)聽到的所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)；

獲取所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

實施本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法及系統(tǒng)的有益效果有：由于新聞APP通過HTTP協(xié)議與服務(wù)器進(jìn)行交互的特點，利用一Windows機器即可完成該新聞APP數(shù)據(jù)采集，操作簡單，有利于對該新聞APP的網(wǎng)絡(luò)輿情進(jìn)行有效監(jiān)控。同時，通過移動終端與Windows機器的連接，在移動終端訪問新聞APP時，通過安裝的抓包工具獲取所有請求的請求地址，即可通過該請求地址自動快速采集該請求地址的數(shù)據(jù)，操作簡單，進(jìn)而有利于對該新聞APP的網(wǎng)絡(luò)輿情進(jìn)行有效監(jiān)控。

附圖說明

圖1是本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)實施例的結(jié)構(gòu)示意圖。

圖2是本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法實施例的流程圖。

圖3是本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法實施例的具體的流程圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1所示，是本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)實施例的結(jié)構(gòu)示意圖。參考圖1，該系統(tǒng)至少包括一移動終端10和一Windows機器20，其中，該移動終端10與Windows機器20連接，該移動終端10上安裝一新聞APP，該新聞APP用于訪問頁面，該Windows機器20用于在該新聞APP訪問頁面時監(jiān)聽該新聞APP所訪問的頁面的所有網(wǎng)絡(luò)請求，分析監(jiān)聽到的所有網(wǎng)絡(luò)請求的報文以獲取請求地址，并模擬該請求地址訪問以獲取所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

進(jìn)一步地，該Windows機器20還用于在該新聞APP訪問頁面時監(jiān)聽該新聞APP所訪問的頁面的所有網(wǎng)絡(luò)應(yīng)答，分析監(jiān)聽到的所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)以所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

在本發(fā)明的實施例中，該移動終端10與Windows機器連接20，該Windows機器20直接連接外網(wǎng)，設(shè)置該Windows機器20的http代理端口，以提供使該移動終端10連接其所在局域網(wǎng)的無線網(wǎng)絡(luò)，移動終端10利用自身的網(wǎng)絡(luò)代理，設(shè)置該移動終端10的http代理及端口，使該移動終端10連接該Windows機器20所在局域網(wǎng)的無線網(wǎng)絡(luò)。

在本發(fā)明的實施例中，該Windows機器20包括監(jiān)聽模塊21、分析模塊22和獲取模塊23，其中，監(jiān)聽模塊21用于在新聞APP訪問頁面時監(jiān)聽該頁面的所有 網(wǎng)絡(luò)請求和所有網(wǎng)絡(luò)應(yīng)答；分析模塊22用于分析監(jiān)聽模塊監(jiān)聽到的所有網(wǎng)絡(luò)請求的報文并獲取所有網(wǎng)絡(luò)請求的請求地址，該獲取模塊23用于模擬該請求地址訪問并獲取所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

進(jìn)一步地，該分析模塊22還用于分析監(jiān)聽模塊監(jiān)聽到的所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)；該獲取模塊23還用于獲取所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

在本發(fā)明的實施例中，該移動終端10可以是智能手機、平板電腦等，該Windows機器20可以是安裝有Windows系統(tǒng)的臺式電腦、筆記本電腦等。該監(jiān)聽模塊21為安裝在該Windows機器上的抓包工具。

在本發(fā)明的實施例中，通過移動終端10與Windows機器20的連接，在移動終端10訪問新聞APP時，通過安裝的抓包工具獲取所有網(wǎng)絡(luò)請求的請求地址，即可通過該請求地址自動快速采集該請求地址的數(shù)據(jù)，操作簡單，進(jìn)而有利于對該新聞APP的網(wǎng)絡(luò)輿情進(jìn)行有效監(jiān)控。

如圖2所示，是本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法實施例的流程圖。參考圖2，該方法包括以下步驟：

S1、移動終端10上安裝一新聞APP；

S2、建立該移動終端10與Windows機器20的連接；

S3、該Windows機器20在該新聞APP訪問頁面時監(jiān)聽該新聞APP所訪問的頁面的所有網(wǎng)絡(luò)請求，分析監(jiān)聽到的所有網(wǎng)絡(luò)請求的報文以獲取請求地址，并模擬該請求地址訪問以獲取所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

在本發(fā)明的實施例中，該方法還包括：該Windows機器20在該新聞APP訪問頁面時監(jiān)聽該新聞APP所訪問的頁面的所有網(wǎng)絡(luò)應(yīng)答，分析監(jiān)聽到的所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)以所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

下面將結(jié)合附圖對本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集系統(tǒng)實施例進(jìn)行進(jìn)一步地說明，如圖3所示，該方法始于開始步驟：

在步驟S1中，移動終端10上安裝一新聞APP，該新聞APP用于訪問頁面，可以為搜狐APP、鳳凰APP。

在步驟S21中，該Windows機器20直接連接外網(wǎng)，并設(shè)置該Windows機器20的http代理端口，以提供使該移動終端連接其所在局域網(wǎng)的網(wǎng)絡(luò)。

在步驟S22中，該移動終端10利用自身的網(wǎng)絡(luò)代理，設(shè)置該移動終端10的http代理及端口，使該移動終端10連接該Windows機器20所在局域網(wǎng)的無線網(wǎng)絡(luò)。

在步驟S31中，該Windows機器20在新聞APP訪問頁面時通過安裝的抓包工具監(jiān)聽該頁面的所有網(wǎng)絡(luò)請求和所有網(wǎng)絡(luò)應(yīng)答。

在步驟S32中，分析監(jiān)聽到的所有網(wǎng)絡(luò)請求的報文并獲取所有網(wǎng)絡(luò)請求的請求地址。

在步驟S33中，模擬該請求地址訪問并獲取所有網(wǎng)絡(luò)請求的數(shù)據(jù)。

在步驟S34中，分析監(jiān)聽到的所有網(wǎng)絡(luò)應(yīng)答的報文并過濾所有網(wǎng)絡(luò)應(yīng)答返回的格式不是JSON格式的數(shù)據(jù)和非APP域名的數(shù)據(jù)；

在步驟S35中，獲取所有網(wǎng)絡(luò)應(yīng)答返回的格式為JSON格式的數(shù)據(jù)且為APP域名的數(shù)據(jù)。

在本發(fā)明的實施例中，通過移動終端10與Windows機器20的連接，在移動終端10訪問新聞APP時，通過安裝的抓包工具獲取所有請求的請求地址，即可通過該請求地址自動快速采集該請求地址的數(shù)據(jù)，操作簡單，進(jìn)而有利于對該新聞APP的網(wǎng)絡(luò)輿情進(jìn)行有效監(jiān)控。

綜上，本發(fā)明的基于HTTP協(xié)議的新聞APP數(shù)據(jù)采集方法及系統(tǒng)的有益效果有：由于新聞APP通過HTTP協(xié)議與服務(wù)器進(jìn)行交互的特點，利用一Windows機器即可完成該新聞APP數(shù)據(jù)采集，操作簡單，有利于對該新聞APP的網(wǎng)絡(luò)輿情進(jìn)行有效監(jiān)控。同時，通過移動終端與Windows機器的連接，在移動終端訪問新聞APP時，通過安裝的抓包工具獲取所有請求的請求地址，即可通過該請求地址自動快速采集該請求地址的數(shù)據(jù)，操作簡單，進(jìn)而有利于對該新聞APP的網(wǎng)絡(luò)輿情進(jìn)行有效監(jiān)控。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護范圍并不局 限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)該以權(quán)利要求的保護范圍為準(zhǔn)。