專(zhuān)利名稱(chēng)：一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻摘要技術(shù)領(lǐng)域，特別是涉及一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法與應(yīng)用這種方法的裝置。
背景技術(shù)：
視頻摘要又稱(chēng)視頻濃縮，是對(duì)視頻內(nèi)容以某種方式進(jìn)行的概括、組合。視頻摘要在視頻分析和視頻檢索中扮演著重要角色。在安防視頻監(jiān)控領(lǐng)域，視頻監(jiān)控系統(tǒng)成為維護(hù)社會(huì)治安，加強(qiáng)社會(huì)管理的一個(gè)重要組成部分。然而原始視頻錄像存在存儲(chǔ)數(shù)據(jù)量大，存儲(chǔ)時(shí)間長(zhǎng)等特點(diǎn)，攝像機(jī)所采集到的能達(dá)到高清晰度質(zhì)量的數(shù)字視頻(720P/25幀30幀50幀60幀每秒、1080P/25幀30幀50幀60幀每秒)的輸出碼流，經(jīng)過(guò)目前國(guó)際上通行的各種編碼壓縮之后，如H.264/MPEG4等，仍然達(dá)到IMbps 20Mbps，致使壓縮后的視頻數(shù)據(jù)仍然面臨難以傳輸或者難以低帶寬傳輸?shù)膯?wèn)題。而且，現(xiàn)有的安防監(jiān)控系統(tǒng)中，所采集的視頻信號(hào)的絕大部分?jǐn)?shù)據(jù)所反映的現(xiàn)場(chǎng)情景沒(méi)有反映出可供分析追索的價(jià)值，只有其中占極其少數(shù)部分的數(shù)據(jù)可以反映緊急事故、違法違規(guī)等現(xiàn)場(chǎng)視頻內(nèi)容，具有分析與使用價(jià)值，可作為證據(jù)，值得傳輸?shù)胶蠓綌?shù)據(jù)中心進(jìn)行保存。但由于目前的安防視頻監(jiān)控技術(shù)方案通常采用壓縮編碼網(wǎng)絡(luò)包全部數(shù)據(jù)傳輸方式，因此對(duì)網(wǎng)絡(luò)通訊資源形成了巨大浪費(fèi)，也造成不必要的成本開(kāi)支。為此，高效率的視頻摘要處理技術(shù)，具有高度的社會(huì)價(jià)值和商業(yè)價(jià)值。目前的視頻監(jiān)控技術(shù)領(lǐng)域，所一致采用的視頻摘要技術(shù)都是只基于前端攝像機(jī)自身進(jìn)行獨(dú)立的視頻摘要算法處理或者只基于后端獨(dú)立進(jìn)行的視頻摘要算法處理，前端或者后端(不是前后端交互)只獨(dú)立地按時(shí)間摘要、變化判定摘要和時(shí)間空間摘要等三種方式進(jìn)行摘要。時(shí)間摘要即按時(shí)間間隔抽取關(guān)鍵幀方式，變化判定摘要就是根據(jù)畫(huà)面是否有變化進(jìn)行摘要傳輸、如果畫(huà)面沒(méi)有可度量到的變化就不傳輸或者減少傳輸，時(shí)間空間摘要即把不同時(shí)間在同一空間所出現(xiàn)的目標(biāo)人或景物，摘要壓縮到同一空間的不同景物位置上，這三種方式如果只在前端或·者后端獨(dú)立運(yùn)行，其結(jié)果都是丟失信息的有損摘要技術(shù)方式，其摘要效果和壓縮率較低，可供分析追索的細(xì)節(jié)信息大量丟失，后端設(shè)備所接收到前端攝像機(jī)傳輸來(lái)的視頻數(shù)據(jù)的再利用的價(jià)值大大降低。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的缺陷，提供一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法與裝置，能夠在節(jié)省網(wǎng)絡(luò)資源的前提下獲得無(wú)損摘要。本發(fā)明的技術(shù)方案是:—種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法，其特征在于，所述方法依靠前后端交互作用來(lái)實(shí)現(xiàn)摘要，本質(zhì)區(qū)別于只基于前端獨(dú)立進(jìn)行處理或者只依靠后端獨(dú)立進(jìn)行處理的其它任何視頻摘要處理方法；包含以下步驟:
(I)前端設(shè)備以較短時(shí)間間隔對(duì)采集到的視頻進(jìn)行視頻編碼壓縮得到數(shù)據(jù)量較大的視頻編碼壓縮數(shù)據(jù)；(2)前端設(shè)備以較長(zhǎng)時(shí)間間隔對(duì)獨(dú)立抓拍的圖片進(jìn)行圖片編碼壓縮得到數(shù)據(jù)量較小的圖片編碼壓縮數(shù)據(jù)； (3)前端設(shè)備將上述步驟⑴和步驟⑵得到的視頻編碼壓縮數(shù)據(jù)和圖片編碼壓縮數(shù)據(jù)都暫存于本地存儲(chǔ)裝置中；(4)正常狀態(tài)下，前端設(shè)備只從本地存儲(chǔ)裝置中抽取更長(zhǎng)時(shí)間間隔而數(shù)據(jù)量更小的部分圖片編碼壓縮數(shù)據(jù)傳輸至后端設(shè)備；(5)后端設(shè)備對(duì)接收到的圖片編碼壓縮數(shù)據(jù)進(jìn)行分析，對(duì)有保留價(jià)值的異常狀態(tài)下的內(nèi)容，發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求；(6)前端設(shè)備將本地存儲(chǔ)裝置存儲(chǔ)的與所述時(shí)間段對(duì)應(yīng)的更詳細(xì)的圖片數(shù)據(jù)和更詳細(xì)的視頻數(shù)據(jù)回傳至后端設(shè)備中；(7)后端設(shè)備接收并保存回傳的相應(yīng)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)，建立索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻摘要。所述步驟(6)中，更詳細(xì)的圖片數(shù)據(jù)與更詳細(xì)的視頻數(shù)據(jù)是指所述存儲(chǔ)裝置中存儲(chǔ)的對(duì)應(yīng)時(shí)間段的由步驟(I)和步驟(2)得到的圖片編碼壓縮數(shù)據(jù)和/或視頻編碼壓縮數(shù)據(jù)。所述步驟(3)中，包括從所述存儲(chǔ)裝置中循環(huán)擦除已過(guò)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)的步驟，當(dāng)所述存儲(chǔ)裝置的存儲(chǔ)量達(dá)到全部存儲(chǔ)空間的一定的比例值時(shí)，采取堆棧方式，先進(jìn)先擦除，再重新接受最新數(shù)據(jù)的寫(xiě)入。

所述步驟(5)中，后端設(shè)備通過(guò)分析，在所述存儲(chǔ)裝置擦除已過(guò)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)之前，請(qǐng)求回傳更詳細(xì)視頻內(nèi)容。一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的裝置，其特征在于，所述這種裝置必須依靠前后端交互作用來(lái)實(shí)現(xiàn)摘要，本質(zhì)區(qū)別于目前各種的只基于前端獨(dú)立處理實(shí)現(xiàn)的或者只依靠后端獨(dú)立處理實(shí)現(xiàn)的任何視頻摘要方式；包括前端視頻采集處理設(shè)備、后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備；所述前端視頻采集處理設(shè)備將采集到的視頻分別進(jìn)行較短時(shí)間間隔的視頻編碼壓縮和較長(zhǎng)時(shí)間間隔的圖片編碼壓縮，存儲(chǔ)這兩種壓縮數(shù)據(jù)；所述前端視頻采集處理設(shè)備分別與后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備相通訊，首先向后端圖片分析設(shè)備發(fā)送抽取的更長(zhǎng)時(shí)間間隔的圖片編碼壓縮數(shù)據(jù)，所述后端圖片分析設(shè)備對(duì)接收到的圖片編碼壓縮數(shù)據(jù)進(jìn)行分析，對(duì)有保留價(jià)值的內(nèi)容，向前端視頻采集處理設(shè)備發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求；所述前端視頻采集處理設(shè)備再根據(jù)后端圖片分析設(shè)備發(fā)起的回傳請(qǐng)求，向后端數(shù)據(jù)存儲(chǔ)設(shè)備發(fā)送相應(yīng)時(shí)間段的更詳細(xì)內(nèi)容的視頻數(shù)據(jù)和圖片數(shù)據(jù)；所述后端數(shù)據(jù)存儲(chǔ)設(shè)備接收和保存這些數(shù)據(jù)，并建立索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻摘要。所述前端視頻采集處理設(shè)備包括視頻數(shù)據(jù)采集模塊、視頻壓縮模塊、圖片壓縮模塊、小容量存儲(chǔ)模塊、短時(shí)間間隔圖片處理模塊、長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊、前后端交互接收模塊、數(shù)據(jù)處理模塊、圖片數(shù)據(jù)發(fā)送模塊、視頻數(shù)據(jù)發(fā)送模塊等，所述視頻數(shù)據(jù)采集模塊分別連接視頻壓縮模塊和圖片壓縮模塊，視頻壓縮模塊和圖片壓縮模塊均連接小容量存儲(chǔ)模塊，小容量存儲(chǔ)模塊連接數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊分別連接短時(shí)間間隔圖片處理模塊和長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊，短時(shí)間間隔圖片處理模塊和長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊均連接圖片數(shù)據(jù)發(fā)送模塊；所述數(shù)據(jù)處理模塊還分別連接視頻數(shù)據(jù)發(fā)送模塊和前后端交互接收模塊。所述后端圖片分析設(shè)備包括后端圖像數(shù)據(jù)接收模塊、數(shù)據(jù)分析模塊、前后端交互發(fā)送模塊；后端圖像數(shù)據(jù)接收模塊連接數(shù)據(jù)分析模塊，數(shù)據(jù)分析模塊和前后端交互發(fā)送模塊連接。本發(fā)明的技術(shù)效果:本發(fā)明提供的一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法與裝置，不同于現(xiàn)有技術(shù)中的各種只基于前端攝像設(shè)備自身獨(dú)立實(shí)現(xiàn)的或者只基于后端自身獨(dú)立實(shí)現(xiàn)的數(shù)字視頻壓縮技術(shù)和視頻摘要算法技術(shù)，本發(fā)明基于前后端必須通過(guò)交互方式才能實(shí)現(xiàn)的視頻摘要，能夠取得無(wú)損摘要效果，還能在保證視頻傳輸效率、節(jié)省網(wǎng)絡(luò)資源的前提下獲得無(wú)損摘要，摘要率可調(diào)節(jié)，可以根據(jù)需要獲得很高，能達(dá)到千分之一級(jí)別的摘要率，不丟失任何有需要的視頻信息；并且受到網(wǎng)絡(luò)流量不穩(wěn)定所造成的傳輸損失影響小，即使傳輸信道間歇性失效，仍然不影 響后端設(shè)備接收所需要的全部信息。本發(fā)明的裝置包括前端視頻采集處理設(shè)備以及后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備，前端視頻采集處理設(shè)備首先將采集到視頻進(jìn)行壓縮處理，保存兩種壓縮數(shù)據(jù)，即因采集時(shí)間間隔較短而得到的數(shù)據(jù)量較大的視頻編碼壓縮數(shù)據(jù)和因采集時(shí)間間隔較長(zhǎng)而得到的數(shù)據(jù)量較小的圖片編碼壓縮數(shù)據(jù)，正常情況下，只向后端圖片分析設(shè)備發(fā)送抽取的更長(zhǎng)時(shí)間間隔而數(shù)據(jù)量更小的部分圖片編碼壓縮數(shù)據(jù)，后端圖片分析設(shè)備進(jìn)行分析處理，對(duì)具有保留價(jià)值的內(nèi)容，再向前端視頻采集處理設(shè)備發(fā)送回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的請(qǐng)求，這時(shí)前端視頻采集處理設(shè)備會(huì)將已保存的所述某時(shí)間段的未傳輸?shù)母敿?xì)的圖片數(shù)據(jù)和更詳細(xì)的視頻數(shù)據(jù)發(fā)送給后端數(shù)據(jù)存儲(chǔ)設(shè)備，達(dá)到無(wú)損摘要，不丟失任何有保留價(jià)值的視頻信息的目的，同時(shí)還節(jié)省了網(wǎng)絡(luò)資源，減少了毫無(wú)必要的數(shù)字視頻數(shù)據(jù)的傳輸浪費(fèi)。


圖1是本發(fā)明的基于前后端交互方式實(shí)現(xiàn)視頻摘要方法的流程示意圖。圖2是本發(fā)明的基于前后端交互方式實(shí)現(xiàn)視頻摘要裝置的組成結(jié)構(gòu)示意圖。圖3是本發(fā)明裝置中的前端視頻采集處理設(shè)備組成結(jié)構(gòu)示意圖。圖4是本發(fā)明裝置中的后端圖片分析設(shè)備組成結(jié)構(gòu)示意圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的實(shí)例做進(jìn)一步的詳細(xì)說(shuō)明。如圖1所示，是本發(fā)明的基于前后端交互方式實(shí)現(xiàn)視頻摘要方法的流程示意圖。一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法，包含以下步驟:(I)前端設(shè)備以較短時(shí)間間隔對(duì)采集到的視頻進(jìn)行視頻編碼壓縮得到數(shù)據(jù)量較大的視頻編碼壓縮數(shù)據(jù)；(2)前端設(shè)備以較長(zhǎng)時(shí)間間隔對(duì)獨(dú)立抓拍的圖片進(jìn)行圖片編碼壓縮得到數(shù)據(jù)量較小的圖片編碼壓縮數(shù)據(jù)；(3)前端設(shè)備將上述步驟⑴和步驟⑵得到的視頻編碼壓縮數(shù)據(jù)和圖片編碼壓縮數(shù)據(jù)都暫存于本地存儲(chǔ)裝置中；(4)正常狀態(tài)下，前端設(shè)備只從本地存儲(chǔ)裝置中抽取更長(zhǎng)時(shí)間間隔而數(shù)據(jù)量更小的部分圖片編碼壓縮數(shù)據(jù)傳輸至后端設(shè)備；(5)后端設(shè)備對(duì)接收到的圖片編碼壓縮數(shù)據(jù)進(jìn)行分析，在分析后判定某段時(shí)間的前端視頻數(shù)據(jù)沒(méi)有保留意義時(shí)，就不向前端發(fā)起回傳要求，前端繼續(xù)保持傳輸很少數(shù)據(jù)量的狀態(tài)；在分析后判定這段時(shí)間的前端視頻數(shù)據(jù)有異常具有保留價(jià)值時(shí)，對(duì)有保留價(jià)值的異常狀態(tài)下的內(nèi)容，發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求；(6)前端設(shè)備將本地存儲(chǔ)裝置存儲(chǔ)的與所述時(shí)間段對(duì)應(yīng)的更詳細(xì)的圖片數(shù)據(jù)和更詳細(xì)的視頻數(shù)據(jù)回傳至后端設(shè)備中；(7)后端設(shè)備接收并保存回傳的相應(yīng)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)，建立索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻摘要。其中，步驟(I)中，較短時(shí)間間隔是指相對(duì)于所述的較長(zhǎng)時(shí)間間隔的時(shí)間更短而言，是一種相對(duì)關(guān)系。根據(jù)目前通常采用的視頻采集習(xí)慣，這個(gè)較短時(shí)間間隔一般選取每秒十幾幀至每秒120幀之間的某個(gè)具體間隔值，例如為每秒25幀到60幀。當(dāng)然也適用于采取比這個(gè)取值范圍的時(shí)間更短的其它采集時(shí)間間隔值。步驟(2)中，較長(zhǎng)時(shí)間間隔是指相比于所述的較短時(shí)間間隔的時(shí)間更長(zhǎng)而言，是一種相對(duì)關(guān)系。根據(jù)目前通常采用的圖片抓拍采集習(xí)慣，這個(gè)較長(zhǎng)時(shí)間間隔一般選取為在每秒幾幀至每2秒I幀之間的某個(gè)具體間隔值，例如為每秒3幀。當(dāng)然也適用于采取比這個(gè)取值范圍的時(shí)間更長(zhǎng)的其它采集時(shí)間間隔值。步驟(4)中，更長(zhǎng) 時(shí)間間隔是指相比于所述的較長(zhǎng)時(shí)間間隔的時(shí)間更長(zhǎng)而言，是一種相對(duì)關(guān)系。根據(jù)目前實(shí)際應(yīng)用的需要，這個(gè)更長(zhǎng)時(shí)間間隔一般選取為在每3秒I幀至每30秒I幀之間的某個(gè)具體間隔值，例如為每3秒I幀。當(dāng)然也適用于采取比這個(gè)取值范圍的時(shí)間更長(zhǎng)的其它采集時(shí)間間隔值，比如觀測(cè)農(nóng)作物生長(zhǎng)可以用每天I幀。步驟(6)中，更詳細(xì)的圖片數(shù)據(jù)與更詳細(xì)的視頻數(shù)據(jù)是指所述存儲(chǔ)裝置中存儲(chǔ)的對(duì)應(yīng)時(shí)間段的由步驟(I)和步驟(2)得到的視頻編碼壓縮數(shù)據(jù)和未傳輸?shù)膱D片編碼壓縮數(shù)據(jù)。步驟(3)中的本地存儲(chǔ)裝置可以是小容量的、短時(shí)間的存儲(chǔ)裝置，例如SD卡；步驟
(3)中包括從所述存儲(chǔ)裝置中循環(huán)擦除已過(guò)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)的步驟，當(dāng)所述存儲(chǔ)裝置的存儲(chǔ)量達(dá)到全部存儲(chǔ)空間的一定的比例值時(shí)，采取堆棧方式，先進(jìn)先擦除，再重新接受最新數(shù)據(jù)的寫(xiě)入。這個(gè)比例值可以任意設(shè)定，例如90%，以盡可能存儲(chǔ)到更長(zhǎng)時(shí)間的數(shù)據(jù)，同時(shí)又不影響循環(huán)擦除的可靠性為原則。步驟(5)中，后端設(shè)備通過(guò)分析，在所述存儲(chǔ)裝置擦除已過(guò)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)之前，請(qǐng)求回傳更詳細(xì)信息。如圖2所示，是本發(fā)明的基于前后端交互方式實(shí)現(xiàn)視頻摘要裝置的組成結(jié)構(gòu)示意圖。一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的裝置，包括:前端視頻采集處理設(shè)備、后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備；前端視頻采集處理設(shè)備將采集到的視頻分別進(jìn)行較短時(shí)間間隔的視頻編碼壓縮和較長(zhǎng)時(shí)間間隔的圖片編碼壓縮，存儲(chǔ)這兩種壓縮數(shù)據(jù)；前端視頻采集處理設(shè)備分別與后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備相通訊，首先向后端圖片分析設(shè)備發(fā)送抽取的更長(zhǎng)時(shí)間間隔的圖片編碼壓縮數(shù)據(jù)，后端圖片分析設(shè)備對(duì)接收到的圖片編碼壓縮數(shù)據(jù)進(jìn)行分析，對(duì)有保留價(jià)值的內(nèi)容，向前端視頻采集處理設(shè)備發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求；前端視頻采集處理設(shè)備再根據(jù)后端圖片分析設(shè)備發(fā)起的回傳請(qǐng)求，向后端數(shù)據(jù)存儲(chǔ)設(shè)備發(fā)送相應(yīng)時(shí)間段的更詳細(xì)內(nèi)容的視頻數(shù)據(jù)和圖片數(shù)據(jù)；后端數(shù)據(jù)存儲(chǔ)設(shè)備接收和保存這些數(shù)據(jù)，并建立索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻摘要。如圖3所示，是本發(fā)明裝置中的前端視頻采集處理設(shè)備組成結(jié)構(gòu)示意圖。前端視頻采集處理設(shè)備包括視頻數(shù)據(jù)采集模塊、視頻壓縮模塊、圖片壓縮模塊、小容量存儲(chǔ)模塊、短時(shí)間間隔圖片處理模塊、長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊、前后端交互接收模塊、數(shù)據(jù)處理模塊、圖片數(shù)據(jù)發(fā)送模塊、視頻數(shù)據(jù)發(fā)送模塊；視頻數(shù)據(jù)采集模塊分別連接視頻壓縮模塊和圖片壓縮模塊，視頻壓縮模塊和圖片壓縮模塊均連接小容量存儲(chǔ)模塊，小容量存儲(chǔ)模塊連接數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊分別連接短時(shí)間間隔圖片處理模塊和長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊，短時(shí)間間隔圖片處理模塊和長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊均連接圖片數(shù)據(jù)發(fā)送模塊；數(shù)據(jù)處理模塊還分別連接視頻數(shù)據(jù)發(fā)送模塊和前后端交互接收模塊；視頻數(shù)據(jù)采集模塊采集視頻數(shù)據(jù)，通過(guò)視頻壓縮模塊和圖片壓縮模塊分別進(jìn)行較短時(shí)間間隔的視頻編碼壓縮和較長(zhǎng)時(shí)間間隔的圖片編碼壓縮，將兩種壓縮數(shù)據(jù)即視頻編碼壓縮數(shù)據(jù)和圖片編碼壓縮數(shù)據(jù)存儲(chǔ)在小容量存儲(chǔ)模塊中；數(shù)據(jù)處理模塊從小容量存儲(chǔ)模塊中抽取更長(zhǎng)時(shí)間間隔的圖片編碼壓縮數(shù)據(jù)經(jīng)過(guò)長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊的處理，通過(guò)圖片數(shù)據(jù)發(fā)送模塊發(fā)送給后端圖片分析設(shè)備。如圖4所示，是本發(fā)明裝置中的后端圖片分析設(shè)備組成結(jié)構(gòu)示意圖。后端圖片分析設(shè)備包括后端圖像數(shù)據(jù)接收模塊、數(shù)據(jù)分析模塊、前后端交互發(fā)送模塊；后端圖像數(shù)據(jù)接收模塊連接數(shù)據(jù)分析模塊，數(shù)據(jù)分析模塊和前后端交互發(fā)送模塊連接；后端圖片分析設(shè)備通過(guò)后端圖像數(shù)據(jù)接收模塊接收前端視頻采集處理設(shè)備的圖片數(shù)據(jù)發(fā)送模塊發(fā)送的抽取的更長(zhǎng)時(shí)間間隔的圖片編碼壓縮數(shù)據(jù)，通過(guò)數(shù)據(jù)分析模塊進(jìn)行分析是否發(fā)送要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的請(qǐng)求，在分析后判定這段時(shí)間的前端視頻數(shù)據(jù)沒(méi)有保留意義時(shí)，就不向前端發(fā)起回傳要求，前端繼續(xù)保持傳輸很少數(shù)據(jù)量的狀態(tài)；在分析后判定這段時(shí)間的前端視頻數(shù)據(jù)具有保留價(jià)值時(shí)，就向前端設(shè)備發(fā)起要求回傳某時(shí)間段內(nèi)更詳細(xì)視頻內(nèi)容和圖片內(nèi)容的回傳請(qǐng)求，通過(guò)前后端交互發(fā)送模塊發(fā)送回傳請(qǐng)求給前端視頻采集處理設(shè)備的前后端交互接收模塊；前端視頻采集處理設(shè)備的數(shù)據(jù)處理模塊通過(guò)前后端交互接收模塊接收到這個(gè)回傳請(qǐng)求后，將小容量存 儲(chǔ)模塊存儲(chǔ)的包含所述時(shí)間段的更詳細(xì)視頻內(nèi)容的視頻編碼壓縮數(shù)據(jù)和更詳細(xì)視頻內(nèi)容的圖片編碼壓縮數(shù)據(jù)分別通過(guò)視頻數(shù)據(jù)發(fā)送模塊和圖片數(shù)據(jù)發(fā)送模塊發(fā)送給后端數(shù)據(jù)存儲(chǔ)設(shè)備，后端數(shù)據(jù)存儲(chǔ)設(shè)備接收和存儲(chǔ)這些數(shù)據(jù)，并建立索引數(shù)據(jù)庫(kù)。工作時(shí)，本發(fā)明裝置的前端視頻采集處理設(shè)備首先以較短時(shí)間間隔(例如，每秒25到60幀，能達(dá)到視頻分析目的)對(duì)采集的視頻進(jìn)行通行的各類(lèi)視頻編碼壓縮，同時(shí)以較長(zhǎng)的時(shí)間間隔(例如，每秒3幀，能達(dá)到對(duì)人或汽車(chē)等有安防監(jiān)控價(jià)值的景物運(yùn)動(dòng)進(jìn)行分析的程度)對(duì)前端攝像設(shè)備采集視頻進(jìn)行獨(dú)立的抓拍照片編碼壓縮；以上兩種壓縮數(shù)據(jù)都存儲(chǔ)于小容量、較短時(shí)間(例如10分鐘)的存儲(chǔ)裝置(SD卡等)中；同時(shí)以更長(zhǎng)時(shí)間間隔(例如3秒I幀)只向后端圖片分析設(shè)備傳輸抓拍照片的編碼數(shù)據(jù)；后端圖片分析設(shè)備對(duì)接收到的抓拍照片的編碼數(shù)據(jù)進(jìn)行幀內(nèi)容分析，對(duì)有保留價(jià)值內(nèi)容的視頻時(shí)間段，向前端視頻采集處理設(shè)備發(fā)起對(duì)所述時(shí)間段詳細(xì)視頻數(shù)據(jù)的回傳要求，前端視頻采集處理設(shè)備再根據(jù)后端圖片分析設(shè)備發(fā)起的回傳請(qǐng)求，向后端數(shù)據(jù)存儲(chǔ)設(shè)備發(fā)送相應(yīng)時(shí)間段的包含更詳細(xì)內(nèi)容的視頻數(shù)據(jù)和未傳輸?shù)膱D片數(shù)據(jù)；后端數(shù)據(jù)存儲(chǔ)設(shè)備接收和保存這些數(shù)據(jù)，并建立索引數(shù)據(jù)庫(kù)，這樣就充分達(dá)到了視頻摘要的目的，并且獲得無(wú)損的摘要數(shù)據(jù)。當(dāng)小容量存儲(chǔ)裝置的存儲(chǔ)量達(dá)到全部存儲(chǔ)空間的一定的比例值時(shí)，采取計(jì)算機(jī)堆棧技術(shù)方式，先進(jìn)先擦除，實(shí)現(xiàn)循環(huán)擦除與重新接受更新數(shù)據(jù)寫(xiě)入，·保證最新的視頻采集數(shù)據(jù)能得到可靠保存。
權(quán)利要求
1.一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法，其特征在于，所述這種方法必須依靠前后端交互作用來(lái)實(shí)現(xiàn)摘要，區(qū)別于目前各種的只基于前端獨(dú)立處理實(shí)現(xiàn)的或者只依靠后端獨(dú)立處理實(shí)現(xiàn)的其它任何視頻摘要處理方法；包含以下步驟: (1)前端設(shè)備以較短時(shí)間間隔對(duì)采集到的視頻進(jìn)行視頻編碼壓縮得到數(shù)據(jù)量較大的視頻編碼壓縮數(shù)據(jù)； (2)前端設(shè)備以較長(zhǎng)時(shí)間間隔對(duì)獨(dú)立抓拍的圖片進(jìn)行圖片編碼壓縮得到數(shù)據(jù)量較小的圖片編碼壓縮數(shù)據(jù)； (3)前端設(shè)備將上述步驟⑴和步驟⑵得到的視頻編碼壓縮數(shù)據(jù)和圖片編碼壓縮數(shù)據(jù)都暫存于本地存儲(chǔ)裝置中； (4)正常狀態(tài)下，前端設(shè)備只從本地存儲(chǔ)裝置中抽取更長(zhǎng)時(shí)間間隔而數(shù)據(jù)量更小的部分圖片編碼壓縮數(shù)據(jù)傳輸至后端設(shè)備； (5)后端設(shè)備對(duì)接收到的圖片編碼壓縮數(shù)據(jù)進(jìn)行分析，對(duì)有保留價(jià)值的異常狀態(tài)下的內(nèi)容，發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求； (6)前端設(shè)備將本地存 儲(chǔ)裝置存儲(chǔ)的與所述時(shí)間段對(duì)應(yīng)的更詳細(xì)的圖片數(shù)據(jù)和更詳細(xì)的視頻數(shù)據(jù)回傳至后端設(shè)備中； (7)后端設(shè)備接收并保存回傳的相應(yīng)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)，建立索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻摘要。
2.根據(jù)權(quán)利要求1所述的基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法，其特征在于，所述步驟(6)中，更詳細(xì)的圖片數(shù)據(jù)與更詳細(xì)的視頻數(shù)據(jù)是指所述存儲(chǔ)裝置中存儲(chǔ)的對(duì)應(yīng)時(shí)間段的由步驟(I)和步驟(2)得到未傳輸?shù)膱D片編碼壓縮數(shù)據(jù)和/或視頻編碼壓縮數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法，其特征在于，所述步驟(3)中，包括從所述存儲(chǔ)裝置中循環(huán)擦除已過(guò)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)的步驟，當(dāng)所述小容量存儲(chǔ)裝置的存儲(chǔ)量達(dá)到全部存儲(chǔ)空間的一定的比例值時(shí)，采取堆棧方式，先進(jìn)先擦除，再重新接受最新數(shù)據(jù)的寫(xiě)入。
4.根據(jù)權(quán)利要求1所述的基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法，其特征在于，所述步驟(5)中，后端設(shè)備通過(guò)分析，在所述前端設(shè)備的存儲(chǔ)裝置擦除已過(guò)時(shí)間段的圖片數(shù)據(jù)和視頻數(shù)據(jù)之前，請(qǐng)求回傳更詳細(xì)視頻內(nèi)容。
5.一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的裝置，其特征在于，所述這種裝置必須依靠前后端交互作用來(lái)實(shí)現(xiàn)摘要，本質(zhì)區(qū)別于只基于前端獨(dú)立進(jìn)行處理或者只依靠后端獨(dú)立進(jìn)行處理的其它任何視頻摘要處理方式；包括前端視頻采集處理設(shè)備、后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備；所述前端視頻采集處理設(shè)備將采集到的視頻分別進(jìn)行較短時(shí)間間隔的視頻編碼壓縮和較長(zhǎng)時(shí)間間隔的圖片編碼壓縮，存儲(chǔ)這兩種壓縮數(shù)據(jù)；所述前端視頻采集處理設(shè)備分別與后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備相通訊，首先向后端圖片分析設(shè)備發(fā)送抽取的更長(zhǎng)時(shí)間間隔的圖片編碼壓縮數(shù)據(jù)，所述后端圖片分析設(shè)備對(duì)接收到的圖片編碼壓縮數(shù)據(jù)進(jìn)行分析，對(duì)有保留價(jià)值的內(nèi)容，向前端視頻采集處理設(shè)備發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求；所述前端視頻采集處理設(shè)備再根據(jù)后端圖片分析設(shè)備發(fā)起的回傳請(qǐng)求，向后端數(shù)據(jù)存儲(chǔ)設(shè)備發(fā)送相應(yīng)時(shí)間段的更詳細(xì)內(nèi)容的視頻數(shù)據(jù)和圖片數(shù)據(jù)；所述后端數(shù)據(jù)存儲(chǔ)設(shè)備接收和保存這些數(shù)據(jù)，并建立索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)視頻摘要。
6.根據(jù)權(quán)利要求5所述的基于前后端交互方式實(shí)現(xiàn)視頻摘要的裝置，其特征在于，所述前端視頻采集處理設(shè)備包括視頻數(shù)據(jù)采集模塊、視頻壓縮模塊、圖片壓縮模塊、小容量存儲(chǔ)模塊、短時(shí)間間隔圖片處理模塊、長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊、前后端交互接收模塊、數(shù)據(jù)處理模塊、圖片數(shù)據(jù)發(fā)送模塊、視頻數(shù)據(jù)發(fā)送模塊等，所述視頻數(shù)據(jù)采集模塊分別連接視頻壓縮模塊和圖片壓縮模塊，視頻壓縮模塊和圖片壓縮模塊均連接小容量存儲(chǔ)模塊，小容量存儲(chǔ)模塊連接數(shù)據(jù)處理模塊，數(shù)據(jù)處理模塊分別連接短時(shí)間間隔圖片處理模塊和長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊，短時(shí)間間隔圖片處理模塊和長(zhǎng)時(shí)間間隔圖片實(shí)時(shí)處理模塊均連接圖片數(shù)據(jù)發(fā)送模塊；所述數(shù)據(jù)處理模塊還分別連接視頻數(shù)據(jù)發(fā)送模塊和前后端交互接收模塊。
7.根據(jù)權(quán)利要求6所述的基于前后端交互方式實(shí)現(xiàn)視頻摘要的裝置，其特征在于，所述后端圖片分析設(shè)備包括后端圖像數(shù)據(jù)接收模塊、數(shù)據(jù)分析模塊、前后端交互發(fā)送模塊；后端圖像數(shù)據(jù)接收模塊連接數(shù)據(jù)·分析模塊，數(shù)據(jù)分析模塊和前后端交互發(fā)送模塊連接。
全文摘要
本發(fā)明提供的一種基于前后端交互方式實(shí)現(xiàn)視頻摘要的方法與裝置，能夠在保證視頻傳輸效率、節(jié)省網(wǎng)絡(luò)資源的前提下獲得無(wú)損摘要。本發(fā)明的裝置包括前端視頻采集處理設(shè)備、后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備；前端視頻采集處理設(shè)備將采集到的視頻分別進(jìn)行視頻編碼壓縮和圖片編碼壓縮，存儲(chǔ)這兩種壓縮數(shù)據(jù)；前端視頻采集處理設(shè)備分別與后端圖片分析設(shè)備和后端數(shù)據(jù)存儲(chǔ)設(shè)備相通訊，首先向后端圖片分析設(shè)備發(fā)送圖片編碼壓縮數(shù)據(jù)，后端圖片分析設(shè)備進(jìn)行分析，發(fā)起要求回傳某時(shí)間段更詳細(xì)視頻內(nèi)容的回傳請(qǐng)求；前端視頻采集處理設(shè)備再向后端數(shù)據(jù)存儲(chǔ)設(shè)備發(fā)送相應(yīng)時(shí)間段的更詳細(xì)內(nèi)容的數(shù)據(jù)；后端數(shù)據(jù)存儲(chǔ)設(shè)備接收和保存這些數(shù)據(jù)，并建立索引數(shù)據(jù)庫(kù)。
文檔編號(hào)H04N21/8549GK103248966SQ20131018093
公開(kāi)日2013年8月14日 申請(qǐng)日期2013年5月16日 優(yōu)先權(quán)日2013年5月16日
發(fā)明者鄧世明, 羅國(guó)彬 申請(qǐng)人:鄧世明