本發(fā)明涉及視頻數(shù)據(jù)處理技術(shù),具體涉及一種視頻檢測方法及服務(wù)器。
背景技術(shù):
數(shù)字視頻的版權(quán)保護問題使得視頻復(fù)制檢測成為了人們研究的熱點?,F(xiàn)有技術(shù)中,檢測一個視頻是否侵權(quán),通常會采用以下兩種方案:第一種方案是對該視頻的音頻進行檢測。但是同一個音頻可能存在不同視頻的版權(quán),例如音樂視頻(MV)。而音頻的版權(quán)僅僅能對音頻數(shù)據(jù)進行保護。因此只單獨對音頻進行版權(quán)保護,不能夠滿足視頻數(shù)據(jù)的版權(quán)保護需求。第二種方案是對視頻的圖像進行檢測。與音頻數(shù)據(jù)相比較,視頻數(shù)據(jù)具有大量的信息,在檢測的過程中,需要計算大量的指紋特征與版權(quán)庫中的指紋特征進行比對,這就需要強大的計算能力,且需要消耗大量的計算資源。
技術(shù)實現(xiàn)要素:
為解決現(xiàn)有存在的技術(shù)問題,本發(fā)明實施例提供一種視頻檢測方法及服務(wù)器,既能夠滿足視頻數(shù)據(jù)的版權(quán)保護需求,又無需強大的計算能力,降低計算資源的消耗。
本發(fā)明實施例提供了一種視頻檢測方法,所述方法包括:
獲得待檢測的第一視頻數(shù)據(jù);對所述第一視頻數(shù)據(jù)進行解碼處理,獲得所述第一視頻數(shù)據(jù)的音頻數(shù)據(jù);
分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù);
基于所述音頻指紋數(shù)據(jù)查詢音頻指紋庫;
當(dāng)所述音頻指紋庫中包含所述音頻指紋數(shù)據(jù)時,獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽以及時間參數(shù);
基于所述視頻標(biāo)簽查詢視頻版權(quán)庫,獲得所述視頻標(biāo)簽對應(yīng)的、且滿足所述時間參數(shù)的第一圖片,以及提取所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的第二圖片;
分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù);
比對所述第一特征參數(shù)和所述第二特征參數(shù),基于比對結(jié)果判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻是否一致。
上述方案中,所述基于所述視頻標(biāo)簽查詢視頻版權(quán)庫之前,所述方法包括:
對具有版權(quán)的第二視頻數(shù)據(jù)進行圖片提取,將提取后的圖片、圖片對應(yīng)的時間參數(shù)和圖片對應(yīng)的視頻標(biāo)簽存儲在視頻版權(quán)庫中。
上述方案中,所述對具有版權(quán)的第二視頻數(shù)據(jù)進行圖片提取,包括:
對所述第二視頻數(shù)據(jù)進行場景識別,識別出且濾除所述第二視頻數(shù)據(jù)中表征場景切換的第一圖片集合,獲得第二圖片集合;
對所述第二圖片集合中的圖片進行分析識別,獲得所述圖片的邊緣特征信息;
提取邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片。
上述方案中,所述提取邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片,包括:
將邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片生成第三圖片集合;
在所述第三圖片集合中按預(yù)設(shè)時間區(qū)間提取一張圖片。
上述方案中,所述分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù),包括:
提取所述音頻數(shù)據(jù)的特征參數(shù),基于所述特征參數(shù)獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
上述方案中,所述分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù),包括:按照以下方式的至少之一分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù):
尺度不變特征轉(zhuǎn)換(SIFT)方式、方向梯度直方圖(HOG)方式。
上述方案中,所述比對所述第一特征參數(shù)和所述第二特征參數(shù),基于比對結(jié)果判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻是否一致,包括:
計算所述第一特征參數(shù)和所述第二特征參數(shù)的相似度;當(dāng)所述相似度達到預(yù)設(shè)閾值時,判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻一致。
本發(fā)明實施例還提供了一種服務(wù)器,所述服務(wù)器包括:音頻處理模塊、音頻指紋存儲模塊、視頻處理模塊和視頻版權(quán)存儲模塊;其中,
所述音頻處理模塊,用于獲得待檢測的第一視頻數(shù)據(jù);對所述第一視頻數(shù)據(jù)進行解碼處理,獲得所述第一視頻數(shù)據(jù)的音頻數(shù)據(jù);分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù);還用于基于所述音頻指紋數(shù)據(jù)查詢音頻指紋存儲模塊;當(dāng)所述音頻指紋庫中包含所述音頻指紋數(shù)據(jù)時,獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽以及時間參數(shù);
所述音頻指紋存儲模塊,用于存儲音頻指紋數(shù)據(jù)、對應(yīng)的視頻標(biāo)簽以及時間參數(shù);
所述視頻處理模塊,用于基于所述視頻標(biāo)簽查詢視頻版權(quán)存儲模塊,獲得所述視頻標(biāo)簽對應(yīng)的、且滿足所述時間參數(shù)的第一圖片,以及提取所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的第二圖片;分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù);比對所述第一特征參數(shù)和所述第二特征參數(shù),基于比對結(jié)果判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻是否一致;
所述視頻版權(quán)存儲模塊,用于存儲視頻標(biāo)簽、對應(yīng)的圖片和時間參數(shù)。
上述方案中,所述視頻處理模塊,還用于基于所述視頻標(biāo)簽查詢視頻版權(quán)存儲模塊之前,對具有版權(quán)的第二視頻數(shù)據(jù)進行圖片提取,將提取后的圖片、圖片對應(yīng)的時間參數(shù)和圖片對應(yīng)的視頻標(biāo)簽存儲在視頻版權(quán)存儲模塊中。
上述方案中,所述視頻處理模塊,用于對所述第二視頻數(shù)據(jù)進行場景識別,識別出且濾除所述第二視頻數(shù)據(jù)中表征場景切換的第一圖片集合,獲得第二圖片集合;對所述第二圖片集合中的圖片進行分析識別,獲得所述圖片的邊緣特征信息;提取邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片。
上述方案中,所述視頻處理模塊,用于將邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片生成第三圖片集合;在所述第三圖片集合中按預(yù)設(shè)時間區(qū)間提取一張圖片。
上述方案中,所述音頻處理模塊,用于提取所述音頻數(shù)據(jù)的特征參數(shù),基于所述特征參數(shù)獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
上述方案中,所述視頻處理模塊,用于按照以下方式的至少之一分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù):尺度不變特征轉(zhuǎn)換(SIFT)方式、方向梯度直方圖(HOG)方式。
上述方案中,所述視頻處理模塊,用于計算所述第一特征參數(shù)和所述第二特征參數(shù)的相似度;當(dāng)所述相似度達到預(yù)設(shè)閾值時,判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻一致。
本發(fā)明實施例提供的視頻檢測方法及服務(wù)器,通過音頻內(nèi)容檢測和視頻內(nèi)容檢測相結(jié)合的方式,以音頻內(nèi)容檢測為主,視頻內(nèi)容檢測為輔,大大減少了單純以視頻內(nèi)容檢測所需要的計算能力,降低了計算資源的消耗,又彌補了單純使用音頻指紋進行版權(quán)保護的不足,滿足視頻版權(quán)保護的需求。
附圖說明
圖1為本發(fā)明實施例的一種視頻檢測方法的流程示意圖;
圖2a至圖2d分別為本發(fā)明實施例中音頻指紋數(shù)據(jù)的生成示意圖;
圖3為本發(fā)明實施例中的音頻指紋數(shù)據(jù)的提取匹配過程示意圖;
圖4為本發(fā)明實施例中的視頻版權(quán)庫的建立過程示意圖;
圖5為本發(fā)明實施例的另一種視頻檢測方法的流程示意圖;
圖6a和圖6b為本發(fā)明實施例的視頻檢測方法應(yīng)用的系統(tǒng)架構(gòu)示意圖;
圖7為本發(fā)明實施例的服務(wù)器的組成結(jié)構(gòu)示意圖;
圖8為本發(fā)明實施例的服務(wù)器作為一個硬件的組成結(jié)構(gòu)示意圖。
具體實施方式
隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,出現(xiàn)了越來越多的視頻分享平臺,用戶可上傳各種視頻數(shù)據(jù),包括音樂視頻、短視頻、電視劇、電影、綜藝節(jié)目視頻、動漫視頻等等。視頻分享平臺服務(wù)器會對用戶上傳的視頻數(shù)據(jù)進行版權(quán)檢測;通常會具有一視頻版權(quán)數(shù)據(jù)庫;如果上傳的視頻數(shù)據(jù)與視頻版權(quán)數(shù)據(jù)庫中的視頻數(shù)據(jù)內(nèi)容一致,則上傳的視頻數(shù)據(jù)具有版權(quán)沖突,后續(xù)會針對版權(quán)沖突的視頻數(shù)據(jù)或者上傳者進行操作,例如刪除上傳的所述版權(quán)沖突的視頻數(shù)據(jù),情節(jié)嚴(yán)重的會與上傳者進行法務(wù)交涉等等。如果上傳的視頻數(shù)據(jù)與視頻版權(quán)數(shù)據(jù)庫中的視頻數(shù)據(jù)內(nèi)容不一致,可以認(rèn)定該視頻數(shù)據(jù)為用戶制作的原創(chuàng)視頻數(shù)據(jù),可以為用戶提供原創(chuàng)版權(quán)保護等等。
基于此,提出以下本發(fā)明各實施例,本發(fā)明實施例的技術(shù)方案針對上傳的視頻數(shù)據(jù)與視頻版權(quán)數(shù)據(jù)庫中的視頻數(shù)據(jù)的匹配過程進行詳細(xì)闡述。
下面結(jié)合附圖及具體實施例對本發(fā)明作進一步詳細(xì)的說明。
本發(fā)明實施例提供了一種視頻檢測方法。圖1為本發(fā)明實施例的一種視頻檢測方法的流程示意圖;如圖1所示,所述視頻檢測方法包括:
步驟101:獲得待檢測的第一視頻數(shù)據(jù);對所述第一視頻數(shù)據(jù)進行解碼處理,獲得所述第一視頻數(shù)據(jù)的音頻數(shù)據(jù)。
步驟102:分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
步驟103:基于所述音頻指紋數(shù)據(jù)查詢音頻指紋庫。
步驟104:當(dāng)所述音頻指紋庫中包含所述音頻指紋數(shù)據(jù)時,獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽以及時間參數(shù)。
步驟105:基于所述視頻標(biāo)簽查詢視頻版權(quán)庫,獲得所述視頻標(biāo)簽對應(yīng)的、且滿足所述時間參數(shù)的第一圖片,以及提取所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的第二圖片。
步驟106:分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù)。
步驟107:比對所述第一特征參數(shù)和所述第二特征參數(shù),基于比對結(jié)果判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻是否一致。
本實施例的視頻檢測方法應(yīng)用于視頻分享平臺所述服務(wù)器或服務(wù)器集群中。
本實施例步驟101中,所述第一視頻數(shù)據(jù)為待檢測的視頻數(shù)據(jù),具體可以是用戶上傳的視頻數(shù)據(jù),包括音樂視頻(MV)、電視劇、電影、動漫視頻等等。對獲得的第一視頻數(shù)據(jù)進行解碼處理,分離出所述第一視頻數(shù)據(jù)的音頻數(shù)據(jù)。
本實施例步驟102中,分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù),所述音頻指紋數(shù)據(jù)具體可以為表征所述音頻數(shù)據(jù)的特征參數(shù)的量化數(shù)據(jù),具體可通過二進制數(shù)值表示。具體的,所述分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù),包括:提取所述音頻數(shù)據(jù)的特征參數(shù),基于所述特征參數(shù)獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
作為一種實施方式,音頻作為一種聲波,則所述音頻數(shù)據(jù)的特征參數(shù)可通過采樣率表示。具體的,圖2a至圖2d分別為本發(fā)明實施例中音頻指紋數(shù)據(jù)的生成示意圖。圖3為本發(fā)明實施例中的音頻指紋數(shù)據(jù)的提取匹配過程示意圖;如圖3中的步驟201和步驟202所示,把所述音頻數(shù)據(jù)通過采樣率的轉(zhuǎn)換,轉(zhuǎn)換為采樣率為K樣本/秒,K例如取8000。通過加床傅里葉變換把采集到的一維時域表示的音頻數(shù)據(jù)轉(zhuǎn)換為二維時域圖,如圖2a所示。將圖2a所示的二維時域圖上提取具有特征明顯的特征點作為明顯的特征,例如通過尋找頻譜的峰值,獲得如圖2b中的各個特征點。對于選取的每一個特征點,例如特征點A,如圖2c所示,在時頻上選擇合適的窗口,如圖2c中的窗口區(qū)域1,進行特征哈希值的轉(zhuǎn)換。具體的,例如特征點A,所述特征點A的坐標(biāo)為(f1,t1);則可以在窗口區(qū)域1中選擇某一時間對應(yīng)的頻域最大的特征點,例如特征點C,所述特征點C的坐標(biāo)為(f2,t2);則特征點C和特征點A組成的哈希值具體可以為Hash:time=[f1:f2:△t]:t1;其中,△t=t2-t1。本實施例中,獲得的哈希值的表現(xiàn)形式為二進制數(shù)值,則所述二進制數(shù)據(jù)具體為音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
當(dāng)然,本發(fā)明實施例的音頻指紋數(shù)據(jù)的獲取方式不限于上述獲取方式,其他能夠獲取到的表征音頻數(shù)據(jù)特征的音頻指紋數(shù)據(jù)的獲取方式也在本發(fā)明實施例的保護范圍之內(nèi)。
本實施例步驟103中,所述音頻指紋庫中收錄有具有版權(quán)的視頻數(shù)據(jù)的音頻指紋數(shù)據(jù)、對應(yīng)的視頻標(biāo)簽以及所述音頻指紋數(shù)據(jù)對應(yīng)的時間參數(shù);其中,所述視頻標(biāo)簽具體可以通過視頻標(biāo)識表示,例如序號或編碼,以便于后續(xù)基于所述視頻標(biāo)簽在視頻版權(quán)庫中進行查找。具體的,所述音頻指紋庫中的音頻指紋數(shù)據(jù)可通過對具有版權(quán)的視頻數(shù)據(jù)進行音頻數(shù)據(jù)提取、按照本發(fā)明實施例所述的音頻指紋數(shù)據(jù)的提取方式進行提取獲得,這里不再贅述。
本實施例中,當(dāng)所述音頻指紋庫中不包括所述音頻指紋數(shù)據(jù)時,則可以表明所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻數(shù)據(jù)不一致,即可以表明所述第一視頻數(shù)據(jù)與具有版權(quán)的視頻數(shù)據(jù)不沖突,也即不具有版權(quán)沖突。相應(yīng)的,后續(xù)也不執(zhí)行步驟104至步驟107,直接可以獲得所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻數(shù)據(jù)不一致的判定結(jié)果。
如圖3中步驟203所示,當(dāng)所述音頻指紋庫中包含所述音頻指紋數(shù)據(jù)時,獲得與所述音頻指紋數(shù)據(jù)批評的視頻標(biāo)簽以及時間參數(shù)作為匹配信息。其中,所述視頻標(biāo)簽具體可以通過視頻標(biāo)識表示,例如序號或編碼。在實際應(yīng)用中,由于音頻指紋庫中存儲了海量的信息,為了平衡匹配時間,加快匹配速度,同時不降低準(zhǔn)確度的情況下,步驟203采取了模糊匹配的方式,即在匹配的過程中,把具有相同音頻指紋數(shù)據(jù)和相同時間差(所述時間差例如輸入視頻的哈希時間點和視頻版權(quán)庫(音頻指紋庫)中的哈希時間點的差)的匹配哈希量進行統(tǒng)計,選取首N個匹配到的音頻指紋數(shù)據(jù)組成潛力匹配的音頻段,在下一個階段,選取每一段匹配的音頻指紋數(shù)據(jù),分析所述音頻指紋數(shù)據(jù)的哈希量在特定時間上的密度,如果密度大于閾值,則保持,反之則去除,只保留密度大于閾值的哈希值片段,這個過程可以將匹配密度低的潛力音頻段去除,從而提高匹配的準(zhǔn)確性。在選取的精選潛力匹配音頻段中進行去重挑選,在時間上匹配到的重復(fù)音頻,挑選哈希密度最大的作為最終的匹配音頻,在匹配過程中,可允許一對一、或一對多的匹配,這個過程可以在哈希密度分析時進行進一步的篩選,只保留匹配時長最長的一段音頻。上述過程可稱為分類過濾過程,即步驟204,從而獲得最終的匹配信息。
本實施例步驟105中,獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽后,基于所述視頻標(biāo)簽查詢視頻版權(quán)庫;其中,所述視頻版權(quán)庫中收錄有具有版權(quán)的視頻數(shù)據(jù)的關(guān)鍵幀圖片、視頻標(biāo)簽以及所述關(guān)鍵圖片對應(yīng)的時間參數(shù)等等。查詢所述視頻版權(quán)庫,獲得所述視頻標(biāo)簽對應(yīng)的、且滿足所述時間參數(shù)的第一圖片,以及提取所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的第二圖片。具體的,在視頻數(shù)據(jù)的具體圖片內(nèi)容的匹配過程中,根據(jù)音頻指紋數(shù)據(jù)匹配獲得的視頻標(biāo)簽查詢視頻版權(quán)庫,獲得所述視頻標(biāo)簽對應(yīng)的圖片集合;在根據(jù)音頻指紋數(shù)據(jù)匹配獲得的時間參數(shù),在所述圖片集合中讀取滿足所述時間參數(shù)的圖片(即所述第一圖片);相應(yīng)的,對于所述第一視頻數(shù)據(jù),按音頻指紋數(shù)據(jù)匹配獲得的時間參數(shù),提取出所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的圖片(即所述第二圖片)。
本實施例中,分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù),對所述第一特征參數(shù)和所述第二特征參數(shù)進行比對,以判定所述第一視頻數(shù)據(jù)與版權(quán)數(shù)據(jù)庫中的視頻數(shù)據(jù)是否一致。具體的,所述分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù),包括:按照以下方式的至少之一分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù):尺度不變特征轉(zhuǎn)換(SIFT,Scale-Invariant Feature Transform)方式、方向梯度直方圖(HOG,Histogram of Oriented Gradient)方式。進一步地,所述比對所述第一特征參數(shù)和所述第二特征參數(shù),基于比對結(jié)果判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻是否一致,包括:通過SIFT方式或HOG方式計算所述第一特征參數(shù)和所述第二特征參數(shù)的相似度;當(dāng)所述相似度達到預(yù)設(shè)閾值時,判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻一致。
基于本實施例的一種實施方式,在基于所述視頻標(biāo)簽查詢視頻版權(quán)庫之前,也即視頻版權(quán)庫的建立過程中,所述方法包括:對具有版權(quán)的第二視頻數(shù)據(jù)進行圖片提取,將提取后的圖片、圖片對應(yīng)的時間參數(shù)和圖片對應(yīng)的視頻標(biāo)簽存儲在視頻版權(quán)庫中。
其中,所述對具有版權(quán)的第二視頻數(shù)據(jù)進行圖片提取,包括:對所述第二視頻數(shù)據(jù)進行場景識別,識別出且濾除所述第二視頻數(shù)據(jù)中表征場景切換的第一圖片集合,獲得第二圖片集合;對所述第二圖片集合中的圖片進行分析識別,獲得所述圖片的邊緣特征信息;提取邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片。
具體的,本實施例的視頻版權(quán)庫的建立過程中,對所有具有版權(quán)的視頻數(shù)據(jù)進行關(guān)鍵幀圖片的提取。圖4為本發(fā)明實施例中的視頻版權(quán)庫的建立過程示意圖;如圖4所示,輸入具有版權(quán)的視頻數(shù)據(jù),提取出輸入的視頻數(shù)據(jù)的關(guān)鍵幀圖片;其中,所述視頻數(shù)據(jù)的關(guān)鍵幀圖片的提取過程包括:首先對視頻數(shù)據(jù)進行場景切換檢測;所述場景切換的檢測可通過對圖片中的前景和/或背景進行檢測;當(dāng)檢測到兩幅圖片的前景和/或背景不一致,可確定所述兩幅圖片之間的時間點為場景切換的時間點,也可以理解為時間在先的第一幅圖片為前一場景的最末一幅圖片,時間在后的另一幅圖片為后一場景的第一幅圖片。在本實施例中,對輸入的視頻數(shù)據(jù)進行場景識別,識別出表征場景切換的第一圖片集合,在關(guān)鍵幀圖片的提取過程中,首先在所述視頻數(shù)據(jù)所包含的圖片集合中濾除所述第一圖片集合,以避免提取出的關(guān)鍵幀圖片在場景切換處,降低后續(xù)圖片內(nèi)容匹配的準(zhǔn)確性。進一步地,在剩余的第二圖片集合中進一步對剩余的圖片進行分析識別,具體是對圖片的復(fù)雜度進行分析識別,提取出復(fù)雜度較高的圖片作為關(guān)鍵幀圖片。作為一種實施方式,本發(fā)明實施例可采用圖片邊緣特征信息的分析,找出第二圖片集合中邊緣特征信息數(shù)量較多的圖片作為關(guān)鍵幀圖片,這是因為,圖片的邊緣特征信息數(shù)量越多,圖片的內(nèi)容越復(fù)雜,在兩幅圖片進行匹配過程中,內(nèi)容越負(fù)載,匹配的準(zhǔn)確率越高。
作為一種實施方式,所述提取邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片,包括:將邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片生成第三圖片集合;在所述第三圖片集合中按預(yù)設(shè)時間區(qū)間提取一張圖片。
具體的,本實施例中,邊緣特征信息數(shù)量較多的圖片數(shù)量可能較多,為了減少圖片的存儲空間以及特征匹配的計算量,可每隔預(yù)設(shè)時間區(qū)間提取一張圖片作為關(guān)鍵幀圖片,例如每K秒提取一張圖片,這樣提取出的關(guān)鍵幀圖片的數(shù)量可大大減少,大大減少了圖片的存儲量以及特征匹配的計算量,能夠減少服務(wù)器的計算資源的消耗。
基于上述描述的視頻檢測方案,簡單來說,本發(fā)明實施例的技術(shù)方案是以音頻檢測為主,視頻檢測為輔,即結(jié)合音頻內(nèi)容和視頻內(nèi)容的共同檢測,從而判定待檢測的視頻是否版權(quán)沖突。具體來說,圖5為本發(fā)明實施例的另一種視頻檢測方法的流程示意圖;如圖5所示,是先對待檢測的視頻數(shù)據(jù)進行音頻數(shù)據(jù)的提取,首先匹配音頻數(shù)據(jù)是否與具有版權(quán)的視頻數(shù)據(jù)的音頻數(shù)據(jù)匹配一致;具體匹配所述音頻數(shù)據(jù)的音頻指紋數(shù)據(jù)與音頻指紋庫中的音頻指紋數(shù)據(jù);若匹配不一致,則可確定匹配結(jié)果為所述待檢測的視頻與版權(quán)視頻不沖突。若匹配一致,則從所述音頻指紋庫中獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽以及對應(yīng)的時間參數(shù),進一步匹配所述待檢測的視頻的內(nèi)容與視頻版權(quán)庫中的視頻內(nèi)容。具體的,基于所述視頻標(biāo)簽查詢所述視頻版權(quán)庫,獲得視頻源,從所述視頻源中獲得滿足所述時間參數(shù)的第一圖片。對所述待檢測的視頻按照所述時間參數(shù)提取圖片作為第二圖片。分別對所述第一圖片和所述第二圖片進行指紋特征提取,具體可按照SIFT方式進行特征提取,并進行特征匹配,計算兩幅圖片的相似度;當(dāng)計算獲得的相似度達到預(yù)設(shè)閾值時,表明兩幅圖片的相似度極高,可確定匹配結(jié)果為所述待檢測的視頻與版權(quán)視頻沖突;當(dāng)計算獲得的相似度未達到預(yù)設(shè)閾值時,表明兩幅圖片的相似度較低,可確定匹配結(jié)果為所述待檢測的視頻與版權(quán)視頻不沖突。
其中,對于匹配結(jié)果為待檢測的視頻與版權(quán)視頻不沖突的情況,可以認(rèn)定該視頻數(shù)據(jù)為用戶制作的原創(chuàng)視頻數(shù)據(jù),可以為用戶提供原創(chuàng)版權(quán)保護、提供廣告分成等等,以鼓勵優(yōu)質(zhì)的視頻數(shù)據(jù)制作者,以便于為視頻分享平臺提供更優(yōu)質(zhì)的視頻內(nèi)容。對于匹配結(jié)果為待檢測的視頻與版權(quán)視頻沖突的情況,待檢測的視頻數(shù)據(jù)具有版權(quán)沖突,后續(xù)會針對版權(quán)沖突的視頻數(shù)據(jù)或者上傳者進行操作,例如刪除上傳的所述版權(quán)沖突的視頻數(shù)據(jù),情節(jié)嚴(yán)重的會與上傳者進行法務(wù)交涉等等。很大程度上為具有版權(quán)的視頻數(shù)據(jù)提供了版權(quán)保護。
而現(xiàn)有技術(shù)中基于視頻內(nèi)容的檢測方案通常包括兩種:1、基于空間顏色的視頻指紋;2、基于特征提取的視頻指紋。
基于空間顏色的視頻指紋基本上是利用圖片在某個時間段,特定區(qū)域的直方圖。因為顏色的特征會根據(jù)視頻的不同格式而改變,從而導(dǎo)致基于顏色的視頻指紋不具有高的抗噪能力,如添加商標(biāo),黑邊等的變化。
基于特征的視頻指紋具有代表性的有二維離散余弦變換(2D-DCT)的視頻指紋。2D-DCT的視頻指紋被廣泛地應(yīng)用在基于哈希的圖像檢索上。它的主要步驟包括:首先把視頻在時間上進行幀率變換,轉(zhuǎn)變成一個較低的幀率F(F=4),然后進行圖片縮放,再轉(zhuǎn)變成黑白圖片。轉(zhuǎn)變后的黑白圖片在視頻時域上組成一個時長上的小分段(如J張圖片組成的分片),再利用TIRI,把這每一個小分片的連續(xù)圖像進行時域上的信息合并,得到一張圖片。下一步,把得到的代表時域信息的圖片通過2D-DCT的變換(如8x8的DCT變換),在變換后的每個DCT數(shù)值中,找出中值,利用中值二維化,把轉(zhuǎn)變后的指紋變成一個二維的向量,從而代表了視頻在某一個區(qū)域的特征。
基于空間顏色的視頻內(nèi)容的檢測方案的準(zhǔn)確度和抗噪能力不佳,而基于特征的視頻內(nèi)容的檢測方案需要強大的計算能力,以及消耗大量的計算資源。相對于現(xiàn)有的視頻內(nèi)容的檢測方案,本發(fā)明實施例的視頻檢測方案是以音頻指紋檢測為主,視頻指紋檢測為輔,大大減少了單純以視頻內(nèi)容檢測所需要的計算能力,降低了計算資源的消耗,又彌補了單純使用音頻指紋進行版權(quán)保護的不足,滿足視頻版權(quán)保護的需求。
圖6a和圖6b為本發(fā)明實施例的視頻檢測方法應(yīng)用的系統(tǒng)架構(gòu)示意圖;如圖6a所示,包括服務(wù)器31……3n和終端設(shè)備21-23;所述終端設(shè)備21-23可通過網(wǎng)絡(luò)與服務(wù)器進行交互。其中,所述終端設(shè)備21-23具體可以包括手機、臺式電腦、筆記本電腦等。所述服務(wù)器31……3n具體可以為視頻分享平臺的服務(wù)器集群,所述服務(wù)器集群具體可通過圖6b實現(xiàn)。如圖6b所示,服務(wù)器集群包括任務(wù)服務(wù)器311、音頻檢測服務(wù)器312、視頻檢測服務(wù)器313和內(nèi)容存儲服務(wù)器314。具體的,終端設(shè)備在上傳視頻數(shù)據(jù)后,任務(wù)服務(wù)器311獲得該視頻數(shù)據(jù),也即一個待檢測的任務(wù)發(fā)起。該任務(wù)提交至音頻檢測服務(wù)器312處進行音頻檢測,和當(dāng)前有音頻版權(quán)的內(nèi)容作對比,通過所述音頻檢測服務(wù)器313找出音頻相同的版權(quán)視頻,獲得匹配信息。進一步將匹配信息提交至視頻檢測服務(wù)器313,然后再用輸入的視頻,與這些音頻相同的版權(quán)視頻,進行視頻內(nèi)容檢測。從而判定當(dāng)前的視頻是否音視頻相同,將判定結(jié)果存儲至內(nèi)容存儲服務(wù)器314中。最后相關(guān)工作人員可基于所述內(nèi)容存儲服務(wù)器314中存儲的內(nèi)容進行版權(quán)的一系列相關(guān)的工作,如法務(wù)交涉等。
本發(fā)明實施例還提供了一種服務(wù)器。圖7為本發(fā)明實施例的服務(wù)器的組成結(jié)構(gòu)示意圖;如圖7所示,所述服務(wù)器包括:音頻處理模塊41、音頻指紋存儲模塊42、視頻處理模塊43和視頻版權(quán)存儲模塊44;其中,
所述音頻處理模塊41,用于獲得待檢測的第一視頻數(shù)據(jù);對所述第一視頻數(shù)據(jù)進行解碼處理,獲得所述第一視頻數(shù)據(jù)的音頻數(shù)據(jù);分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù);還用于基于所述音頻指紋數(shù)據(jù)查詢音頻指紋存儲模塊42;當(dāng)所述音頻指紋庫中包含所述音頻指紋數(shù)據(jù)時,獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽以及時間參數(shù);
所述音頻指紋存儲模塊42,用于存儲音頻指紋數(shù)據(jù)、對應(yīng)的視頻標(biāo)簽以及時間參數(shù);
所述視頻處理模塊43,用于基于所述視頻標(biāo)簽查詢視頻版權(quán)存儲模塊44,獲得所述視頻標(biāo)簽對應(yīng)的、且滿足所述時間參數(shù)的第一圖片,以及提取所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的第二圖片;分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù);比對所述第一特征參數(shù)和所述第二特征參數(shù),基于比對結(jié)果判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻是否一致;
所述視頻版權(quán)存儲模塊44,用于存儲視頻標(biāo)簽、對應(yīng)的圖片和時間參數(shù)。
本實施例的服務(wù)器可以是單獨的服務(wù)器或服務(wù)器集群?;趫D6a和圖6b所示的系統(tǒng)架構(gòu),本實施例中的各模塊可以通過系統(tǒng)架構(gòu)中的任一服務(wù)器或服務(wù)器集群實現(xiàn);所述服務(wù)器集群可以是圖6b中所示的各服務(wù)器。
本實施例中,所述第一視頻數(shù)據(jù)為待檢測的視頻數(shù)據(jù),具體可以是用戶上傳的視頻數(shù)據(jù),包括音樂視頻(MV)、電視劇、電影、動漫視頻等等。所述音頻處理模塊41對獲得的第一視頻數(shù)據(jù)進行解碼處理,分離出所述第一視頻數(shù)據(jù)的音頻數(shù)據(jù)。
本實施例中,所述音頻處理模塊41分析識別所述音頻數(shù)據(jù),獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù),所述音頻指紋數(shù)據(jù)具體可以為表征所述音頻數(shù)據(jù)的特征參數(shù)的量化數(shù)據(jù),具體可通過二進制數(shù)值表示。具體的,所述音頻處理模塊41,用于提取所述音頻數(shù)據(jù)的特征參數(shù),基于所述特征參數(shù)獲得所述音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
作為一種實施方式,音頻作為一種聲波,則所述音頻數(shù)據(jù)的特征參數(shù)可通過采樣率表示。具體的,如圖3所示,把所述音頻數(shù)據(jù)通過采樣率的轉(zhuǎn)換,轉(zhuǎn)換為采樣率為K樣本/秒,K例如取8000。通過加床傅里葉變換把采集到的一維時域表示的音頻數(shù)據(jù)轉(zhuǎn)換為二維時域圖,如圖2a所示。將圖2a所示的二維時域圖上提取具有特征明顯的特征點作為明顯的特征,例如通過尋找頻譜的峰值,獲得如圖2b中的各個特征點。對于選取的每一個特征點,例如特征點A,如圖2c所示,在時頻上選擇合適的窗口,如圖2c中的窗口區(qū)域1,進行特征哈希值的轉(zhuǎn)換。具體的,例如特征點A,所述特征點A的坐標(biāo)為(f1,t1);則可以在窗口區(qū)域1中選擇某一時間對應(yīng)的頻域最大的特征點,例如特征點C,所述特征點C的坐標(biāo)為(f2,t2);則特征點C和特征點A組成的哈希值具體可以為Hash:time=[f1:f2:△t]:t1;其中,△t=t2-t1。本實施例中,獲得的哈希值的表現(xiàn)形式為二進制數(shù)值,則所述二進制數(shù)據(jù)具體為音頻數(shù)據(jù)對應(yīng)的音頻指紋數(shù)據(jù)。
當(dāng)然,本發(fā)明實施例中所述音頻處理模塊41獲取音頻指紋數(shù)據(jù)的方式不限于上述獲取方式,其他能夠獲取到的表征音頻數(shù)據(jù)特征的音頻指紋數(shù)據(jù)的獲取方式也在本發(fā)明實施例的保護范圍之內(nèi)。
本實施例中,所述音頻指紋存儲模塊42中收錄有具有版權(quán)的視頻數(shù)據(jù)的音頻指紋數(shù)據(jù)、對應(yīng)的視頻標(biāo)簽以及所述音頻指紋數(shù)據(jù)對應(yīng)的時間參數(shù);其中,所述視頻標(biāo)簽具體可以通過視頻標(biāo)識表示,例如序號或編碼,以便于后續(xù)基于所述視頻標(biāo)簽在視頻版權(quán)存儲模塊44中進行查找。具體的,所述音頻指紋存儲模塊42中的音頻指紋數(shù)據(jù)可通過所述音頻處理模塊41對具有版權(quán)的視頻數(shù)據(jù)進行音頻數(shù)據(jù)提取、按照本發(fā)明實施例所述的音頻指紋數(shù)據(jù)的提取方式進行提取獲得,在存儲在所述音頻指紋存儲模塊42中,具體的獲得方式這里不再贅述。
本實施例中,當(dāng)所述音頻指紋存儲模塊42中不包括所述音頻指紋數(shù)據(jù)時,則可以表明所述第一視頻數(shù)據(jù)與視頻版權(quán)存儲模塊44中的視頻數(shù)據(jù)不一致,即可以表明所述第一視頻數(shù)據(jù)與具有版權(quán)的視頻數(shù)據(jù)不沖突,也即不具有版權(quán)沖突。相應(yīng)的,后續(xù)也不執(zhí)行視頻內(nèi)容的匹配過程,直接可以獲得所述第一視頻數(shù)據(jù)與視頻版權(quán)存儲模塊44中的視頻數(shù)據(jù)不一致的判定結(jié)果。
如圖3所示,當(dāng)所述音頻指紋存儲模塊42中包含所述音頻指紋數(shù)據(jù)時,所述音頻處理模塊41獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽以及時間參數(shù)。其中,所述視頻標(biāo)簽具體可以通過視頻標(biāo)識表示,例如序號或編碼。在實際應(yīng)用中,由于音頻指紋庫中存儲了海量的信息,為了平衡匹配時間,加快匹配速度,同時不降低準(zhǔn)確度的情況下,可采取了模糊匹配的方式,即在匹配的過程中,把具有相同音頻指紋數(shù)據(jù)和相同時間差(所述時間差例如輸入視頻的哈希時間點和視頻版權(quán)庫(音頻指紋庫)中的哈希時間點的差)的匹配哈希量進行統(tǒng)計,選取首N個匹配到的音頻指紋數(shù)據(jù)組成潛力匹配的音頻段,在下一個階段,選取每一段匹配的音頻指紋數(shù)據(jù),分析所述音頻指紋數(shù)據(jù)的哈希量在特定時間上的密度,如果密度大于閾值,則保持,反之則去除,只保留密度大于閾值的哈希值片段,這個過程可以將匹配密度低的潛力音頻段去除,從而提高匹配的準(zhǔn)確性。在選取的精選潛力匹配音頻段中進行去重挑選,在時間上匹配到的重復(fù)音頻,挑選哈希密度最大的作為最終的匹配音頻,在匹配過程中,可允許一對一、或一對多的匹配,這個過程可以在哈希密度分析時進行進一步的篩選,只保留匹配時長最長的一段音頻。上述過程可稱為分類過濾過程,從而獲得最終的匹配信息。
本實施例中,所述音頻處理模塊41獲得所述音頻指紋數(shù)據(jù)對應(yīng)的視頻標(biāo)簽后,將所述視頻標(biāo)簽以及對應(yīng)的時間參數(shù)發(fā)送至所述視頻處理模塊43。所述視頻處理模塊43基于所述視頻標(biāo)簽查詢視頻版權(quán)存儲模塊44;其中,所述視頻版權(quán)存儲模塊44中收錄有具有版權(quán)的視頻數(shù)據(jù)的關(guān)鍵幀圖片、視頻標(biāo)簽以及所述關(guān)鍵圖片對應(yīng)的時間參數(shù)等等。所述視頻處理模塊43查詢所述視頻版權(quán)存儲模塊44,獲得所述視頻標(biāo)簽對應(yīng)的、且滿足所述時間參數(shù)的第一圖片,以及提取所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的第二圖片。具體的,在視頻數(shù)據(jù)的具體圖片內(nèi)容的匹配過程中,根據(jù)音頻指紋數(shù)據(jù)匹配獲得的視頻標(biāo)簽查詢視頻版權(quán)存儲模塊44,獲得所述視頻標(biāo)簽對應(yīng)的圖片集合;在根據(jù)音頻指紋數(shù)據(jù)匹配獲得的時間參數(shù),在所述圖片集合中讀取滿足所述時間參數(shù)的圖片(即所述第一圖片);相應(yīng)的,對于所述第一視頻數(shù)據(jù),按音頻指紋數(shù)據(jù)匹配獲得的時間參數(shù),提取出所述第一視頻數(shù)據(jù)中滿足所述時間參數(shù)的圖片(即所述第二圖片)。
本實施例中,分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù),對所述第一特征參數(shù)和所述第二特征參數(shù)進行比對,以判定所述第一視頻數(shù)據(jù)與版權(quán)數(shù)據(jù)庫中的視頻數(shù)據(jù)是否一致。具體的,所述視頻處理模塊43,用于按照以下方式的至少之一分別提取所述第一圖片的第一特征參數(shù)和所述第二圖片的第二特征參數(shù):尺度不變特征轉(zhuǎn)換(SIFT)方式、方向梯度直方圖(HOG)方式。進一步地,所述視頻處理模塊43,用于通過SIFT方式或HOG方式計算所述第一特征參數(shù)和所述第二特征參數(shù)的相似度;當(dāng)所述相似度達到預(yù)設(shè)閾值時,判定所述第一視頻數(shù)據(jù)與視頻版權(quán)庫中的視頻一致。
基于本實施例的一種實施方式,在基于所述視頻標(biāo)簽查詢視頻版權(quán)存儲模塊44之前,也即視頻版權(quán)存儲模塊44的建立過程中,所述視頻處理模塊43,還用于對具有版權(quán)的第二視頻數(shù)據(jù)進行圖片提取,將提取后的圖片、圖片對應(yīng)的時間參數(shù)和圖片對應(yīng)的視頻標(biāo)簽存儲在視頻版權(quán)存儲模塊44中。
其中,所述視頻處理模塊43,用于對所述第二視頻數(shù)據(jù)進行場景識別,識別出且濾除所述第二視頻數(shù)據(jù)中表征場景切換的第一圖片集合,獲得第二圖片集合;對所述第二圖片集合中的圖片進行分析識別,獲得所述圖片的邊緣特征信息;提取邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片。
具體的,本實施例的視頻版權(quán)存儲模塊44的建立過程中,對所有具有版權(quán)的視頻數(shù)據(jù)進行關(guān)鍵幀圖片的提取。如圖4所示,輸入具有版權(quán)的視頻數(shù)據(jù),所述視頻處理模塊43提取出輸入的視頻數(shù)據(jù)的關(guān)鍵幀圖片;其中,所述視頻數(shù)據(jù)的關(guān)鍵幀圖片的提取過程包括:首先對視頻數(shù)據(jù)進行場景切換檢測;所述場景切換的檢測可通過對圖片中的前景和/或背景進行檢測;當(dāng)檢測到兩幅圖片的前景和/或背景不一致,可確定所述兩幅圖片之間的時間點為場景切換的時間點,也可以理解為時間在先的第一幅圖片為前一場景的最末一幅圖片,時間在后的另一幅圖片為后一場景的第一幅圖片。在本實施例中,對輸入的視頻數(shù)據(jù)進行場景識別,識別出表征場景切換的第一圖片集合,在關(guān)鍵幀圖片的提取過程中,首先在所述視頻數(shù)據(jù)所包含的圖片集合中濾除所述第一圖片集合,以避免提取出的關(guān)鍵幀圖片在場景切換處,降低后續(xù)圖片內(nèi)容匹配的準(zhǔn)確性。進一步地,所述視頻處理模塊43在剩余的第二圖片集合中進一步對剩余的圖片進行分析識別,具體是對圖片的復(fù)雜度進行分析識別,提取出復(fù)雜度較高的圖片作為關(guān)鍵幀圖片。作為一種實施方式,本發(fā)明實施例可采用圖片邊緣特征信息的分析,找出第二圖片集合中邊緣特征信息數(shù)量較多的圖片作為關(guān)鍵幀圖片,這是因為,圖片的邊緣特征信息數(shù)量越多,圖片的內(nèi)容越復(fù)雜,在兩幅圖片進行匹配過程中,內(nèi)容越負(fù)載,匹配的準(zhǔn)確率越高。
作為一種實施方式,所述視頻處理模塊43,用于將邊緣特征信息數(shù)量達到預(yù)設(shè)閾值的圖片生成第三圖片集合;在所述第三圖片集合中按預(yù)設(shè)時間區(qū)間提取一張圖片。
具體的,本實施例中,邊緣特征信息數(shù)量較多的圖片數(shù)量可能較多,為了減少圖片的存儲空間以及特征匹配的計算量,所述視頻處理模塊43可每隔預(yù)設(shè)時間區(qū)間提取一張圖片作為關(guān)鍵幀圖片,例如每K秒提取一張圖片,這樣提取出的關(guān)鍵幀圖片的數(shù)量可大大減少,大大減少了圖片的存儲量以及特征匹配的計算量,能夠減少服務(wù)器的計算資源的消耗。
本實施例中,所述服務(wù)器中的音頻處理模塊41和視頻處理模塊43,在實際應(yīng)用中可由中央處理器(CPU,Central Processing Unit)、數(shù)字信號處理器(DSP,Digital Signal Processor)、微控制單元(MCU,Microcontroller Unit)或可編程門陣列(FPGA,F(xiàn)ield-Programmable Gate Array)實現(xiàn);所述服務(wù)器中的音頻指紋存儲模塊42和視頻版權(quán)存儲模塊44,在實際應(yīng)用中可由服務(wù)器中的存儲器實現(xiàn)。
本發(fā)明實施例的技術(shù)方案,通過音頻內(nèi)容檢測和視頻內(nèi)容檢測相結(jié)合的方式,以音頻內(nèi)容檢測為主,視頻內(nèi)容檢測為輔,大大減少了單純以視頻內(nèi)容檢測所需要的計算能力,降低了計算資源的消耗,又彌補了單純使用音頻指紋進行版權(quán)保護的不足,滿足視頻版權(quán)保護的需求。
本實施例中的服務(wù)器作為硬件實體的一個示例如圖8所示。所述裝置包括處理器61、存儲介質(zhì)62以及至少一個外部通信接口63;所述處理器61、存儲介質(zhì)62以及外部通信接口63均通過總線64連接。
這里需要指出的是:以上涉及服務(wù)器項的描述,與上述方法描述是類似的,同方法的有益效果描述,不做贅述。對于本發(fā)明服務(wù)器實施例中未披露的技術(shù)細(xì)節(jié),請參照本發(fā)明方法實施例的描述。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此,本發(fā)明可采用硬件實施例、軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器和光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。
本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
以上所述,僅為本發(fā)明的較佳實施例而已,并非用于限定本發(fā)明的保護范圍。