專(zhuān)利名稱：全自動(dòng)多媒體素材缺陷檢測(cè)及質(zhì)量分析方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體技術(shù)，尤其涉及模擬影視素材缺陷檢測(cè)與恢復(fù)及數(shù)字化存儲(chǔ)技術(shù)。
背景技術(shù)：
電影技術(shù)產(chǎn)生于19世紀(jì)末，成熟于20世紀(jì)并發(fā)展至今；廣播電視技術(shù)出現(xiàn)稍晚， 大約在產(chǎn)生于二戰(zhàn)后期，并發(fā)展至今。早期的電影、電視、唱片等媒體都是存儲(chǔ)在諸如電影膠片、錄像帶、模擬唱盤(pán)等模擬存儲(chǔ)介質(zhì)上。存儲(chǔ)在這些模擬介質(zhì)上的媒體素材隨著時(shí)間的推移及使用次數(shù)的增多，逐漸老化、破損，從而導(dǎo)致質(zhì)量下降。其突出的特點(diǎn)表現(xiàn)為各種各樣的媒體素材缺陷的產(chǎn)生，例如由于錄像帶損傷或玷污引起的視頻幀完全或各種各樣的部分幀內(nèi)容缺失、錄像帶老化引起的幀內(nèi)容質(zhì)量下降(如劃痕、幀滾動(dòng)、顏色不正常)等。20世紀(jì)80年代以來(lái)，計(jì)算機(jī)及數(shù)字媒體技術(shù)進(jìn)入了高速發(fā)展階段。由于數(shù)字存儲(chǔ)技術(shù)具備存儲(chǔ)容量大、使用方便、信息不易丟失等特點(diǎn)，很多媒體素材的存儲(chǔ)逐漸由模擬過(guò)渡到采用數(shù)字存儲(chǔ)介質(zhì)。到了今天幾乎所有的媒體都是存儲(chǔ)在數(shù)字設(shè)備上。但是，大量早期原生模擬媒體素材，隨著時(shí)間的推移，其歷史價(jià)值越來(lái)越重要，同時(shí)又面臨著隨著時(shí)間的推移及保護(hù)措施的不利，造成質(zhì)量下降甚至有不可恢復(fù)再生的風(fēng)險(xiǎn)。根據(jù)權(quán)威部門(mén)研究報(bào)告，歐洲有幾百萬(wàn)小時(shí)的模擬媒體素材面臨此種危機(jī)，我國(guó)做為一個(gè)大國(guó)，同樣面臨這樣的問(wèn)題。目前大量早期影視作品、紀(jì)錄片，作為歷史的一部分，彌足珍貴。及時(shí)搶救這些資料，盡快利用先進(jìn)的計(jì)算機(jī)及數(shù)字技術(shù)存儲(chǔ)、恢復(fù)這些資料，是廣播電影電視行業(yè)當(dāng)今面臨的重要課題。另一方面，由于歷史的積累，這種有待于搶救保存的早期模擬媒體素材數(shù)量及其龐大(以百萬(wàn)小時(shí)計(jì))，利用人工檢測(cè)并恢復(fù)的方法耗時(shí)耗資巨大。因此，一個(gè)全自動(dòng)多媒體素材缺陷檢測(cè)、恢復(fù)及數(shù)字化存儲(chǔ)系統(tǒng)亟待出現(xiàn)。

發(fā)明內(nèi)容
本發(fā)明目的是為了及時(shí)搶救保護(hù)歷史上留存下來(lái)大量的、珍貴的模擬媒體素材， 利用高科技數(shù)字手段自動(dòng)地對(duì)其質(zhì)量進(jìn)行預(yù)分析，檢測(cè)其中各類(lèi)視頻缺陷并提供視頻(包括信噪比、帶寬、有效區(qū)、平均值等)、音頻低層質(zhì)量信息(包括信噪比、帶寬、平均值等)，為進(jìn)一步恢復(fù)、重建、壓縮編碼等后處理工作預(yù)備必要的信息，故此，提出一種全自動(dòng)多媒體素材缺陷檢測(cè)及質(zhì)量分析方法。本發(fā)明要解決的第一個(gè)技術(shù)問(wèn)題是分析現(xiàn)存各種制式模擬媒體素材在長(zhǎng)期存儲(chǔ)后，由于環(huán)境變化、存儲(chǔ)介質(zhì)老化、破損等原因，造成的各類(lèi)型視頻內(nèi)容的缺陷，并建立一套完善的視頻缺陷模型。本發(fā)明要解決的第二個(gè)技術(shù)問(wèn)題是根據(jù)建立好的模擬視頻缺陷模型，提出一套有效的檢測(cè)方法進(jìn)行實(shí)時(shí)檢測(cè)。本發(fā)明要解決的第三個(gè)技術(shù)問(wèn)題提供一套全自動(dòng)視頻音頻基本質(zhì)量信息分析算法。為此，本發(fā)明提供的全自動(dòng)多媒體素材缺陷檢測(cè)與質(zhì)量分析方法包括第1、媒體素材缺陷模型集的建立；第2、媒體素材質(zhì)量分析指標(biāo)集的建立；第3、媒體素材缺陷的檢測(cè)；第4、媒體素材質(zhì)量分析；第5、保存媒體素材缺陷的檢測(cè)與質(zhì)量分析結(jié)果。其中，第1步所述的媒體素材缺陷模型集包括第11、失效幀缺陷模型，該模型的視頻幀內(nèi)容完全缺失，由一些雜亂無(wú)章的信號(hào)所替代；第1. 2、I型行失效幀缺陷模型，該模型的視頻缺陷以“行”為單位，受損行信息完全缺失，非受損行信息完全保留，并且損傷的行與行間無(wú)特殊相關(guān)性；第1. 3、11型行失效幀缺陷模型，該模型的視頻缺陷以“行”為單位，受損行信息完全缺失，并且受損區(qū)域內(nèi)行間信息幾乎相同，行間相關(guān)度極強(qiáng)；第1. 4、III型行失效幀缺陷模型，該模型的視頻缺陷以“行”為單位，受損行信息完全缺失，并且受損區(qū)域的行內(nèi)信息規(guī)律性向右偏移，由此在受損區(qū)域左邊形成一無(wú)信號(hào)的黑色三角形；第1. 5、IV型行失效幀缺陷模型，該模型的視頻缺陷特點(diǎn)為整幀左移，在整幀右邊留一無(wú)信號(hào)黑色區(qū)域，同時(shí)缺陷以“行”為單位，受損行信息部分缺失，并且受損區(qū)域相對(duì)整幀平行右移，同時(shí)受損行左部亦有一無(wú)信號(hào)黑色區(qū)域；第1. 6、劃痕型缺陷模型，該模型的視頻缺陷特點(diǎn)為整幀信息未完全丟失，但視頻圖像上增加位置固定或變化的橫向劃痕狀內(nèi)容；第1. 7、幀間滾動(dòng)型缺陷模型，該模型的視頻缺陷的特點(diǎn)為，一幀內(nèi)同時(shí)顯示相鄰兩幀的部分圖像，并且兩幀間分割部分隨時(shí)間滾動(dòng)向上或向下運(yùn)動(dòng)，時(shí)間持續(xù)在0. 5秒到數(shù)秒之間；第1. 8、顏色失真型缺陷模型，該模型的視頻缺陷的顯著特征為某一以“行”為單位的區(qū)域顏色異常，其原因在于該制式信號(hào)部分相位信息缺失。第2步所述的媒體素材質(zhì)量分析指標(biāo)集包括第2. 1、視頻信號(hào)幀平均值及有效區(qū)域檢測(cè)；第2. 2、視頻信號(hào)帶寬；第2. 3、視頻信號(hào)信噪比；第2. 4、音頻信號(hào)幀平均值；第2. 5、音頻信號(hào)帶寬；第2. 6、音頻信號(hào)信噪比。第3步所述的媒體素材缺陷的檢測(cè)算法是第3. 1、失效幀缺陷模型檢測(cè)算法，利用幀間相關(guān)信息，檢測(cè)出幀內(nèi)失效點(diǎn)集合，然后根據(jù)失效點(diǎn)的分布及密度，判斷該幀是否為失效幀；第3. 2、1型行失效幀缺陷模型檢測(cè)算法，將被檢測(cè)幀灰度圖像轉(zhuǎn)換為1維信號(hào)，其中行數(shù)為自變量，每行像素灰度值累加值為因變量；然后在此信號(hào)基礎(chǔ)上，考察幀間、行間相關(guān)信息，并結(jié)合行間運(yùn)動(dòng)補(bǔ)償，最終檢測(cè)判斷出該類(lèi)缺陷的失效行；第3. 3、II型行失效幀缺陷模型檢測(cè)算法，將被檢測(cè)幀灰度圖像轉(zhuǎn)換為1維信號(hào)， 其中行數(shù)為自變量，每行像素灰度值累加值為因變量；然后在此信號(hào)基礎(chǔ)上，依據(jù)幀內(nèi)行間相關(guān)性信息，結(jié)合幀間相關(guān)性信息，檢測(cè)出幀內(nèi)缺陷候選行，最后從檢測(cè)出失效行開(kāi)始，上下搜索，采用區(qū)域增長(zhǎng)的方法檢測(cè)出該幀內(nèi)所有缺陷區(qū)域；第3. 4、III型行失效幀缺陷模型檢測(cè)算法，利用行間相關(guān)性及幀間相關(guān)性信息， 檢測(cè)出候選行；由于此類(lèi)缺陷具備行間位移的特點(diǎn)，在計(jì)算行間相關(guān)性時(shí)，候選行在相鄰士行內(nèi)進(jìn)行搜索，計(jì)算兩行之間的相關(guān)性最大值作為行間相關(guān)性；該候選行具備行內(nèi)高相關(guān)性和幀間低相關(guān)性的特點(diǎn)；然后根據(jù)候選行的區(qū)域分布、相關(guān)度，確定該類(lèi)缺陷的存在區(qū)域；第3. 5、IV型行失效幀缺陷模型檢測(cè)算法，通過(guò)檢測(cè)幀內(nèi)左邊黑色特征區(qū)域，將圖像分割出缺陷候選區(qū)，即左邊檢測(cè)出黑色區(qū)域的行的集合；然后利用候選區(qū)的幀間直方圖比對(duì)，確定該類(lèi)缺陷的存在區(qū)域；第3. 6、劃痕型缺陷模型檢測(cè)算法，在幀內(nèi)檢測(cè)出寬度小于4個(gè)像素的線形物體， 并二值化做為模板；然后在此模板基礎(chǔ)上，利用Hough變換，檢測(cè)出橫向線形物體，過(guò)濾掉其余方向的線形物體；最后，利用形態(tài)學(xué)開(kāi)-閉算子進(jìn)行運(yùn)動(dòng)補(bǔ)償，從檢測(cè)出橫向線形物體集中過(guò)濾掉由于幀內(nèi)物體運(yùn)動(dòng)造成的線，留下由于缺陷產(chǎn)生的線；最后利用中值濾波方法過(guò)濾掉孤立的像素點(diǎn)，留下劃痕缺陷存在的位置；第3. 7、幀間滾動(dòng)型缺陷模型檢測(cè)算法，利用幀內(nèi)行間相關(guān)性，檢測(cè)出前后兩幀相連接的部分；然后在連續(xù)的幀組中跟蹤檢測(cè)這部分的位置，直到該部分消失為止，從而得到幀滾動(dòng)的位置及其滾動(dòng)的幀片段；第3. 8、顏色失真型缺陷模型檢測(cè)算法，將2維圖像轉(zhuǎn)換為1維信號(hào)，其中行數(shù)為自變量，每行像素灰度值累加值為因變量，然后在此基礎(chǔ)上，以“行”為單位，根據(jù)幀間相關(guān)性， 檢測(cè)顏色異常的區(qū)域。第4步所述媒體素材質(zhì)量分析方法是第4. 1、視頻信號(hào)幀平均值及有效區(qū)域檢測(cè)方法，幀內(nèi)像素灰度值直方圖，以其 5%像素值為判決閾值，考察橫向及縱向邊界區(qū)，如果該行或列所以像素值都小于該閾值， 則判斷為無(wú)信號(hào)的邊緣區(qū)，剩余區(qū)域?yàn)橛行^(qū)；在有效區(qū)內(nèi)計(jì)算像素灰度平均值，即為視頻信號(hào)平均值；第4. 2、視頻信號(hào)帶寬估算方法，首先利用FFT按行計(jì)算功率譜，然后將幀內(nèi)各行功率譜求平均；根據(jù)幀內(nèi)平均功率譜得到該幀圖像的帶寬帶寬低頻點(diǎn)設(shè)為0，高頻點(diǎn)定義為使平均功率譜達(dá)到95%的頻率的下限值；第4. 3、視頻信號(hào)信噪比估算方法，首先將圖像幀利用Daubechies小波進(jìn)行多尺度分解；根據(jù)分解后的小波系數(shù)綜合采用兩種途徑進(jìn)行噪聲估計(jì)一種采用噪聲奇異點(diǎn)的方法，即考察相同像素點(diǎn)的不同尺度小波分解系數(shù)的相互關(guān)系來(lái)確定奇異點(diǎn)；另一種利用閾值判斷的方法，即根據(jù)前面幀估計(jì)的噪聲方差作為閾值參數(shù)，考察小波分解后的系數(shù)；結(jié)合兩種噪聲估計(jì)的結(jié)果，采用其組合信息，估計(jì)噪聲能量，最后計(jì)算出視頻信號(hào)的信噪比；第4. 4、音頻信號(hào)幀平均值計(jì)算方法，音頻信號(hào)平均值定義為對(duì)應(yīng)某視頻幀的音頻片段的幅度的平均值；
第4. 5、音頻信號(hào)帶寬估算方法，音頻信號(hào)帶寬計(jì)算基于FFT變換，將音頻片段FFT 變換后功率譜5% 95%之間的頻率定義為該音頻片段的帶寬；第4. 6、音頻信號(hào)信噪比估算方法，首先假定音頻帶寬以外(高頻部分)為噪聲帶寬，然后利用音頻帶寬信息，音頻功率譜計(jì)算出噪聲功率譜，從而計(jì)算出音頻信噪比。本發(fā)明的優(yōu)點(diǎn)和積極效果本發(fā)明采用先進(jìn)的計(jì)算機(jī)視頻分析技術(shù)，實(shí)時(shí)、自動(dòng)地檢測(cè)各類(lèi)視頻缺陷，同時(shí)提供視頻質(zhì)量分析信息，為后端視頻恢復(fù)、壓縮、存儲(chǔ)提供必要的信息。由于歷史積累出海量的模擬媒體素材，使用人工方式進(jìn)行檢測(cè)效率低下，費(fèi)時(shí)費(fèi)力，采用本發(fā)明解決方案，可以節(jié)約大量成本及社會(huì)資源。


圖1示出本發(fā)明的系統(tǒng)架構(gòu)圖；圖2示出本發(fā)明的媒體分析子系統(tǒng)架構(gòu)3示出本發(fā)明關(guān)于視頻缺陷檢測(cè)系統(tǒng)架構(gòu)圖4示出本發(fā)明關(guān)于失效幀缺陷模型、檢測(cè)結(jié)果及檢測(cè)方法圖5示出本發(fā)明關(guān)于行缺陷I型的模型、檢測(cè)結(jié)果及檢測(cè)方法圖6示出本發(fā)明關(guān)于行缺陷II型的模型、檢測(cè)結(jié)果及檢測(cè)方法圖7示出本發(fā)明關(guān)于行缺陷III型的模型、檢測(cè)結(jié)果及檢測(cè)方法圖8示出本發(fā)明關(guān)于行缺陷IV型的模型、檢測(cè)結(jié)果及檢測(cè)方法圖9示出本發(fā)明關(guān)于劃痕型缺陷模型、檢測(cè)結(jié)果及檢測(cè)方法圖10示出本發(fā)明關(guān)于幀間滾動(dòng)型缺陷模型、檢測(cè)結(jié)果及檢測(cè)方法圖11示出本發(fā)明關(guān)于顏色失真型缺陷模型、檢測(cè)結(jié)果及檢測(cè)方法圖12示出本發(fā)明關(guān)于視頻信噪比計(jì)算方法圖13示出本發(fā)明關(guān)于音頻信噪比計(jì)算方法
具體實(shí)施例方式一、本發(fā)明提供的全自動(dòng)多媒體素材缺陷檢測(cè)與質(zhì)量分析方法包括第1、媒體素材缺陷模型集的建立；第2、媒體素材質(zhì)量分析指標(biāo)集的建立；第3、媒體素材缺陷的檢測(cè)；第4、媒體素材質(zhì)量分析；第5、保存媒體素材缺陷的檢測(cè)與質(zhì)量分析結(jié)果。在本發(fā)明實(shí)施軟件中，模擬視頻采集后轉(zhuǎn)化為分辨率為352x288視頻幀圖像，所有算法針對(duì)于此分辨率視頻處理。1、媒體素材缺陷模型集包括 失效幀模型。該類(lèi)型缺陷模型及檢測(cè)結(jié)果由圖4示出。由圖可見(jiàn)，該類(lèi)缺陷全幀容完全缺失，由一些雜亂無(wú)章的信號(hào)所替代。 各類(lèi)行失效幀模型包括，
■ I型行失效幀模型。該類(lèi)型缺陷模型及檢測(cè)結(jié)果由圖5示出。由圖可見(jiàn)，該類(lèi)型缺陷以“行”為單位，受損行信息完全缺失，非受損行信息完全保留，并且損傷行行間無(wú)相關(guān)性?！?II型行失效幀模型。該類(lèi)型缺陷模型、檢測(cè)結(jié)果由圖6示出。由圖可見(jiàn)，該類(lèi)型缺陷以“行”為單位，受損行信息完全缺失，并且受損區(qū)域行間信息幾乎相同，行間相關(guān)度極強(qiáng)?！?III型行失效幀模型。該類(lèi)型缺陷模型及檢測(cè)結(jié)果由圖7示出。由圖可見(jiàn)，該類(lèi)型缺陷以“行”為單位，受損行信息完全缺失，并且受損區(qū)域行內(nèi)信息規(guī)律性向右偏移，由此在受損區(qū)域左邊形成一無(wú)信號(hào)的黑色三角形?！?IV型失效幀模型。該類(lèi)型缺陷模型及檢測(cè)結(jié)果由圖8示出。由圖可見(jiàn)，該類(lèi)缺陷特點(diǎn)為，整幀左移，在幀右邊留言一無(wú)信號(hào)黑色區(qū)域，同時(shí)缺陷以“行”為單位，受損行信息部分缺失，并且受損區(qū)域平行右移，同時(shí)受損行左部亦有一無(wú)信號(hào)黑色區(qū)域。 劃痕型缺陷模型及其檢測(cè)。該類(lèi)缺陷模型及檢測(cè)結(jié)果由圖9示出。由圖可見(jiàn)， 該類(lèi)缺陷特點(diǎn)為，整幀信息未丟失，但視頻圖像上增加固定或動(dòng)態(tài)的橫向劃痕狀內(nèi)容。 幀間滾動(dòng)型缺陷模型及其檢測(cè)。該類(lèi)缺陷模型及檢測(cè)結(jié)果由圖10示出。由圖可見(jiàn)，該類(lèi)缺陷的特點(diǎn)為，由于某種時(shí)基信息錯(cuò)誤或丟失，造成一幀內(nèi)同時(shí)顯示相鄰兩幀的部分圖像，并且兩幀間分割部分隨時(shí)間滾動(dòng)向上(或向下)運(yùn)動(dòng)，時(shí)間持續(xù)有0. 5秒到數(shù)秒不等。 顏色失真型缺陷模型及其檢測(cè)。該類(lèi)缺陷模型及檢測(cè)結(jié)果由圖11示出。該類(lèi)缺陷一般出現(xiàn)在SCEMA制式的視頻中，其原因在于該制式信號(hào)某類(lèi)相位的缺失。由圖可見(jiàn)， 其特征為某一以“行”為單位的區(qū)域顏色異常(通常為紫色)。2、媒體素材質(zhì)量分析指標(biāo)集包括 視頻信號(hào)幀平均值及有效區(qū)域檢測(cè)；眷視頻信號(hào)帶寬； 視頻信號(hào)信噪比；眷音頻信號(hào)幀平均值；眷音頻信號(hào)帶寬； 音頻信號(hào)信噪比。3、媒體素材缺陷的檢測(cè)，包括 失效幀缺陷檢測(cè)算法。該類(lèi)型缺陷檢測(cè)方法框圖由圖4示出。檢測(cè)方法為■首先利用幀間相關(guān)信息，檢測(cè)出幀內(nèi)失效點(diǎn)集合。為此，定義失效點(diǎn)模板為，這里，t為時(shí)間信息，(i，j)為坐標(biāo)，χ為幀內(nèi)像素灰度值■然后根據(jù)失效點(diǎn)的分布及密度，判斷失效幀是否存在。將整個(gè)幀分割為2&12個(gè)子區(qū)域(每個(gè)子區(qū)域大小為12x16)。如果相同行中含失效點(diǎn)的子區(qū)域超過(guò)該行子區(qū)域數(shù)的80%，定義該子區(qū)域行為失效子區(qū)域行；如果這樣的失效子區(qū)域行數(shù)超過(guò)所有子區(qū)域行數(shù)50%，則判斷該幀是否為失效幀 各類(lèi)行失效幀缺陷檢測(cè)算法，包括，
1-X-1I5Kj-χ-1)) >150
0 else
■ I型行失效幀缺陷檢測(cè)。該類(lèi)型缺陷檢測(cè)方法框圖由圖5示出。檢測(cè)方法為 首先將被檢測(cè)幀灰度圖像轉(zhuǎn)換為1維信號(hào)(每行像素灰度值累加)
權(quán)利要求
1.全自動(dòng)多媒體素材缺陷檢測(cè)與質(zhì)量分析方法，其特征在于該方法包括 第1、媒體素材缺陷模型集的建立；第2、媒體素材質(zhì)量分析指標(biāo)集的建立； 第3、媒體素材缺陷的檢測(cè)； 第4、媒體素材質(zhì)量分析； 第5、保存媒體素材缺陷的檢測(cè)與質(zhì)量分析結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于第1步所述的媒體素材缺陷模型集包括 第1. 1、失效幀缺陷模型，該模型的視頻幀內(nèi)容完全缺失，由一些雜亂無(wú)章的信號(hào)所替代；第1. 2、I型行失效幀缺陷模型，該模型的視頻缺陷以“行”為單位，受損行信息完全缺失，非受損行信息完全保留，并且損傷的行與行間無(wú)特殊相關(guān)性；第1.3、II型行失效幀缺陷模型，該模型的視頻缺陷以“行”為單位，受損行信息完全缺失，并且受損區(qū)域內(nèi)行間信息相關(guān)度極強(qiáng)；第1. 4、III型行失效幀缺陷模型，該模型的視頻缺陷以“行”為單位，受損行信息完全缺失，并且受損區(qū)域的行內(nèi)信息規(guī)律性向右偏移，由此在受損區(qū)域左邊形成一無(wú)信號(hào)的黑色三角形；第1. 5、IV型行失效幀缺陷模型，該模型的視頻缺陷特點(diǎn)為整幀左移，在整幀右邊留一無(wú)信號(hào)黑色區(qū)域，同時(shí)缺陷以“行”為單位，受損行信息部分缺失，并且受損區(qū)域相對(duì)于全幀區(qū)域平行右移，同時(shí)受損行左部亦有一無(wú)信號(hào)黑色區(qū)域；第1. 6、劃痕型缺陷模型，該模型的視頻缺陷特點(diǎn)為整幀信息未完全丟失，但視頻圖像上增加位置固定或變化的橫向劃痕狀內(nèi)容；第1. 7、幀間滾動(dòng)型缺陷模型，該模型的視頻缺陷的特點(diǎn)為，一幀內(nèi)同時(shí)顯示相鄰兩幀的部分圖像，并且兩幀間分割部分隨時(shí)間滾動(dòng)向上或向下運(yùn)動(dòng)，時(shí)間持續(xù)在0. 5秒到數(shù)秒之間；第1. 8、顏色失真型缺陷模型，該模型的視頻缺陷的顯著特征為某一以“行”為單位的區(qū)域顏色異常，其原因在于該制式信號(hào)部分相位信息缺失。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于第2步所述的媒體素材質(zhì)量分析指標(biāo)集包括第2. 1、視頻信號(hào)幀平均值及有效區(qū)域檢測(cè)； 第2. 2、視頻信號(hào)帶寬； 第2. 3、視頻信號(hào)信噪比； 第2. 4、音頻信號(hào)幀平均值； 第2. 5、音頻信號(hào)帶寬； 第2. 6、音頻信號(hào)信噪比。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于第3步所述的媒體素材缺陷的檢測(cè)算法是第3. 1、失效幀缺陷模型檢測(cè)算法，利用幀間相關(guān)信息，檢測(cè)出幀內(nèi)失效點(diǎn)集合；然后根據(jù)失效點(diǎn)的分布及密度，判斷該幀是否為失效幀；第3. 2、I型行失效幀缺陷模型檢測(cè)算法，將被檢測(cè)幀灰度圖像轉(zhuǎn)換為1維信號(hào)，其中行數(shù)為自變量，每行像素灰度值累加值為因變量；然后在此信號(hào)基礎(chǔ)上，考察幀間、行間相關(guān)信息，并結(jié)合行間運(yùn)動(dòng)補(bǔ)償，最終檢測(cè)判斷出該類(lèi)缺陷的失效行；第3. 3、II型行失效幀缺陷模型檢測(cè)算法，將被檢測(cè)幀灰度圖像轉(zhuǎn)換為1維信號(hào)，其中行數(shù)為自變量，每行像素灰度值累加值為因變量；然后在此信號(hào)基礎(chǔ)上，依據(jù)幀內(nèi)行間相關(guān)性信息，結(jié)合幀間相關(guān)性信息，檢測(cè)出幀內(nèi)缺陷候選行；最后從檢測(cè)出失效行開(kāi)始，上下搜索，采用區(qū)域增長(zhǎng)的方法檢測(cè)出該幀內(nèi)所有缺陷區(qū)域；第3. 4、III型行失效幀缺陷模型檢測(cè)算法，利用行間相關(guān)性及幀間相關(guān)性信息，檢測(cè)出候選行；由于此類(lèi)缺陷具備行間位移的特點(diǎn)，在計(jì)算行間相關(guān)性時(shí)，候選行在其相鄰士5行區(qū)間進(jìn)行搜索，計(jì)算兩行之間的相關(guān)性最大值作為行間相關(guān)性；該候選行具備行內(nèi)高相關(guān)性和幀間低相關(guān)性的特點(diǎn)；然后根據(jù)候選行的區(qū)域分布、相關(guān)度，確定該類(lèi)缺陷的存在區(qū)域；第3. 5、IV型行失效幀缺陷模型檢測(cè)算法，通過(guò)檢測(cè)幀內(nèi)左邊黑色特征區(qū)域，將圖像分割出缺陷候選區(qū)，即左邊檢測(cè)出黑色區(qū)域的行的集合；然后利用候選區(qū)的幀間直方圖比對(duì)， 確定該類(lèi)缺陷的存在區(qū)域；第3. 6、劃痕型缺陷模型檢測(cè)算法，在幀內(nèi)檢測(cè)出寬度小于4個(gè)像素的線形物體，并二值化做為模板；然后在此模板基礎(chǔ)上，利用Hough變換，檢測(cè)出橫向線形物體，過(guò)濾掉其余方向的線形物體；最后，利用形態(tài)學(xué)開(kāi)-閉算子進(jìn)行運(yùn)動(dòng)補(bǔ)償，從檢測(cè)出橫向線形物體集中過(guò)濾掉由于幀內(nèi)物體運(yùn)動(dòng)造成的線，留下由于缺陷產(chǎn)生的線；最后利用中值濾波方法過(guò)濾掉孤立的像素點(diǎn)，留下劃痕缺陷存在的位置；第3. 7、幀間滾動(dòng)型缺陷模型檢測(cè)算法，利用幀內(nèi)行間相關(guān)性，檢測(cè)出前后兩幀相連接的部分；然后在連續(xù)的幀組中跟蹤檢測(cè)這部分的位置，直到該部分消失為止，從而得到幀滾動(dòng)的位置及其滾動(dòng)的幀片段；第3. 8、顏色失真型缺陷模型檢測(cè)算法，將2維圖像轉(zhuǎn)換為1維信號(hào)，其中行數(shù)為自變量，每行像素灰度值累加值為因變量；然后在此基礎(chǔ)上，以“行”為單位，根據(jù)幀間相關(guān)性，檢測(cè)顏色異常的區(qū)域。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于第4步所述媒體素材質(zhì)量分析方法是 第4. 1、視頻信號(hào)幀平均值及有效區(qū)域檢測(cè)方法，幀內(nèi)像素灰度值直方圖，以其5%像素值為判決閾值，考察橫向及縱向邊界區(qū)，如果該行或列所以像素值都小于該閾值，則判斷為無(wú)信號(hào)的邊緣區(qū)，剩余區(qū)域?yàn)橛行^(qū)；在有效區(qū)內(nèi)計(jì)算像素灰度平均值，即為視頻信號(hào)平均值；第4. 2、視頻信號(hào)帶寬估算方法，首先利用FFT按行計(jì)算功率譜，然后將幀內(nèi)各行功率譜求平均；根據(jù)幀內(nèi)平均功率譜得到該幀圖像的帶寬帶寬低頻點(diǎn)設(shè)為0，高頻點(diǎn)定義為使平均功率譜達(dá)到95%的頻率的下限值；第4. 3、視頻信號(hào)信噪比估算方法，首先將圖像幀利用Daubechies小波進(jìn)行多尺度分解；根據(jù)分解后的小波系數(shù)綜合采用兩種途徑進(jìn)行噪聲估計(jì)一種采用噪聲奇異點(diǎn)的方法，即考察相同像素點(diǎn)的不同尺度小波分解系數(shù)的相互關(guān)系來(lái)確定奇異點(diǎn)；另一種利用閾值判斷的方法，即根據(jù)前面幀估計(jì)的噪聲方差作為閾值參數(shù)，考察小波分解后的系數(shù)；結(jié)合兩種噪聲估計(jì)的結(jié)果，采用其組合信息，估計(jì)噪聲能量，最后計(jì)算出視頻信號(hào)的信噪比； 第4. 4、音頻信號(hào)幀平均值計(jì)算方法，音頻信號(hào)平均值定義為對(duì)應(yīng)某視頻幀的音頻片段的幅度的平均值第4. 5、音頻信號(hào)帶寬估算方法，音頻信號(hào)帶寬計(jì)算基于FFT變換，將音頻片段fft 后功率譜5% 95%之間的頻率定義為該音頻片段的帶寬；、第4. 6、音頻信號(hào)信噪比估算方法，首先假定音頻帶寬以外的高頻部分為噪聲帶寬然后利用首頻帶寬信息，音頻功率譜計(jì)算出噪聲功率譜，從而計(jì)算出音頻信噪比。
全文摘要
全自動(dòng)多媒體素材缺陷檢測(cè)及質(zhì)量分析方法。包括媒體素材缺陷模型集的建立；媒體素材質(zhì)量分析指標(biāo)集的建立；媒體素材缺陷的檢測(cè)；媒體素材質(zhì)量分析；媒體素材缺陷的檢測(cè)與質(zhì)量分析結(jié)果保存。在本發(fā)明方法基礎(chǔ)上實(shí)現(xiàn)的軟件可在現(xiàn)有主流計(jì)算機(jī)上達(dá)到實(shí)時(shí)處理的效果，可用于歷史上多年積累下來(lái)的海量模擬媒體素材的數(shù)字化恢復(fù)及存儲(chǔ)系統(tǒng)的預(yù)處理中。該方法為模擬素材的恢復(fù)提供實(shí)時(shí)、全自動(dòng)的缺陷檢測(cè)(包括缺陷類(lèi)型、幀號(hào)、時(shí)間戳/片段信息、缺陷位置等)及媒體壓縮存儲(chǔ)所需必要的低層質(zhì)量信息(包括視頻音頻信噪比、視頻音頻帶寬、視頻音頻平均值等)，在此信息基礎(chǔ)上，可手工或自動(dòng)地進(jìn)行媒體素材的恢復(fù)修補(bǔ)、視頻音頻壓縮及數(shù)字化存儲(chǔ)等任務(wù)。
文檔編號(hào)H04N5/262GK102227127SQ20111016730
公開(kāi)日2011年10月26日 申請(qǐng)日期2011年6月21日 優(yōu)先權(quán)日2011年6月21日
發(fā)明者蔡靖 申請(qǐng)人:天津理工大學(xué)