所公開的信息涉及一種音頻處理裝置以及一種音頻處理方法。
背景技術(shù):
作為用于消除或減少在音頻、視頻圖像等的信號中包含的噪聲的信號處理技術(shù),噪聲降低(noisereduction,nr)技術(shù)是已知的。一種傳統(tǒng)的音頻nr技術(shù)是被稱為頻譜減法的方法,該方法通過將作為去除對象的、音頻的頻率分量減去與各個頻率分量的增益相對應(yīng)的量來將去除對象聲音去除。作為nr技術(shù)的基本技術(shù),頻譜減法是眾所周知的。
一種通過應(yīng)用這種技術(shù)而開發(fā)的nr技術(shù)是噪聲學(xué)習(xí)nr。噪聲學(xué)習(xí)nr通過使用自相關(guān)或自適應(yīng)濾波器來自動學(xué)習(xí)背景聲音或持續(xù)發(fā)生的音頻的頻率區(qū)域和減量(subtractionamount),并且去除其頻率分量。
例如,日本特開2009-49885號公報中討論的技術(shù),通過使用自相關(guān)函數(shù)來計算輸入聲音中包含的頻率特性,并且確定輸入聲音是音頻(語音)還是周圍噪聲。然后,日本特開2009-49885號公報中討論的技術(shù)計算周圍噪聲的平均值作為平均噪聲,并且從輸入聲音中減去平均噪聲,從而去除周圍噪聲分量。
根據(jù)日本特開2009-49885號公報中討論的技術(shù),從輸入聲音的頻率特性的計算至周圍噪聲分量的去除的速度(即,噪聲學(xué)習(xí)速度)是恒定的,而與周圍噪聲無關(guān)。然而,周圍噪聲可能依據(jù)一天的時間段等而改變。因此,采用日本特開2009-49885號公報中討論的技術(shù),無法在周圍噪聲(噪聲環(huán)境)的水平依據(jù)一天的時間段而改變的環(huán)境下實現(xiàn)周圍噪聲的精確去除。
技術(shù)實現(xiàn)要素:
在本發(fā)明中,即使在從音頻中去除噪聲時噪聲環(huán)境改變,音頻處理裝置也能夠精確地實施噪聲去除。
根據(jù)本發(fā)明的一方面,一種音頻處理裝置包括:噪聲分量提取單元,其被構(gòu)造為進(jìn)行,用于從由與攝像裝置相對應(yīng)的聲音拾取裝置拾取的聲音數(shù)據(jù)中提取噪聲分量的噪聲分量提取處理;去除單元,其被構(gòu)造為從聲音數(shù)據(jù)中去除噪聲分量;以及檢測單元,其被構(gòu)造為從由攝像裝置拍攝的圖像中檢測攝像對象的狀況,其中,噪聲分量提取單元進(jìn)行,用于使噪聲分量提取處理適應(yīng)由聲音拾取裝置拾取的聲音數(shù)據(jù)的學(xué)習(xí)處理,并且其中,噪聲分量提取單元根據(jù)由檢測單元檢測到的攝像對象的狀況,改變在學(xué)習(xí)處理中使噪聲分量提取處理適應(yīng)聲音數(shù)據(jù)的速度。
通過以下參照附圖對示例性實施例的描述,本發(fā)明的其他特征將變得清楚。
附圖說明
圖1是根據(jù)第一實施例的異常監(jiān)視系統(tǒng)的功能框圖。
圖2是根據(jù)第一實施例的在交通現(xiàn)場的背景噪聲的音頻波形圖。
圖3是例示根據(jù)第一實施例的用于檢測交通狀況的方法的圖。
圖4是例示由根據(jù)第一實施例的異常監(jiān)視系統(tǒng)進(jìn)行的噪聲去除過程的流程圖。
圖5是根據(jù)第二實施例的異常監(jiān)視系統(tǒng)的功能框圖。
圖6是例示根據(jù)第二實施例的各個類型的背景噪聲的頻譜的頻譜圖。
圖7是例示由根據(jù)第二實施例的異常監(jiān)視系統(tǒng)進(jìn)行的噪聲去除過程的流程圖。
圖8(由圖8a和圖8b組成)是例示由根據(jù)第三實施例的異常監(jiān)視系統(tǒng)進(jìn)行的噪聲去除過程的流程圖。
圖9是例示異常監(jiān)視系統(tǒng)的硬件構(gòu)造的框圖。
具體實施例
在以下描述中,將參照附圖詳細(xì)描述實施例。下面將描述的實施例僅僅是作為如何實現(xiàn)它們的一個示例,并且將依據(jù)應(yīng)用信息的裝置的構(gòu)造和各種條件而任意地變型或改變。因此,所公開的信息絕不限于以下實施例。
當(dāng)噪聲學(xué)習(xí)速度恒定而無關(guān)周圍噪聲時,在周圍噪聲(噪聲環(huán)境)的水平依據(jù)一天的時間段等而改變的環(huán)境下,無法精確地去除周圍噪聲。例如,在噪聲環(huán)境頻繁改變的一天的時間段期間,噪聲學(xué)習(xí)可能在一些情況下不能跟隨噪聲環(huán)境的改變,從而導(dǎo)致不能完全去除噪聲,除非加快學(xué)習(xí)速度。另一方面,在噪聲環(huán)境不改變這么多的一天的時間段期間,不必須加快學(xué)習(xí)速度。例如,減慢學(xué)習(xí)速度能夠降低除了背景噪聲以外的必要的音頻可能被無意地學(xué)習(xí)和去除的可能性。在實施例中,將鑒于這一點來描述能夠以高精度實施噪聲去除的噪聲去除裝置。此外,還將描述包括這種噪聲去除裝置的監(jiān)視系統(tǒng)。
換句話說,能夠以以下方式來定義各個實施例中的學(xué)習(xí)速度。具體而言,學(xué)習(xí)速度意指用于從由聲音拾取裝置拾取的聲音數(shù)據(jù)中提取噪聲分量的自適應(yīng)濾波器的濾波器系數(shù)適應(yīng)當(dāng)前聲音數(shù)據(jù)的速度。此外,用于學(xué)習(xí)噪聲的處理也可以被稱為噪聲剖析(noiseprofiling)。
<異常監(jiān)視系統(tǒng)的概述>
將參照圖1至圖4描述包括根據(jù)第一實施例的噪聲去除裝置的異常監(jiān)視系統(tǒng)。噪聲去除裝置是通過噪聲去除來處理音頻的裝置,因此能夠被稱為音頻處理裝置。
首先,將參照圖1中所示的異常監(jiān)視系統(tǒng)100的框圖(功能構(gòu)造圖),來描述異常監(jiān)視系統(tǒng)100的功能構(gòu)造。
根據(jù)本實施例的異常監(jiān)視系統(tǒng)100是監(jiān)視在攝像現(xiàn)場(預(yù)定攝像范圍)的交通狀況的異常(交通異常)的系統(tǒng)。異常監(jiān)視系統(tǒng)100連接到外部的監(jiān)控監(jiān)視器裝置50。如果在攝像現(xiàn)場發(fā)生了碰撞聲、玻璃破碎聲或爆炸聲等,則異常監(jiān)視系統(tǒng)100檢測這種沖擊聲音等作為異常聲音(特定聲音),并且向監(jiān)控監(jiān)視器裝置50發(fā)出事件通知(向監(jiān)控監(jiān)視器裝置50通知異常聲音的發(fā)生)。在各個實施例中,假設(shè)噪聲是除作為檢測對象的聲音(在各個實施例中為異常聲音)以外的背景聲音。在以下描述中,背景聲音也可以被稱為背景噪聲。
異常監(jiān)視系統(tǒng)100是監(jiān)視可能發(fā)生背景噪聲的交通狀況的系統(tǒng),因此包括用于去除持續(xù)發(fā)生的背景噪聲的機(jī)構(gòu)(噪聲去除功能或噪聲去除裝置)以允許以更高的精度來檢測異常聲音。
異常監(jiān)視系統(tǒng)100包括音頻輸入裝置1、視頻輸入裝置2、通信單元3以及信息處理單元4。異常監(jiān)視系統(tǒng)100經(jīng)由通信單元3連接到監(jiān)控監(jiān)視器裝置50。音頻輸入裝置1獲取攝像現(xiàn)場的音頻,并且將該音頻輸入到信息處理單元4。音頻輸入裝置1例如是諸如麥克風(fēng)等的聲音拾取裝置。視頻輸入裝置2例如是能夠拍攝(攝像)運動圖像的照相機(jī)裝置。視頻輸入裝置2對預(yù)定攝像范圍進(jìn)行攝像,并且生成視頻數(shù)據(jù)。能夠從視頻數(shù)據(jù)獲取攝像范圍的狀況(在本實施例中為交通狀況)。音頻輸入裝置1是與拍攝視頻數(shù)據(jù)的攝像裝置相對應(yīng)的聲音拾取裝置。該聲音拾取裝置不一定必須配設(shè)在攝像裝置內(nèi)部,并且可以配設(shè)在攝像裝置外部。此外,聲音拾取裝置不一定必須是僅拾取在朝向由攝像裝置攝像的攝像范圍的方向上的聲音的裝置。例如,聲音拾取裝置可以是通過使用具有寬方向性的麥克風(fēng)來拾取攝像裝置周圍(包括朝向攝像范圍的方向)的聲音的裝置。所公開的信息還能夠應(yīng)用到這樣的用途:系統(tǒng)從由聲音拾取裝置拾取的聲音中檢測諸如尖叫聲等的異常聲音,并且使攝像裝置指向該異常聲音。
信息處理單元4包括視頻信息處理單元5、音頻信息處理單元6、異常聲音檢測處理單元7、計時器單元8以及事件通知單元9。由視頻信息處理單元5和音頻信息處理單元6實施噪聲去除功能,由此包括在根據(jù)本實施例的異常監(jiān)視系統(tǒng)100中的噪聲去除裝置包括視頻信息處理單元5和音頻信息處理單元6。
視頻信息處理單元5接收視頻輸入裝置2的輸出信號(來自視頻輸入裝置2的輸入視頻圖像)和計時器單元8的輸出信號,對輸入視頻圖像進(jìn)行視頻處理,并且將處理后的信號(視頻圖像)發(fā)送到音頻信息處理單元6。
音頻信息處理單元6接收音頻輸入裝置1的輸出信號(來自音頻輸入裝置1的輸入音頻)和視頻信息處理單元5的輸出信號,并且對輸入音頻實施噪聲去除處理。經(jīng)受噪聲去除的音頻(音頻信息處理單元6的輸出信號)被發(fā)送到異常聲音檢測處理單元7。
異常聲音檢測處理單元7接收音頻信息處理單元6的輸出信號,并且檢測和處理異常聲音。由該處理生成的信號被發(fā)送到事件通知單元9。
計時器單元8確定視頻信息處理單元5檢測視頻圖像的頻率,并且向視頻信息處理單元5通知檢測到的頻率。
事件通知單元9接收異常聲音檢測處理單元7的輸出信號,生成通知事件,并且將該通知事件發(fā)送到通信單元3。通信單元3將從事件通知單元9接收的通知事件發(fā)送到監(jiān)控監(jiān)視器裝置50。
監(jiān)控監(jiān)視器裝置50包括顯示單元、報警發(fā)出單元等。監(jiān)控監(jiān)視器裝置50在從通信單元3接收到通知事件時,通過使用字符和圖像在顯示單元上顯示異常聲音的檢測。此時,監(jiān)控監(jiān)視器裝置50可以發(fā)出警報聲音。<視頻信息處理單元>
視頻信息處理單元5包括視頻輸入單元10和交通狀況檢測單元11。視頻輸入單元10接收從視頻輸入裝置2供給的輸入視頻圖像,并且保持接收到的輸入視頻圖像。交通狀況檢測單元11從視頻輸入單元10接收該輸入視頻圖像,并且從該輸入視頻圖像檢測當(dāng)前交通狀況。更具體地,交通狀況檢測單元11基于從視頻輸入單元10輸入的視頻圖像,檢測在視頻輸入裝置2的視頻圖像中顯示的汽車(車輛)的數(shù)量、各個汽車通過的速度以及每單位時間汽車通過的頻率。然后,交通狀況檢測單元11根據(jù)汽車的數(shù)量、各個汽車通過的速度以及汽車通過的頻率的組合來確定(檢測)交通狀況,并且將該交通狀況輸出到音頻信息處理單元6(更具體地,輸出到下面將描述的學(xué)習(xí)速度確定單元12)。
采用使用模板匹配等的對象檢測方法來從視頻輸入裝置2的視頻圖像中檢測汽車。能夠通過該對象檢測方法來檢測(獲取)視頻圖像中的汽車的數(shù)量。此外,采用使用所謂的通過檢測等的檢測方法作為用于獲取各個汽車通過的速度和汽車通過的頻率的方法。模板匹配和經(jīng)過檢測是已知的技術(shù),因此這里將省略其詳細(xì)描述。
<背景噪聲>
圖2例示了在攝像現(xiàn)場的背景噪聲的音頻波形圖(音頻波形p10)的示例。圖2中的縱軸和橫軸分別表示振幅(其單位為db(分貝))和時間(其單位為小時)。音頻波形p10表示在24小時期間背景噪聲如何改變。在本實施例中,音頻波形p10被分割成7個段p1至p7。段p1表示從0:00至2:30的時間段期間的背景噪聲。段p2表示從2:30至5:30的時間段期間的背景噪聲。段p3表示從5:30至8:30的時間段期間的背景噪聲。段p4表示從8:30至10:30的時間段期間的背景噪聲。段p5表示從10:30至14:30的時間段期間的背景噪聲。段p6表示從14:30至20:30的時間段期間的背景噪聲。段p7表示從20:30至24:00的時間段期間的背景噪聲。
如圖2中所示,攝像現(xiàn)場的背景噪聲由于例如在該現(xiàn)場的交通量的改變,依據(jù)一天的時間段,可能如同在段p4中大幅改變,并且可能如同在段p2中幾乎不改變。換句話說,背景噪聲在攝像現(xiàn)場如何改變依據(jù)一天的時間段而不同。
<交通狀況的檢測>
圖3例示了對車輛頻繁通過的道路進(jìn)行攝像的示例,作為交通狀況檢測的示例。該道路是針對各個方向具有一條車道的道路。視頻圖像q10是從視頻信息處理單元5的視頻輸入單元10輸入到交通狀況檢測單元11的視頻圖像。通過線q5設(shè)置在視頻圖像q10中與道路相交的方向上。然后,交通狀況檢測單元11通過從視頻圖像q10中分別檢測如同截面視頻圖像q2和截面視頻圖像q4的汽車q1和汽車q3,并對其數(shù)量進(jìn)行計數(shù),來檢測汽車的數(shù)量。中心線q6設(shè)置在道路上。汽車q1是從圖3中的左側(cè)向右側(cè)行駛的汽車,而汽車q3是從右側(cè)向左側(cè)行駛的汽車。車行道和人行道由線q7和q8彼此分開。通過線q5是在視頻輸入裝置2的照相機(jī)畫面上的預(yù)設(shè)線。
當(dāng)汽車(即,汽車q1和q3)的截面視頻圖像q2和q4通過通過線q5時,交通狀況檢測單元11測量汽車q1和q3中的各個通過的速度,并且使通過汽車的數(shù)量遞增作為汽車的通過檢測。
圖3例示了表示在某個時間t的交通狀況的視頻圖像q10。在實踐中,視頻圖像q10是運動圖像,并且在視頻圖像q10中行駛的截面視頻圖像q2和q4隨著時間推移而從視頻圖像q10消失,并且在此之后不同的汽車開始出現(xiàn)在(進(jìn)入)視頻圖像q10中。如果在這樣的運動圖像(視頻圖像q10)中,攝像現(xiàn)場保持處于5輛或更多輛汽車以20km/h或更低的通過速度行駛15分鐘或更長時間的狀態(tài),則交通狀況檢測單元11確定交通狀況處于交通堵塞中,并輸出檢測結(jié)果“交通堵塞中”。在本實施例中,即使在僅在一個車道上存在交通堵塞時,交通狀況檢測單元11也確定交通狀況處于交通堵塞中(輸出檢測結(jié)果“交通堵塞中”)。
如果在未歸類為“交通堵塞中”的狀態(tài)下每15分鐘通過的汽車的數(shù)量為125輛或更多,則交通狀況檢測單元11確定該交通狀況是具有高交通量的狀態(tài),并且輸出檢測結(jié)果“高交通量”。在其他情況下,交通狀況檢測單元11確定交通狀況正常,并且輸出檢測結(jié)果“正?!?。由交通狀況檢測單元11輸出的檢測結(jié)果(交通狀況的檢測結(jié)果)被發(fā)送到學(xué)習(xí)速度確定單元12。
學(xué)習(xí)速度確定單元12基于從交通狀況檢測單元11接收的交通狀況的檢測結(jié)果來識別視頻圖像中的汽車的交通狀況的改變,并且確定(設(shè)置)最佳噪聲學(xué)習(xí)速度。在本實施例中,學(xué)習(xí)速度確定單元12將3個速度“高”、“中”和“低”中的一個設(shè)置為最佳噪聲學(xué)習(xí)速度。換句話說,學(xué)習(xí)速度確定單元12基于從交通狀況檢測單元11接收的交通狀況的檢測結(jié)果,選擇(設(shè)置)3個級別的學(xué)習(xí)速度“高”、“中”和“低”中的一個。級別“高”是高速的縮寫,“中”是中速的縮寫,“低”是低速的縮寫。在本實施例中,假設(shè)“中”被設(shè)置為學(xué)習(xí)速度的初始設(shè)置。
如果交通狀況改變,則學(xué)習(xí)速度確定單元12確定周圍噪聲環(huán)境大幅改變,并且將學(xué)習(xí)速度設(shè)置為“高”(將學(xué)習(xí)速度從“中”改變?yōu)椤案摺?。學(xué)習(xí)速度確定單元12以這種方式設(shè)置學(xué)習(xí)速度,以通過提升學(xué)習(xí)速度允許學(xué)習(xí)速度跟隨噪聲環(huán)境的改變。
如果在學(xué)習(xí)速度被設(shè)置為“高”的情況下交通狀況針對預(yù)定時間段沒有改變,則學(xué)習(xí)速度確定單元12確定噪聲環(huán)境的改變消退,并且將學(xué)習(xí)速度降低到“中”(將學(xué)習(xí)速度設(shè)置回初始設(shè)置)以防止過度的噪聲學(xué)習(xí)。
如果在學(xué)習(xí)速度被設(shè)置為“中”的情況下交通狀況針對預(yù)定時間段沒有改變,則學(xué)習(xí)速度確定單元12確定攝像現(xiàn)場處于噪聲環(huán)境幾乎不改變的靜止?fàn)顟B(tài),并且將學(xué)習(xí)速度降低到“低”。學(xué)習(xí)速度確定單元12以這種方式設(shè)置學(xué)習(xí)速度,以盡可能地防止除噪聲以外的音頻被學(xué)習(xí)。
可以配設(shè)噪聲學(xué)習(xí)執(zhí)行/不執(zhí)行確定單元,代替將噪聲學(xué)習(xí)速度設(shè)置為3個級別(高速、中速和低速)中的任一個的學(xué)習(xí)速度確定單元12。噪聲學(xué)習(xí)執(zhí)行/不執(zhí)行確定單元根據(jù)交通狀況的改變僅確定(改變)是否實施噪聲學(xué)習(xí)。
<音頻信息處理單元>
如圖1中所示,音頻信息處理單元6包括學(xué)習(xí)速度確定單元12、音頻輸入單元13、音頻分支單元14、噪聲去除單元15以及噪聲學(xué)習(xí)單元16。
學(xué)習(xí)速度確定單元12基于從交通狀況檢測單元11輸入的交通狀況來確定噪聲學(xué)習(xí)速度。
音頻輸入單元13接收音頻輸入裝置1的輸出信號。換句話說,音頻輸入單元13從音頻輸入裝置1接收音頻數(shù)據(jù)。音頻輸入單元13的輸出信號被發(fā)送到音頻分支單元14。
音頻分支單元14將從音頻輸入單元13輸入的音頻數(shù)據(jù)分割成完全相同的兩個音頻數(shù)據(jù)。在兩個音頻數(shù)據(jù)之間,在增益和特性方面沒有差異,并且也沒有劣化。音頻分支單元14將兩個音頻數(shù)據(jù)中的一個發(fā)送到噪聲學(xué)習(xí)單元16,并且將兩個音頻數(shù)據(jù)中的另一個發(fā)送到噪聲去除單元15。
噪聲去除單元15從音頻分支單元14輸入的音頻數(shù)據(jù)中去除從噪聲學(xué)習(xí)單元16輸入的噪聲分量。更具體地,噪聲去除單元15通過使用從噪聲學(xué)習(xí)單元16接收的頻率分量和減量,對從音頻分支單元14接收的音頻數(shù)據(jù)進(jìn)行噪聲去除處理。在本實施例中,噪聲去除單元15采用頻譜減法方法作為用于噪聲去除的算法。在噪聲去除中采用的頻譜減法方法是已知技術(shù),因此這里將省略其詳細(xì)描述。噪聲去除單元15將經(jīng)受噪聲去除的音頻數(shù)據(jù)發(fā)送到異常聲音檢測處理單元7。
噪聲學(xué)習(xí)單元16通過對音頻實施噪聲學(xué)習(xí)來推導(dǎo)噪聲分量。更具體地,噪聲學(xué)習(xí)單元16根據(jù)從音頻分支單元14接收的音頻數(shù)據(jù)將背景噪聲和持續(xù)發(fā)生的聲音定義為噪聲,學(xué)習(xí)其分量(噪聲分量),并且生成(推導(dǎo))噪聲去除時的頻率分量和減量。噪聲學(xué)習(xí)單元16將噪聲去除時的頻率分量和減量發(fā)送到噪聲去除單元15。
當(dāng)根據(jù)本實施例的噪聲學(xué)習(xí)單元16進(jìn)行噪聲學(xué)習(xí)處理時,首先,噪聲學(xué)習(xí)單元16分析音頻中的頻率分量。噪聲學(xué)習(xí)單元16緩沖從音頻分支單元14輸入的音頻數(shù)據(jù),在按每5秒依次分割音頻數(shù)據(jù)的同時實施離散傅立葉變換,并且計算在該分割的音頻中包含的頻率分量和增益(頻譜)。
接下來,噪聲學(xué)習(xí)單元16學(xué)習(xí)持續(xù)發(fā)生的音頻的頻率分量。噪聲學(xué)習(xí)單元16通過針對計算出的各頻率中的各個設(shè)置自適應(yīng)濾波器,針對它們中的各個依次輸入增益值以逐漸達(dá)到收斂,并且計算持續(xù)發(fā)生的音頻的頻率分量的增益值,從而確定噪聲去除時的頻率分量和減量。
此時,基于從學(xué)習(xí)速度確定單元12供給的表示噪聲學(xué)習(xí)速度的信息(高速、中速或低速),來確定增益值的收斂速度。
為了更詳細(xì)地描述,改變學(xué)習(xí)速度意味著例如改變各個自適應(yīng)濾波器的系數(shù)的值以改變收斂速度。
在本實施例中,針對頻譜中的各個頻率設(shè)置自適應(yīng)濾波器,從而能夠針對各個頻率設(shè)置學(xué)習(xí)速度。
例如,利用設(shè)置為windowsize=256的窗口大小進(jìn)行快速傅立葉變換(fft)處理,引導(dǎo)設(shè)置128個自適應(yīng)濾波器。
例如,如果100赫茲(hz)的聲音被以50db連續(xù)輸入,并且被控制為在10秒內(nèi)收斂到1db,則首先以輸入聲音減小到1/5的方式來設(shè)置自適應(yīng)濾波器的增益,然后逐漸收斂以使輸入聲音在10秒后減小到1/50。在此之后,例如,當(dāng)輸入聲音消失(減小到0db)時,增益從使輸入聲音減小到1/50的增益逐漸收斂到不衰減輸入聲音的增益。
通過使用該自適應(yīng)濾波器的輸出結(jié)果減去對應(yīng)頻率(在本示例中為100hz)的值,從而采用如同本實施例的學(xué)習(xí)型噪聲去除處理,結(jié)果是100hz的聲音逐漸消逝,并且通過從中減去與50db相對應(yīng)的聲音而在10秒后最終變得聽不見。以這種方式,改變收斂速度(適應(yīng)自適應(yīng)濾波器的速度)使速度加速或減慢,直到噪聲被去除并變得聽不見為止。自適應(yīng)濾波器是已知的技術(shù),因此這里將省略其進(jìn)一步的描述。
當(dāng)噪聲去除單元15將經(jīng)受噪聲去除的音頻數(shù)據(jù)發(fā)送到異常聲音檢測處理單元7時,異常聲音檢測處理單元7分析該音頻數(shù)據(jù),并且檢測(確定)在該音頻數(shù)據(jù)中是否存在諸如碰撞聲、玻璃碎裂聲以及爆炸聲等的異常聲音。如果檢測到異常聲音,則異常聲音檢測處理單元7向事件通知單元9通知檢測到異常聲音(確定結(jié)果)(發(fā)出表示檢測到異常聲音的通知)。
圖1中所示的各個功能塊被作為計算機(jī)程序存儲在下面將要描述的存儲單元中(諸如只讀存儲器(rom)104(圖9)),并且由中央處理單元(cpu)102(圖9)執(zhí)行。圖1中所示的功能塊的至少一部分可以由硬件來實現(xiàn)。在圖1中所示的功能塊的一部分由硬件來實現(xiàn)的情況下,這能夠通過例如使用預(yù)定的編譯器從而根據(jù)用于實現(xiàn)各個步驟的程序在現(xiàn)場可編程門陣列(fpga)上自動生成專用電路來實現(xiàn)。作為選擇,可以以這樣的方式來構(gòu)造本實施例:通過以與fpga類似的方式形成門陣列電路,來將圖1中所示的功能塊的一部分實現(xiàn)為硬件。作為選擇,可以以這樣的方式來構(gòu)造本實施例:通過專用集成電路(asic)來實現(xiàn)圖1中所示的功能塊的一部分。
<用于確定噪聲學(xué)習(xí)速度的處理和噪聲去除處理>
接下來,將參照圖4中所示的流程圖來描述由圖1中所示的異常監(jiān)視系統(tǒng)100進(jìn)行的噪聲去除處理的過程。異常監(jiān)視系統(tǒng)100中包括的cpu102執(zhí)行存儲在rom104等中的程序,由此來處理圖4中所示的流程圖。
在本實施例中,基于從視頻輸入裝置2輸入的視頻圖像來確定當(dāng)前交通狀況,并且根據(jù)該確定(即,根據(jù)當(dāng)前交通狀況)針對從音頻輸入裝置1輸入的音頻數(shù)據(jù)改變噪聲學(xué)習(xí)速度(學(xué)習(xí)處理的學(xué)習(xí)速度)。當(dāng)音頻數(shù)據(jù)從音頻輸入裝置1被輸入到音頻信息處理單元6時,開始圖4中所示的流程圖。
當(dāng)異常監(jiān)視系統(tǒng)100啟動時,音頻數(shù)據(jù)從音頻輸入裝置1被輸入到音頻信息處理單元6。然后,在步驟s1中,異常監(jiān)視系統(tǒng)100進(jìn)行初始化處理。更具體地,學(xué)習(xí)速度確定單元12將要從學(xué)習(xí)速度確定單元12輸出的噪聲學(xué)習(xí)速度設(shè)置為“中”作為其初始設(shè)置。
在步驟s2中,視頻輸入單元10保持(存儲)從視頻輸入裝置2輸入的視頻信息(視頻數(shù)據(jù))。
在步驟s3中,交通狀況檢測單元11分析從視頻輸入單元10輸入的視頻信息,并且獲取視頻圖像中的汽車的數(shù)量、各個汽車通過的速度以及汽車通過的頻率,從而檢測交通狀況。
在步驟s4中,學(xué)習(xí)速度確定單元12基于來自交通狀況檢測單元11的檢測結(jié)果(交通狀況)確定交通狀況的改變。
例如,如果存在交通狀況的改變,例如從“正?!钡健敖煌ǘ氯小钡母淖円约皬摹案呓煌俊钡健罢!钡母淖?,則學(xué)習(xí)速度確定單元12確定交通狀況改變(在步驟s4中為“是”),并且處理進(jìn)行到步驟s8。如果學(xué)習(xí)速度確定單元12在步驟s4中確定交通狀況沒有改變(在步驟s4中為“否”),則處理進(jìn)行到步驟s5。
在步驟s5中,學(xué)習(xí)速度確定單元12確定學(xué)習(xí)速度的當(dāng)前設(shè)置是否為“高”。如果學(xué)習(xí)速度的當(dāng)前設(shè)置為“高”(在步驟s5中為“是”),則處理進(jìn)行到步驟s6。如果學(xué)習(xí)速度的當(dāng)前設(shè)置是除此以外的設(shè)置(在步驟s5中為“否”),則處理進(jìn)行到步驟s7。
在步驟s6中,學(xué)習(xí)速度確定單元12確定在異常監(jiān)視系統(tǒng)100保持處于以設(shè)置為“高”的學(xué)習(xí)速度實施背景噪聲的學(xué)習(xí)的狀態(tài)的情況下是否經(jīng)過了預(yù)定時間段。如果經(jīng)過了預(yù)定時間段(在步驟s6中為“是”),則處理進(jìn)行到步驟s9。如果尚未經(jīng)過預(yù)定時間段(在步驟s6中為“否”),則處理進(jìn)行到步驟s8。在處理從步驟s6進(jìn)行到步驟s9的情況下(在步驟s6中為“是”),在本實施例中,如果上述的交通狀況針對預(yù)定時間段沒有改變,則將上述學(xué)習(xí)速度從“高”降低到“中”。
在步驟s7中,學(xué)習(xí)速度確定單元12確定攝像現(xiàn)場是否保持處于交通狀況針對預(yù)定時間段沒有改變的狀態(tài)。如果攝像現(xiàn)場保持處于交通狀況針對預(yù)定時間段沒有改變的狀態(tài)(在步驟s7中為“是”),則處理進(jìn)行到步驟s10。如果攝像現(xiàn)場不保持處于交通狀況針對預(yù)定時間段沒有改變的狀態(tài)(在步驟s7中為“否”),則處理進(jìn)行到步驟s9。在處理從步驟s7進(jìn)行到步驟s10的情況下(在步驟s7中為“是”),在本實施例中,如果上述的交通狀況針對預(yù)定時間段沒有改變,則將上述學(xué)習(xí)速度從“中”降低到“低”。如果交通狀況針對預(yù)定時間段沒有改變,則學(xué)習(xí)速度的這種改變可以說是減慢當(dāng)前學(xué)習(xí)速度的改變。
在步驟s8中,學(xué)習(xí)速度確定單元12將噪聲學(xué)習(xí)速度設(shè)置為“高”(將噪聲學(xué)習(xí)速度從“中”改變?yōu)椤案摺?。換句話說,在本實施例中,如果交通狀況改變,則提升學(xué)習(xí)速度。
在步驟s9中,學(xué)習(xí)速度確定單元12將噪聲學(xué)習(xí)速度設(shè)置為“中”。
在步驟s10中,學(xué)習(xí)速度確定單元12將噪聲學(xué)習(xí)速度設(shè)置為“低”。在步驟s8、s9或s10之后,處理進(jìn)行到步驟s11。
在步驟s11中,計時器單元8設(shè)置交通狀況檢測單元11下一次檢測交通狀況的定時(即,超時時段)。超時時段例如是100毫秒。
在步驟s12中,音頻分支單元14將從音頻輸入單元13輸入的音頻數(shù)據(jù)分割成完全相同的兩個音頻數(shù)據(jù)。這兩個音頻數(shù)據(jù)是在增益和特性方面沒有差異并且沒有劣化的音頻數(shù)據(jù)。然后,音頻分支單元14將音頻數(shù)據(jù)中的一個發(fā)送到噪聲學(xué)習(xí)單元16,并且將音頻數(shù)據(jù)中的另一個發(fā)送到噪聲去除單元15。
在步驟s13中,噪聲學(xué)習(xí)單元16對從音頻分支單元14輸入的音頻數(shù)據(jù)進(jìn)行噪聲學(xué)習(xí)處理。通過噪聲學(xué)習(xí)處理,噪聲學(xué)習(xí)單元16確定(獲取)噪聲的頻率分量和減量。
在步驟s14中,噪聲去除單元15基于從噪聲學(xué)習(xí)單元16輸入的噪聲的頻率分量和減量,對從音頻分支單元14輸入的音頻數(shù)據(jù)進(jìn)行噪聲去除處理。然后,噪聲去除單元15將噪聲去除后的音頻數(shù)據(jù)(從中去除了噪聲分量之后的音頻數(shù)據(jù))發(fā)送到異常聲音檢測處理單元7。
在步驟s15中,異常聲音檢測處理單元7確定(檢測)在從噪聲去除單元15輸入的音頻數(shù)據(jù)(從中去除了噪聲分量之后的音頻數(shù)據(jù))中是否包含異常聲音數(shù)據(jù)。如果異常聲音檢測處理單元7在該音頻數(shù)據(jù)中檢測到異常聲音,則異常聲音檢測處理單元7向事件通知單元9通知檢測到異常聲音。事件通知單元9經(jīng)由通信單元3向監(jiān)控監(jiān)視器裝置50發(fā)出(發(fā)送)表示異常聲音的檢測的通知(異常聲音的發(fā)生)。換句話說,如果確定在從中去除了噪聲分量之后的音頻數(shù)據(jù)中包含異常聲音,則事件通知單元9將該確定結(jié)果發(fā)送到作為監(jiān)視裝置的監(jiān)控監(jiān)視器裝置50。
在步驟s16中,異常監(jiān)視系統(tǒng)100確定音頻是否被輸入到音頻輸入單元13。如果音頻被輸入(在步驟s16中為“是”),則處理進(jìn)行到步驟s11。如果音頻沒有被輸入(在步驟s16中為“否”),則處理進(jìn)行到步驟s17。
在步驟s17中,異常監(jiān)視系統(tǒng)100確定未例示的異常監(jiān)視系統(tǒng)on/off開關(guān)是否被操作為斷開。如果該開關(guān)被操作為斷開(在步驟s17中為“是”),則停止從音頻輸入裝置1到音頻輸入單元13的音頻的輸入,并且結(jié)束圖4中所示的流程圖。如果開關(guān)沒有被操作為斷開(在步驟s17中為“否”),則處理進(jìn)行到步驟s18。
在步驟s18中,異常監(jiān)視系統(tǒng)100確定計時器單元8是否表示超時(是否經(jīng)過了超時時段)。如果計時器單元8表示超時(在步驟s18中為“是”),則處理進(jìn)行到步驟s2。如果計時器單元8沒有表示超時(在步驟s18中為“否”),則處理進(jìn)行到步驟s16。
通過該處理,異常監(jiān)視系統(tǒng)100中包括的噪聲去除裝置能夠根據(jù)從視頻數(shù)據(jù)獲取的交通狀況(關(guān)于攝像現(xiàn)場車擁堵的狀況),實施背景噪聲的最佳學(xué)習(xí)(學(xué)習(xí)處理)。特別地,在本實施例中,如果交通狀況改變,則噪聲去除裝置將整個噪聲學(xué)習(xí)(學(xué)習(xí)處理)的學(xué)習(xí)速度從“中”改變?yōu)椤案摺薄H绻煌顩r改變,則噪聲去除裝置提升學(xué)習(xí)速度,從而允許學(xué)習(xí)速度跟隨噪聲環(huán)境的改變。因此,根據(jù)本實施例的噪聲去除裝置,能夠以提高的精度實施噪聲去除,允許正確地檢測異常聲音。此外,包括這種噪聲去除裝置的異常監(jiān)視系統(tǒng)100能夠正確地監(jiān)視異常。
根據(jù)本實施例的異常監(jiān)視系統(tǒng)100還能夠用于以下用途。
例如,監(jiān)視室外交通中的異常聲音的異常監(jiān)視系統(tǒng)可以從照相機(jī)(攝像裝置)的視頻圖像確定當(dāng)前天氣狀況,并且根據(jù)天氣狀況的改變來改變噪聲學(xué)習(xí)速度和/或確定(改變)是否實施噪聲學(xué)習(xí)(噪聲學(xué)習(xí)的執(zhí)行或省略)。換句話說,例如當(dāng)學(xué)習(xí)速度改變時使用的攝像范圍中的狀況可以是從照相機(jī)的視頻數(shù)據(jù)獲取的天氣狀況(諸如關(guān)于風(fēng)、溫度、云量、水分、壓力等的大氣的狀態(tài))。
作為選擇,監(jiān)視商店中的異常聲音的異常監(jiān)視系統(tǒng)可以確定從視頻數(shù)據(jù)獲取的、關(guān)于商店擁擠著人的程度的狀況,并且根據(jù)關(guān)于商店擁擠著人的程度的狀況的改變來改變噪聲學(xué)習(xí)速度和/或確定是否實施噪聲學(xué)習(xí)。換句話說,例如當(dāng)學(xué)習(xí)速度改變時使用的攝像范圍中的狀況可以是從照相機(jī)的視頻數(shù)據(jù)獲取的、關(guān)于商店包含人的程度或度的狀況。
在本實施例中,假設(shè)異常監(jiān)視系統(tǒng)100包括音頻輸入裝置1、視頻輸入裝置2和監(jiān)控監(jiān)視器裝置50,但是可以以這樣的方式來構(gòu)造:音頻輸入裝置1、視頻輸入裝置2和監(jiān)控監(jiān)視器裝置50不包括在異常監(jiān)視系統(tǒng)100的部件中。
此外,在上述實施例中,學(xué)習(xí)速度被設(shè)置為“中”作為步驟s1中的初始設(shè)置,但是學(xué)習(xí)速度可以被設(shè)置為除“中”以外的速度作為初始設(shè)置。
在第一實施例中,如果交通狀況改變,則整個噪聲學(xué)習(xí)(學(xué)習(xí)處理)的學(xué)習(xí)速度從“中”改變?yōu)椤案摺薄嵤├幌抻谶@樣的實施例。例如,可以根據(jù)背景噪聲中包含的頻率分量來改變?nèi)绾胃淖儗W(xué)習(xí)速度。將描述這種實施例,作為第二實施例。
將參照圖5至圖7描述根據(jù)第二實施例的異常監(jiān)視系統(tǒng)。根據(jù)第二實施例的異常監(jiān)視系統(tǒng)100b是通過關(guān)注如下事實而構(gòu)造的實施例:在交通現(xiàn)場的背景噪聲中包含的頻率分量依據(jù)交通狀況而不同。在第二實施例中,基于噪聲中包含的頻率分量來實施根據(jù)交通狀況的最佳噪聲學(xué)習(xí)(學(xué)習(xí)處理)。
圖5例示了異常監(jiān)視系統(tǒng)100b的功能塊的構(gòu)造圖。
類似于根據(jù)第一實施例的異常監(jiān)視系統(tǒng)100,根據(jù)第二實施例的異常監(jiān)視系統(tǒng)100b是監(jiān)視攝像現(xiàn)場的交通狀況的異常的系統(tǒng)。如果在攝像現(xiàn)場發(fā)生了碰撞聲等,則異常監(jiān)視系統(tǒng)100b將該聲音檢測為異常聲音,并且向監(jiān)控監(jiān)視器裝置50發(fā)出事件通知。如圖5中所示,異常監(jiān)視系統(tǒng)100b包括噪聲學(xué)習(xí)單元16b,代替根據(jù)第一實施例的噪聲學(xué)習(xí)單元16。噪聲學(xué)習(xí)單元16b的功能與噪聲學(xué)習(xí)單元16的功能不同。此外,異常監(jiān)視系統(tǒng)100b包括學(xué)習(xí)模式確定單元12b,代替根據(jù)第一實施例的學(xué)習(xí)速度確定單元12。第二實施例在其他功能構(gòu)造方面類似于第一實施例。在以下描述中,將集中在與第一實施例的不同之處來描述第二實施例。
圖6例示了各個類型的背景噪聲的頻譜。圖6中所示的曲線圖中的縱軸和橫軸分別代表增益(頻譜)(其單位為db)和頻率(其單位為hz)。如頻譜圖r10中所表示的,交通現(xiàn)場的背景噪聲包含依據(jù)其交通狀況而不同的頻率分量。換句話說,背景噪聲的波形依據(jù)交通狀況而不同。因此,應(yīng)當(dāng)根據(jù)交通狀況以最佳方式進(jìn)行噪聲學(xué)習(xí)。在本實施例中,假設(shè)背景噪聲是發(fā)動機(jī)聲r1、通過聲r2和環(huán)境聲r3中的任一者。換句話說,假設(shè)背景噪聲的波形是3種類型的波形(r1、r2和r3)中的任一種。發(fā)動機(jī)聲r1是在交通堵塞期間大量發(fā)生的背景噪聲。通過聲r2是當(dāng)交通量高時發(fā)生的背景噪聲。環(huán)境聲r3是正常時間的背景噪聲。
與環(huán)境聲r3相比,發(fā)動機(jī)聲r1包含大量的約50至75hz的低頻(由圖6中的r4表示),并且通過聲r2包含大量的約150至175hz的頻率(由圖6中的r5表示)。
異常監(jiān)視系統(tǒng)100b的學(xué)習(xí)模式確定單元12b基于從交通狀況檢測單元11接收的視頻圖像中的汽車的交通狀況(道路的擁堵狀況),來設(shè)置(選擇)最佳的噪聲學(xué)習(xí)模式。在本實施例中,學(xué)習(xí)模式確定單元12b在交通狀況為“正?!钡那闆r下,將學(xué)習(xí)模式設(shè)置為“正常學(xué)習(xí)”,在交通狀況為“交通堵塞中”的情況下,將學(xué)習(xí)模式設(shè)置為“交通堵塞聲學(xué)習(xí)”。此外,如果交通狀況是“高交通量”,則學(xué)習(xí)模式確定單元12b將學(xué)習(xí)模式設(shè)置為“通過聲學(xué)習(xí)”。學(xué)習(xí)模式確定單元12b將所設(shè)置的噪聲學(xué)習(xí)模式發(fā)送到噪聲學(xué)習(xí)單元16b。
噪聲學(xué)習(xí)單元16b根據(jù)從音頻分支單元14接收的音頻數(shù)據(jù)將背景噪聲和持續(xù)發(fā)生的聲音定義為噪聲,學(xué)習(xí)其分量,并且生成噪聲去除時的頻率分量和減量。噪聲學(xué)習(xí)單元16b將噪聲去除時的頻率分量和減量發(fā)送到噪聲去除單元15。
由噪聲學(xué)習(xí)單元16b采用的噪聲學(xué)習(xí)方法類似于根據(jù)第一實施例的噪聲學(xué)習(xí)單元16的噪聲學(xué)習(xí)方法。此外,根據(jù)第二實施例的用于學(xué)習(xí)持續(xù)發(fā)生的音頻的頻率分量的方法也類似于第一實施例的方法。與第一實施例的不同之處在于:根據(jù)第二實施例的噪聲學(xué)習(xí)單元16b基于從學(xué)習(xí)模式確定單元12b給出的學(xué)習(xí)模式來確定針對各個頻率的增益值的收斂速度。
如果學(xué)習(xí)模式是“正常學(xué)習(xí)”,則學(xué)習(xí)模式確定單元12b針對所有頻率設(shè)置收斂速度,以便以正常速度收斂。此外,如果學(xué)習(xí)模式是“正常學(xué)習(xí)”,則學(xué)習(xí)模式確定單元12b設(shè)置相同的收斂速度作為針對各個頻率的收斂速度。如果學(xué)習(xí)模式是“交通堵塞聲學(xué)習(xí)”,則由于如由圖6中的r4所表示的,背景噪聲包含大量的約50至約75hz的頻率,所以學(xué)習(xí)模式確定單元12b將針對該頻帶的自適應(yīng)濾波器的增益的收斂速度設(shè)置為比正常速度高的速度。換句話說,在本實施例中,噪聲去除裝置不改變整個噪聲學(xué)習(xí)的學(xué)習(xí)速度,而是僅改變噪聲學(xué)習(xí)的一部分的學(xué)習(xí)速度。更具體地,噪聲去除裝置基于噪聲分量的頻率來改變學(xué)習(xí)處理的學(xué)習(xí)速度。
另一方面,如果學(xué)習(xí)模式是“通過聲學(xué)習(xí)”,則由于如由圖6中的r5所表示的,背景噪聲包含大量的約150至約175hz的頻率,所以學(xué)習(xí)模式確定單元12b將針對該頻帶的自適應(yīng)濾波器的增益的收斂速度設(shè)置為高速。
以這種方式,在第二實施例中,針對特定頻帶的自適應(yīng)濾波器的收斂速度根據(jù)學(xué)習(xí)模式而改變。
第二實施例不僅可以包括改變針對特定頻帶的自適應(yīng)濾波器的收斂速度,還可以包括使針對不包含大噪聲或通過聲的噪聲分量的頻帶的收斂無效。
接下來,將參照圖7中所示的流程圖來描述由圖5中所示的異常監(jiān)視系統(tǒng)100b進(jìn)行的噪聲去除處理。在本實施例中,基于從視頻輸入裝置2輸入的視頻圖像來確定當(dāng)前交通狀況,并且根據(jù)該確定來針對各個頻率改變噪聲學(xué)習(xí)速度。當(dāng)音頻數(shù)據(jù)從音頻輸入裝置1被輸入到音頻信息處理單元6時,開始圖7中所示的流程圖。
當(dāng)異常監(jiān)視系統(tǒng)100b啟動時,音頻數(shù)據(jù)從音頻輸入裝置1輸入到音頻信息處理單元6。然后,在步驟s21中,異常監(jiān)視系統(tǒng)100b進(jìn)行初始化處理。更具體地,學(xué)習(xí)模式確定單元12b將要從學(xué)習(xí)模式確定單元12b輸出的學(xué)習(xí)模式設(shè)置為“正常學(xué)習(xí)”作為其初始設(shè)置。
步驟s22類似于根據(jù)第一實施例的步驟s2。此外,步驟s23也類似于根據(jù)第一實施例的步驟s3。
在步驟s24中,學(xué)習(xí)模式確定單元12b基于來自交通狀況檢測單元11的檢測結(jié)果(交通狀況),確定交通狀況是否是“交通堵塞中”。如果學(xué)習(xí)模式確定單元12b確定交通狀況是“交通堵塞中”(在步驟s24中為“是”),則處理進(jìn)行到步驟s26。如果不是(在步驟s24中為“否”),則處理進(jìn)行到步驟s25。
在步驟s25中,學(xué)習(xí)模式確定單元12b確定由交通狀況檢測單元11檢測到的交通狀況是否是“高交通量”。如果檢測到的交通狀況是“高交通量”(在步驟s25中為“是”),則處理進(jìn)行到步驟s27。如果不是(在步驟s25中為“否”),則處理進(jìn)行到步驟s28。
在步驟s26中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“交通堵塞聲學(xué)習(xí)”。換句話說,在本實施例中,如果交通狀況是“交通堵塞中”(在步驟s24中為“是”),則將學(xué)習(xí)模式從作為初始設(shè)置的“正常學(xué)習(xí)”改變?yōu)椤敖煌ǘ氯晫W(xué)習(xí)”。
在步驟s27中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“通過聲學(xué)習(xí)”。換句話說,在本實施例中,如果交通狀況是“高交通量”(在步驟s25中為“是”),則將學(xué)習(xí)模式從作為初始設(shè)置的“正常學(xué)習(xí)”改變?yōu)椤巴ㄟ^聲學(xué)習(xí)”。
在步驟s28中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“正常學(xué)習(xí)”。在步驟s26、s27或s28之后,處理進(jìn)行到步驟s29。
步驟s29至s36分別類似于根據(jù)第一實施例的步驟s11至s18(圖4)。
通過該處理,根據(jù)第二實施例的異常監(jiān)視系統(tǒng)100b能夠根據(jù)交通狀況來實施背景噪聲的最佳學(xué)習(xí),從而提高噪聲去除的精度,允許正確地檢測異常聲音。特別地,在第二實施例中,基于噪聲分量的頻率來改變學(xué)習(xí)速度,由此能夠精巧地實施噪聲去除。
此外,根據(jù)本實施例的異常監(jiān)視系統(tǒng)100b能夠用于以下用途。
例如,監(jiān)視室外交通中的異常聲音的異常監(jiān)視系統(tǒng)可以從照相機(jī)的視頻圖像確定當(dāng)前天氣狀況,并且根據(jù)天氣狀況來針對各個頻率改變噪聲學(xué)習(xí)速度和/或確定(改變)是否實施學(xué)習(xí)。
作為選擇,監(jiān)視商店中的異常聲音的異常監(jiān)視系統(tǒng)可以確定從視頻數(shù)據(jù)獲取的、關(guān)于商店擁擠著人的程度的狀況,并且根據(jù)關(guān)于商店擁擠著人的程度的狀況(其中的改變)來針對各個頻率改變噪聲學(xué)習(xí)速度和/或確定是否實施學(xué)習(xí)。
在第二實施例中,關(guān)注背景噪聲中包含的頻率分量,根據(jù)交通狀況來選擇(改變)噪聲學(xué)習(xí)模式。本實施例不限于這樣的實施例。例如,可以選擇(改變)學(xué)習(xí)模式,以便在周圍噪聲環(huán)境大幅改變的情況下,允許學(xué)習(xí)速度跟隨噪聲環(huán)境的改變。將描述這種實施例,作為第三實施例。
將參照圖5、圖6和圖8來描述根據(jù)第三實施例的異常監(jiān)視系統(tǒng)。根據(jù)第三實施例的異常監(jiān)視系統(tǒng)的功能構(gòu)造圖類似于第二實施例(圖5)的功能構(gòu)造圖。然而,根據(jù)第三實施例的噪聲學(xué)習(xí)單元16b和學(xué)習(xí)模式確定單元12b的各功能與第二實施例的不同。此外,假設(shè)準(zhǔn)備5個模式作為可選擇(可設(shè)置)的學(xué)習(xí)模式。更具體地,在第三實施例中可設(shè)置的學(xué)習(xí)模式是“交通堵塞聲學(xué)習(xí)”、“通過聲學(xué)習(xí)”、“正常學(xué)習(xí)”、“高”以及“不學(xué)習(xí)”。
如果學(xué)習(xí)模式是“高”,則學(xué)習(xí)模式確定單元12b將所有頻率的收斂速度設(shè)置為高速。如果學(xué)習(xí)模式是“不學(xué)習(xí)”,則學(xué)習(xí)模式確定單元12b設(shè)置學(xué)習(xí)模式以避免實施噪聲學(xué)習(xí)。如果學(xué)習(xí)模式是“交通堵塞聲學(xué)習(xí)”、“通過聲學(xué)習(xí)”或“正常學(xué)習(xí)”,則噪聲學(xué)習(xí)單元16b實施具有與在第二實施例的描述中描述的“交通堵塞聲學(xué)習(xí)”、“通過聲學(xué)習(xí)”和“正常學(xué)習(xí)”相同的內(nèi)容的學(xué)習(xí)。在以下描述中,將集中在與第二實施例的不同之處來描述第三實施例。
根據(jù)第三實施例的學(xué)習(xí)模式確定單元12b基于從交通狀況檢測單元11接收的視頻圖像中的汽車的交通狀況的改變,來設(shè)置(選擇)最佳噪聲學(xué)習(xí)模式。更具體地,學(xué)習(xí)模式確定單元12b在交通狀況改變?yōu)椤罢!钡那闆r下,將學(xué)習(xí)模式設(shè)置為“高”,并且在交通狀況改變?yōu)椤敖煌ǘ氯小钡那闆r下,將學(xué)習(xí)模式設(shè)置為“交通堵塞聲學(xué)習(xí)”。另一方面,如果交通狀況改變?yōu)椤案呓煌俊?,則學(xué)習(xí)模式確定單元12b將學(xué)習(xí)模式設(shè)置為“通過聲學(xué)習(xí)”。由于以下原因,以這種方式來改變設(shè)置。如果在設(shè)置了學(xué)習(xí)模式之后交通狀況改變,則本實施例被構(gòu)造為確定(假設(shè))周圍噪聲環(huán)境大幅改變,并且設(shè)置學(xué)習(xí)模式以便允許學(xué)習(xí)速度跟隨噪聲環(huán)境的改變。交通狀況的改變例如是從“高交通量”到“正?!钡母淖?,或從“正?!钡健敖煌ǘ氯小钡母淖?。
在本實施例中,如果在學(xué)習(xí)模式設(shè)置為“高”、“交通堵塞聲學(xué)習(xí)”或“通過聲學(xué)習(xí)”的情況下交通狀況針對預(yù)定時間段沒有改變,則確定噪聲環(huán)境的改變消退,并且學(xué)習(xí)模式確定單元12b將學(xué)習(xí)模式設(shè)置回“正常學(xué)習(xí)”以防止過度的噪聲學(xué)習(xí)。
此外,如果在學(xué)習(xí)模式設(shè)置為“正常學(xué)習(xí)”的情況下交通狀況針對預(yù)定時間段沒有改變,則確定攝像現(xiàn)場處于噪聲環(huán)境幾乎不改變的靜止?fàn)顟B(tài),并且學(xué)習(xí)模式確定單元12b將學(xué)習(xí)模式設(shè)置為“不學(xué)習(xí)”,以便防止除噪聲以外的音頻被無意地學(xué)習(xí)。
噪聲學(xué)習(xí)單元16b根據(jù)音頻分支單元14接收的音頻數(shù)據(jù)將背景噪聲和持續(xù)發(fā)生的聲音定義為噪聲,學(xué)習(xí)其分量,并且生成噪聲去除時的頻率分量和減量。噪聲學(xué)習(xí)單元16將噪聲去除時的頻率分量和減量發(fā)送到噪聲去除單元15。
噪聲學(xué)習(xí)方法類似于第二實施例的噪聲學(xué)習(xí)方法。用于學(xué)習(xí)持續(xù)發(fā)生的音頻的頻率分量的方法也類似于第二實施例的方法。然后,類似于第二實施例,基于從學(xué)習(xí)模式確定單元12b給出的學(xué)習(xí)模式,針對各個頻率確定增益值的收斂速度。
接下來,將參照圖8(由圖8a和圖8b組成)中所示的流程圖來描述由根據(jù)本實施例的異常監(jiān)視系統(tǒng)進(jìn)行的噪聲去除過程。在本實施例中,基于從視頻輸入裝置2輸入的視頻圖像來確定當(dāng)前交通狀況,并且根據(jù)該確定來實施最佳噪聲學(xué)習(xí)。當(dāng)音頻數(shù)據(jù)從音頻輸入裝置1被輸入到音頻信息處理單元6時,開始圖8中所示的流程圖。
步驟s41至s43分別類似于根據(jù)第二實施例的步驟s21至s23。
在步驟s44中,學(xué)習(xí)模式確定單元12b基于來自交通狀況檢測單元11的檢測結(jié)果(交通狀況)來確定交通狀況是否改變。例如,如果交通狀況從“正?!备淖?yōu)椤敖煌ǘ氯小保蛘邚摹案呓煌俊备淖優(yōu)椤罢!?,則學(xué)習(xí)模式確定單元12b確定交通狀況改變(在步驟s44中為“是”),然后處理進(jìn)行到步驟s47。如果學(xué)習(xí)模式確定單元12b確定交通狀況沒有改變(在步驟s44中為“否”),則處理進(jìn)行到步驟s45。
在步驟s45中,學(xué)習(xí)模式確定單元12b確定學(xué)習(xí)模式的當(dāng)前設(shè)置是否是“正常學(xué)習(xí)”或“不學(xué)習(xí)”。如果學(xué)習(xí)模式確定單元12b確定學(xué)習(xí)模式的當(dāng)前設(shè)置是“正常學(xué)習(xí)”或“不學(xué)習(xí)”(在步驟s45中為“是”),則處理進(jìn)行到步驟s49。如果學(xué)習(xí)模式確定單元12b確定學(xué)習(xí)模式的當(dāng)前設(shè)置是除此以外的設(shè)置(在步驟s45中為“否”),則處理進(jìn)行到步驟s46。
在步驟s46中,學(xué)習(xí)模式確定單元12b確定異常監(jiān)視系統(tǒng)是否保持處于針對預(yù)定時間段實施背景噪聲的學(xué)習(xí)的狀態(tài)(在維持該狀態(tài)的情況下是否經(jīng)過了預(yù)定時間段)。如果學(xué)習(xí)模式確定單元12b確定經(jīng)過了預(yù)定時間段(在步驟s46中為“是”),則處理進(jìn)行到步驟s53。如果尚未經(jīng)過預(yù)定時間段(在步驟s46中為“否”),則處理進(jìn)行到步驟s47。
在步驟s47中,學(xué)習(xí)模式確定單元12b基于來自交通狀況檢測單元11的檢測結(jié)果(交通狀況),確定交通狀況是否是“交通堵塞中”。如果學(xué)習(xí)模式確定單元12b確定交通狀況是“交通堵塞中”(在步驟s47中為“是”),則處理進(jìn)行到步驟s50。如果不是(在步驟s47中為“否”),則處理進(jìn)行到步驟s48。
在步驟s48中,學(xué)習(xí)模式確定單元12b基于來自交通狀況檢測單元11的檢測結(jié)果(交通狀況),確定交通狀況是否是“高交通量”。如果學(xué)習(xí)模式確定單元12b確定交通狀況是“高交通量”(在步驟s48中為“是”),則處理進(jìn)行到步驟s51。如果不是(在步驟s48中為“否”),則處理進(jìn)行到步驟s52。
在步驟s49中,學(xué)習(xí)模式確定單元12b確定攝像現(xiàn)場是否保持處于交通狀況針對預(yù)定時間段沒有改變的狀態(tài)。換句話說,學(xué)習(xí)模式確定單元12b確定道路狀況是否針對預(yù)定時間段沒有改變。如果攝像現(xiàn)場保持處于道路狀況針對預(yù)定時間段沒有改變的狀態(tài)(在步驟s49中為“是”),則處理進(jìn)行到步驟s54。如果不是(在步驟s49中為“否”),則處理進(jìn)行到步驟s53。
在步驟s50中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“交通堵塞聲學(xué)習(xí)”。換句話說,在本實施例中,如果交通狀況改變?yōu)椤敖煌ǘ氯小?在步驟s47中為“是”),則將學(xué)習(xí)模式從作為初始設(shè)置的“正常學(xué)習(xí)”改變?yōu)椤敖煌ǘ氯晫W(xué)習(xí)”。
在步驟s51中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“通過聲學(xué)習(xí)”。換句話說,在本實施例中,如果交通狀況改變?yōu)椤案呓煌俊?在步驟s48中為“是”),則將學(xué)習(xí)模式從作為初始設(shè)置的“正常學(xué)習(xí)”改變?yōu)椤巴ㄟ^聲學(xué)習(xí)”。
在步驟s52中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“高”。換句話說,在本實施例中,如果交通狀況改變?yōu)槌敖煌ǘ氯小焙汀案呓煌俊币酝獾臓顩r(在步驟s47中為“否”以及在步驟s48中為“否”),則將學(xué)習(xí)模式從作為初始設(shè)置的“正常學(xué)習(xí)”改變?yōu)椤案摺薄?/p>
在步驟s53中,學(xué)習(xí)模式確定單元12b將噪聲學(xué)習(xí)模式設(shè)置為“正常學(xué)習(xí)”。
在步驟s54中,學(xué)習(xí)模式確定單元12b將要從學(xué)習(xí)模式確定單元12b輸出的噪聲學(xué)習(xí)模式設(shè)置為“不學(xué)習(xí)”。在步驟s50、s51、s52、s53或s54之后,處理進(jìn)行到步驟s55。
步驟s55至s62分別類似于根據(jù)第二實施例的步驟s29至s36(圖7)。
通過該處理,異常監(jiān)視系統(tǒng)能夠根據(jù)交通狀況(道路的擁堵狀況)來實施背景噪聲的最佳學(xué)習(xí),從而提高噪聲去除的精度,并且允許正確地檢測異常噪聲。
此外,根據(jù)本實施例的異常監(jiān)視系統(tǒng)也能夠用于以下用途。
例如,監(jiān)視室外交通中的異常聲音的異常監(jiān)視系統(tǒng)可以從照相機(jī)的視頻圖像確定當(dāng)前天氣狀況,并且根據(jù)天氣狀況的改變來針對整個噪聲學(xué)習(xí)或針對各個頻率改變學(xué)習(xí)速度和/或確定(改變)是否實施噪聲學(xué)習(xí)。
作為選擇,監(jiān)視商店中的異常聲音的異常監(jiān)視系統(tǒng)可以確定從視頻數(shù)據(jù)獲取的、關(guān)于商店擁擠著人的程度,并且根據(jù)關(guān)于商店擁擠著人的程度的狀況的改變來針對整個噪聲學(xué)習(xí)或針對各個頻率改變學(xué)習(xí)速度和/或確定(改變)是否實施噪聲學(xué)習(xí)。
<異常監(jiān)視系統(tǒng)的硬件構(gòu)造>
圖9例示異常監(jiān)視系統(tǒng)100的硬件構(gòu)造的示例。如圖9中所示,異常監(jiān)視系統(tǒng)100包括攝像裝置101、cpu102、隨機(jī)存取存儲器(ram)103、rom104、存儲介質(zhì)105、顯示單元106、操作單元107、通信單元108、聲音拾取裝置109以及天線108a。
攝像裝置101包括光學(xué)系統(tǒng)(透鏡、快門和光圈)和圖像傳感器。光學(xué)系統(tǒng)在適當(dāng)?shù)亩〞r以適當(dāng)?shù)墓饬吭趫D像傳感器上形成被攝體的光圖像。圖像傳感器將經(jīng)由光學(xué)系統(tǒng)接收的光圖像轉(zhuǎn)換成圖像(視頻圖像)。攝像裝置101例如是安裝在道路一側(cè)的照相機(jī),并且對道路上的預(yù)定攝像范圍進(jìn)行攝像,以生成在該預(yù)定攝像范圍內(nèi)行駛的車輛的視頻數(shù)據(jù)。攝像裝置101對應(yīng)于圖1中所示的視頻輸入裝置2。
cpu102根據(jù)輸入信號和程序,實施各種計算并且控制異常監(jiān)視系統(tǒng)100中包括的各個單元。更具體地,cpu102負(fù)責(zé)攝像控制、學(xué)習(xí)控制、顯示控制、存儲控制、通信控制等。圖1中所示的功能塊是由cpu102實現(xiàn)的功能的圖示。
ram103存儲臨時數(shù)據(jù),并且用于cpu102的工作。rom104存儲用于執(zhí)行圖1中所示的各個功能單元的程序,以及各種設(shè)置信息。
存儲介質(zhì)105存儲視頻數(shù)據(jù)等。存儲介質(zhì)105例如是可附裝/可拆卸的存儲卡,并且允許在被附裝到個人計算機(jī)(pc)等的同時從中讀出數(shù)據(jù)。異常監(jiān)視系統(tǒng)100包括用于訪問存儲介質(zhì)105的單元,并且能夠從存儲介質(zhì)105讀取數(shù)據(jù)以及將數(shù)據(jù)寫入存儲介質(zhì)105。
顯示單元106例如顯示用于交互操作的視頻圖像和字符。然而,異常監(jiān)視系統(tǒng)100不一定必須包括顯示單元106。
操作單元107被用來接收用戶的操作。操作單元107包括例如按鈕、桿和觸摸面板。操作單元107包括異常監(jiān)視系統(tǒng)on/off開關(guān)。
通信單元108經(jīng)由無線局域網(wǎng)(lan)與監(jiān)控監(jiān)視器裝置50通信(實施無線通信或有線通信)。在通信是無線通信的情況下,通信單元108使用天線108a。
聲音拾取裝置109是拾取外部聲音的單元(例如,麥克風(fēng))。更具體地,聲音拾取裝置109拾取伴隨由攝像裝置101進(jìn)行的攝像的音頻。聲音拾取裝置109拾取在預(yù)定攝像范圍中和預(yù)定攝像范圍周圍的聲音,并且生成音頻數(shù)據(jù)。所生成的音頻數(shù)據(jù)被存儲在存儲介質(zhì)105中。聲音拾取裝置109對應(yīng)于圖1中所示的音頻輸入裝置1。
關(guān)于由異常監(jiān)視系統(tǒng)100進(jìn)行的控制,單個硬件設(shè)備可以進(jìn)行它,或者在多個硬件設(shè)備之間對處理進(jìn)行分割時,多個硬件設(shè)備可以用作進(jìn)行異常監(jiān)視系統(tǒng)100中的處理的單元。
異常監(jiān)視系統(tǒng)100可以不配備有攝像裝置101。在這種情況下,異常監(jiān)視系統(tǒng)100(更具體地,視頻輸入單元10)從外部攝像裝置接收視頻圖像。
此外,異常監(jiān)視系統(tǒng)100可以不配備有通信單元108。在這種情況下,異常監(jiān)視系統(tǒng)100(更具體地,事件通知單元9)經(jīng)由例如有線連接直接連接到監(jiān)控監(jiān)視器裝置50。
異常監(jiān)視系統(tǒng)100可以不配備有聲音拾取裝置109。在這種情況下,異常監(jiān)視系統(tǒng)100(更具體地,音頻輸入單元13)從外部聲音拾取裝置獲取音頻數(shù)據(jù)。
在第一實施例至第三實施例中,已經(jīng)描述了包括噪聲去除裝置的異常監(jiān)視系統(tǒng),但是噪聲去除裝置也能夠包括在其他系統(tǒng)中。
其他實施例
還能夠通過如下的處理來實現(xiàn)實施例:經(jīng)由網(wǎng)絡(luò)或存儲介質(zhì)向系統(tǒng)或裝置提供能夠?qū)崿F(xiàn)上述實施例的一個或更多個功能的程序,并且使該系統(tǒng)或裝置的計算機(jī)中的一個或更多個處理器讀出并執(zhí)行程序。程序是計算機(jī)程序。此外,還能夠通過使用能夠?qū)崿F(xiàn)一個或更多個功能的電路(例如,asic)來實現(xiàn)實施例。
此外,可以由噪聲去除裝置、對預(yù)定攝像范圍進(jìn)行攝像并生成視頻數(shù)據(jù)的攝像裝置以及拾取伴隨上述視頻數(shù)據(jù)的音頻并生成音頻數(shù)據(jù)的聲音拾取裝置,來形成音頻處理系統(tǒng)。
根據(jù)上述的各實施例,即使在從音頻中去除噪聲時噪聲環(huán)境改變,也能夠精確地實施噪聲去除。
其他實施例
還可以通過讀出并執(zhí)行記錄在存儲介質(zhì)(也可更完整地稱為“非暫時性計算機(jī)可讀存儲介質(zhì)”)上的計算機(jī)可執(zhí)行指令(例如,一個或更多個程序)以執(zhí)行上述實施例中的一個或更多個的功能、并且/或者包括用于執(zhí)行上述實施例中的一個或更多個的功能的一個或更多個電路(例如,專用集成電路(asic))的系統(tǒng)或裝置的計算機(jī),來實現(xiàn)本發(fā)明的實施例,并且,可以利用通過由系統(tǒng)或裝置的計算機(jī)例如讀出并執(zhí)行來自存儲介質(zhì)的計算機(jī)可執(zhí)行指令以執(zhí)行上述實施例中的一個或更多個的功能、并且/或者控制一個或更多個電路以執(zhí)行上述實施例中的一個或更多個的功能的方法,來實現(xiàn)本發(fā)明的實施例。計算機(jī)可以包括一個或更多個處理器(例如,中央處理單元(cpu)、微處理單元(mpu)),并且可以包括分開的計算機(jī)或分開的處理器的網(wǎng)絡(luò),以讀出并執(zhí)行計算機(jī)可執(zhí)行指令。計算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲介質(zhì)被提供給計算機(jī)。存儲介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲器(ram)、只讀存儲器(rom)、分布式計算系統(tǒng)的存儲器、光盤(諸如壓縮光盤(cd)、數(shù)字通用光盤(dvd)或藍(lán)光光盤(bd)tm)、閃存裝置以及存儲卡等中的一個或更多個。
本發(fā)明的實施例還可以通過如下的方法來實現(xiàn),即,通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置,該系統(tǒng)或裝置的計算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。
雖然參照示例性實施例對本發(fā)明進(jìn)行了描述,但是應(yīng)當(dāng)理解,本發(fā)明不限于所公開的示例性實施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬的解釋,以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。