專利名稱：模糊處理裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及去除圖像內(nèi)產(chǎn)生的模糊的技術(shù)。
背景技術(shù)：
利用飛行時間方式的照相機產(chǎn)生的圖像通過針對每一幀在積分時間內(nèi)計算照射光信號(例如，紅外線信號)和從被照體反射回來的反射光信號之間的相位差而獲得。當(dāng)在短于積分時間的時間內(nèi)發(fā)生照相機或被照體的移動時，反射光信號的相位可能會發(fā)生變化。在這種情況下，通過相關(guān)反射光信號得到的深度信息將具有不正確的值，這在圖像上會表現(xiàn)出模糊的形態(tài)。這種現(xiàn)象發(fā)生的原因可類似于彩色照相機上產(chǎn)生模糊現(xiàn)象的原因。但是，ToF方式的照相機和彩色照相機在獲得圖像方式上存在差異，ToF方式的照相機中產(chǎn)生的模糊現(xiàn)象表現(xiàn)出與彩色圖像的模糊現(xiàn)象不同的模糊形態(tài)。

發(fā)明內(nèi)容
解決方案模糊處理裝置可包括:控制單元，用以產(chǎn)生控制信號；傳感器單元，根據(jù)所述控制信號集成通過照射光信號從客體反射回來的反射光信號產(chǎn)生的電子；模糊判斷單元，利用按照所述控制信號分別集成的電子的量的相互關(guān)系來判斷模糊與否。模糊處理裝置的模糊判斷單元可通過對表示不存在模糊的情形的基準電荷量關(guān)系信息與集成的所述電子的量之間的關(guān)系進行比較來判斷模糊與否。當(dāng)所述照射管信號通過飛行時間ToF方式照相機發(fā)出時，模糊處理裝置的模糊判斷單元可利用所述反射光信號的相位差來判斷通過所述ToF方式照相機獲取的圖像中是否產(chǎn)生模糊。而且，所述模糊判斷單元可通過計算具有相互不同的相位差的多個控制信號和所述反射光信號之間的相位差來計算出深度信息。而且，所述傳感器單元可獲取通過所述反射光信號和具有互不相同的相位差的多個控制信號中的每一個控制信號受光的電荷量，所述模糊判斷單元可根據(jù)因獲取的所述電荷量和所述控制信號的互不相同的相位差而被規(guī)定的各電荷量之間的關(guān)系是否超出正常范圍來判斷所述圖像中是否產(chǎn)生模糊。所述傳感器單元可獲取η (η為自然數(shù))個反射光信號，所述模糊判斷單元可通過計算具有互不相同的相位差的多個控制信號和所述η個反射光信號之間的相位差來計算η個深度信息，并計算出η個深度信息的平均值。當(dāng)計算出的所述η個深度信息中的至少一個深度信息不平坦時，所述模糊判斷單元可判斷為所述圖像中產(chǎn)生模糊。

當(dāng)所述的判斷結(jié)果為產(chǎn)生模糊時，模糊處理裝置可在通過ToF方式照相機獲得的圖像內(nèi)利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的像素值，從而去除所產(chǎn)生的模糊。所述圖像處理單元可基于所述圖像內(nèi)與產(chǎn)生所述模糊的幀時間上不同的相鄰幀，利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的模糊區(qū)域的深度信息。作為另一實施例，模糊處理裝置可包括:模型識別單元，用以識別與飛行時間ToF方式照相機結(jié)構(gòu)對應(yīng)的模糊模型；搜索單元，在通過所述ToF方式照相機獲取的圖像內(nèi)搜索與所述模糊模型相關(guān)的圖案；圖像處理單元，對搜索到的所述圖案內(nèi)的模糊區(qū)域進行濾波，以在所述圖像中去除模糊。模糊處理裝置的圖像處理單元可在r-theta空間內(nèi)對所述模糊區(qū)域進行濾波。模糊處理方法可包括如下步驟:產(chǎn)生相位彼此不同的多個控制信號；根據(jù)所述控制信號集成通過照射光信號從客體反射回來的反射光信號產(chǎn)生的電子；利用按照所述控制信號分別集成的電子的量之間的關(guān)系來判斷模糊與否。所述模糊處理方法中的判斷所述模糊與否的步驟可包括步驟:通過對表示不存在模糊的情形的基準電荷量關(guān)系信息與集成的所述電子的量之間的關(guān)系進行比較來判斷模糊與否。當(dāng)所述照射管信號通過飛行時間ToF方式的照相機發(fā)出時，所述模糊處理方法中的判斷所述模糊與否的步驟可包括步驟:利用所述反射光信號的相位差來判斷通過所述ToF方式照相機獲取的圖像中是否產(chǎn)生模糊。所述模糊處理方法中的判斷所述模糊是否產(chǎn)生的步驟可包括步驟:通過計算具有相互不同的相位差的多個控制信號和所述反射光信號之間的相位差來計算出深度信息。所述模糊處理方法中的判斷所述模糊是否產(chǎn)生的步驟可包括步驟:計算獲取的η(η為自然數(shù))個反射光信號和具有互不相同的相位差的多個控制信號之間的相位差；利用所述計算出的結(jié)果來計算η個深度信息；計算已計算的所述η個深度信息的平均值。所述模糊處理方法中還可以包括步驟:當(dāng)所述的判斷結(jié)果為產(chǎn)生模糊時，可在通過ToF方式照相機獲得的圖像內(nèi)利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的像素值，從而去除所產(chǎn)生的模糊。去除產(chǎn)生的所述模糊的步驟可包括步驟:基于所述圖像內(nèi)與產(chǎn)生所述模糊的幀時間上不同的相鄰幀，利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的模糊區(qū)域的深度信息。作為另一實施例，模糊處理方法可包括:識別與飛行時間ToF方式照相機結(jié)構(gòu)對應(yīng)的模糊模型；在通過所述ToF方式照相機獲取的圖像內(nèi)搜索與所述模糊模型相關(guān)的圖案；對搜索到的所述圖案內(nèi)的產(chǎn)生模糊的模糊區(qū)域進行濾波，以在圖像中去除所述模糊。所述模糊處理方法中的對所搜索的圖案內(nèi)產(chǎn)生模糊的模糊區(qū)域進行濾波的步驟可包括步驟:在r-theta空間內(nèi)過濾所述模糊區(qū)域。發(fā)明效果可利用從客體反射的多個反射光信號的關(guān)系有效率地判斷通過ToF方式照相機獲取的圖像內(nèi)是否產(chǎn)生了模糊?？赏ㄟ^利用沒有產(chǎn)生模糊的周邊的正常像素值來替代圖像內(nèi)產(chǎn)生的模糊，容易地去除所產(chǎn)生的模糊。


圖1為示出模糊處理裝置的一實施例的方框圖。圖2為示出構(gòu)成傳感器單元的像素的一實施例的圖，圖3為反射光信號和控制信號之間的時序圖的一實施例。圖4至圖6為示出用于獲取在圖像內(nèi)判斷是否產(chǎn)生模糊的反射光信號的一例的圖。圖7和圖8為根據(jù)一實施例的分別針對被照體沒有移動的情形和被照體發(fā)生移動的情形示出反射光信號和控制信號之間的關(guān)系的圖。圖9為用曲線圖示出根據(jù)一實施例的在圖像內(nèi)產(chǎn)生模糊的模糊區(qū)域的深度信息的圖。圖10為示出根據(jù)一實施例的產(chǎn)生模糊的圖像和深度信息之間的相關(guān)性的圖。圖11為示出根據(jù)一實施例的深度信息和模糊模型之間的相關(guān)性的圖。圖12為示出根據(jù)一實施例的在圖像內(nèi)去除模糊的一例的圖。圖13為示出根據(jù)一實施例的模糊處理方法的順序的流程圖。圖14為示出根據(jù)另一實施例的模糊處理裝置的構(gòu)成的方框圖。圖15為示出利用模糊模型對模糊區(qū)域進行濾波的一例的圖。圖16為示出根據(jù)另一實施例的模糊處理方法的順序的流程圖。
具體實施例方式以下，參照附圖和附圖中記載的內(nèi)容對多種實施例進行詳細的說明。圖1為示出模糊處理裝置的一實施例的方框圖。模糊處理裝置100可包括控制單元110、傳感器單元120、模糊判斷單元130、圖像處理單元140。圖1所示的模糊處理裝置100可通過ToF方式照相機來實現(xiàn)。一實施例中，還可存在光照射單元102包含于ToF方式照相機的示例。ToF方式照相機可利用向客體104照射的照射光信號(例如，紅外線信號)和照射光信號被客體104反射回來的反射光信號之間的相位差來產(chǎn)生表示照相機至客體的距離的深度圖像。光照射單元102可以向客體104照射照射光信號。傳感器單元120可以感測到從光照射單元102照射的照射光信號被所述客體104反射回來的反射光信號。例如，傳感器單元110可以包括諸如針狀發(fā)光二極管(Pinned Photo Diode:ΡΡ )、光電門(Photogate)、電荷耦合器件(CCD)等感光元件。在此，客體104意指被照體，并成為拍照的對象?？刂茊卧?10生成相位互不相同的多個控制信號?？刂菩盘枮槟軌?qū)蓚鞲衅鲉卧?20通過感測反射光信號而生成的電子的時序進行控制的信號。通過圖2和圖3說明針對傳感器單元120和控制信號之間的關(guān)系的一例。圖2為示出構(gòu)成傳感器單元的像素的一實施例的圖。像素200可包括檢測單元210(photogate)、柵極(gate)(柵極-A221、柵極-B222)以及集成單元231、232。檢測單元210用于通過接收反射光信號而生成電子。柵極-A221和柵極-B222可以將由檢測單元210生成的電子分別傳遞至集成單元231、232。圖2中示出配備有多個柵極(例如，柵極-A221和柵極-B222)，從而根據(jù)控制信號選擇性地將電子傳遞到多個不同的集成單元231、232的示例。集成單元231、232可以集成所接收的電子?？深A(yù)先定義電子的集成時間或周期。例如，集成單元231、232可被定義為在預(yù)定時間內(nèi)集成電子，并在統(tǒng)計所集成的電子的量時，釋放電子，隨后在下一次電子集成時序再次集成電子。柵極的導(dǎo)通(on) /截止(off)可以由前述的控制信號來控制。圖3為反射光信號和控制信號之間的時序圖的一實施例。在本實施例中，第一控制信號和第二控制信號可分別控制圖2的柵極-A221和柵極-B222，并且第一控制信號和第二控制信號之間具有180度的相位差。所述第一控制信號和第二控制信號的1/2周期例如可以是25ns。如圖3所示，在反射光信號為高(high)值的tQN期間，可在檢測單元210上產(chǎn)生電子。此時，所產(chǎn)生的電子中的一部分將在與柵極-A221相關(guān)的第一控制信號為高值的t0N-tT0F期間經(jīng)由柵極-A221而集成到集成單元231。相反，所產(chǎn)生的電子的剩余部分將在所述第一控制信號轉(zhuǎn)換為低(low)值，且與柵極-B222相關(guān)的第二控制信號為高值的tT(F期間經(jīng)由柵極-B222而集成到集成單元232。例如，在反射光信號為高值的期間所產(chǎn)生的電子在tw_tT(F期間，因柵極-A221變?yōu)閷?dǎo)通狀態(tài)而可被傳遞至與柵極-A221相關(guān)的集成單元231，在tT()F期間，所述電子因柵極-B222導(dǎo)通而可被傳遞至與柵極-B222相關(guān)的集成單元232。雖然在圖2和圖3中說明了傳感器的柵極和集成單元分別為2個的情形，但柵極和集成單元的數(shù)量可根據(jù)實施例而變得不同。再次對圖1進行說明，模糊判斷單元130利用基于所述控制信號而集成的電子的量(以下，稱為電荷量)之間的關(guān)系來判斷模糊與否。而且，模糊判斷單元130可利用具有互不相同的相位的控制信號得到所述反射光信號和所述照射光信號之間的相位差。例如，傳感器單元120反復(fù)獲得在ToF方式照相機的積分時間(Integration Time)內(nèi)反射回來的反射光信號，由此模糊判斷單元130可獲得基于反射光信號的深度信息。圖4至圖6為示出獲得用于在圖像內(nèi)判斷是否產(chǎn)生模糊的反射光信號的一例的圖。圖4至圖6中，C1至C4表示控制信號，Q1至Q4表示電荷量，td表示深度信息。ToF方式照相機可產(chǎn)生具有互不相同的L (L為自然數(shù))個相位的控制信號。ToF方式照相機可以以具有M (M為自然數(shù))個電荷量存儲空間的L-相位/M-抽頭方式被構(gòu)成。例如，圖4的4-相位/1-抽頭(tap)示例中，ToF方式照相機可生成彼此具有90度的相位差的四個控制信號Cp C2、C3、C4。傳感器單元120可依次地根據(jù)所述反射光信號和控制信號C1來獲取電荷量Q1，根據(jù)所述反射光信號和控制信號C2來獲取電荷量Q2,根據(jù)所述反射光信號和控制信號C3來獲取電荷量Q3，根據(jù)所述反射光信號和控制信號C4來獲取電荷量Q4。圖4的4-相位/1-抽頭方式和圖5的4-相位/2-抽頭方式以及圖6的4_相位/4-抽頭方式可表示出ToF方式照相機的結(jié)構(gòu)不同。例如，傳感器單元120可根據(jù)ToF方式照相機的結(jié)構(gòu)使得在積分時間內(nèi)獲取反射光信號和控制信號之間的相位差的方法彼此不同。
圖4至圖6中雖然示出了生成4個控制信號并獲取4個電荷量的示例，但根據(jù)實施例，控制信號的數(shù)量可小于或大于4個。模糊判斷單元130可利用所述獲取的電荷量Qp Q2> Q3> Q4之間的關(guān)系來判斷通過ToF方式獲取的圖像中是否產(chǎn)生模糊。例如，模糊判斷單元130可計算作為控制信號C1和C2為高值的期間所獲得的電荷量之差的第一差值(Q1-Q2)15而且，模糊判斷單元130可計算作為控制信號C3和C4為高值的期間所獲得的電荷量之差的第二差值(Q3-Q4)15之后，模糊判斷單元130在將反正切函數(shù)應(yīng)用于將所述第二差值(Q3-Q4)除以所述第一差值(Q1-Q2)而得到的商(Q3-Q4M1-Q2)來計算出所述深度信息td。作為一例，圖5所示的4-相位/2-抽頭方式的實施例中，當(dāng)控制信號C1至C4的時序圖表示用于獲得電荷Q1至Q4的一個周期時，若這種周期重復(fù)η (η為自然數(shù))次，則Q1至Q4可分別獲得η次。若利用η個周期內(nèi)獲得的電荷量來生成一張深度圖像，則前述的第一差值可以是IiQ1-1iQ2,第二差值可以是nQ3-nQ4。而且，在一個像素中的深度信息td可表示為如下的數(shù)學(xué)式I。數(shù)學(xué)式I
權(quán)利要求
1.一種模糊處理裝置，包括: 控制單元，用以產(chǎn)生控制信號； 傳感器單元，根據(jù)所述控制信號集成通過照射光信號從客體反射回來的反射光信號產(chǎn)生的電子； 模糊判斷單元，利用按照所述控制信號分別集成的電子的量的相互關(guān)系來判斷模糊與否。
2.根據(jù)權(quán)利要求1所述的模糊處理裝置，其中， 所述模糊判斷單元通過對表示不存在模糊的情形的基準電荷量關(guān)系信息與集成的所述電子的量之間的關(guān)系進行比較來判斷模糊與否。
3.根據(jù)權(quán)利要求1所述的模糊處理裝置，其中，當(dāng)所述照射光信號通過飛行時間ToF方式照相機發(fā)出時， 所述模糊判斷單元利用所述反射光信號的相位差來判斷通過所述ToF方式照相機獲取的圖像中是否產(chǎn)生模糊。
4.根據(jù)權(quán)利要求3所述的模糊處理裝置，其中， 所述模糊判斷單元通過計算具有相互不同的相位差的多個控制信號和所述反射光信號之間的相位差來計算出深度信息。
5.根據(jù)權(quán)利要求3所述的模糊處理裝置，其中， 所述傳感器單元獲取通過所述反射光信號和具有互不相同的相位差的多個控制信號中的每一個控制信號受光的電荷量，` 所述模糊判斷單元根據(jù)因獲取的所述電荷量和所述控制信號的互不相同的相位差而被規(guī)定的各電荷量之間的關(guān)系是否超出正常范圍來判斷所述圖像中是否產(chǎn)生模糊。
6.根據(jù)權(quán)利要求3所述的模糊處理裝置，其中，所述傳感器單元獲取η個反射光信號，所述模糊判斷單元通過計算具有互不相同的相位差的多個控制信號和所述η個反射光信號之間的相位差來計算η個深度信息，并計算出η個深度信息的平均值，其中η為自然數(shù)。
7.根據(jù)權(quán)利要求6所述的模糊處理裝置，其中，當(dāng)計算出的所述η個深度信息中的至少一個深度信息不平坦時，所述模糊判斷單元判斷為所述圖像中產(chǎn)生模糊。
8.根據(jù)權(quán)利要求1所述的模糊處理裝置，還包括: 圖像處理單元，當(dāng)所述判斷結(jié)果為產(chǎn)生模糊時，在通過ToF方式照相機獲得的圖像內(nèi)利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的像素值，從而去除所產(chǎn)生的模糊。
9.根據(jù)權(quán)利要求8所述的模糊處理裝置，其中，所述圖像處理單元基于所述圖像內(nèi)與產(chǎn)生所述模糊的幀時間上不同的相鄰幀，利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的模糊區(qū)域的深度信息。
10.一種模糊處理裝置，包括: 模型識別單元，用以識別與飛行時間ToF方式照相機結(jié)構(gòu)對應(yīng)的模糊模型； 搜索單元，在通過所述ToF方式照相機獲取的圖像內(nèi)搜索與所述模糊模型相關(guān)的圖案； 圖像處理單元，對搜索到的所述圖案內(nèi)的模糊區(qū)域進行濾波，以在所述圖像中去除模糊。
11.根據(jù)權(quán)利要求10所述的模糊處理裝置，其中，所述圖像處理單元可在r-theta空間內(nèi)對所述模糊區(qū)域進行濾波。
12.—種模糊處理方法，包括如下步驟: 產(chǎn)生相位彼此不同的多個控制信號； 根據(jù)所述控制信號集成通過照射光信號從客體反射回來的反射光信號產(chǎn)生的電子； 利用按照所述控制信號分別集成的電子的量之間的關(guān)系來判斷是否模糊。
13.根據(jù)權(quán)利要求12所述的模糊處理方法，其中，所述的判斷是否模糊的步驟包括步驟:通過對表示不存在模糊的情形的基準電荷量關(guān)系信息與集成的所述電子的量之間的關(guān)系進行比較來判斷模糊與否。
14.根據(jù)權(quán)利要求12所述的模糊處理方法，其中，當(dāng)所述照射光信號通過飛行時間ToF方式照相機發(fā)出時，所述的判斷是否模糊的所述步驟可包括步驟:利用所述反射光信號的相位差來判斷通過所述ToF方式照相機獲取的圖像中是否產(chǎn)生模糊。
15.根據(jù)權(quán)利要求14所述的模糊處理方法，其中，所述的判斷是否產(chǎn)生模糊的步驟包括步驟:通過計算具有相互不同的相位差的多個控制信號和所述反射光信號之間的相位差來計算出深度信息。
16.根據(jù)權(quán)利要求14所述的模糊處理方法，其中，所述的判斷是否產(chǎn)生模糊的步驟包括步驟: 計算獲取的η個反射光信號和具有互不相同的相位差的多個控制信號之間的相位差，其中η為自然數(shù)； 利用所述計算出的 結(jié)果來計算η個深度信息； 計算已計算的所述η個深度信息的平均值。
17.根據(jù)權(quán)利要求12所述的模糊處理方法，其中，還包括步驟:當(dāng)所述的判斷結(jié)果為產(chǎn)生模糊時，在通過ToF方式照相機獲取的圖像內(nèi)利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的像素值，從而去除所產(chǎn)生的模糊。
18.根據(jù)權(quán)利要求17所述的模糊處理方法，其中，所述的去除產(chǎn)生的模糊的步驟包括步驟:基于所述圖像內(nèi)與產(chǎn)生所述模糊的幀時間上不同的相鄰幀，利用沒有產(chǎn)生所述模糊的周邊的正常像素值來替代產(chǎn)生所述模糊的模糊區(qū)域的深度信息，從而去除所產(chǎn)生的模糊。
19.一種模糊處理方法,包括: 識別與飛行時間ToF方式照相機結(jié)構(gòu)對應(yīng)的模糊模型； 在通過所述ToF方式照相機獲取的圖像內(nèi)搜索與所述模糊模型相關(guān)的圖案； 對搜索到的所述圖案內(nèi)的產(chǎn)生模糊的模糊區(qū)域進行濾波； 在對所述模糊區(qū)域進行濾波的圖像內(nèi)去除所述模糊。
20.根據(jù)權(quán)利要求19所述的模糊處理方法，其中，所述的對所搜索的圖案內(nèi)產(chǎn)生模糊的模糊區(qū)域進行濾波的步驟包括步驟:在r-theta空間內(nèi)對所述模糊區(qū)域進行濾波。
全文摘要
本發(fā)明公開一種模糊處理裝置及方法，判斷ToF方式照相機中產(chǎn)生的圖像中是否產(chǎn)生模糊，當(dāng)產(chǎn)生了模糊時，利用沒有產(chǎn)生模糊的周邊的正常像素值去除模糊。
文檔編號H04N5/232GK103181156SQ201280003376
公開日2013年6月26日 申請日期2012年7月11日 優(yōu)先權(quán)日2011年7月12日
發(fā)明者李承奎, 姜柄敏 申請人:三星電子株式會社