使用圖像的3d信息的監(jiān)控設備和系統(tǒng)以及監(jiān)控方法
【專利摘要】提供了一種使用圖像的3D信息的監(jiān)控設備和系統(tǒng)以及監(jiān)控方法。使用3D信息的監(jiān)控設備包括：圖像獲取單元，被配置為獲得由PTZ相機捕捉的2D圖像；信息提取單元，被配置為基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且基于PTZ相機的縮放比例來提取PTZ相機與對象之間的距離信息；操作單元，被配置為通過比較由圖像獲取單元獲得的2D圖像的當前幀和先前幀來操作2D坐標信息和距離信息的變化；位置跟蹤單元，被配置為通過基于2D坐標信息和距離信息的變化控制PTZ相機來跟蹤對象的位置。
【專利說明】使用圖像的3D信息的監(jiān)控設備和系統(tǒng)以及監(jiān)控方法
【技術領域】
[0001]本發(fā)明涉及一種使用圖像的三維(3D)信息的監(jiān)控設備和系統(tǒng)以及使用圖像的3D信息的監(jiān)控方法，更具體地，涉及一種使用圖像的3D信息的監(jiān)控設備和系統(tǒng)以及使用圖像的3D信息的監(jiān)控方法，其中，所述監(jiān)控設備和系統(tǒng)以及監(jiān)控方法可根據(jù)使用PTZ(水平垂直縮放)相機的水平/垂直轉(zhuǎn)動角度和圖像的3D信息(B卩，根據(jù)縮放比例的對象與相機之間的距離信息)來獲得對象的二維(2D)坐標，并且通過計算根據(jù)對象的移動的3D信息的變化來連續(xù)地監(jiān)控和跟蹤移動對象。
【背景技術】
[0002]根據(jù)用于獲得作為立體圖像的3D場景的一般方法，提供了用于捕捉左圖像和右圖像的兩個相機，并且將根據(jù)相機之間的角度差的兩幅不同圖像進行合成以完成最終的3D場景。
[0003]此外，在跟蹤移動物體(例如，觀察者)的過程中，通過計算關于2D場景的圖像的變化來抓取被跟蹤的身體的位置，并且PTZ相機的焦點移動至抓取的位置。例如，接收捕捉到的圖像幀，使用接收到的圖像幀來檢測觀察者的位置，使用檢測到的觀察者的位置和先前檢測到的觀察者的位置中的至少一個來計算觀察者的移動速度。隨后，使用檢測到的觀察者的位置和計算出的移動速度來估計當過去預定時間時觀察者的位置，并且基于估計出的觀察者的位置來計算立體圖像的變化。隨后，基于計算出的立體圖像的變化來顯示立體圖像。
[0004]根據(jù)上述現(xiàn)有技術，聚焦于在提供立體圖像顯示的環(huán)境中計算觀察者的位置，以及在顯示立體圖像的過程中使用所述圖像。在操作用于3D圖像的兩個相機的過程中，不提供PTZ (水平垂直縮放)功能，因此難以自由地實現(xiàn)立體圖像。
[0005]具體地，注冊號為20-0350161的韓國實用新型公開了一種通過感測接近的對象的移動并防止對象的接近來提供安全功能的立體圖像安全控制裝置。以下，將參照圖1來描述所述裝置的細節(jié)。
[0006]圖1是注冊號為20-0350161的韓國實用新型所公開的現(xiàn)有技術中的立體圖像安全控制裝置的配置圖。
[0007]參照圖1，立體圖像安全控制裝置I被配置為通過立體圖像相機9、被連接至驅(qū)動電機10的安全裝置11和揚聲器12的連接來執(zhí)行自動安全管理，其中，通過通信模塊7和8將上述部件安裝在多個地方的安全警備區(qū)(security compound)。在此,在通信模塊7和8的情況下，所述通信模塊各自的接口是專用的，因此不能通過通用接口來連接通信模塊7和8。此外，應該安裝專用的立體圖像相機9，并且由于所述立體圖像相機不是能夠連續(xù)地跟蹤在相機前面的對象的PTZ相機，因此不可能在廣闊的地方對全方向的對象進行跟蹤。
[0008]此外，現(xiàn)有技術中的對象跟蹤裝置的理論算法是用于通過計算在2D (靜止圖像)狀態(tài)下先前場景與當前場景之間的圖像中的不同來搜索移動對象的方法。例如，通過計算圖像的變化(通過檢測先前圖像與當前圖像的改變)以及更新作為跟蹤目標的對象的水平坐標和垂直坐標，現(xiàn)有技術中的對象跟蹤裝置連續(xù)地捕捉移動對象的圖像。當另一對象遮掩了對應的對象或者對應的對象與另一目標交錯而過時，這種方法頻繁地丟失對象。也就是說，在自動對象跟蹤的成功率大幅降低的環(huán)境中，所述方法丟失正在跟蹤的目標。

【發(fā)明內(nèi)容】

[0009]因此，已經(jīng)做出本發(fā)明以解決上述在現(xiàn)有技術中發(fā)生的問題，并且本發(fā)明所要解決的一個目標是提供一種使用圖像的3D信息的監(jiān)控設備和系統(tǒng)以及使用圖像的3D信息的監(jiān)控方法，其中，所述監(jiān)控設備和系統(tǒng)以及監(jiān)控方法可通過使用PTZ (水平垂直縮放)相機的所有PTZ功能計算對象的距離/高度信息來獲得圖像的3D信息，基于3D信息來更準確地獲得移動對象的坐標，并且使用移動對象的坐標來更準確地監(jiān)控和跟蹤移動對象。
[0010]本發(fā)明所要解決的另一目標是提供一種使用圖像的3D信息的監(jiān)控設備和系統(tǒng)以及使用圖像的3D信息的監(jiān)控方法，其中，所述監(jiān)控設備和系統(tǒng)以及監(jiān)控方法可使用通過網(wǎng)絡鏈接的PTZ相機來獲得3D圖像，并且在通過網(wǎng)絡與其他相機共享獲得的圖像的同時全方位地監(jiān)控和跟蹤移動對象。
[0011]將在下面的說明書中部分闡述本發(fā)明的另外的優(yōu)點、目標和特征，而且部分說明書對于審查了以下說明書后的本領域的普通技術人員而言將會變得清楚或者可以從對本發(fā)明的實踐中學到。
[0012]根據(jù)本發(fā)明的一方面，提供一種使用圖像的3D信息的監(jiān)控設備，包括:圖像獲取單元，被配置為獲得由PTZ相機捕捉的2D圖像；信息提取單元，被配置為基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且基于PTZ相機的縮放比例來提取PTZ相機與對象之間的距離信息；操作單元，被配置為通過比較由圖像獲取單元獲得的2D圖像的當前中貞和先前巾貞來操作2D坐標信息和距離信息的變化；位置跟蹤單元,被配置為通過基于2D坐標信息和距離信息的變化控制PTZ相機來跟蹤對象的位置。
[0013]根據(jù)本發(fā)明的一方面，提供一種使用圖像的3D信息的監(jiān)控系統(tǒng)，所述監(jiān)控系統(tǒng)通過經(jīng)由多個PTZ相機的鏈接獲得圖像的3D信息來跟蹤對象，其中，PTZ相機中的每個包括:接口單元，被配置為通過網(wǎng)絡來連接到其他PTZ相機；圖像捕捉單元，被配置為捕捉對象的圖像；圖像轉(zhuǎn)換單元，被配置為將由圖像捕捉單元捕捉到的2D圖像與通過網(wǎng)絡傳輸?shù)钠渌鸓TZ相機的2D圖像進行合成，并將合成的2D圖像轉(zhuǎn)換為3D圖像；信息提取單元，被配置為基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且從3D圖像中提取對象的高度信息；操作單元，被配置為通過比較3D圖像的當前巾貞和先前巾貞來操作2D坐標信息和高度信息的變化；位置跟蹤單元，被配置為通過基于2D坐標信息和高度信息控制PTZ相機來跟蹤對象的位置。
[0014]根據(jù)本發(fā)明的一方面，提供一種使用圖像的3D信息的監(jiān)控方法，包括:通過使用PTZ相機進行捕捉來獲得2D圖像；基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且基于PTZ相機的縮放比例來提取PTZ相機與對象之間的距離信息；通過比較2D圖像的當前巾貞和先前巾貞來操作2D坐標信息和距離信息的變化；基于2D坐標信息和距離信息的變化來控制PTZ相機；跟蹤對象的位置。
[0015]根據(jù)本發(fā)明，使用固定型PTZ相機，而不安裝昂貴的可移動型3D相機，從而可節(jié)省
安裝費。[0016]此外，在將獲得的圖像用作用于刑事鑒定的證據(jù)數(shù)據(jù)的情況下，可通過距離信息和覆蓋對象的識別來辨別多個對象，其中，在現(xiàn)有的2D場景中會丟失覆蓋對象，并且具有自動跟蹤裝置的功能的PTZ相機可以以這種方法來高成功率地執(zhí)行無縫對象跟蹤。
[0017]可使用多個使用IP (因特網(wǎng)協(xié)議)的網(wǎng)絡PTZ相機來獲得立體圖像，因此可顯著提升現(xiàn)有對象跟蹤裝置的性能。
[0018]此外，由于甚至可通過添加從立體圖像(其中，使用多個圖像輸入裝置來獲得所述立體圖像)計算出的對象的高度信息來識別對象，因此可使自動跟蹤裝置的性能最大化。
[0019]如果期望在改變的立體圖像中跟蹤對象，則由于使用對應的對象的高度信息，因此與基于現(xiàn)有2D類型圖像變化測量方法的自動對象跟蹤裝置相比可實現(xiàn)卓越的性能。
[0020]通過參照附圖詳細描述本發(fā)明的示例性實施例，本發(fā)明的以上和其他特征或優(yōu)點將變得更加清楚。
【專利附圖】

【附圖說明】
[0021]通過下面結(jié)合附圖的詳細描述，本發(fā)明的上述和其它目標、特征和優(yōu)點將更加清楚，其中:
[0022]圖1是現(xiàn)有技術中立體圖像安全控制裝置的配置圖；
[0023]圖2是根據(jù)本發(fā)明的實施例的使用圖像的3D信息的監(jiān)控設備的配置圖；
[0024]圖3是示出根據(jù)PTZ相機的焦距的PTZ相機與對象之間的距離關系的示圖；
[0025]圖4是根據(jù)本發(fā)明的實施例的使用圖像的3D信息的監(jiān)控系統(tǒng)的配置圖；
[0026]圖5是根據(jù)本發(fā)明的實施例的使用圖像的3D信息的監(jiān)控方法的流程圖。
【具體實施方式】
[0027]現(xiàn)在將參照附圖在下文中更充分地描述本發(fā)明，其中，附圖示出了本發(fā)明的優(yōu)選實施例。然而，可按照不同形式來實施本發(fā)明，并且不應該將本發(fā)明解釋為限于在此闡述的實施例。相反地，提供這些實施例使得本發(fā)明將是徹底且完全的，并將充分地向本領域的普通技術人員傳達本發(fā)明的范圍。貫穿說明書，同樣的標號表示同樣的部件。在附圖中，為清楚起見，夸大了層和區(qū)域的厚度。
[0028]除非另有定義，否則在此使用的所有技術和科學術語的含義與本發(fā)明所屬的領域的普通技術人員通常所理解的含義相同。應注意的是，除非另有說明，否則任何和所有示例的使用或者在此提供的示例性術語僅意在更好地示出本發(fā)明，而并非對本發(fā)明的范圍的限制。此外，除非另有定義，否則可不必過度解釋在通常使用的詞典中定義的所有術語。
[0029]以下，將參照附圖來詳細描述本發(fā)明的優(yōu)選實施例。
[0030]圖2是根據(jù)本發(fā)明的實施例的使用圖像的3D信息的監(jiān)控設備的配置圖。此外，圖3是示出根據(jù)PTZ相機的焦距的PTZ相機與對象之間的距離關系的示圖。
[0031]參照圖2，根據(jù)本發(fā)明的實施例的使用圖像的3D信息的監(jiān)控設備200用于基于能夠從PTZ相機100獲得的水平/垂直角度和縮放比例來提取對象的3D信息，以及用于使用3D信息的變化來跟蹤移動對象。此外，根據(jù)本發(fā)明的實施例的使用圖像的3D信息的監(jiān)控設備200用于獲得從多個PTZ相機捕捉到的圖像，對所述圖像進行處理，并且將所述圖像轉(zhuǎn)換為3D立體圖像，以及用于使用3D立體圖像來跟蹤移動對象。此外，將通過使用圖像的3D信息的監(jiān)控設備200獲得的信息和數(shù)據(jù)以及由使用圖像的3D信息的監(jiān)控設備200處理的信息和數(shù)據(jù)存儲在數(shù)據(jù)庫300中。此處，3D信息表示指示對象在立體空間中的位置的三要素。
[0032]使用圖像的3D信息的監(jiān)控設備200包括圖像獲取單元220、信息提取單元240、操作單元250和位置跟蹤部分260。監(jiān)控設備200還可包括接口單元210和圖像轉(zhuǎn)換單元230。
[0033]接口單元210用于鏈接多個PTZ相機100。此處，接口單元210使用網(wǎng)絡來鏈接多個PTZ相機100，具體地，可使用IP (互聯(lián)網(wǎng)協(xié)議)來鏈接多個PTZ相機。因此，不需要單獨的專用通信模塊或方法，因此能夠克服由于現(xiàn)有技術的專用設計所導致的僅限于系統(tǒng)中的鏈接的設計而造成的缺點，靈活的接口設計成為降低可擴展性的阻礙。
[0034]具體地，將多個PTZ相機100被布置為固定在特定位置。也就是說，由于PTZ相機100包括多個彼此面對的PTZ相機100-1至100-n，從而可將死角最小化，并且與用于簡單地通過計算當前圖像與先前圖像之間的變量來搜索對應的位置的方法相比可極大地提升準確性。此時，可通過接口單元210從PTZ相機100獲得數(shù)據(jù)，諸如，水平角度、垂直角度、縮放比例和焦距。通常，在PTZ相機100的情況下，存儲捕捉到的圖像。因此，可將在預定時間段內(nèi)進入存儲空間的幀和幀的相機參數(shù)(即，水平角度、垂直角度、縮放比例和焦距)存儲在一起。
[0035]圖像獲取單元220通過接口單元210獲得通過至少一個PTZ相機100獲得的2D圖像。此外，除了 2D圖像之外，圖像獲取單元220可通過接口單元210來獲得與2D圖像相關的PTZ相機100的參數(shù)值。由于PTZ相機100執(zhí)行放大/縮小和水平/垂直操作，因此能夠獲得與相機的3D運動相對應的相機參數(shù)。具體地，固定在特定位置并且能夠執(zhí)行水平/垂直操作的監(jiān)控PTZ相機100可實時識別相機參數(shù)，從而更有效。此外，PTZ相機100在固定位置獲得圖像，從而具有圖像輸入(場景改變等)不是不規(guī)則的優(yōu)點。可將獲得的圖像轉(zhuǎn)換為圖像被壓縮以便于數(shù)據(jù)傳輸?shù)膲嚎s格式。壓縮格式的圖像數(shù)據(jù)可具有多種格式，諸如MPEG (運動圖像專家組)-1和MPEG-4。將通過圖像獲取單元220獲得的2D圖像發(fā)送至圖像轉(zhuǎn)換單元230和/或信息提取單元240。此時，將通過多個PTZ相機100捕捉到的各個2D圖像發(fā)送至圖像轉(zhuǎn)換單元230。此外，可將相機參數(shù)(諸如PTZ相機100的水平角度、垂直角度和縮放比例)與通過PTZ相機100捕捉到的2D圖像一起發(fā)送至信息提取單元240。作為示例，相機參數(shù)可以是水平角度、垂直角度、縮放比例和焦距的集合。在此，通過PTZ相機100的3D運動(諸如放大/縮小、水平和垂直)來獲得相機參數(shù)。
[0036]圖像轉(zhuǎn)換單元230對通過圖像獲取單元220獲得的各個2D圖像之中的至少兩個圖像進行合成，以將2D圖像轉(zhuǎn)換為3D圖像。例如，在合成兩個圖像的情況下，可通過各個相機來獲得2D圖像中的對象的平面坐標信息(即，2D坐標信息)，也可獲得各個相機之間的距離。通過這樣，可將通過IP相互交換的2D圖像信息改變?yōu)樽鳛榱Ⅲw圖像的3D圖像。
[0037]具體地，被固定在特定地點且可執(zhí)行水平/垂直操作的監(jiān)控PTZ相機100可實時識別出上述相機參數(shù)，從而更有效。此外，由于PTZ相機100在固定的位置獲得圖像，因此具有圖像輸入(場景改變等)不是不規(guī)則的優(yōu)點。通過PTZ相機100的3D運動(諸如放大/縮小、水平、垂直)來獲得相機參數(shù)(諸如水平角度、垂直角度、縮放比例和焦距)。通過所述3D運動，可獲得圖像的3D信息。此外，可使用相機的水平/垂直角度、縮放比例和焦距來獲得2D圖像合成的3D圖像。
[0038]信息提取單元240從2D圖像中提取作為對象的位置信息的2D坐標信息，提取PTZ相機100與對象之間的距離信息，并且從3D圖像中提取對象的高度信息。此處，可在相機參數(shù)(水平、垂直和縮放參數(shù))和從各個PTZ相機100獲得的2D圖像的幀的基礎上提取2D坐標信息和距離信息。具體地，信息提取單元240可基于PTZ相機100的水平/垂直角度來提取對象的2D坐標信息，并且可基于PTZ相機100的縮放比例來提取距離信息。此外，信息提取單元240可從通過合成至少兩個2D圖像獲得的3D圖像中提取對象的高度信息。2D坐標信息和距離信息可形成圖像的3D信息，或者2D坐標信息和高度信息可形成圖像的3D信息。將對象的3D信息(以下，第一 3D信息包括2D坐標信息和距離信息，第二 3D信息包括2D坐標信息和高度信息)存儲在數(shù)據(jù)庫300中。通過這樣，在用于通過計算2D (靜止圖像)狀態(tài)下的先前場景與當前場景之間的圖像區(qū)別來搜索移動對象的方法中，能夠防止當另一對象遮掩了對應的對象或?qū)膶ο笈c另一對象交錯而過時丟失對象。此時，對象的3D信息在被存儲在外部數(shù)據(jù)庫300中之前，被存儲在使用圖像的3D信息的監(jiān)控設備200的臨時緩沖存儲器(未示出)中，從而可被直接用作用于跟蹤對象的位置的信息。
[0039]此外，如上所述，信息提取單元240可基于縮放比例來提取圖像中的對象與PTZ相機100之間的距離信息?？扇缟纤龅靥崛【嚯x信息的原因是能夠抓取根據(jù)PTZ相機100的特性的縮放功能和根據(jù)縮放比例的焦點位置。也就是說，信息提取單元240基于根據(jù)縮放比例的焦距來提取對象與PTZ相機100之間的距離信息。在這種情況下，可通過在不使用立體圖像相機的情況下在屏幕上顯示PTZ相機100與對象之間的距離信息或者處理所述信息來跟蹤而不丟失對象。
[0040]具體地，參照圖3，在使用PTZ相機100來捕捉對象的圖像的情下，如果假設對象(即，作為圖像捕捉目標的對象)與PTZ相機100的鏡頭之間的外部距離為Do，PTZ相機100的鏡頭與PTZ相機100的圖像傳感器之間的內(nèi)部距離為Di，并且焦距為f，則建立下面的公式I的關系。此處，指示PTZ相機100的鏡頭之間的距離的外部距離Do變?yōu)榫嚯x信息。
[0041]【公式I】
[
【權利要求】
1.一種使用圖像的3D信息的監(jiān)控設備，包括: 圖像獲取單元，被配置為獲得由PTZ相機捕捉的2D圖像； 信息提取單元，被配置為基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且基于PTZ相機的縮放比例來提取PTZ相機與對象之間的距離信息； 操作單元，被配置為通過比較由圖像獲取單元獲得的2D圖像的當前幀和先前幀來操作2D坐標信息和距離信息的變化； 位置跟蹤單元，被配置為通過基于2D坐標信息和距離信息的變化控制PTZ相機來跟蹤對象的位置。
2.如權利要求1所述的監(jiān)控設備，其中，將多個PTZ相機布置為固定在特定位置。
3.如權利要求2所述的監(jiān)控設備，還包括:接口單元，被配置為使用互聯(lián)網(wǎng)協(xié)議(IP)來鏈接多個PTZ相機。
4.如權利要求3所述的監(jiān)控設備，還包括:圖像轉(zhuǎn)換單元，被配置為合成由多個PTZ相機捕捉到并且由圖像獲取單元獲得的2D圖像之中的至少兩個圖像，并且將合成的圖像轉(zhuǎn)換為3D圖像。
5.如權利要求4所述的監(jiān)控設備，其中，信息提取單元從3D圖像中提取對象的高度信 肩、O
6.如權利要求5所述的監(jiān)控設備，其中，操作單元通過彼此比較3D圖像的當前幀和先前幀來操作2D坐標信息和高度信息的變化， 位置跟蹤單元通過基于2D坐標信息和高度信息的變化控制多個PTZ相機來跟蹤對象的位置。
7.如權利要求1所述的監(jiān)控設備，其中，信息提取單元基于根據(jù)PTZ相機的縮放比例的焦距來提取距離信息。
8.一種使用圖像的3D信息的監(jiān)控系統(tǒng)，所述監(jiān)控系統(tǒng)通過經(jīng)由多個相機的鏈接獲得圖像的3D信息來跟蹤對象，其中，PTZ相機中的每個包括: 接口單元，被配置為通過網(wǎng)絡來連接到其他PTZ相機； 圖像捕捉單元，被配置為捕捉對象的圖像； 圖像轉(zhuǎn)換單元，被配置為將由圖像捕捉單元捕捉到的2D圖像與通過網(wǎng)絡傳輸?shù)钠渌鸓TZ相機的2D圖像進行合成，并將合成的2D圖像轉(zhuǎn)換為3D圖像； 信息提取單元，被配置為基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且從3D圖像中提取對象的高度信息； 操作單元，被配置為通過比較3D圖像的當前幀和先前幀來操作2D坐標信息和高度信息的變化； 位置跟蹤單元，被配置為通過基于2D坐標信息和高度信息的變化控制PTZ相機來跟蹤對象的位置。
9.如權利要求8所述的監(jiān)控系統(tǒng)，其中，信息提取單元基于PTZ相機的縮放比例來提取PTZ相機和對象之間的距離信息。
10.如權利要求9所述的監(jiān)控系統(tǒng)，其中，信息提取單元基于根據(jù)PTZ相機的縮放比例的焦距來提取距離信息。
11.如權利要求9所述的監(jiān)控系統(tǒng)，其中，PTZ相機中的每個還包括:存儲單元，被配置為存儲2D坐標信息、高度信息和距離信息。
12.如權利要求9所述的監(jiān)控系統(tǒng)，其中，PTZ相機中的每個通過網(wǎng)絡將由圖像轉(zhuǎn)換單元轉(zhuǎn)換的3D圖像以及由信息提取單元提取的2D坐標信息、高度信息和距離信息傳輸至其他PTZ相機。
13.一種使用圖像的3D信息的監(jiān)控方法，包括: 通過使用PTZ相機進行捕捉來獲得2D圖像； 基于PTZ相機的水平/垂直角度來提取對象的2D坐標信息，并且基于PTZ相機的縮放比例來提取PTZ相機與對象之間的距離信息； 通過比較2D圖像的當前幀和先前幀來操作2D坐標信息和距離信息的變化； 基于2D坐標信息和距離 信息的變化來控制PTZ相機； 跟蹤對象的位置。
【文檔編號】H04N13/02GK103686131SQ201310426387
【公開日】2014年3月26日 申請日期:2013年9月18日 優(yōu)先權日:2012年9月18日
【發(fā)明者】金昌洙 申請人:三星泰科威株式會社