本發(fā)明涉及求出監(jiān)視照相機(jī)的照相機(jī)參數(shù)的校準(zhǔn)裝置以及校準(zhǔn)方法。

背景技術(shù)：

近年來，在監(jiān)視領(lǐng)域中，從利用攝像裝置攝影而得到的影像來檢測(cè)對(duì)象物的位置、尺寸的圖像識(shí)別技術(shù)的需求升高。為了實(shí)現(xiàn)這樣的圖像識(shí)別技術(shù)，需要將在照相機(jī)攝影而得到的圖像上設(shè)置的坐標(biāo)(以下稱為“圖像坐標(biāo)”)與在現(xiàn)實(shí)空間上設(shè)置的坐標(biāo)(以下稱為“世界坐標(biāo)”)建立對(duì)應(yīng)。照相機(jī)參數(shù)被使用于該對(duì)應(yīng)的建立。

照相機(jī)參數(shù)是表示照相機(jī)的焦距、朝向等的照相機(jī)信息，大致分為內(nèi)部參數(shù)和外部參數(shù)這2種。(數(shù)1)是內(nèi)部參數(shù)矩陣，f表示焦距，a表示縱橫比，s表示偏斜(skew)，(vc，uc)表示圖像坐標(biāo)的中心坐標(biāo)。

[數(shù)1]

另外，(數(shù)2)是外部參數(shù)矩陣，(r11、r12、r13、r21、r22、r23、r31、r32、r33)表示照相機(jī)的朝向，(tx、ty、tz)表示照相機(jī)設(shè)置位置的世界坐標(biāo)。

[數(shù)2]

如果使用這2個(gè)參數(shù)矩陣k、d以及常數(shù)λ，則圖像坐標(biāo)(u，v)與世界坐標(biāo)(xw、yw、zw)通過(數(shù)3)的關(guān)系式建立對(duì)應(yīng)。

[數(shù)3]

此外，在外部參數(shù)的表示照相機(jī)的朝向的(r11、r12、…r33)中，如果利用歐拉角定義，則能夠由作為照相機(jī)的設(shè)置角度的搖攝(pan)θ、傾斜(tilt)滾動(dòng)(roll)ψ這3個(gè)參數(shù)來表示。因此，為了將圖像坐標(biāo)與世界坐標(biāo)建立對(duì)應(yīng)而需要的照相機(jī)參數(shù)的數(shù)量為5個(gè)內(nèi)部參數(shù)和6個(gè)外部參數(shù)合計(jì)11個(gè)。在(數(shù)3)中，即使照相機(jī)參數(shù)矩陣進(jìn)行常數(shù)倍運(yùn)算，其意義也不變，所以也可以將λ和參數(shù)矩陣k、d整理到1個(gè)矩陣而表現(xiàn)為(數(shù)4)那樣。進(jìn)而，在(數(shù)4)中，如果固定為c34＝1，則未知的參數(shù)的數(shù)量為11個(gè)，求出這11個(gè)參數(shù)的意義與求出(數(shù)3)中的5個(gè)內(nèi)部參數(shù)和6個(gè)外部參數(shù)的意義相同。

[數(shù)4]

因此，最終(數(shù)3)能夠變形為(數(shù)5)那樣，而(數(shù)5)中的矩陣c是最終求出的照相機(jī)參數(shù)。為了計(jì)算該照相機(jī)參數(shù)c，正尋求校準(zhǔn)技術(shù)。

[數(shù)5]

在一般的校準(zhǔn)中，利用對(duì)象的照相機(jī)對(duì)特定的被攝體進(jìn)行攝影，通過向(數(shù)5)輸入特征點(diǎn)的世界坐標(biāo)和與該特征點(diǎn)對(duì)應(yīng)的圖像坐標(biāo)的多個(gè)組合來計(jì)算照相機(jī)參數(shù)c。例如，在專利文獻(xiàn)1中，手動(dòng)地獲取這些坐標(biāo)信息。

專利文獻(xiàn)1：日本特開2006-067272

技術(shù)實(shí)現(xiàn)要素：

在專利文獻(xiàn)1中，由人工輸入校準(zhǔn)所需的信息。因此，存在如下課題：在設(shè)置多個(gè)照相機(jī)時(shí)，不僅作業(yè)負(fù)擔(dān)變大，而且由于作業(yè)內(nèi)容復(fù)雜，也易于發(fā)生人工所致的失誤。

本發(fā)明是用于解決上述課題的發(fā)明，其目的在于，在校準(zhǔn)中，通過從照相機(jī)圖像抽出多個(gè)物體并對(duì)各個(gè)物體附加特性信息，從而不輸入坐標(biāo)信息而實(shí)施校準(zhǔn)。

為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種校準(zhǔn)裝置，具有：圖像獲取部，從攝像裝置獲取圖像；物體抽出部，從圖像抽出多個(gè)物體；特性信息附加部，對(duì)各物體間附加表示多個(gè)物體間的幾何學(xué)上的關(guān)系的幾何學(xué)信息而作為特性信息；照相機(jī)參數(shù)推測(cè)部，根據(jù)特性信息獲取物體的圖像坐標(biāo)，根據(jù)特性信息及圖像坐標(biāo)推測(cè)照相機(jī)參數(shù)；以及照相機(jī)參數(shù)輸出部，輸出照相機(jī)參數(shù)。

通過利用以上所述的特征來應(yīng)用本發(fā)明的校準(zhǔn)裝置，在監(jiān)視照相機(jī)中能夠不輸入坐標(biāo)信息而實(shí)施校準(zhǔn)。

附圖說明

圖1是本發(fā)明的實(shí)施例1的功能框圖。

圖2是在物體抽出部中從攝像圖像抽出建筑物、人、道路的例子。

圖3示出了在圖2的情況下，通過特性信息附加部對(duì)由物體抽出部從攝像圖像抽出的物體pn、qn附加的特性信息on的一個(gè)例子。

圖4示出了在攝像圖像中高度相同的物體以及道路。

圖5示出了在圖4的情況下通過特性信息附加部對(duì)由物體抽出部從攝像圖像抽出的物體pn、qn附加的特性信息on的一個(gè)例子。

圖6是說明物體信息獲取部的流程的圖。

圖7示出物體信息獲取部的處理的流程。

圖8是特性信息是“垂直”的物體間的空間矢量的一個(gè)例子。

圖9是特性信息是“相同高度”的物體間的空間矢量的一個(gè)例子。

圖10是本發(fā)明的實(shí)施例2的功能框圖。

圖11是說明照相機(jī)參數(shù)精度確認(rèn)部的圖。

圖12是本發(fā)明的實(shí)施例3的功能框圖。

圖13是說明人物追蹤部的流程的圖。

圖14是本發(fā)明的實(shí)施例4的功能框圖。

圖15是說明人物位置推測(cè)部的圖。

圖16是說明人流分析部的圖。

圖17是說明人流分析部的流程的圖。

圖18是說明根據(jù)3維信息所生成的俯瞰圖像的差異的圖。

附圖標(biāo)記說明

1：校準(zhǔn)裝置；2：攝像裝置；3：圖像獲取部；4：物體抽出部；5：特性信息附加部；6：照相機(jī)參數(shù)推測(cè)部；7：照相機(jī)參數(shù)輸出部。

具體實(shí)施方式

以下，一邊參照附圖，一邊對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行說明。

實(shí)施例1

圖1示出了本實(shí)施例中的校準(zhǔn)裝置1的方框圖。

圖1所示的校準(zhǔn)裝置1具有圖像獲取部3、物體抽出部4、特性信息附加部5、照相機(jī)參數(shù)推測(cè)部6以及照相機(jī)參數(shù)輸出部7。校準(zhǔn)裝置既可以與攝像裝置2經(jīng)由網(wǎng)絡(luò)設(shè)置于管理服務(wù)器等，也可以設(shè)置于攝像裝置2內(nèi)。

攝像圖像獲取部3將以預(yù)定的時(shí)間周期從至少一個(gè)以上的照相機(jī)2獲取到的可見光經(jīng)由ccd、cmos元件變換為電信號(hào)。在數(shù)字方式的情況下，除此以外還進(jìn)行數(shù)字變換。以后，將實(shí)施了電信號(hào)、數(shù)字變換的從圖像獲取部3輸出的圖像稱為攝像圖像。

物體抽出部4從攝像圖像抽出物體。在本實(shí)施例中，例如，抽出攝像圖像所包含的水平面、直立于該水平面的物體等。在室外，作為水平面可以舉出道路，作為直立于水平面的物體可以舉出人、建筑物等。另一方面，在室內(nèi)，作為水平面可以舉出地面，作為直立于水平面的物體可以舉出桌子、架子等。

物體的抽出方法有利用gui等顯示畫面手動(dòng)進(jìn)行檢測(cè)和利用圖像識(shí)別自動(dòng)進(jìn)行檢測(cè)的方法。前者的利用gui等手動(dòng)進(jìn)行的檢測(cè)有在使攝像圖像顯示于顯示器等之后直接指定物體的外框的方法、利用矩形包圍物體的方法。后者的利用圖像識(shí)別自動(dòng)進(jìn)行的檢測(cè)有預(yù)先獲取不存在物體的背景圖像而根據(jù)背景圖像與攝像圖像的差分抽出物體的方法、從攝像圖像僅抽出具有特別的顏色信息的物體的方法。除此以外，還有通過場(chǎng)景識(shí)別從圖像中抽出以及分辨多個(gè)物體，從這些物體中手動(dòng)地選擇特定的物體的方法。此外，作為物體的抽出方法，除了上述以外，只要是從攝像圖像檢測(cè)出特定的物體的方法，則不作特別限定。

特性信息附加部5對(duì)在物體抽出部4中抽出的物體附加特性信息。特性信息是指表示在多個(gè)物體間成立的幾何學(xué)上的關(guān)系的幾何學(xué)信息。

圖2～圖5示出有由特性信息附加部5對(duì)由物體抽出部4從攝像圖像抽出的物體pn、qn附加的特性信息on的一個(gè)例子。

圖2示出在物體抽出部4中從攝像圖像抽出作為建筑物的物體10以及11、作為人的物體12、作為道路的物體13的例子。在得到這樣的攝像圖像的情況下，附加如圖3那樣的特性信息。

圖3的n是對(duì)被附加于各物體間的特性信息賦予的連續(xù)的編號(hào)，pn、qn表示被附加特性信息的物體。在本實(shí)施例中，以被附加幾何學(xué)信息的物體是pn、qn這2個(gè)物體的情況來說明，但也可以附加2個(gè)以上的多個(gè)物體間的幾何學(xué)信息。特性信息on表示物體間的幾何學(xué)信息，在本實(shí)施例中是“垂直”、“相同高度”這樣的2個(gè)特性信息。在圖3中，在n＝1的情況下，p1＝10、q1＝12的幾何學(xué)信息o1是“水平”。即，如圖2所示，建筑物10和人12都相對(duì)地面垂直地站立，所以在幾何學(xué)上相互處于水平關(guān)系。

圖4示出在攝像圖像中物體14a～14d是高度相同的電線桿，物體15是道路。

在該情況下，能夠附加例如圖5那樣的特性信息。作為通過特性信息附加部5附加的特性信息的數(shù)量，只要存在未知的參數(shù)的數(shù)量即可。例如，也可以在圖2的情況下僅附加圖3記載的物體10和物體13是“垂直”的特性信息on，在圖4的情況下僅附加圖4記載的物體14a和物體14b是“相同高度”的特性信息on。

在此，作為對(duì)物體附加特性的手段，有反復(fù)進(jìn)行在通過顯示畫面等gui等選擇2個(gè)從攝像圖像抽出的物體后從“垂直”、“相同高度”中選擇1個(gè)特性信息的流程的方法、預(yù)先對(duì)抽出物體附加id編號(hào)等且將該編號(hào)和特性信息寫入到文本文件等并建立對(duì)應(yīng)的方法。

除此以外，還有例如在圖4的情況下，如果建立對(duì)應(yīng)為物體14a、14b、14c、14d是“相同高度”的屬性，則自動(dòng)地制作物體間的6個(gè)組合并對(duì)各個(gè)組合附加特性信息的方法。此外，除了上述以外，只要是從攝像圖像內(nèi)的抽出物體中選擇多個(gè)物體，對(duì)這些物體對(duì)應(yīng)起特性信息的方法，則不作特別限定。

圖6是示出圖1所示的照相機(jī)參數(shù)推測(cè)部6的詳細(xì)情況的圖。照相機(jī)參數(shù)推測(cè)部6根據(jù)物體的特性信息推測(cè)照相機(jī)參數(shù)。

照相機(jī)參數(shù)推測(cè)部6具有物體信息獲取部20、初始參數(shù)獲取部21以及參數(shù)計(jì)算部22。

物體信息獲取部20隨著輸入從特性信息附加部5輸出的特性信息，獲取圖像坐標(biāo)。

初始參數(shù)獲取部21獲取照相機(jī)參數(shù)的初始值。參數(shù)計(jì)算部22的功能為基于附加于物體的特性信息和圖像坐標(biāo)，根據(jù)照相機(jī)參數(shù)的初始值來計(jì)算最終照相機(jī)參數(shù)。

圖7示出物體信息獲取部20的處理的流程。

在物體信息獲取部20中，首先判定由特性信息附加部5對(duì)物體pn、qn附加的特性信息on是“垂直”還是“相同高度”(s701)。

在s701中，在判定為特性信息on是“垂直”的情況下，判定物體pn、qn是<水平面>和<垂直于水平面的物體>中的哪個(gè)(s702)。在物體是<水平面>的情況下，從該水平面上獲取2個(gè)圖像坐標(biāo)(s703)。作為從水平面上獲取2個(gè)圖像坐標(biāo)的方法，有從水平面上隨機(jī)選出的方法、使用gui等手動(dòng)地選擇的方法等。另一方面，在物體是<垂直于水平面的物體>的情況下，獲取該物體區(qū)域的上底和下底的圖像坐標(biāo)(s704)。此外，也可以并非物體區(qū)域的上底和下底，而只要是在物體區(qū)域的處于現(xiàn)實(shí)空間上的高度方向軸上的2點(diǎn)即可。另外，也可以獲取在物體的物體區(qū)域的處于攝像圖像上的y軸上的2個(gè)圖像坐標(biāo)。

在s701中，在判定為特性信息on是“相同高度”的情況下，獲取物體pn、qn各自的區(qū)域的上底和下底的圖像坐標(biāo)(s705)。此外，也可以并非物體區(qū)域的上底和下底，而只要是在物體區(qū)域的處于現(xiàn)實(shí)空間上的高度方向軸上的2點(diǎn)即可。作為獲取物體區(qū)域的上底和下底的圖像坐標(biāo)的方法，有在將圖像左上設(shè)為原點(diǎn)的情況下將物體區(qū)域的外框的圖像坐標(biāo)中y坐標(biāo)最大處設(shè)為上底、將最小處設(shè)為下底的方法、將物體區(qū)域的上邊的中點(diǎn)設(shè)為上底、將下邊的中點(diǎn)設(shè)為下底的方法等。此外，作為獲取圖像坐標(biāo)的方法，也可以是上述以外的方法，只要是能夠選出圖像坐標(biāo)的方法即可。這樣，物體信息獲取部20具有獲取附加于物體的特性信息和與特性信息對(duì)應(yīng)的圖像信息的功能。

接下來，說明初始參數(shù)獲取部21。初始參數(shù)獲取部21具有獲取11個(gè)照相機(jī)參數(shù)的初始值的功能。作為初始參數(shù)的獲取的方法，有通過隨機(jī)數(shù)獲取的方法、利用照相機(jī)的硬件信息而手動(dòng)地輸入的方法等，不作特別限定。

最后，說明參數(shù)計(jì)算部22。參數(shù)計(jì)算部22根據(jù)由物體信息獲取部20獲取到的物體pn、qn的特性信息on、物體pn的圖像坐標(biāo)(pxn，pyn)、(pxn'，pyn')及物體qn的圖像坐標(biāo)(qxn，qyn)、(qxn'，qyn')以及通過初始參數(shù)獲取部21輸入的初始照相機(jī)參數(shù)c0，計(jì)算最終的照相機(jī)參數(shù)。

說明由參數(shù)計(jì)算部22處理的照相機(jī)參數(shù)c。在上述(數(shù)5)中，如果將世界坐標(biāo)zw設(shè)為固定值h，則通過經(jīng)過(數(shù)6)的式子而能夠變形為(數(shù)7)那樣。(數(shù)7)表示只要已知世界坐標(biāo)zw的h，就能夠根據(jù)圖像坐標(biāo)(u，v)和照相機(jī)參數(shù)c導(dǎo)出世界坐標(biāo)xw和yw。

[數(shù)6]

[數(shù)7]

在此，如果如(數(shù)8)所示地展開(數(shù)7)，并附加c31'c13+c32'c23+c34'c33≠0這樣的條件，則能夠?qū)⒐潭ㄖ礹置換為(數(shù)9)那樣。

[數(shù)8]

[數(shù)9]

因此，即使在(數(shù)7)中h的值并非已知的，也能夠根據(jù)圖像坐標(biāo)(u，v)和照相機(jī)參數(shù)c來計(jì)算出世界坐標(biāo)wi，在本實(shí)施例中，利用函數(shù)f將該關(guān)系式表示為(數(shù)10)那樣。在參數(shù)計(jì)算部22中，根據(jù)(數(shù)10)推測(cè)照相機(jī)參數(shù)。

[數(shù)10]

wi＝f(ui，vi，h，c)

(wi＝(xwi，ywi，h))

以下，以特性信息on是“垂直”的情況為例，說明照相機(jī)參數(shù)的推測(cè)方法。圖8示出了該例子中的攝像圖像。在物體pn是垂直于水平面且高度為h的物體、物體qn為水平面的情況下，與物體pn的上底部分的圖像坐標(biāo)(pxn，pyn)對(duì)應(yīng)的世界坐標(biāo)wpn和與下底部分的圖像坐標(biāo)(pxn′，pyn′)對(duì)應(yīng)的世界坐標(biāo)wpn′如(數(shù)11)所示。

[數(shù)11]

wpn＝f(pxn，pyn，h，c0)

wpn′＝f(pxn′，pyn′，0，c0)

另一方面，物體qn的圖像坐標(biāo)存在于水平面，所以其世界坐標(biāo)wqn、wqn′如(數(shù)12)所示。

[數(shù)12]

wqn＝f(qxn，qyn，0，c0)

wqn′＝f(qxn′，qyn′，0，c0)

在此，如圖8所示，物體pn與物體qn垂直，所以如(數(shù)13)那樣空間矢量的wpnwpn′和wqnwqn′的內(nèi)積為0。

[數(shù)13]

然后，能夠通過進(jìn)行初始照相機(jī)參數(shù)c0的最佳化來導(dǎo)出最終照相機(jī)參數(shù)c，以使(數(shù)14)所示的誤差函數(shù)e為最小。

[數(shù)14]

作為最佳化的手法，使用集束調(diào)整(bundleadjustment)等一般的方法，不作特別限定。接下來，說明特性信息on是“相同高度”時(shí)的推測(cè)方法。圖9示出了該例子中的攝像圖像。如果假設(shè)為物體pn、qn的高度是h且它們直立于水平面，則與物體pn的上底、下底部分的圖像坐標(biāo)(pxn，pyn)、(pxn′，pyn′)以及高度是h的物體qn的上底、下底部分的圖像坐標(biāo)(qxn，qyn)、(qxn′，qyn′)對(duì)應(yīng)的世界坐標(biāo)wpn、wpn′、wqn、wqn′如(數(shù)15)所示。

[數(shù)15]

wpn＝f(pxn，pyn，h，c0)

wpn′＝f(pxn′，pyn′，0，c0)

wqn＝f(qxn，qyn，h，c0)

wqn′＝f(qxn′，qyn′，0，c0)

在此，如圖9所示，物體pn、qn是相同高度，所以如(數(shù)16)那樣，空間矢量的wpnwpn′和wqnwqn′的大小之差為0。

[數(shù)16]

因此，能夠通過初始參數(shù)c0的最佳化來推測(cè)照相機(jī)參數(shù)c，以使(數(shù)17)所示的誤差函數(shù)e為最小。

[數(shù)17]

此外，在使用(數(shù)14)、(數(shù)17)進(jìn)行最佳化時(shí)，僅通過1組矢量信息只能夠推測(cè)1個(gè)照相機(jī)參數(shù)。但是，可以通過增加特性信息來同時(shí)推測(cè)多個(gè)照相機(jī)參數(shù)是顯而易見的。作為增加制約條件的方法，例如，在特性信息是“垂直”的情況下，能夠通過從水平面的物體區(qū)域抽出2個(gè)以上的圖像坐標(biāo)并獲取多個(gè)空間矢量來應(yīng)對(duì)。另外，在特性信息是“相同高度”的情況下，能夠以通過從圖像上進(jìn)一步選擇相同高度的物體來增加空間矢量信息的方式來應(yīng)對(duì)。另外，還能夠通過利用照相機(jī)的硬件信息等將已知的照相機(jī)參數(shù)作為固定值而設(shè)定到初始參數(shù)c0，減少制約條件而推測(cè)照相機(jī)參數(shù)。另外，在本實(shí)施例中，僅關(guān)于“垂直”和“相同高度”，敘述了物體的特性信息，但也可以使用例如“平行”、“物體間所成的角度是45度”等特性信息。

返回到圖1，照相機(jī)參數(shù)輸出部7將由照相機(jī)參數(shù)推測(cè)部6推測(cè)出的照相機(jī)參數(shù)輸出到攝像裝置2或者管理服務(wù)器等，對(duì)攝像裝置2設(shè)定照相機(jī)參數(shù)。

如以上所述那樣，在本實(shí)施例中，通過利用從照相機(jī)圖像抽出的多個(gè)物體和附加于這些物體的特性信息，能夠不輸入現(xiàn)實(shí)空間上的坐標(biāo)信息而實(shí)施校準(zhǔn)。

此外，在實(shí)施例1中，也可以在根據(jù)某物體間的特性信息求出最終照相機(jī)參數(shù)后，以最終照相機(jī)參數(shù)為初始參數(shù)，使用與上次不同的物體間的特性信息來更新參數(shù)的值。

實(shí)施例2

本實(shí)施例涉及對(duì)實(shí)施例1中求出的照相機(jī)參數(shù)進(jìn)行精度調(diào)整的情況。

圖10示出實(shí)施例2的功能框圖。在圖10中，1、2、3、4、5、6、7的各功能與實(shí)施例1相同。

在敘述圖10的概要時(shí)，首先，在多個(gè)照相機(jī)2(攝像裝置2)中，通過功能3、4、5、6、7推測(cè)各照相機(jī)2的照相機(jī)參數(shù)。接下來，3維信息獲取部30根據(jù)2臺(tái)照相機(jī)的攝像圖像和從照相機(jī)參數(shù)輸出部7獲得的照相機(jī)參數(shù)，獲取圖像中的物體的3維信息。

然后，照相機(jī)參數(shù)精度確認(rèn)部31根據(jù)通過3維信息獲取部30獲取到的物體的3維信息來確認(rèn)照相機(jī)參數(shù)的精度，在參數(shù)的精度不良的情況下，再次推測(cè)照相機(jī)參數(shù)。通過做成這樣的結(jié)構(gòu)，能夠獲取到精度高的照相機(jī)參數(shù)。

以下，說明3維信息獲取部30和照相機(jī)參數(shù)精度確認(rèn)部31的功能。

3維信息獲取部30根據(jù)利用2臺(tái)照相機(jī)得到的攝像圖像和在各照相機(jī)中推測(cè)出的照相機(jī)參數(shù)，計(jì)算攝像圖像中的物體與照相機(jī)的距離，從而獲取物體的3維信息。此外，作為3維信息的獲取方法，使用通過根據(jù)照相機(jī)參數(shù)求出的基礎(chǔ)矩陣f來計(jì)算視差的被稱為立體匹配(stereomatching)的一般的手法?；A(chǔ)矩陣f是表示2臺(tái)照相機(jī)的相對(duì)的位置關(guān)系的參數(shù)矩陣，如(數(shù)18)所示，能夠通過由照相機(jī)參數(shù)輸出部7獲取到的2臺(tái)照相機(jī)的內(nèi)部參數(shù)k0、k1和外部參數(shù)d0、d1來計(jì)算。

[數(shù)18]

f＝(k0^-1)^ttrk1^-1

r＝r0r1^-1

圖11是在照相機(jī)參數(shù)精度確認(rèn)部31中，用戶通過觀察根據(jù)3維信息制作出的視點(diǎn)變換圖像，確認(rèn)照相機(jī)參數(shù)的精度并且調(diào)整參數(shù)的值的gui畫面的一個(gè)例子。

在圖11中，畫面40是照相機(jī)2的攝像圖像，攝影有相同的身高的人物41a、41b、41c和道路42。畫面43表示人物41a、41b、41c和道路42的3維信息，畫面44、45、46是從假想的視點(diǎn)觀察顯示于畫面43的3維信息時(shí)的視點(diǎn)變換圖像。畫面44表示正前方方向，畫面45表示正側(cè)面(右)方向，畫面46表示正上方方向的視點(diǎn)處的視點(diǎn)變換圖像。此外，作為視點(diǎn)變換圖像的制作方法，使用利用照相機(jī)參數(shù)的透視投影這樣的一般的方法。另外，也可以利用從除了正前方、正側(cè)面(右)、正上方以外的視點(diǎn)方向制作出的視點(diǎn)變換圖像。

在照相機(jī)參數(shù)精度確認(rèn)部31中，根據(jù)該視點(diǎn)變換圖像44、45、46確認(rèn)照相機(jī)參數(shù)的精度。在準(zhǔn)確地計(jì)算出照相機(jī)參數(shù)的情況下，如圖11所示，在視點(diǎn)變換圖像44、45中，道路42為水平，人物41a、41b、41c直立于道路42且各頭頂部為相同高度，在視點(diǎn)變換圖像46中，人物41a、41b、41c的位置相離，所以各人物區(qū)域獨(dú)立。

但是，例如，在照相機(jī)的外部參數(shù)內(nèi)表示照相機(jī)的俯角的傾斜角中存在誤差時(shí)，在視點(diǎn)變換圖像44、45中，道路42不為水平，人物41a、41b、41c的頭頂部也不為相同高度。因此，用戶通過確認(rèn)顯示畫面能夠確認(rèn)傾斜角中存在誤差。因此，通過圖11的照相機(jī)參數(shù)調(diào)整gui47，對(duì)存在誤差的照相機(jī)參數(shù)進(jìn)行調(diào)整。在照相機(jī)參數(shù)調(diào)整gui47中，能夠通過增減按鈕49調(diào)整由畫面48顯示的輸出攝像圖像40的照相機(jī)的照相機(jī)參數(shù)。此外，在gui47中如果通過增減按鈕49變更參數(shù)值，則視點(diǎn)變換圖像44、45、46根據(jù)該值而被更新，所以用戶能夠在視覺上校正照相機(jī)參數(shù)。用戶變更后的照相機(jī)參數(shù)也可以作為初始值或者固定值再次輸入到照相機(jī)參數(shù)推測(cè)部6而進(jìn)行最佳化，或者直接使用。此外，能夠選擇通過照相機(jī)參數(shù)調(diào)整gui調(diào)整參數(shù)的照相機(jī)，在變更調(diào)整的照相機(jī)時(shí)攝像圖像40和視點(diǎn)變換圖像44、45、46被更新為與變更后的照相機(jī)對(duì)應(yīng)的圖像。另外，作為參數(shù)的調(diào)整手段，除了如圖11那樣使用增減按鈕49以外，也可以是直接輸入值這樣的方法，不作特別限定。

在本發(fā)明的實(shí)施例2中，通過以上所說明的功能結(jié)構(gòu)，通過根據(jù)從2臺(tái)照相機(jī)獲取到的照相機(jī)參數(shù)和物體的3維信息來生成視點(diǎn)變換圖像并顯示于gui，用戶能夠在視覺上確認(rèn)2臺(tái)照相機(jī)的照相機(jī)參數(shù)的精度并且在必要的情況下調(diào)整其參數(shù)值。

此外，在實(shí)施例2中，照相機(jī)臺(tái)數(shù)不限定于2臺(tái)，也可以同時(shí)確認(rèn)多臺(tái)照相機(jī)的照相機(jī)參數(shù)的精度并且調(diào)整參數(shù)值。

實(shí)施例3

在本實(shí)施例中，說明根據(jù)存在于在不同的時(shí)刻獲取到的2個(gè)以上的攝像圖像上的物體間的幾何學(xué)上的關(guān)系來附加特性信息的情況，以代替實(shí)施例1中的根據(jù)存在于1個(gè)攝像圖像上的2個(gè)以上的物體間的幾何學(xué)上的關(guān)系來附加特性信息。

圖12是示出實(shí)施例3的功能框圖的圖。

在圖12中，1、2、3、6、7的各功能與實(shí)施例1相同。物體追蹤部60的功能為例如通過追蹤作為運(yùn)動(dòng)物體的人物，從多個(gè)攝像圖像獲取物體的特性信息和圖像信息。以下，說明物體追蹤部60的功能的詳細(xì)情況。

圖13是詳細(xì)示出物體追蹤部60的功能的圖。

在圖13中，物體檢測(cè)部61的功能為從攝像圖像檢測(cè)人物，物體識(shí)別部62的功能為判定由物體檢測(cè)部61檢測(cè)出的物體與從過去的攝像圖像中檢測(cè)出的物體是否為同一物體，id編號(hào)附加部63的功能為根據(jù)物體識(shí)別部62的判定結(jié)果對(duì)物體附加id編號(hào)，物體信息保存部64的功能為保存檢測(cè)出的物體的圖像信息等。

物體檢測(cè)部61的功能為從攝像圖像檢測(cè)物體，有使用gui等手動(dòng)地檢測(cè)的方法、使用圖像特征量自動(dòng)地檢測(cè)的方法。作為后者的使用圖像特征量自動(dòng)地檢測(cè)的方法，有根據(jù)與預(yù)先攝影到的背景圖像的差分來抽出物體區(qū)域的方法、利用光流(opticalflow)等將圖像中的存在變化的區(qū)域作為物體抽出的方法、通過利用hog特征量等的模式識(shí)別(patternrecognition)來檢測(cè)的方法等。此外，除此以外，只要是從圖像中檢測(cè)物體的方法，則不作特別限定。

物體識(shí)別部62的功能為判定由物體檢測(cè)部61從當(dāng)前的攝像圖像中檢測(cè)出的物體與從過去的攝像圖像中檢測(cè)出的物體是否為同一物體。作為判定是否為同一物體的方法，有在物體是人物的情況下利用臉部識(shí)別的方法、利用光流等求出與緊前一幀的變化之差并將變化最少的部分視為同一人物這樣的根據(jù)位置信息判定的方法等，除此以外，只要是能夠判定為同一物體的方法即可。

在id編號(hào)附加部63中，在由物體識(shí)別部62判定為由物體檢測(cè)部102在當(dāng)前的攝像圖像中檢測(cè)出的物體與過去的物體為同一物體的情況下，附加與過去的物體相同的id編號(hào)，如果判定為不為同一物體則附加新的id編號(hào)。此外，在本實(shí)施例中，從0開始按升序附加id編號(hào)。

物體信息保存部64在由物體檢測(cè)部61從當(dāng)前的攝像圖像中檢測(cè)出的物體pn中，獲取及保存其區(qū)域的上底和下底的圖像信息。然后，在過去的攝像圖像中保存有具有與該物體pn的id編號(hào)相同的id編號(hào)的物體qn的圖像信息的情況下，附加“相同高度”這樣的特性信息on。

通過采用以上這樣的處理，輸出特性信息on是“相同高度”的物體pn、qn、rn、…的上底和下底的圖像信息[(pxn，pyn)、(pxn'，pyn')]、[(qxn，qyn)、(qxn'，qyn')]、[(rxn，ryn)、(rxn'，ryn')]、…，從而能夠與實(shí)施例1同樣地由照相機(jī)參數(shù)推測(cè)部6計(jì)算照相機(jī)參數(shù)。此外，在物體追蹤部60中，即使除了上述方法以外，只要能夠追蹤同一物體且能夠獲取該物體的物體區(qū)域的處于現(xiàn)實(shí)空間上的高度方向軸上的2個(gè)圖像坐標(biāo)，則不作特別限定。

在本發(fā)明的實(shí)施例3中，通過以上所說明的功能結(jié)構(gòu)，通過在照相機(jī)影像內(nèi)追蹤同一人物，能夠不輸入現(xiàn)實(shí)空間上的坐標(biāo)信息而實(shí)施校準(zhǔn)。

此外，在實(shí)施例3中，只要能夠追蹤影像內(nèi)的同一人物，也能夠應(yīng)用于作為使用2臺(tái)照相機(jī)的攝像裝置2的立體照相機(jī)(stereocamera)。

實(shí)施例4

圖14示出本發(fā)明的實(shí)施例4的功能框圖。

在圖14中，1、2、3、4、5、6、7、30、31的各功能與實(shí)施例2相同，人物位置推測(cè)部70的功能為根據(jù)從距離信息獲取部30獲取到的距離信息和通過照相機(jī)參數(shù)精度確認(rèn)部31調(diào)整得到的照相機(jī)參數(shù)，來推測(cè)圖像中的人物在現(xiàn)實(shí)空間上的位置；人流分析部71的功能為根據(jù)由人物位置推測(cè)部70推測(cè)出的人物的位置，進(jìn)行人數(shù)測(cè)量、動(dòng)線抽出、擁擠時(shí)間測(cè)量等的人流分析；分析結(jié)果顯示部72的功能為在pc顯示器等顯示利用人流分析部71進(jìn)行的人流分析的結(jié)果。以下，說明人物位置推測(cè)部70和人流分析部71的詳細(xì)情況。此處設(shè)為人物，但也可以是其它運(yùn)動(dòng)物體。

圖15是用于說明人物位置推測(cè)部的圖。

在圖15中，(a)是2臺(tái)照相機(jī)內(nèi)任意一方的照相機(jī)中的攝像圖像，75a、75b表示人物，76表示道路，77表示大廈。在人物位置推測(cè)部70中，首先通過人檢測(cè)從攝像圖像僅抽出人物，制作圖15(b)所示的人物區(qū)域圖像。此外，關(guān)于人檢測(cè)的方法，有在實(shí)施例3中所述的人檢測(cè)部61的手法、根據(jù)與預(yù)先獲取到的不存在人物的狀況下的3維信息的差分來導(dǎo)出的方法。接下來，與照相機(jī)參數(shù)精度確認(rèn)部31同樣地，獲取與抽出的人物區(qū)域?qū)?yīng)的3維信息，生成從正上方方向的視點(diǎn)觀察所獲取到的3維信息時(shí)的視點(diǎn)變換圖像即俯瞰圖像(c)。最后，通過在俯瞰圖像(c)中的各人物區(qū)域中求出重心位置，能夠計(jì)算出人物位置圖像(d)，能夠推測(cè)出人物75a、75b的現(xiàn)實(shí)空間上的位置即78a、78b。

圖16是用于說明人流分析部71的圖。在圖16中，(a)示出攝像圖像，(b)示出對(duì)推測(cè)出的現(xiàn)實(shí)空間上的人物的位置與實(shí)際的地圖進(jìn)行映射的流程，(c)、(d)、(e)示出人數(shù)測(cè)量、動(dòng)線抽出、滯留時(shí)間測(cè)量這樣的人流分析的應(yīng)用例。在人流分析部71中，首先將由人物位置推測(cè)部70根據(jù)攝像圖像(a)計(jì)算出的人物位置圖像79與作為實(shí)際的地圖信息的地圖圖像80建立對(duì)應(yīng)。作為該建立對(duì)應(yīng)的方法，有通過gui等手動(dòng)地調(diào)整圖像坐標(biāo)以使得人物位置圖像79所示的人物位置78a、78b收納到映射圖像80適合的場(chǎng)所的方法等，不作特別限定。接下來，使用將人物位置圖像79與地圖圖像80建立有對(duì)應(yīng)的映射圖像83來進(jìn)行人流分析。圖16(c)是通過比較映射圖像83中的道路76的圖像信息與人物位置78a、78b的圖像信息，測(cè)量處于道路76上的人物的數(shù)量的應(yīng)用的執(zhí)行例。在本執(zhí)行例中，處于道路76上的人物僅為75a，所以在執(zhí)行結(jié)果84中顯示為1人。圖16(d)是結(jié)合在連續(xù)幀中由人物位置推測(cè)部70推測(cè)出的人物位置的結(jié)果來追蹤人物的動(dòng)線抽出應(yīng)用的執(zhí)行例。作為人物的追蹤方法，有與在實(shí)施例3中所述的人物追蹤部60同樣的方法、在前后幀中比較俯瞰圖像中的多個(gè)人物區(qū)域而將移動(dòng)量最小的部分處理為相同的人物區(qū)域來追蹤的方法等，但不作特別限定。在圖16(d)中，85a表示人物75a的動(dòng)線，85b表示人物75b的動(dòng)線，可知人物75a大幅移動(dòng)，而人物75b滯留在相同的場(chǎng)所附近。圖16(e)是將映射圖像分割為4個(gè)塊，利用動(dòng)線抽出結(jié)果來測(cè)量各塊中的每塊的人物的平均滯留時(shí)間的應(yīng)用的執(zhí)行例。在執(zhí)行結(jié)果86中，在塊a、c中沒有人物，所以平均滯留時(shí)間是0秒，在塊b中有大幅移動(dòng)的人物75a，在塊d中有滯留的人物76b，所以d塊的平均滯留時(shí)間最大。

在本發(fā)明的實(shí)施例4中，通過以上所說明的功能結(jié)構(gòu)，通過根據(jù)從2臺(tái)照相機(jī)獲取到的照相機(jī)參數(shù)和物體的3維信息來推測(cè)人物的位置，從而能夠不輸入現(xiàn)實(shí)空間上的坐標(biāo)信息而實(shí)施人流分析。

在實(shí)施例4中，也可以不利用人物整體的3維信息，而利用頭部的3維信息。

圖17是通過人物位置推測(cè)部70根據(jù)攝像圖像來推測(cè)人物的位置的流程的一個(gè)例子。

首先，通過人檢測(cè)，根據(jù)攝像圖像制作人物區(qū)域圖像(s1701)。

接下來，獲取與人物區(qū)域?qū)?yīng)的3維信息(s1702)，從獲取到的人物的3維信息僅抽出頭部的3維信息(s1703)。

最后，根據(jù)抽出的僅頭部的3維信息，使用照相機(jī)參數(shù)來制作俯瞰圖像(s1704)，求出制作出的俯瞰圖像中的各頭部的重心位置(s1705)，從而能夠推測(cè)人物位置。

此外，作為s1703中的抽出頭部的3維信息的方法，有預(yù)先使用圖像特征量從攝像圖像檢測(cè)頭部的凸?fàn)畹男螤畹榷@取與檢測(cè)出的頭部區(qū)域?qū)?yīng)的3維信息的方法、使用由照相機(jī)參數(shù)精度確認(rèn)部31制作出的正前方方向、正側(cè)面方向的視點(diǎn)變換圖像將高于一定以上的高度的3維信息檢測(cè)為頭部等方法。除此以外，只要是檢測(cè)頭部附近的手法，則不作特別限定。

圖18示出根據(jù)人物整體的3維信息推測(cè)人物的位置而得到的結(jié)果與依照?qǐng)D17的流程僅根據(jù)頭部的3維信息推測(cè)人物的位置而得到的結(jié)果的差異。在圖18中，在從人物90a、90b、90c密集的攝像圖像91中抽出人物整體的3維信息92來制作俯瞰圖像93的情況下，在肩等部分發(fā)生重疊以致難以進(jìn)行人物的區(qū)分，無(wú)法準(zhǔn)確地推測(cè)其位置。但是，在從攝像圖像91中僅抽出人物的臉部部分的3維信息94而制作出的俯瞰圖像95中，不發(fā)生重疊，所以能夠高精度地推測(cè)人物90a、90b、90c的位置。

另外，在實(shí)施例4中，在人流分析部71中也可以執(zhí)行除了人數(shù)測(cè)量、動(dòng)線抽出、滯留時(shí)間測(cè)量這樣的基于推測(cè)出的人物的位置的人流分析應(yīng)用以外的應(yīng)用。例如，有通過測(cè)量在某特定區(qū)域內(nèi)直立的人物的數(shù)量和每個(gè)人物的滯留時(shí)間而將特定區(qū)域內(nèi)的擁擠度計(jì)算為數(shù)值的擁擠度推測(cè)應(yīng)用、根據(jù)俯瞰圖像中的人物區(qū)域彼此的結(jié)合狀態(tài)來判定人物接近還是遠(yuǎn)離并在接近的情況下測(cè)量此處的滯留時(shí)間從而識(shí)別出店鋪等的待客行為的行為識(shí)別應(yīng)用等。