專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)拍攝了空間的情況所得的圖像施加透視變換而生成平面地圖(map) 的圖像處理裝置及圖像處理方法。
背景技術(shù)：
以從上方觀擦了車輛周邊的情況時(shí)的狀態(tài)在顯示器等畫面上顯示車輛周邊的情況的技術(shù)已為人所知。作為這種圖像處理技術(shù)，有將基于其他車輛的大小合成所得的模擬其他車輛的圖像重疊顯示在拍攝圖像上的技術(shù)(例如，參照專利文獻(xiàn)1)。圖1是表示專利文獻(xiàn)1所公開的車輛用顯示裝置11的結(jié)構(gòu)的圖。在圖1中，車輛用顯示裝置11包括照相機(jī)組12、距離傳感器組13、圖像處理裝置14、顯示器15、拍攝條件檢測(cè)裝置16以及障礙物位置檢測(cè)裝置17。照相機(jī)組12是用于對(duì)本車輛的周圍進(jìn)行拍攝的裝置。照相機(jī)組12包括安裝于本車輛的車身周緣部的一個(gè)以上的照相機(jī)。距離傳感器組13是用于檢測(cè)存在于周邊的障礙物的裝置。距離傳感器組13包括安裝于本車輛的一個(gè)以上的傳感器。圖像處理裝置14通過預(yù)先存儲(chǔ)于ROM (Read Only Memory 只讀存儲(chǔ)器)的各種程序而具有作為周圍圖像合成單元41、車輛檢測(cè)單元42、模擬車輛掃描單元43以及圖像合成單元44的功能。周圍圖像合成單元41將通過照相機(jī)組12獲得的多個(gè)周邊圖像數(shù)據(jù)分別透視變換為從本車輛上方的視點(diǎn)觀察所得的俯視圖像，并將這些圖像合成為一張圖像，從而生成車輛周圍圖像。車輛檢測(cè)單元42利用距離傳感器組13的障礙物的檢測(cè)數(shù)據(jù)及車輛周圍圖像， 檢測(cè)存在于本車輛的周圍的其他車輛。模擬車輛掃描單元43配合檢測(cè)出的車輪及車身而掃描從上方觀察了由車輛檢測(cè)單元42檢測(cè)出的車輛時(shí)的模擬的圖像(模擬車輛圖像)。此外，模擬車輛掃描單元43利用的模擬車輛圖像是注冊(cè)于ROM等的數(shù)據(jù)庫(kù)中的圖像。圖像合成單元44將車輛周圍圖像和模擬車輛圖像進(jìn)行合成，從而生成包括存在于本車輛的周邊的其他車輛的周圍圖像。顯示器15基于周圍圖像的信號(hào)，顯示本車輛周圍的圖像?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 日本專利申請(qǐng)?zhí)亻_2007-134961號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的問題然而，在上述的專利文獻(xiàn)1所公開的技術(shù)中，在通過透視變換生成平面地圖時(shí)，未登記于數(shù)據(jù)庫(kù)的車輛(物體)以被透視變換后的變了形的狀態(tài)顯示于平面地圖。由此，存在顯示出對(duì)用戶而言難以辨認(rèn)的圖像的問題。另外，還考慮到要逐步更新將物體的模擬圖像注冊(cè)的數(shù)據(jù)庫(kù)，該更新作業(yè)需要龐大的處理量。
本發(fā)明的目的在于，提供不使處理量增大而生成用戶易于辨認(rèn)的平面地圖的圖像處理裝置及圖像處理方法。解決問題的方案本發(fā)明的圖像處理裝置所采用的結(jié)構(gòu)包括圖像獲取單元，獲取拍攝物體所得的、 可計(jì)算所述物體的三維坐標(biāo)的圖像；坐標(biāo)獲取單元，從所述圖像中提取存在于所述圖像中的三維空間內(nèi)的基準(zhǔn)面(在平面地圖上用戶希望作為基準(zhǔn)的面)上的物體(第1物體)的上表面，并獲取提取了的所述上表面的特征點(diǎn)的三維坐標(biāo)；以及第1平面地圖生成單元，調(diào)整所述上表面的大小和位置以使相當(dāng)于在垂直于所述基準(zhǔn)面方向上的坐標(biāo)的值成為與所述基準(zhǔn)面相同的值，從而生成第1平面地圖。本發(fā)明的圖像處理方法包括圖像獲取步驟，獲取拍攝物體所得的、可計(jì)算所述物體的三維坐標(biāo)的圖像；坐標(biāo)獲取步驟，從所述圖像中提取存在于所述圖像中的三維空間內(nèi)的基準(zhǔn)面上的第1物體的上表面，并獲取所提取的所述上表面的特征點(diǎn)的三維坐標(biāo)；以及第1平面地圖生成步驟，調(diào)整所述上表面的大小和位置以使相當(dāng)于在垂直于所述基準(zhǔn)面方向上的坐標(biāo)的值成為與所述基準(zhǔn)面相同的值，從而生成第1平面地圖。發(fā)明的效果根據(jù)本發(fā)明，能夠不使處理量增大而生成用戶易于辨認(rèn)的平面地圖。


圖1是表示專利文獻(xiàn)1公開的車輛用顯示裝置的結(jié)構(gòu)的圖。圖2是表示本發(fā)明的實(shí)施方式1的監(jiān)視系統(tǒng)的圖。圖3的(A)、(B)是表示本實(shí)施方式1的監(jiān)視對(duì)象區(qū)域的外觀及顯示在顯示器上時(shí)的情況的具體例的圖。圖4是表示本實(shí)施方式1的圖2所示的平面地圖生成裝置的內(nèi)部結(jié)構(gòu)的方框圖。圖5是表示本實(shí)施方式1的圖4所示的平面地圖生成裝置的處理步驟的流程圖。圖6的㈧ ⑴是表示本實(shí)施方式1的圖4所示的平面地圖生成裝置的處理的情況的圖。圖7是表示本實(shí)施方式1的特征點(diǎn)的提取圖像的圖。圖8的㈧ (C)是表示本實(shí)施方式1的后處理的情況的圖。圖9是表示本實(shí)施方式1的在辦公室中設(shè)置了多個(gè)照相機(jī)的情況的圖。圖10的㈧ (C)是表示由本實(shí)施方式1的圖4所示的平面地圖生成裝置生成的平面地圖的圖。圖11是表示本發(fā)明的實(shí)施方式1的另一平面地圖生成裝置的內(nèi)部結(jié)構(gòu)的方框圖。圖12是表示在本實(shí)施方式1的平面地圖上示出了表示人的活動(dòng)的動(dòng)作線路的情況的圖。圖13是表示本發(fā)明的實(shí)施方式2的平面地圖生成裝置的內(nèi)部結(jié)構(gòu)的方框圖。圖14是表示本發(fā)明的實(shí)施方式2的另一平面地圖生成裝置的內(nèi)部結(jié)構(gòu)的方框圖。標(biāo)號(hào)說明101照相機(jī)組102 網(wǎng)絡(luò)
103、500、600、700 平面地圖生成裝置104顯示器301圖像獲取單元302坐標(biāo)獲取單元303第1平面地圖生成單元304圖像區(qū)域提取單元305第2平面地圖生成單元306重疊處理單元307粘接單元501人物檢測(cè)單元502動(dòng)作線路顯示單元601差分檢測(cè)單元602差分判定單元
具體實(shí)施例方式以下，參照附圖詳細(xì)說明本發(fā)明的實(shí)施方式。但是，在實(shí)施方式中，對(duì)具有相同功能的部分附加相同的標(biāo)號(hào)，并省略重復(fù)的說明。(實(shí)施方式1)圖2是表示本發(fā)明的實(shí)施方式1的監(jiān)視系統(tǒng)100的圖。圖2的監(jiān)視系統(tǒng)100包括照相機(jī)組101、網(wǎng)絡(luò)102、平面地圖(Plane Map)生成裝置103和顯示器104。照相機(jī)組101被設(shè)置用于拍攝車間或辦公室等監(jiān)視對(duì)象區(qū)域的空間。照相機(jī)組 101由安裝于監(jiān)視對(duì)象區(qū)域內(nèi)的固定的部位的一個(gè)以上的照相機(jī)構(gòu)成。以下，對(duì)監(jiān)視對(duì)象區(qū)域?yàn)檗k公室的情況進(jìn)行說明。例如，照相機(jī)能夠采用CCD照相機(jī)、CMOS照相機(jī)的立體照相機(jī)等。各照相機(jī)設(shè)置在頂棚或墻壁等上，以使整個(gè)辦公室中的拍攝不到的死角部分變少。網(wǎng)絡(luò)102連接照相機(jī)組101和平面地圖生成裝置103。照相機(jī)組101拍攝到的圖像經(jīng)由網(wǎng)絡(luò)102發(fā)送至平面地圖生成裝置103。平面地圖生成裝置103根據(jù)獲取到的圖像生成平面地圖，并輸出到顯示器104。平面地圖生成裝置103能夠采用PC(個(gè)人計(jì)算機(jī))等終端。另外，將在后面論述平面地圖生成裝置103的細(xì)節(jié)。顯示器104顯示平面地圖生成裝置103所生成的平面地圖。圖4是表示圖2所示的平面地圖生成裝置103的內(nèi)部結(jié)構(gòu)的方框圖。平面地圖生成裝置103包括圖像獲取單元301、坐標(biāo)獲取單元302、第1平面地圖生成單元303、圖像區(qū)域提取單元304、第2平面地圖生成單元305、重疊處理單元306以及粘接單元307。圖像獲取單元301獲取由網(wǎng)絡(luò)102發(fā)送的照相機(jī)組101的圖像。并且，圖像獲取單元301將獲取到的圖像輸出到坐標(biāo)獲取單元302、第1平面地圖生成單元303及圖像區(qū)域提取單元304。這里獲取到的圖像是可計(jì)算三維坐標(biāo)的圖像。在本實(shí)施方式中，說明該圖像為立體圖像的情況。坐標(biāo)獲取單元302進(jìn)行兩個(gè)處理。作為第1個(gè)處理，坐標(biāo)獲取單元302首先對(duì)于從圖像獲取單元301輸出的圖像，施加透視變換(Perspective Transform)和平滑處理。接下來(lái)，坐標(biāo)獲取單元302提取成為對(duì)象的物體(第1物體)的上表面區(qū)域，并計(jì)算提取到的上表面區(qū)域中的各特征點(diǎn) (Features)的三維坐標(biāo)。然后，坐標(biāo)獲取單元302將計(jì)算結(jié)果輸出到第1平面地圖生成單元303。更具體而言，坐標(biāo)獲取單元302通過利用了來(lái)自圖像獲取單元301的立體圖像的三角測(cè)量，計(jì)算上表面的各特征點(diǎn)的三維坐標(biāo)。這里，以圖3的㈧為具體例說明三維坐標(biāo)軸。在以圖3的㈧所示的A面為基準(zhǔn)面時(shí)，在基準(zhǔn)面上相交成直角的軸為χ軸和y軸，基準(zhǔn)面的向上的法線方向?yàn)棣戚S。此外， 基準(zhǔn)面是在平面地圖生成過程中用戶定義為基準(zhǔn)的面，例如是地面。作為第2個(gè)處理，坐標(biāo)獲取單元302首先從后述的圖像區(qū)域提取單元304中獲取第2物體的圖像區(qū)域的各特征點(diǎn)。然后，坐標(biāo)獲取單元302計(jì)算獲取到的各特征點(diǎn)的三維坐標(biāo)，并將計(jì)算結(jié)果輸出到第2平面地圖生成單元305。坐標(biāo)獲取單元302利用與上表面區(qū)域的各特征點(diǎn)的計(jì)算同樣的方法求區(qū)域的各特征點(diǎn)的三維坐標(biāo)。第1平面地圖生成單元303從坐標(biāo)獲取單元302獲取上表面區(qū)域中的各特征點(diǎn)的三維坐標(biāo)。然后，第1平面地圖生成單元303變換第1物體的圖像區(qū)域的大小，使得獲取到的三維坐標(biāo)中的ζ坐標(biāo)的值成為與基準(zhǔn)面的ζ坐標(biāo)的值相同的值。之后，第1平面地圖生成單元303使變換后的區(qū)域移動(dòng)到基準(zhǔn)面上而生成第1平面地圖，并將所生成的第1平面地圖輸出到重疊處理單元306。圖像區(qū)域提取單元304以從坐標(biāo)獲取單元302獲取到的各第1物體的區(qū)域的坐標(biāo)為基礎(chǔ)，提取位于第1物體上的物體(以下稱為第2物體)的圖像中的區(qū)域。圖像區(qū)域提取單元304將提取出的區(qū)域分別輸出到第2平面地圖生成單元305和坐標(biāo)獲取單元302。第2平面地圖生成單元305獲取對(duì)從坐標(biāo)獲取單元302輸出的第2物體的圖像區(qū)域的各特征點(diǎn)的三維坐標(biāo)和從圖像區(qū)域提取單元304輸出的圖像區(qū)域。第2平面地圖生成單元305變換從圖像區(qū)域提取單元304獲取到的圖像區(qū)域的大小，以使從坐標(biāo)獲取單元302 獲取到的三維坐標(biāo)中的ζ坐標(biāo)的值成為與基準(zhǔn)面的ζ坐標(biāo)的值相同的值。之后，第2平面地圖生成單元305使變換后的區(qū)域移動(dòng)到基準(zhǔn)面上而生成第2平面地圖，并將生成了的第 2平面地圖輸出到重疊處理單元306。重疊處理單元306獲取從第1平面地圖生成單元303輸出的第1平面地圖和從第 2平面地圖生成單元305輸出的第2平面地圖。然后，重疊處理單元306使獲取到的第1平面地圖和第2平面地圖重合，生成第3平面地圖，并將生成了的第3平面地圖輸出到粘接單元 307。粘接單元307獲取以設(shè)置于辦公室內(nèi)的不同部位的多個(gè)照相機(jī)拍攝的圖像為基礎(chǔ)而生成的多個(gè)第3平面地圖。然后，粘接單元307將獲取到的多個(gè)第3平面地圖粘接起來(lái)，生成表示整個(gè)室內(nèi)的第4平面地圖，并將所生成的第4平面地圖輸出到顯示器104。對(duì)于粘接多個(gè)平面地圖時(shí)的重疊區(qū)域，粘接單元307優(yōu)先采用根據(jù)距重疊區(qū)域最近的照相機(jī)拍攝所得的立體圖像而生成的平面地圖的圖像。接著，詳細(xì)地說明圖4所示的平面地圖生成裝置103的動(dòng)作。平面地圖生成裝置103例如對(duì)圖3的㈧所示的辦公室空間生成圖3的⑶所示的平面地圖。平面地圖是模擬地顯示從上方觀察了辦公室空間時(shí)的狀態(tài)的圖像。本實(shí)施方式的平面地圖生成裝置103以地面為基準(zhǔn)面，并且分別用不同的方法對(duì)位于基準(zhǔn)面上的第1物體和置于第1物體上的第2物體進(jìn)行處理。第1物體例如是圖3的(A)的桌子、側(cè)架、 櫥柜等的不同高度的物體。另外，第2物體例如是圖3的(A)的個(gè)人用小型計(jì)算機(jī)、書、筆記本等。由第1平面地圖生成單元303進(jìn)行對(duì)第1物體的處理。由第2平面地圖生成單元 305進(jìn)行對(duì)第2物體的處理。利用圖5、圖6和圖7并著眼于存在于如圖3的(A)的辦公室空間的一個(gè)物體，對(duì)平面地圖生成裝置103的主要功能的處理步驟進(jìn)行說明。在步驟S401中，坐標(biāo)獲取單元302對(duì)于圖像獲取單元301獲取到的圖像，施加透視變換。所謂的透視變換，是從任意的視點(diǎn)觀察設(shè)置于三維空間內(nèi)的三維物體并投影到二維平面的變換的處理。本實(shí)施方式的透視變換將二維平面作為用戶任意設(shè)定的基準(zhǔn)面(例如地面等)進(jìn)行變換處理。在該變換處理時(shí)不考慮物體的高度，因此若對(duì)圖6的(A)所示的拍攝所得的圖像直接施加透視變換，則成為如圖6的(B)所示的狀態(tài)，顯示器等有高度的物體的形狀變形。透視變換處理例如利用式(1)所示的透視變換矩陣進(jìn)行向基準(zhǔn)面的變換。透視變換矩陣是三行三列的矩陣P。(x, y)是設(shè)定于監(jiān)視區(qū)域的空間坐標(biāo)的值，(χ’，r )是上述二維平面上的坐標(biāo)的值，w是表示根據(jù)視點(diǎn)而不同的圖像的遠(yuǎn)近感的變量。
權(quán)利要求
1.圖像處理裝置，包括圖像獲取單元，獲取拍攝物體所得的、并可計(jì)算所述物體的三維坐標(biāo)的圖像；坐標(biāo)獲取單元，從所述圖像中提取存在于基準(zhǔn)面上的第1物體的上表面，并獲取提取了的所述上表面的特征點(diǎn)的坐標(biāo)；以及第1平面地圖生成單元，利用獲取到的所述坐標(biāo)，調(diào)整所述上表面的大小和位置以使相當(dāng)于在垂直于所述基準(zhǔn)面方向上的坐標(biāo)的值成為與所述基準(zhǔn)面相同的值，從而生成第1 平面地圖。
2.如權(quán)利要求1所述的圖像處理裝置，還包括圖像區(qū)域提取單元，從所述圖像中提取與存在于所述第1物體上的第2物體的位置相對(duì)應(yīng)的圖像區(qū)域；第2平面地圖生成單元，獲取所述圖像區(qū)域的代表點(diǎn)的坐標(biāo)，利用獲取到的所述代表點(diǎn)的坐標(biāo)，調(diào)整所述圖像區(qū)域的大小和位置以使相當(dāng)于在垂直于所述基準(zhǔn)面方向上的坐標(biāo)的值成為與基準(zhǔn)面相同的值，從而生成第2平面地圖；以及重疊單元，將所述第1平面地圖和所述第2平面地圖重疊而生成第3平面地圖。
3.如權(quán)利要求2所述的圖像處理裝置，還包括粘接單元，粘接由在多個(gè)不同的位置拍攝所得的圖像生成了的多個(gè)所述第3平面地圖。
4.如權(quán)利要求2所述的圖像處理裝置，所述重疊單元在將所述第1平面地圖和所述第2平面地圖重疊時(shí)，根據(jù)周圍區(qū)域的圖像信息來(lái)填補(bǔ)不存在重疊區(qū)域的部分。
5.如權(quán)利要求2所述的圖像處理裝置，所述重疊單元在將所述第1平面地圖和所述第2平面地圖重疊時(shí)，根據(jù)基準(zhǔn)面的圖像信息，填補(bǔ)不存在重疊區(qū)域的部分。
6.如權(quán)利要求3所述的圖像處理裝置，所述粘接單元在粘接多個(gè)所述第3平面地圖時(shí)，在存在重疊區(qū)域的部分，優(yōu)選粘接距照相機(jī)的距離近的所述第3平面地圖。
7.如權(quán)利要求3所述的圖像處理裝置，所述粘接單元在粘接多個(gè)所述第3平面地圖時(shí)，根據(jù)周圍區(qū)域的圖像信息，填補(bǔ)不存在重疊區(qū)域的部分。
8.如權(quán)利要求3所述的圖像處理裝置，所述粘接單元在粘接多個(gè)所述第3平面地圖時(shí)，根據(jù)基準(zhǔn)面的圖像信息，填補(bǔ)不存在重疊區(qū)域的部分。
9.如權(quán)利要求2所述的圖像處理裝置，還包括差分檢測(cè)單元，檢測(cè)上次生成的所述第3平面地圖和本次生成的所述第3平面地圖之間的差分。
10.如權(quán)利要求2所述的圖像處理裝置，還包括人物檢測(cè)單元，檢測(cè)人物；以及動(dòng)作線路顯示單元，在所述第3平面地圖上以動(dòng)作線路顯示所檢測(cè)到的所述人物移動(dòng)的軌跡。
11.圖像處理方法，包括圖像獲取步驟，獲取拍攝物體所得的、并可計(jì)算所述物體的三維坐標(biāo)的圖像； 坐標(biāo)獲取步驟，從所述圖像中提取存在于基準(zhǔn)面上的第1物體的上表面，并獲取提取出的所述上表面的特征點(diǎn)的坐標(biāo)；以及第1平面地圖生成步驟，利用獲取到的所述坐標(biāo)，調(diào)整所述上表面的大小和位置以使相當(dāng)于在垂直于所述基準(zhǔn)面方向上的坐標(biāo)的值成為與所述基準(zhǔn)面相同的值，從而生成第1 平面地圖。
全文摘要
公開了能夠不使處理量增大而生成用戶易于辨認(rèn)的平面地圖的圖像處理裝置。平面地圖生成裝置(103)包括圖像獲取單元(301)，獲取拍攝物體所得的、并且可計(jì)算物體的三維坐標(biāo)的圖像；坐標(biāo)獲取單元(302)，從圖像中提取存在于基準(zhǔn)面上的第1物體的上表面，并獲取提取出的上表面的特征點(diǎn)的坐標(biāo)；以及第1平面地圖生成單元(303)，利用獲取到的坐標(biāo)，調(diào)整上表面的大小和位置而生成第1平面地圖，以使相當(dāng)于在垂直于基準(zhǔn)面方向上的坐標(biāo)的值成為與基準(zhǔn)面相同的值。
文檔編號(hào)G06T1/00GK102246201SQ20098014925
公開日2011年11月16日 申請(qǐng)日期2009年8月4日 優(yōu)先權(quán)日2008年12月12日
發(fā)明者伊藤快, 大穗雅博, 金原壽樹, 鹿谷真依子 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社