影像顯示裝置及影像顯示系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供能夠容易且高精度地檢測立體物的存在并使其反映在俯視圖像的技術。特征在于，具備：特征量檢測條件確定部，其針對從至少2個不同的視點拍攝共同區(qū)域而得的圖像的俯視圖像，確定檢測預定的特征量的條件；特征量檢測部，其使用所確定的所述特征量檢測條件，針對拍攝所述共同區(qū)域而得的圖像的各俯視圖像檢測所述特征量；混合率確定部，其根據(jù)通過所述特征量檢測部檢測出的特征量，確定將從所述不同的視點拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時的混合率；以及俯視圖像合成部，其根據(jù)通過所述混合率確定部確定的混合率，將拍攝所述共同區(qū)域而得的圖像的俯視圖像的像素混合并進行合成輸出。
【專利說明】
影像顯示裝置及影像顯示系統(tǒng)
技術領域
[0001]本發(fā)明涉及影像顯示裝置的技術。本發(fā)明要求2014年3月27日申請的申請?zhí)枮?014-066268的日本專利的優(yōu)先權，對于認可通過文獻參照進行引入的指定國，將該申請所記載的內(nèi)容通過參照弓I入到本申請。
【背景技術】
[0002]作為本技術領域的【背景技術】，存在日本特開2009-289185號公報(專利文獻I)。該公報中記載了一種圖像處理裝置，該圖像處理裝置具備:指定單元，其指定各自部分地具有共同視場的K個(K為2以上的整數(shù))攝像機;合成單元，其參照分配給所述K個攝像機的各自的權重，合成從通過所述指定單元指定的K個攝像機分別輸出的K個視場圖像;判別單元，其與所述指定單元的指定處理相關聯(lián)地判別在所述共同視場中是否存在動態(tài)立體物;第I控制單元，其在所述判別單元的判別結(jié)果為否定時以既定方式控制所述K個攝像機的權重;計算單元，其在所述判別單元的判別結(jié)果為肯定時，針對所述K個攝像機的每一個計算到所述動態(tài)立體物的距離的縮小量；以及第2控制單元，其根據(jù)通過所述計算單元計算出的縮小量控制所述K個攝像機的權重。
[0003]現(xiàn)有技術文獻
[0004]專利文獻
[0005]專利文獻I:日本特開2009-289185號公報

【發(fā)明內(nèi)容】

[0006]在上述技術所涉及的加權的合成方法中，只公開了針對障礙物的圖像部分使用O或者I這兩個值選擇一方攝像機的圖像的加權的方法。該方法中，如果障礙物的圖像和背景圖像的分離處理失敗，則會生成非常不自然的合成圖像，因此，需要以非常高的精度分離障礙物的圖像和背景圖像，處理量的要求和硬件能力的要求高。
[0007]本發(fā)明的目的在于，容易且高精度地檢測立體物的存在并使其反映在俯視圖像中。
[0008]用于解決課題的手段
[0009]本申請包含多個解決上述問題的至少一部分的手段，舉例如下。為了解決上述問題，本發(fā)明的影像顯示裝置的特征在于，具備:特征量檢測條件確定部，其針對從至少2個不同的視點拍攝共同區(qū)域而得的圖像的俯視圖像，確定檢測預定的特征量的條件;特征量檢測部，其使用所確定的上述特征量檢測條件，針對拍攝上述共同區(qū)域而得的圖像的各俯視圖像檢測上述特征量;混合率確定部，其根據(jù)通過上述特征量檢測部檢測出的特征量，確定將從上述不同的視點拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時的混合率；以及俯視圖像合成部，其根據(jù)通過上述混合率確定部確定的混合率，將拍攝上述共同區(qū)域而得的圖像的俯視圖像的像素混合并進行合成輸出。
[0010]發(fā)明的效果
[0011]根據(jù)本發(fā)明，能夠容易且高精度地檢測立體物的存在并將其反映在俯視圖像中。上述以外的問題、結(jié)構(gòu)及效果通過以下實施方式的說明可得以明了
【附圖說明】
[0012]圖1是表示本發(fā)明的實施方式的影像顯示裝置的結(jié)構(gòu)例的圖。
[0013]圖2是表示影像顯示裝置的硬件結(jié)構(gòu)例的圖。
[0014]圖3是表示影像顯示裝置的使用狀況的例子的圖。
[0015]圖4是表示影像顯示裝置的輸出例的圖。
[0016]圖5是表示影像顯示裝置的特征量的檢測處理的概要的圖。
[0017]圖6是表示存儲在特征量檢測條件存儲部中的數(shù)據(jù)結(jié)構(gòu)的圖。
[0018]圖7是表示存儲在混合信息存儲部中的數(shù)據(jù)結(jié)構(gòu)的圖。
[0019]圖8是表示特征量的掃描方向與圖像的旋轉(zhuǎn)量的關系的圖。
[0020]圖9是表示同心圓上的特征量的掃描方向及其實現(xiàn)方法的例子的圖。
[0021 ]圖10是表示混合率決定處理的處理流程的圖。
[0022]圖11是表示以特征量為基準進行混合并合成俯視圖像的畫面例的圖。
[0023]圖12是表示選擇圖像并合成俯視圖像的畫面例的圖。
[0024]圖13是表示與隨時間推移的立體物的變化對應的混合率的變化的例子的圖。
[0025]圖14是表示影像顯示裝置的拍攝對象的區(qū)域的設定例的圖。
【具體實施方式】
[0026]以下，參照【附圖說明】應用了本發(fā)明的實施方式的影像顯示裝置100及包含該影像顯示裝置100的影像顯示系統(tǒng)I的例子。
[0027]圖1是表示應用了本發(fā)明的第一實施方式的影像顯示裝置100的結(jié)構(gòu)例的圖。影像顯示裝置100包含控制部110、存儲部120以及攝像機控制部130。影像顯示裝置100是向用戶呈現(xiàn)俯視圖像的終端。例如，影像顯示裝置100典型地為導航裝置或者車輛控制裝置等，是使用拍攝車輛的周圍而得的圖像呈現(xiàn)從上空俯視這樣的俯視圖像的裝置。但是，不限于此，也可以是個人計算機裝置、便攜電話終端、平板終端、PDA(Personal Digital Assistant:個人數(shù)字助手)等電子信息終端。
[0028]控制部110進行影像顯示裝置100的基本控制。例如，控制部110擔負影像顯示裝置100整體的電源管理、利用操作系統(tǒng)進行的各種裝置的控制及任務管理等監(jiān)管功能等。再者，控制部110包含特征量檢測條件確定部111、特征量檢測部112、混合率確定部113以及俯視圖像合成部114。特征量檢測條件確定部111確定適當?shù)臈l件用于檢測圖像的特征量。此夕卜，如后述，為了更高精度地檢測特征量，特征量檢測條件例如包含詳細地確定圖像的掃描方向的信息等。
[0029]特征量檢測部112針對圖像檢測預定的特征量。具體地，特征量中包含立體物在畫面上所占面積的比率等。
[0030]混合率確定部113確定在合成從不同的視點位置拍攝共同的區(qū)域而得的多個圖像并生成俯視圖像時使用的各圖像間的數(shù)據(jù)的加權。具體地，混合率確定部113根據(jù)各圖像間的特征量中是否可見相關性、可見各圖像間的特征量的區(qū)域是否包含共同的區(qū)域內(nèi)的相同位置等來確定混合率。
[0031]俯視圖像合成部114根據(jù)混合率確定部113所確定的混合率，將拍攝共同的區(qū)域而得的多個圖像的像素混合，由此合成輸出俯視圖像。
[0032]存儲部120包含特征量檢測條件存儲部121及混合信息存儲部122。
[0033]在特征量檢測條件存儲部121中存儲有在根據(jù)確定所拍攝的區(qū)域的信息及拍攝該區(qū)域的視點位置的組合檢測特征量時應用的條件。在后述的圖7的說明中進行特征量檢測條件存儲部121的詳細說明。
[0034]在混合信息存儲部122中存儲有用于確定所拍攝的區(qū)域的信息及拍攝該區(qū)域的視點位置間的混合率的信息。在后述的圖8的說明中進行混合信息存儲部122的詳細說明。
[0035]攝像機控制部130向可給影像顯示裝置100提供圖像的攝像機指示包含拍攝開始及拍攝結(jié)束的各種控制，取得從攝像機輸出的圖像。以上是影像顯示裝置100的結(jié)構(gòu)的概要。
[0036]圖2是表示應用了本發(fā)明的第一實施方式的影像顯示裝置100及包含該影像顯示裝置100的影像顯示系統(tǒng)I的硬件結(jié)構(gòu)例的圖。
[0037]影像顯示系統(tǒng)I包含影像顯示裝置100、攝像機群101以及顯示器108。攝像機群101包含從第I攝像機到第n(n為整數(shù))攝像機的多個攝像機。典型地，影像顯示系統(tǒng)I使用搭載在車輛上的多個(η個)攝像機拍攝車輛周圍的圖像，通過影像顯示裝置100合成各攝像機的拍攝圖像，通過顯示器108顯示車輛的周圍的俯視圖像。此外，攝像機群101不僅包括可主要拍攝可視光的攝像機，例如也可以包括對紅外線具有感光度區(qū)域并輸出為圖像的暗視攝像機等攝像機。
[0038]影像顯示裝置100具備包含一個或者多個解碼部的解碼部群102、CPU(CentralProcessing Unit:中央處理單元)104、存儲器105、輔助存儲裝置106以及編碼部107。具備如下結(jié)構(gòu):將從構(gòu)成攝像機群101的各攝像機發(fā)送來的圖像在具有分別對應的解碼部的解碼部群102中進行解碼處理，并經(jīng)由總線103存儲在存儲器105。另外，將存儲在存儲器105中的來自各攝像機的拍攝圖像通過CPU104進行合成處理，并用于生成車輛的周圍的俯視圖像。然后，將所合成的俯視圖像通過編碼部107進行編碼并通過顯示器108進行再現(xiàn)處理。
[0039]另外，通過CPUl04來實現(xiàn)上述的特征量檢測條件確定部111、特征量檢測部112、混合率確定部113、俯視圖像合成部114以及攝像機控制部130。另外，通過輔助存儲裝置106及存儲器105來實現(xiàn)特征量檢測條件存儲部121和混合信息存儲部122。
[0040 ]此外，CPU104例如對通過視場角在預定以上范圍的廣角的攝像機取得的圖像進行因光學系統(tǒng)所產(chǎn)生的失真的修正處理及透視變換處理，使用每個攝像機的圖像作成成為構(gòu)成俯視圖像的一部分的基礎的圖像。另外，CPU14進行這些俯視圖像的剪切、合成、α混合處理等處理，擔負生成車輛的周圍整體的俯視圖像的處理。
[0041]另外，CPU104還對拍攝圖像數(shù)據(jù)進行邊緣提取、輪廓提取、高斯處理、噪聲去除處理、閾值處理等各種圖像處理，也進行畫在道路上描繪的白線、障礙物、行人等的有無和映現(xiàn)出它們的面積的大小的檢測處理。
[0042]編碼部107進行所生成的俯視圖像的編碼處理。顯示器108顯示從影像顯示裝置100輸出的俯視圖像。顯示器108例如為LCD(Liquid Crystal Display:液晶顯示器)等，但不將種類限于此，可以是CRT(Cathode Ray Tube:陰極射線管、LC0S(Liquid Crystal OnSi I icon:娃基液晶)、OLED (Organic light-emitting d1de:有機發(fā)光二極管)、全息照相光學元件或者投影儀裝置等任意的顯示設備。另外，不只是平面型的監(jiān)視器，也可以是HUD(Head—Up Display:平視顯不器)、HMD(Head Mounted Display:頭戴式顯不器)等。
[0043]圖3是表示影像顯示裝置的使用狀況的例子的圖。示出了在該使用狀況，使用設置在車輛200的多個攝像機拍攝同一被拍攝體205而得的圖像的例子。另外，本例示出了在車輛200上設置有前方攝像機201、左側(cè)攝像機202、后方攝像機203、右側(cè)攝像機204，并且行人(被拍攝體205)步行到車輛200的左斜前方的狀況。
[0044]在該狀況中，由朝向行進方向前方地安裝在車輛200的前方攝像機201拍攝并轉(zhuǎn)換成俯視圖像的圖像為正面圖像206，由左側(cè)攝像機202拍攝并轉(zhuǎn)換成俯視圖像的圖像為左側(cè)面圖像207。以通過在垂直向下方向上傾斜預定的角度來確保斜下(地面方向)的視場角的方式安裝前方攝像機201及左側(cè)攝像機202。此外，雖未圖示，但不言而喻，將由后方攝像機203拍攝并轉(zhuǎn)換成俯視圖像的圖像生成為背面圖像，另外，將由右側(cè)攝像機204拍攝并轉(zhuǎn)換成俯視圖像的圖像生成為右側(cè)面圖像。
[0045]在該例中，關于被拍攝體(行人)205的腳部分，分別在正面圖像206中包含正面腳圖像205a、在左側(cè)面圖像207中包含左側(cè)面腳圖像205b。
[0046]—般，在生成俯視圖像的處理中，對由攝像機拍攝的圖像進行在圖像端部產(chǎn)生的鏡頭失真的修正處理和使放大率根據(jù)進深的距離而變化的透視變換。因此，在俯視圖像中，立體物以拉伸的方式失真映現(xiàn)，在由前方攝像機201拍攝的正面圖像206中，如正面腳圖像205a那樣，在從前方攝像機201引出的箭頭的方向上拉伸地顯示。同樣地，在由左側(cè)攝像機202拍攝的左側(cè)面圖像207中，如左側(cè)面腳圖像205b那樣，在從左側(cè)攝像機202引出的箭頭的方向上拉伸地顯示。即，本來是同一被拍攝體即被拍攝體(行人)205，但因攝像機的視點位置的差異，在俯視圖像中顯示為在不同的朝向上拉伸的正面腳圖像205a、左側(cè)面腳圖像205b。這是因被拍攝體即被拍攝體(行人)205是立體物而產(chǎn)生的現(xiàn)象。在被拍攝體不是立體物的情況下，例如白線208這樣的畫在道路上的平面狀的圖案的情況下，如俯視圖像中的白線208a、白線208b那樣，即使在俯視圖像中也可無形狀上的差異地拍攝，如若對準位置也可重疊。
[0047]S卩，當從不同的方向拍攝同一被拍攝體并變換為俯視圖像時，在比較兩個圖像并檢測出形狀在不同的方向上拉伸這一特征的情況下，可認為存在立體物，在檢測出兩個圖像內(nèi)無形狀上的差異的特征的情況下，可以判定為在路面上存在近似平面的物體。再者，如從前方攝像機201、左側(cè)攝像機202引出的箭頭的方向所示，俯視圖像中立體物的形狀拉伸的方向取決于攝像機與立體物的位置關系，因此，可以說俯視圖像中立體物的形狀拉伸的方向能夠成為根據(jù)所檢測出的圖像判定立體物的有無的有力的判定條件。在本實施方式中，基于該性質(zhì)，根據(jù)攝像機即視點位置與立體物的位置關系，決定檢測特征時的處理條件。由此，可以說能夠以使得立體物的提取精度提高并更容易看清多個攝像機圖像的重疊的部分的方式進行混合處理。
[0048]圖4是表示影像顯示裝置100的俯視圖像的輸出例的圖。在俯視圖像中，將拍攝區(qū)域劃分為預定的區(qū)域，并且對由其他攝像機重疊地拍攝的區(qū)域的圖像進行某種圖像合成來顯示。在圖4中，將車輛200的周圍劃分為8個區(qū)域(左前區(qū)域300、正面區(qū)域301、右前區(qū)域302、左區(qū)域303、右區(qū)域304、左后區(qū)域305、背面區(qū)域306、右后區(qū)域307)。這種情況下，由前方攝像機201拍攝的區(qū)域為左前區(qū)域300、正面區(qū)域301、右前區(qū)域302。另外，由左側(cè)攝像機202拍攝的區(qū)域為左前區(qū)域300、左區(qū)域303、左后區(qū)域305。對于其他區(qū)域，以后方攝像機203、右側(cè)攝像機204的視點位置及朝向、視角為基準也進行同樣地設定。
[0049]這種情況下，左前區(qū)域300是由前方攝像機201和左側(cè)攝像機202取得的圖像所重疊的區(qū)域(在之后的記載中，將像這樣由多個攝像機共同拍攝的區(qū)域稱為“重疊區(qū)域”)。同樣地，可以說右前區(qū)域302、左后區(qū)域305、右后區(qū)域307也是由多個攝像機共同拍攝的重疊區(qū)域。此外，在圖4中，雖然以斜線顯示右前區(qū)域302、左后區(qū)域305、右后區(qū)域307，但實際上會顯示所拍攝的對象。
[0050]在俯視圖像中，考慮如上所述的立體物表現(xiàn)為在以視點位置為基準的方向上延伸這一點，可以說在地面上沒有突起物(立體物)而為平面的情況下，共同的區(qū)域的圖像基本上相同，能夠重疊在一起。
[0051]圖3中的俯視圖像中的白線208a、208b為平面，因此，在俯視圖像中，能夠?qū)拙€308重疊地顯示在同一位置。另一方面，當在重疊區(qū)域即左前區(qū)域300中存在立體物(例如，行人)的情況下，通過對立體物即行人的正面腳圖像205a、左側(cè)腳圖像205b以預定的混合率進行混合處理來進行顯示，從而不會遺漏立體物的存在。由此，可以避免立體物的圖像的一部分消失。
[0052]圖5是表示影像顯示裝置100的特征量的檢測處理的概要的圖。當在重疊區(qū)域中從圖像提取立體物時，特征量檢測條件確定部111及特征量檢測部112進行該特征量的檢測處理。正面圖像400a是由前方攝像機201拍攝并轉(zhuǎn)換成俯視圖像的圖像，左側(cè)面圖像400b是由左側(cè)攝像機202拍攝并轉(zhuǎn)換成俯視圖像的圖像。如前所述，在進行了俯視轉(zhuǎn)換的正面圖像400a和左側(cè)面圖像400b中，因視點位置的不同立體物在不同的方向上拉伸顯示，路面上的物體顯示在重疊的位置。因此，當俯視圖像合成部114針對拍攝共同的區(qū)域即重疊區(qū)域而得的雙方的圖像進行從各圖像中去除共同物的處理時，能夠分別獲得去除了共同物(平面物)的正面立體物圖像40 Ia、左側(cè)面立體物圖像40 Ib。這是通過俯視圖像合成部114從各圖像針對與其他圖像對應的范圍去除共同部分的信息而實現(xiàn)。
[0053]具體地，在正面立體物圖像401a、左側(cè)面立體物圖像401b中，能夠作為差異留下映入各圖像中的立體物(正面腳圖像205a、左側(cè)面腳圖像205b)，并能夠作為共同部分去除路面上的物體208a、208b。
[0054]然后，為了高精度地提取立體物，特征量檢測條件確定部111確定適當?shù)臋z測條件。作為補充，根據(jù)上述那樣的特性，立體物的輪廓延伸的方向是與從重疊區(qū)域觀察的視點位置的方向?qū)姆较?，因此，可以說有效地提高提取精度的檢測條件在于確定適當?shù)妮喞獟呙璺较颉Ｒ虼?，特征量檢測條件確定部111根據(jù)視點位置與共同的區(qū)域的幾何關系來確定特征量檢測條件。具體地，特征量檢測條件確定部111根據(jù)視點位置和從共同的區(qū)域觀察的視點位置的方向來確定用于特征量檢測的輪廓掃描的方向。
[0055]此外，一般，通過在圖像上的預定的方向(通常為水平像素方向)上掃描亮度或者RGB、CMY的值等構(gòu)成圖像的要素的變化量來進行輪廓的提取處理，當掃描方向與檢測對象處于正交的狀態(tài)時，多可取得高的檢測精度?；诖?，特征量檢測條件確定部111設定檢測條件用于以與立體物的輪廓的延伸方向正交的方式進行掃描。
[0056]然后，特征量檢測條件確定部111針對正面立體物圖像401a、左側(cè)面立體物圖像401b分別確定輪廓掃描方向402a、輪廓掃描方向402b。
[0057]然后，特征量檢測部112根據(jù)所確定的輪廓掃描方向402a、輪廓掃描方向402b分別掃描正面立體物圖像401a、左側(cè)面立體物圖像401b，檢測輪廓403a、403b。以上是特征量的檢測處理的概要。
[0058]圖6是表示存儲在特征量檢測條件存儲部121中的數(shù)據(jù)結(jié)構(gòu)的圖。在特征量檢測條件存儲部121中對應地存儲有區(qū)域確定信息121A、代表點121B、視點位置確定信息121C以及特征量檢測條件121D。區(qū)域確定信息121A是在多個圖像間確定共同拍攝的區(qū)域的信息。代表點121B是代表通過區(qū)域確定信息121A確定的區(qū)域的點。通過代表點121B確定的位置例如可以是區(qū)域的重心，也可以是中心，還可以是區(qū)域的任意一個頂點。例如，不限于拍攝區(qū)域的重心，也可以將拍攝區(qū)域內(nèi)離攝像機最遠的點、最近的點或者拍攝區(qū)域內(nèi)檢測出的物體上的點等作為代表點。
[0059]視點位置確定信息121C是確定視點位置即攝像機的位置的信息。特征量檢測條件121D是為了檢測特征量而應該使用的條件。例如，在特征量檢測條件121D中預先存儲有應該將圖像旋轉(zhuǎn)角應用為θ(θ是與從視點位置到區(qū)域的代表點的線段正交的直線的延伸方向和輪廓的提取處理中掃描亮度的變化量的方向的角度的差值)這一內(nèi)容的條件。
[0060]圖7是表示存儲在混合信息存儲部122中的數(shù)據(jù)結(jié)構(gòu)的圖。在混合信息存儲部122中對應地存儲有區(qū)域確定信息122Α和混合率122Β。區(qū)域確定信息121A是在多個圖像間確定共同拍攝的區(qū)域的信息?；旌下?22Β是在使用多個圖像合成輸出通過區(qū)域確定信息121Α確定的區(qū)域時確定圖像間的權重的信息。例如，混合率122Β是指定將由“攝像機001”拍攝的圖像和由“攝像機002”拍攝的圖像的加權以“ρ: (Ι-p)”(P為O到I的數(shù))的比進行加權來進行混合的信息。
[0061 ]嚴格來說，在正面圖像400a中立體物被拉伸地拍攝時的圖像上的方向根據(jù)區(qū)域內(nèi)的位置也會不同，但通過將其看作同一方向并將輪廓掃描方向設定為相同能夠降低運算處理的負荷。
[0062]圖8是表示特征量的掃描方向與圖像的旋轉(zhuǎn)量的關系的圖。即，圖8是根據(jù)輪廓掃描方向501掃描正面立體物圖像401 a來檢測輪廓的處理中的具體的方法的示意圖。這里，正面立體物圖像401a具有與前方攝像機(視點位置)201在水平方向上相距X，在垂直方向上相距y的重心500。因此，特征量檢測條件確定部111在與連接前方攝像機(視點位置)201和重心500的線段正交的方向上設定輪廓掃描方向501。
[0063]在該處理中，特征量檢測條件確定部111將正面立體物圖像401a的代表點即重心500作為旋轉(zhuǎn)的中心，使正面立體物圖像40Ia旋轉(zhuǎn)特征量檢測條件12ID所示的圖像旋轉(zhuǎn)角Θ。不限于此，特征量檢測條件確定部111也可以在使處理圖像自身旋轉(zhuǎn)根據(jù)攝像機位置與拍攝區(qū)域的位置關系而決定的角度后，實施共同的邊緣檢測。
[0064]此外，如上所述，圖像旋轉(zhuǎn)角Θ是與從視點位置到區(qū)域的代表點的線段正交的直線的延伸方向和輪廓的提取處理中掃描亮度的變化量的方向的角度的差值。由此，能夠使掃描亮度的變化量的方向(水平或者垂直方向)與輪廓掃描方向501并行，能夠獲得高的輪廓提取精度。此外，該旋轉(zhuǎn)量也可以根據(jù)每個攝像機或者根據(jù)每個拍攝方向而設為最佳的角度。例如，在后方攝像機的情況下，在適合垂直方向的掃描的情況下(例如，入庫時的定位用等)，圖像旋轉(zhuǎn)角Θ也可以被設定為使輪廓掃描方向為垂直方向。
[0065]圖9是表示同心圓上的特征量的掃描方向及其實現(xiàn)方法的例子的圖。即，圖9是在上述的檢測輪廓的處理中用于能夠進行更高精度的檢測的提取方向的設定例。在圖9中列舉了當從正面立體物圖像401a提取輪廓時，以與以前方攝像機(視點位置)201為中心的同心圓的切線方向盡可能接近的方式設定掃描方向的方法的例子。通過像這樣將一個區(qū)域細致地劃分來進行掃描，能夠在與立體物的輪廓的延伸方向大致正交的方向上進行掃描來檢測輪廓。
[0066]具體地，假定使用前方攝像機201拍攝重疊區(qū)域并進行俯視轉(zhuǎn)換而得的正面立體物圖像401a進行設定的情況。在圖9中，針對正面立體物圖像401a，在源于前方攝像機(視點位置)201的同心圓的切線方向上設定輪廓掃描方向502。作為該方法，如果預先設定將正面立體物圖像401a沿著通過接近視點位置的頂點的直線進一步細分而得的區(qū)域410?440，則特征量檢測條件確定部111能夠針對每個區(qū)域確定并設定與連接重心和前方攝像機(視點位置)201之間的線段正交的方向的掃描方向503A?503D，能夠高精度地檢測輪廓。
[0067]立體物拉伸的方向基本上是連接攝像機和與立體物的地面接觸的位置的線段的延伸方向，在圖9的方法中，由于在正面立體物圖像401a的面內(nèi)輪廓掃描方向不同，因此，有必要根據(jù)圖像內(nèi)的探索區(qū)域變更輪廓提取濾波器等的影像顯示方法，運算處理的負荷變高。但是，由于能夠與立體物的拉伸方向大致正交地進行輪廓提取處理，因此能夠獲得立體物的高提取精度。
[0068]此外，輪廓掃描方向的設定方法不限于圖8、圖9所示的例子，例如也可以是根據(jù)前方攝像機201的視點位置與重疊區(qū)域的位置關系決定拉普拉斯濾波器或者索貝爾濾波器(sobel filter)等邊緣檢測濾波器的濾波器系數(shù)。由此，能夠更高精度地提取輪廓。
[0069 ]圖10是在重疊區(qū)域中的圖像合成的動作順序中決定混合率的處理的例子。在本例中，關于使用“攝像機I”即前方攝像機201和“攝像機2”即左側(cè)攝像機202拍攝的區(qū)域中共同拍攝的區(qū)域即左前區(qū)域300，成為合成基于“攝像機I”取得的俯視圖像和基于“攝像機2”取得的俯視圖像的區(qū)域。
[0070]首先，特征量檢測條件確定部111根據(jù)攝像機I與重疊區(qū)域的位置關系決定基于攝像機I取得的俯視圖像的處理條件Cl (步驟S001)。具體地，特征量檢測條件確定部111參照特征量檢測條件存儲部121，讀出與相當于重疊區(qū)域的區(qū)域確定信息121A和相當于攝像機I的配置位置的視點位置確定信息121C的組合對應的特征量檢測條件121D。
[0071]然后，特征量檢測條件確定部111根據(jù)攝像機2與重疊區(qū)域的位置關系，決定基于攝像機2取得的俯視圖像的處理條件C2 (步驟S002) ο具體地，特征量檢測條件確定部111參照特征量檢測條件存儲部121，讀出與相當于重疊區(qū)域的區(qū)域確定信息121A和相當于攝像機2的配置位置的視點位置確定信息121C的組合對應的特征量檢測條件121D。
[0072]然后，特征量檢測部112使用處理條件Cl檢測在基于攝像機I取得的俯視圖像的重疊區(qū)域中存在的立體物(步驟S003)。此外，假定檢測出的立體物具有圖像特征量Q1。具體地，特征量檢測部112針對基于攝像機I取得的俯視圖像應用處理條件Cl，在滿足處理條件Cl的狀態(tài)下在輪廓掃描方向上進行掃描來確定立體物的輪廓。此時，特征量檢測部112通過基于邊緣等較多的部分或者拉普拉斯濾波器或者索貝爾濾波器進行的輪廓提取、二值化處理、色彩信息、直方圖信息或者各種圖形識別處理等來提取圖像特征量。然后，特征量檢測部112確定可提取邊緣或者輪廓的像素的位置或者該邊緣的亮度的高低等圖像特征量Q1。
[0073]然后，特征量檢測部112使用處理條件C2檢測基于攝像機2取得的俯視圖像的重疊區(qū)域中存在的立體物(步驟S004)。此外，假定檢測出的立體物具有圖像特征量Q2。具體地，特征量檢測部112針對基于攝像機2取得的俯視圖像應用處理條件C2，在滿足處理條件C2的狀態(tài)下在輪廓掃描方向上掃描來確定立體物的輪廓。此時，特征量檢測部112通過基于邊緣等較多的部分或者拉普拉斯濾波器或者索貝爾濾波器進行的輪廓提取、二值化處理、色彩信息、直方圖信息或者各種圖形識別處理等來提取圖像特征量。然后，特征量檢測部112確定可提取邊緣或者輪廓的像素的位置或者該邊緣的亮度的高低等圖像特征量Q2。
[0074]此外，對于圖像特征量Ql、Q2的任一方，也可以利用SIFT(Scale — InvariantFeature Transform:尺度不變特征變換)或者H0G(Histograms of Oriented Gradients:方向梯度直方圖)等的圖像的特征量。另外，也可以將HOG特征量和行人的姿態(tài)的特征量組合來甄別可提取的特征信息是行人等人還是物體。如此，根據(jù)是行人還是物體，切換對比度強調(diào)處理和危險度顯示等輸出內(nèi)容，即可對駕駛員提供更便于使用的良好的信息。
[0075]然后，混合率確定部113判定圖像特征量Ql與Q2是否具有預定以上較強相關性(步驟S005)。具體地，混合率確定部113判定所檢測出的物體的像素位置是一致還是集中于某范圍內(nèi)、特征量的差值是否在預定的范圍內(nèi)。這也可以是通過進行迄今存在的統(tǒng)計處理或者聚類處理來判定空間上的距離關系或語義距離關系的相關性。
[0076]然后，在相關性在預定以上較強的情況下(步驟S005中為“是”的情況下)，混合率確定部113以重疊區(qū)域中不存在立體物而決定使用基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像以預定的混合率來合成重疊區(qū)域的俯視圖像，并使俯視圖像合成部114執(zhí)行合成(步驟S006)。這種情況下，在以任一方的俯視圖像的混合率為“O”的方式進行合成的情況下，實質(zhì)上也可以選擇利用通過攝像機I或者攝像機2的任一方取得的俯視圖像。但是，當在俯視圖像彼此的連接處附近存在立體物的情況下，其圖像有可能消失。因此，可以說與選擇利用任一方的俯視圖像來生成俯視圖像相比，優(yōu)選通過“O以外的”預定的混合率來進行混合合成。
[0077]然后，俯視圖像合成部114針對在基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像的對應的位置的像素信息(例如，亮度信息或者RGB信息)進行與混合率對應的加權來合成一個俯視圖像。俯視圖像合成部114在合成俯視圖像時結(jié)束混合率決定處理。此外，所合成的俯視圖像之后被發(fā)送、輸出至編碼部107、顯示器108。
[0078]在相關性在預定以上不強的情況下(步驟S005中為“否”的情況下)，混合率確定部113確定基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像中分別包含的立體物處于重疊區(qū)域內(nèi)的何處，判定是否處于預定以上共同的位置(步驟S007)。即，混合率確定部113判定在共同的區(qū)域上是否存在由各攝像機取得的圖像的特征量以預定以上的程度重復的區(qū)域。
[0079]在立體物處于共同的位置的情況下(在步驟S007中為“是”的情況下)，混合率確定部113根據(jù)圖像特征量Ql和Q2決定混合率(步驟S008)。具體地，混合率確定部113首先對基于攝像機I取得的圖像特征量Ql進行預定的運算，并將結(jié)果設為F(Q1)。同樣地，將對基于攝像機2取得的圖像特征量Q2進行預定的運算而得的結(jié)果設為F(Q2)。然后，混合率確定部113通過下式(I)確定根據(jù)基于攝像機I取得的圖像特征量Ql的合成的加權的比率。
[0080]合成加權P1=F(Q1)/(F(Q1)+F(Q2))……式(I)
[0081]同樣地，通過下式(2)確定根據(jù)基于攝像機2取得的圖像特征量Q2的合成的加權的比率。
[0082]合成加權P2=F(Q2)/(F(Q1)+F(Q2))……式(2)
[0083]此外，作為上述預定的運算F，可以考慮對在重疊區(qū)域內(nèi)具有預定的閾值以上的特征量的圖像的像素數(shù)進行提取并進行計數(shù)這樣的運算。這種情況下，可以將基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像的各自的重疊區(qū)域內(nèi)的立體物的圖像所占據(jù)的大小作為可改變混合率的要素。
[0084]另外，作為上述預定的運算F，也可以考慮對基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像的重疊區(qū)域內(nèi)的像素的圖像特征量的總和、平均、加權平均、重心、中心值等進行計算等各種運算。這種情況下，不僅重疊區(qū)域內(nèi)的立體物的圖像所占據(jù)的大小，而且特征量的值的大小也可作為可改變混合率的要素。
[0085]或者，也可以按每個像素來決定混合率。這種情況下，也可以作為F(Ql)使用對象的像素中的特征量自身，作為F(Q2)使用對象的像素中的特征量自身。也可以是按每個像素比較F(Ql)和F(Q2)，將值大的一方的圖像的混合率設定為較大。
[0086]另外，例如雖然使基于攝像機I取得的俯視圖像的混合率特征量的比率連續(xù)變化，但也可以在“特征量的比率”接近于0.5的部分，較大地設定混合率的變化的斜率。通過這種混合率的計算方法，在“特征量的比率”變化時，可以一邊平穩(wěn)地切換混合率，一邊增強更具有特征的圖像(存在立體物的可能性高的圖像)的對比度。由此，具有用戶更易識別存在立體物的可能性較高的圖像這樣的效果。
[0087]另外，例如雖然使基于攝像機I取得的俯視圖像的混合率特征量的比率連續(xù)變化，但也可以在特征量的比率為預定的大小以上或者預定的大小以下的情況下，將特征量大的俯視圖像的混合率設為I，將另一方的俯視圖像的混合率設為O。通過這種混合率的計算方法，在特征量的比率變化時，可以一邊平穩(wěn)地切換混合率，一邊進一步增強更具有特征的圖像(存在立體物的可能性高的圖像)的對比度。由此，具有用戶更易識別存在立體物的可能性較高的圖像這樣的效果。
[0088]另外，例如也可以是在特征量的比率變化時，以階梯狀地切換的方式設定混合率。這種情況下，切換等級的數(shù)量越多，混合率的切換越平穩(wěn)。如此，即使像根據(jù)特征量的比率的變化階梯狀地切換混合率這樣的、混合率的變化相對于特征量的比率的變化不連續(xù)，也能夠作為本發(fā)明的一實施方式。
[0089]此外，關于運算F，對存在立體物的可能性高的圖像，假定并說明了運算結(jié)果的值增大的情況，但與之相反，即也可以是存在立體物的可能性越高的圖像，運算結(jié)果的值越減小這樣的運算F。
[0090]如此，對于立體物部分的圖像，混合率也可以取多個值。由此，可以說立體物部分也可以根據(jù)存在立體物的可能性的高低而更自然地進行合成。
[0091]另外，混合率可按重疊區(qū)域整體或者像素單位進行計算并用于按重疊區(qū)域整體或者像素單位的合成處理，因此，也可以防止在重疊區(qū)域內(nèi)產(chǎn)生邊界線那樣的不自然的圖像的接合部分，能夠生成更自然的合成圖像。
[0092]另外，作為其他的混合率的決定方法，也可以將從左前區(qū)域300內(nèi)的某像素位置到“攝像機I”即前方攝像機201和“攝像機2”即左側(cè)攝像機202的距離分別設為dl、d2，根據(jù)距離dl和d2之比來設定固定的混合率。即，也可以在處于接近“攝像機I”即前方攝像機201的距離的像素位置(即dl <d2)，較高地設定前方攝像機201的圖像的混合率。例如，也可以通過式“Pl = d2/(dl+d2)”來分配前方攝像機201的圖像的混合率，通過式“P2 = dl/(dl+d2)”來分配左側(cè)攝相機202的圖像的混合率。
[0093]但是，在這種情況下，由于在過于接近攝像機的像素位置焦點偏移或者失真增大的可能性高，因此，對于預定以上過于接近的像素位置，優(yōu)選以增大通過距離較遠的一方的攝像機取得的俯視圖像的加權的方式修正混合率。即，也可以在將接近限度閾值設為dth(其中，dl最小值SdthSdl最大值)時，在dl<d2且dl<dth的位置，以使通過較近的前方攝像機201取得的俯視圖像的混合率Pl降低的方式進行修正。例如，置換上述設定的混合率卩1、？2，通過式叩1 = (11/((11+(12)”來分配前方攝像機201的圖像的混合率，通過式“?2 = (12/(dl+d2)”來分配左側(cè)攝像機202的圖像的混合率。由此，能夠減輕在距攝像機過近的位置產(chǎn)生的焦點偏移或失真地進行顯示。
[0094]然后，俯視圖像合成部114使用混合率對立體物的存在進行突出強調(diào)(highlight)等來進行包含進行增強的表現(xiàn)的俯視圖像合成(步驟S009)。具體地，俯視圖像合成部114針對在基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像的對應的位置的像素信息(例如，亮度信息或者RGB信息)進行與所決定的混合率對應的加權來合成一個俯視圖像。俯視圖像合成部114在合成俯視圖像時結(jié)束混合率決定處理。此外，所合成的俯視圖像之后被發(fā)送、輸出至顯示器108。
[0095]圖11是表示以特征量為基準進行混合來合成俯視圖像的畫面例的圖。該例為當在混合率決定處理的步驟S005中判定為特征量不相關，在步驟S007中判定為物體處于共同的位置時，即，使用步驟S008中決定的混合率來合成俯視圖像的處理的例子。在基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像的重疊區(qū)域中，在基于攝像機I取得的俯視圖像1101中映現(xiàn)出由攝像機I拍攝的行人的腳1103。在基于攝像機2取得的俯視圖像1102中，映現(xiàn)出由攝像機2拍攝的行人的腳1104。由于拍攝同一重疊區(qū)域，在該區(qū)域內(nèi)存在立體物即行人，因此行人的腳1103、1104分別向不同的方向拉伸。
[0096]在該例中，行人的腳1103和行人的腳1104均在共同的位置1108具有特征量，因此，計算通過攝像機I取得的俯視圖像1101和通過攝像機2取得的俯視圖像1102的混合率“P:(1-P)”，俯視圖像合成部114根據(jù)該混合率合成俯視合成圖像1105。其結(jié)果，由攝像機I拍攝的行人的腳1106和由攝像機2拍攝的行人的腳1107按照各自的混合率被合成并被包含在俯視合成圖像1105。
[0097]返回到流程說明。在立體物不在共同的位置的情況下(步驟S007中為“否”的情況下)，混合率確定部113決定將圖像特征量Ql和Q2的任一方特征量較大的圖像采用為俯視圖像(步驟SOlO )。
[0098]然后，俯視圖像合成部114使用所采用的俯視圖像進行俯視圖像合成(步驟S010)。具體地，俯視圖像合成部114采用基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像中的、重疊區(qū)域的特征量較大一方的圖像來合成俯視圖像。俯視圖像合成部114在合成俯視圖像時結(jié)束混合率決定處理。此外，所合成的俯視圖像之后被發(fā)送、輸出至顯示器108。此外，為了避免誤檢測所造成的在連接處附近的圖像的消失，也可以將能夠提取到特征的攝像機圖像的混合率優(yōu)先進行混合處理來合成俯視圖像。
[0099]圖12是表示選擇圖像來合成俯視圖像的畫面例的圖。該例為當在混合率決定處理的步驟S005中判定為不相關，在步驟S007中判定為物體不在共同的位置時，即在步驟SOlO中選擇性地采用俯視圖像來進行合成的處理的例子。在基于攝像機I取得的俯視圖像和基于攝像機2取得的俯視圖像的重疊區(qū)域中，在基于攝像機I取得的俯視圖像1201中映現(xiàn)出由攝像機I拍攝的行人的腳1203。在基于攝像機2取得的俯視圖像1202中，映現(xiàn)出由攝像機2拍攝的圖像，但不存在相當于行人的腳的立體物。這是在重疊區(qū)域內(nèi)什么都不存在，但在攝像機I附近存在行人(立體物)，行人在攝像機I的俯視圖像1201中作為物體被映照出的情況。另一方面，由于在攝像機2的俯視圖像1202附近什么都不存在，因此沒有任何影像顯示。
[0100]在該例中，俯視圖像合成部114采用由攝像機I拍攝而得的俯視圖像1201合成俯視圖像1205 O其結(jié)果，由攝像機I拍攝的行人的腳1203被包含在俯視合成圖像1205中。
[0101]以上是混合率決定處理的處理內(nèi)容。根據(jù)混合率決定處理，針對各自部分地具有從不同的視點位置拍攝共同的區(qū)域而得的圖像的多個圖像信息，應用特征量檢測條件并檢測共同的區(qū)域的特征量，使用每個圖像的共同的區(qū)域的特征量確定混合包含共同的區(qū)域的圖像的加權，能夠合成包含共同的區(qū)域的俯視圖像。即，通過在由多個攝像機拍攝的重疊區(qū)域中提取從不同的方向拍攝而得的攝像機圖像的圖像特征量并判定他們的相關性，能夠區(qū)分畫在道路上描繪的平面狀的圖案和立體物。另外，當存在立體物時，判定特征量的位置上的重疊，能夠判別立體物是存在于重疊區(qū)域內(nèi)還是存在于重疊區(qū)域外。而且，能夠結(jié)合各狀態(tài)使俯視圖像合成時的混合率變化，從而得到良好的俯視圖像。
[0102]以上，使用【附圖說明】了第一實施方式?？梢哉f根據(jù)第一實施方式，影像顯示裝置100能夠利用由多個攝像機拍攝而得的圖像，檢測障礙物或行人，按照檢測結(jié)果，以容易看清圖像中映現(xiàn)出的障礙物或者行人的方式合成各攝像機圖像的俯視圖像，生成車輛的所有周圍的俯視圖像。換言之，影像顯示系統(tǒng)I包含多個攝像裝置及影像顯示裝置，所述多個攝像裝置取得部分地包含從不同的視點位置拍攝共同的區(qū)域而得的圖像的圖像信息。
[0103]而且，可以說影像顯示裝置具備:特征量檢測條件確定部，其確定成為檢測與圖像信息有關的預定的特征量的條件的特征量檢測條件;特征量檢測部，其針對多個圖像信息應用特征量檢測條件來檢測共同的區(qū)域的特征量;混合率確定部，其使用每個圖像的共同的區(qū)域的特征量來確定混合包含共同的區(qū)域的圖像的加權；以及俯視圖像合成部，其使用混合率合成包含共同的區(qū)域的俯視圖像。
[0104]此外，本發(fā)明不限于上述的實施例，還包含各種變形例。例如，上述的實施例是為了便于理解地說明本發(fā)明而詳細地進行了說明的例子，并非限定必須具備所說明的全部的結(jié)構(gòu)。另外，可將某實施例的結(jié)構(gòu)的一部分替換成其它實施例的結(jié)構(gòu)，另外，可在某實施例的結(jié)構(gòu)中追加其它實施例的結(jié)構(gòu)。另外，針對各實施例的結(jié)構(gòu)的一部分，可以進行其它結(jié)構(gòu)的追加、刪除、替換。
[0105]此外，本實施方式的影像顯示系統(tǒng)I構(gòu)成為包含影像顯示裝置100、攝像機群101以及顯示器108，但攝像機群101和顯示器108的任一方或者兩者也可以不由影像顯示系統(tǒng)I直接管理。例如，也可以應用于合成由設置在并非車輛的場所(例如，美術館的展覽等)的多個監(jiān)視攝像機取得并發(fā)送的圖像來作成監(jiān)視對象區(qū)域的俯視圖像的情況。
[0106]在上述的第一實施方式中，針對拍攝共同的區(qū)域而得的多個圖像，相互比較特征量求出混合率來進行合成，但并不限于此。例如考慮隨時間推移的滯后現(xiàn)象并考慮前后的時刻的混合率，也可以根據(jù)時間推移以不會變化太大的方式漸漸地變更混合率。
[0107]圖13是表示與隨時間推移的立體物的變化對應的混合率的變化的例子的圖。例如圖13是表示立體物即行人在重疊區(qū)域內(nèi)移動時的合成圖像的例子的圖。在圖13中，以時間順序排列行人在由攝像機I和攝像機2兩個攝像機共同拍攝的區(qū)域即重疊區(qū)域1300內(nèi)從左側(cè)向右側(cè)步行時的重疊區(qū)域1300中的行人的合成圖像。
[0108]在時刻11時間點，關于由攝像機I拍攝的行人的腳1301和由攝像機2拍攝的行人的腳1302，根據(jù)圖像特征量(例如，映現(xiàn)有腳的面積)決定他們的混合率，以由攝像機I拍攝的行人側(cè)為P 1 = 0.9，攝像機2側(cè)為P2 = 0.1等進行合成。如此，通過設定混合率，映現(xiàn)出行人的腳的面積較大的一側(cè)、即由攝像機I拍攝的腳1301被清楚地顯示。
[0109]在時刻t2時間點，由攝像機I拍攝的行人的腳1303和由攝像機2拍攝的行人的腳1304的圖像特征量(面積)為相同程度，混合率均相等，以P1 = P2 = 0.5或者Pl = 0.6、P2 =
0.4等進行合成。
[0110]在時刻t3時間點，由攝像機2拍攝的腳1306的圖像特征量比由攝像機I拍攝的行人的腳1305稍大，按照混合率為攝像機I側(cè)以Pl =0.3、攝像機2側(cè)以P2 = 0.7進行合成。
[0111]在時刻t4時間點，由攝像機2拍攝的腳1308的圖像特征量遠大于由攝像機I拍攝的行人的腳1307，按照混合率為攝像機I側(cè)以Pl =0.1、攝像機2側(cè)以P2 = 0.9進行合成。其結(jié)果，由較大地映現(xiàn)出腳的面積的攝像機2拍攝的腳1308被清楚地顯示。
[0112]如此，根據(jù)第一實施方式的發(fā)明，在由多個攝像機拍攝同一物體時，根據(jù)圖像特征量的相對的比率設定混合率，由此能夠生成將以更大面積地映現(xiàn)出的一方的圖像的對比度增大的圖像。對此，進一步，在求混合率的處理中，混合率確定部113也可以應用下式(3)來求出混合率。
[0113]混合率pi(t) =pl(t-l)+k(pl_calc(t)-pl(t-l))......式(3)
[0114]S卩，可將時刻t的攝像機I的混合率pl(t)設為與時刻(t-1)的混合率的差的k倍(k為O到I的數(shù))加上時刻(t-Ι)的混合率。其中，在式(3)中，pl_calc(t)的值設為基于特征量計算而得的t時刻的修正前的混合率。即，按每個預定的期間確定混合的加權，在該每個預定的期間的混合的加權時，能夠以與預定的期間之前或者之后或者前后的期間的混合的加權之間的變化量為預定以下的方式進行加權。
[0115]或者，也可以進行將來時刻的亮度的預測，以平滑地達到該預測的亮度的方式設定混合率。
[0116]此外，在上述的第一實施方式中，在時刻t2，當圖像特征量在圖像間為相同程度的情況下，雖然應該設定混合率相等，即P1=P2 = 0.5，但是，這種情況下，合成兩圖像而得的圖像的亮度會變高，有可能難以識別。因此，考慮滯后現(xiàn)象，也可以進行優(yōu)先顯示在一時刻前混合率高的圖像的處理。具體地，在圖13的例子中，在時刻t2的一時刻前的時刻tl，Pl這一方混合率高。因此，在圖像特征量為相同程度的時刻t2的處理中，優(yōu)先Pl，針對所檢測出的圖像特征量進行加上預定的比率或者值、或者乘以預定的比率或者值的處理。由此，例如，將混合率設為Pl = 0.6、P2 = 0.4等，可以使攝像機I的影像容易看清。另外，此時，也可以根據(jù)之前的運動預測下一時刻的運動，設定Pl = 0.4，P2 = 0.6。如該方法，在使用攝像機I和攝像機2檢測出相同程度的圖像特微量的情況下，根據(jù)時間順序的特征量的變化進行混合，以避免兩個影像的混合率相等的狀況(PI = P2 = 0.5 )，由此，可以減少雙方的圖像變淡而難以識別的現(xiàn)象。
[0117]此外，當圖像信息為在預定的期間拍攝的運動圖像的情況下，也可以采用使用運動矢量信息來計算混合率的方法。即，為了檢測圖像特征量，利用光流的運動矢量信息，據(jù)此計算出重疊區(qū)域的混合率并合成圖像。將多個幀的運動矢量用作圖像特征量，根據(jù)運動矢量的總和之比計算混合率。具體地，計算攝像機I的圖像內(nèi)的運動矢量的總和SCaml以及攝像機2的圖像內(nèi)的運動矢量1404的總和XCam2。據(jù)此，按照下式(4)、(5)計算攝像機I的混合率PI和攝像機2的混合率P2。
[0118]Pl = Σ Caml/( Σ Caml+ Σ Cam2)……式(4)
[0119]P2= ECam2/( ECaml+ECam2)……式(5)
[0120]S卩，較大地設定具備運動大的影像的攝像機圖像的混合率。使用這些混合率生成包含運動物體的合成圖像1405。根據(jù)該方法，可生成在重疊區(qū)域內(nèi)運動越大越清楚地提高了對比度的圖像。
[0121]圖14是表示影像顯示裝置100的拍攝對象的區(qū)域的設定例的圖。對于輪廓的檢測，可以說是應用了能夠進行更高精度的立體物的輪廓檢測的結(jié)構(gòu)的變形例。在圖14中示出了通過進一步細化圖4所示的區(qū)域中的重疊區(qū)域并減小延伸方向和掃描方向的偏移來提高立體物的檢測精度的結(jié)構(gòu)。
[0122]在圖14中，基本具備與第一實施方式同樣的結(jié)構(gòu)，但是，將左前區(qū)域300進一步劃分成扇形，設置第I區(qū)域300A、第2區(qū)域300B、第3區(qū)域300C、第4區(qū)域300D、第5區(qū)域300E、第6區(qū)域300F、第7區(qū)域300G。另外，對各區(qū)域固定地設定混合率。
[0123]例如，在第I區(qū)域300A中，由于其重心位置接近前方攝像機201側(cè)，因此，將前方攝像機201的圖像的混合率設為Pl =0.9，將左側(cè)攝像機202的圖像的混合率設為P2 = 0.1。對此，對于相鄰的第2區(qū)域300B，由于稍遠離前方攝像機201，因此設P1=0.8、P2 = 0.2。同樣地，對于第3到第6區(qū)域，也根據(jù)距離前方攝像機201的距離和距離左側(cè)攝像機202的距離來設定混合率。在第7區(qū)域300G中，由于接近左側(cè)攝像機202，因此設Pl = 0.1、P2 = 0.9。如此，以越接近前方攝像機201越優(yōu)先前方攝像機201的圖像，越接近左側(cè)攝像機202越優(yōu)先左側(cè)攝像機202的圖像的方式設定混合率。由此，在各劃分的區(qū)域中，以強調(diào)來自接近的攝像機的圖像的方式進行混合，因此可作成更容易看清的圖像。再者，在各劃分區(qū)域中，也可以根據(jù)各攝像機圖像的特征量來調(diào)整混合率。
[0124]另外，上述的各構(gòu)成、功能、處理部、處理單元等的一部分或者全部，也可以通過處理器解釋并執(zhí)行實現(xiàn)各個功能的程序而用軟件實現(xiàn)。實現(xiàn)各功能的程序、表、文件等的信息能夠保存在存儲器、硬盤、SSD等記錄裝置，或者IC卡、SD卡、DVD等存儲介質(zhì)中。
[0125]另外，示出了考慮說明上需要的控制線、信息線，未必限定為示出了產(chǎn)品上全部的控制線、信息線。實際上，可以考慮為幾乎全部的結(jié)構(gòu)都相互連接。
[0126]另外，上述的各結(jié)構(gòu)、功能、處理部等，例如可以通過將他們的一部分或全部設計在集成電路等而用硬件實現(xiàn)。此外，上述的實施方式的技術要素可以單獨應用，也可以分為程序組件和硬件部件這樣的多個部分應用。
[0127]以上對于本發(fā)明，以實施方式為中心進行了說明。
[0128]符號說明
[0129]I……影像顯示系統(tǒng)，100……影像顯示裝置、110……控制部、111……特征量檢測條件確定部、112……特征量檢測部、113……混合率確定部、114……俯視圖像合成部、120……存儲部、121……特征量檢測條件存儲部、122……混合信息存儲部、130……攝像機
fe制部D
【主權項】
1.一種影像顯示裝置，其特征在于， 該影像顯示裝置具備: 特征量檢測條件確定部，其針對從至少2個不同的視點拍攝共同區(qū)域而得的圖像的俯視圖像，確定檢測預定的特征量的條件； 特征量檢測部，其使用所確定的所述特征量檢測條件，針對拍攝所述共同區(qū)域而得的圖像的各俯視圖像檢測所述特征量； 混合率確定部，其根據(jù)通過所述特征量檢測部檢測出的特征量，確定將從所述不同的視點拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時的混合率;以及 俯視圖像合成部，其根據(jù)通過所述混合率確定部確定的混合率，將拍攝所述共同區(qū)域而得的圖像的俯視圖像的像素混合并進行合成輸出。2.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測條件確定部根據(jù)所述共同區(qū)域和所述視點所在的位置確定所述特征量檢測條件。3.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測條件確定部將在與從所述共同區(qū)域的預定代表點朝向所述視點所在的位置的方向正交的方向上掃描并提取拍攝所述共同區(qū)域而得的圖像的俯視圖像的特征量確定為處理條件。4.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測條件確定部將在以所述視點所在的位置為中心的同心圓的切線方向上掃描并提取拍攝所述共同區(qū)域而得的圖像的俯視圖像的特征量確定為處理條件。5.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述特征量檢測條件確定部將如下內(nèi)容確定為處理條件:為使從所述共同區(qū)域的代表點朝向所述視點所在的位置的方向為水平方向或者垂直方向而使拍攝所述共同區(qū)域而得的圖像的俯視圖像旋轉(zhuǎn)，進行掃描來提取圖像的特征量。6.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述混合率確定部針對拍攝所述共同區(qū)域而得的圖像的各俯視圖像的特征量，判定多個所述俯視圖像信息間的相關性的強弱，在判定為相關性比預定弱的情況下，判定在所述共同區(qū)域上是否存在拍攝所述共同的區(qū)域而得的圖像的各俯視圖像的特征量以預定以上的程度重復的區(qū)域，根據(jù)該區(qū)域的有無來切換混合的方法。7.根據(jù)權利要求6所述的影像顯示裝置，其特征在于， 在通過所述混合率確定部判定為存在拍攝所述共同的區(qū)域而得的圖像的各俯視圖像的特征量以預定以上的程度重復的區(qū)域的情況下，所述俯視圖像合成部以對拍攝所述共同的區(qū)域而得的圖像的俯視圖像的特征量大的圖像的混合率進行較大地設定的方式將所述俯視圖像的像素混合并進行合成輸出。8.根據(jù)權利要求6所述的影像顯示裝置，其特征在于， 在通過所述混合率確定部判定為不存在拍攝所述共同的區(qū)域而得的圖像的各俯視圖像的特征量以預定以上的程度重復的區(qū)域的情況下，所述俯視圖像合成部采用拍攝所述共同的區(qū)域而得的圖像的俯視圖像的特征量大的圖像合成輸出所述俯視圖像。9.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述混合率確定部針對拍攝所述共同區(qū)域而得的圖像的各俯視圖像的特征量，判定所述多個所述俯視圖像信息間的相關性的強弱，在判定為相關性比預定強的情況下，以在所述共同區(qū)域上從所述視點所在的位置到所述共同區(qū)域的距離越近的圖像越大地設定所述圖像中包含的像素的混合率的方式合成輸出所述俯視圖像。10.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述俯視圖像是在預定的期間拍攝的運動圖像， 所述特征量檢測部檢測各圖像內(nèi)的運動矢量來作為所述俯視圖像的特征量， 所述俯視圖像合成部根據(jù)所述共同區(qū)域中的各圖像的運動矢量來設定混合率。11.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述俯視圖像合成部針對所述共同區(qū)域的圖像，以朝向與所述共同區(qū)域相鄰的區(qū)域?qū)λ龌旌下寿x予傾斜地變化的方式合成輸出所述俯視圖像。12.根據(jù)權利要求1所述的影像顯示裝置，其特征在于， 所述俯視圖像合成部按照每個預定的期間確定所述混合率，在確定該每個預定的期間的混合率時，以與所述預定的期間之前或者之后或者前后的期間的混合率之間的變化量為預定以下的方式進行確定。13.一種影像顯示系統(tǒng)，其特征在于， 該影像顯示系統(tǒng)包含取得從相互不同的視點拍攝共同區(qū)域而得的圖像的俯視圖像的多個攝像裝置及影像顯示裝置， 所述影像顯示裝置具備: 特征量檢測條件確定部，其針對所述俯視圖像，確定成為檢測預定的特征量的條件的特征量檢測條件； 特征量檢測部，其針對拍攝所述共同區(qū)域而得的圖像的各俯視圖像，使用所確定的所述特征量檢測條件來檢測特征量； 混合率確定部，其根據(jù)通過所述特征量檢測部檢測出的特征量，確定將從所述不同的視點的位置拍攝的、拍攝共同區(qū)域而得的圖像的俯視圖像的像素混合時的混合率;以及 俯視圖像合成部，其根據(jù)通過所述混合率確定部確定的混合率，將拍攝所述共同區(qū)域而得的圖像的俯視圖像的像素混合并進行合成輸出。
【文檔編號】G06T3/00GK105960800SQ201580006815
【公開日】2016年9月21日
【申請日】2015年1月15日
【發(fā)明人】樋口晴彥, 中島滿雄, 內(nèi)田吉孝, 中村浩之, 小野崎勝夫, 鹽屋崇之
【申請人】歌樂株式會社