專利名稱：全景圖像提供系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及拍攝車輛周邊提供畫面的系統(tǒng)，尤其涉及利用車輛上安裝的多個(gè)攝像機(jī)拍攝車輛周邊并合成一個(gè)圖像而提供全景圖像的系統(tǒng)。
背景技術(shù)：
利用車輛上安裝的多個(gè)攝像機(jī)拍攝車輛周邊，將從各個(gè)攝像機(jī)獲取的圖像框合成一個(gè)框，以在畫面上顯示全景圖像的技術(shù)為已公開技術(shù)，其中車輛周邊圖像顯示裝置的發(fā)明通過日本公開專利第2007-158426號(hào)得以公開。此公開專利中公開了將顯示車輛周邊的多個(gè)圖像合成起來轉(zhuǎn)換成一個(gè)全景圖像，并將顯示車輛外觀的圖像重疊顯示的車輛周邊的顯示裝置。但此已知技術(shù)也存在一種缺陷就是只能提供固定的全景。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供全景圖像，而且提供可支持全景圖像旋轉(zhuǎn)以及特定部分放大功能的技術(shù)方案。本發(fā)明的目的還在于提供車輛發(fā)生碰撞事故時(shí)可以保存對(duì)車輛造成沖擊的部分的圖像的技術(shù)方案。為達(dá)到所述目的，本發(fā)明提出一種全景圖像提供系統(tǒng)，包括:多個(gè)攝像機(jī)，拍攝車輛周邊；存儲(chǔ)器，儲(chǔ)存所述多個(gè)攝像機(jī)的輸出圖像框；圖像處理部，將所述存儲(chǔ)器上儲(chǔ)存的所述攝像機(jī)的多個(gè)圖像框合成全景圖像；顯示部，顯示所述合成的全景圖像；控制部，根據(jù)用戶的輸入，旋轉(zhuǎn)所述顯示的全景圖像，或者放大構(gòu)成所述全景圖像的所述圖像框中的某一個(gè)圖像框。所述圖像處理部對(duì)所述多個(gè)攝像機(jī)的多個(gè)圖像框中的一個(gè)圖像框進(jìn)行二等分之后生成所述全景圖像。所述全景圖像提供系統(tǒng)還包括:圖像儲(chǔ)存部，儲(chǔ)存所述全景圖像。所述全景圖像提供系統(tǒng)還包括:沖擊檢測(cè)部，檢測(cè)所述車輛的沖擊。所述控制部將與檢測(cè)的沖擊部位相應(yīng)的攝像機(jī)圖像儲(chǔ)存到所述圖像儲(chǔ)存部。所述控制部將所述該攝像機(jī)圖像儲(chǔ)存到所述圖像儲(chǔ)存部，且將所述被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)之前已儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)多個(gè)圖像模式以及從所述檢測(cè)到?jīng)_擊的時(shí)點(diǎn)開始一定時(shí)間之內(nèi)重新儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)的多個(gè)圖像框儲(chǔ)存到所述圖像儲(chǔ)存部。另一方面，本發(fā)明還提出一種全景圖像提供方法，其實(shí)施步驟包括:將拍攝車輛周邊的多個(gè)攝像機(jī)的輸出圖像框合成全景圖像；在畫面上顯示所述合成的全景圖像；根據(jù)用戶輸入，旋轉(zhuǎn)所述顯示的全景圖像，或者放大構(gòu)成所述全景圖像的所述多個(gè)圖像框中的某一個(gè)圖像框。所述全景圖像提供方法，其實(shí)施步驟還包括:判斷所述車輛沖擊與否；
判斷結(jié)果判斷所述車輛有沖擊，則將所述多個(gè)攝像機(jī)中的拍攝所述沖擊部位的攝像機(jī)圖像儲(chǔ)存到圖像儲(chǔ)存部，且將所述被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)之前已儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)多個(gè)圖像框以及從所述被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)開始至一定時(shí)間之內(nèi)重新儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)多個(gè)圖像框儲(chǔ)存到所述圖像儲(chǔ)存部。
本發(fā)明的優(yōu)點(diǎn)在于:利用如觸摸屏等輸入裝置實(shí)施全景圖像旋轉(zhuǎn)，而且只能放大特定部分的圖像。并且車輛發(fā)生碰撞時(shí)將發(fā)生沖擊前后對(duì)沖擊部位的攝像機(jī)圖像保存起來，從而提供可作為交通事故證據(jù)的圖像。


圖1是本發(fā)明一個(gè)實(shí)施例的全景圖像提供系統(tǒng)結(jié)構(gòu) 圖2是表示各攝像機(jī)的圖像框輸入的 圖3是說明本發(fā)明一個(gè)實(shí)施例的全景圖像生成的參照 圖4是說明本發(fā)明一個(gè)實(shí)施例的攝像機(jī)圖像框中后方圖像框二等分的參照 圖5是說明本發(fā)明一個(gè)實(shí)施例的全景圖像旋轉(zhuǎn)的第一參照 圖6是說明本發(fā)明一個(gè)實(shí)施例的全景圖像旋轉(zhuǎn)的第二參照 圖7是本發(fā)明一個(gè)實(shí)施例的全景圖像的一部分放大說明參照 圖8是說明本發(fā)明一個(gè)實(shí)施例的檢測(cè)車輛沖擊時(shí)保存圖像框的參照 圖9是本發(fā)明一個(gè)實(shí)施例的檢測(cè)車輛檢測(cè)時(shí)儲(chǔ)存于圖像儲(chǔ)存部的圖像框示意 圖10是本發(fā)明一個(gè)實(shí)施例的全景圖像提供方法的流程圖。圖中:
100:輸入部200:顯示部
300:前方攝像機(jī) 310:后方攝像機(jī) 320:左側(cè)攝像機(jī) 330:右側(cè)攝像機(jī) 400:存儲(chǔ)器500:圖像處理部
600:控制部700:圖像儲(chǔ)存部
800:沖擊檢測(cè)部。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明優(yōu)選實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，以便本領(lǐng)域的普通技術(shù)人員理解并基于本發(fā)明中的實(shí)施例進(jìn)行實(shí)施。圖1是本發(fā)明一個(gè)實(shí)施例的全景圖像提供系統(tǒng)結(jié)構(gòu)圖。圖1中，全景圖像提供系統(tǒng)包括輸入部100、顯示部200、多個(gè)攝像機(jī)300、310、320、330、存儲(chǔ)器400、圖像處理部500以及控制部600。進(jìn)一步說明，全景圖像提供系統(tǒng)還可以包括圖像儲(chǔ)存部700。更進(jìn)一步說明，全景圖像提供系統(tǒng)還可以包括沖擊檢測(cè)部800。輸入部100是用于用戶輸入的普通輸入裝置，顯示部200是輸出圖像的普通輸出裝置。一個(gè)實(shí)施例中，輸入部100和顯示部200是可支持輸入輸出的觸摸屏。多個(gè)攝像機(jī)300、310、320、330裝配于車輛的相互不同位置，對(duì)車輛周邊實(shí)施拍攝。圖1中作為示例共提供四個(gè)攝像機(jī)，即拍攝車輛前方的前方攝像機(jī)300、拍攝車輛后方的后方攝像機(jī)310、拍攝車輛左側(cè)的左側(cè)攝像機(jī)320以及拍攝車輛右側(cè)的右側(cè)攝像機(jī)330。存儲(chǔ)器400是臨時(shí)儲(chǔ)存圖像框的緩沖存儲(chǔ)器。一個(gè)實(shí)施例中，存儲(chǔ)器400具備儲(chǔ)存空間用于臨時(shí)儲(chǔ)存各攝像機(jī)的四個(gè)圖像框。圖像處理部500是處理輸入圖像的處理器。圖像處理部500實(shí)施將多個(gè)圖像框合成一個(gè)圖像框的圖像處理。此外圖像處理部500可以實(shí)施色彩濾鏡陣列內(nèi)插(color filterarray interpolation)、色彩矩陣(color matrix)、色彩校正(color correction)、色彩增強(qiáng)(color enhancement)等旨在改善畫質(zhì)的圖像處理?？刂撇?00是對(duì)整個(gè)系統(tǒng)實(shí)施控制的控制器。圖像儲(chǔ)存部700是儲(chǔ)存圖像的存儲(chǔ)器，可以是閃存。圖像儲(chǔ)存部700可以儲(chǔ)存全景圖像。優(yōu)選地，全景圖像是被壓縮儲(chǔ)存。沖擊檢測(cè)部800是由檢測(cè)車輛沖擊的多個(gè)沖擊傳感器組成。一個(gè)實(shí)施例中,沖擊檢測(cè)部800由檢測(cè)車輛前方?jīng)_擊的前方?jīng)_擊傳感器、檢測(cè)車輛后方?jīng)_擊的后方?jīng)_擊傳感器、檢測(cè)車輛左側(cè)沖擊的左側(cè)沖擊傳感器以及檢測(cè)車輛右側(cè)沖擊的右側(cè)沖擊傳感器組成。
下面對(duì)全景圖像提供系統(tǒng)的運(yùn)行實(shí)施例進(jìn)行說明。前方攝像機(jī)300和后方攝像機(jī)310、左側(cè)攝像機(jī)320以及右側(cè)攝像機(jī)330如圖2所示，將拍攝的圖像框持續(xù)輸出到控制部600?？刂撇?00將從各個(gè)攝像機(jī)輸入的圖像框臨時(shí)儲(chǔ)存到存儲(chǔ)器400。該存儲(chǔ)器400可以臨時(shí)儲(chǔ)存各攝像機(jī)的四個(gè)圖像框?？刂撇?00將儲(chǔ)存到存儲(chǔ)器400的同一個(gè)時(shí)點(diǎn)的各攝像機(jī)的圖像框(例如四個(gè)Frame #1)傳送到圖像處理部500。圖像處理部500將傳送的四個(gè)圖像框即各攝像機(jī)的圖像框合成一個(gè)圖像框生成全景圖像。一個(gè)實(shí)施例中，圖像處理部500將四個(gè)圖像框中的某一個(gè)圖像框二等分之后合成一個(gè)圖像框生成全景圖像。其示例見圖3。從圖3中可以確認(rèn)，后方圖像框(Back Frame)是被二等分為后方左側(cè)圖像框(Back-LFrame)和后方右側(cè)圖像框(Back-R Frame)之后合成一個(gè)圖像框。二等分方式中，圖像處理部500如圖4所示，假設(shè)后方圖像框的水平像素(horizontal pixel)規(guī)格為M，則以M/2點(diǎn)為基準(zhǔn)進(jìn)行_.等分。
控制部600是將圖像處理部500生成的全景圖像輸出到顯示部200?？刂撇?00支持顯示部200顯示的全景圖像旋轉(zhuǎn)以及部分放大功能。例如，根據(jù)用戶的輸入方式，控制部600將顯示部200顯示的全景圖像旋轉(zhuǎn)或者放大一部分。如圖5的(a)所示，用戶用手指觸摸顯示部200的全景圖像中前方圖像的狀態(tài)下移至右側(cè)圖像，則如圖5的(b)所示，左側(cè)圖像位于正中央位置，且被一步一步地推到右側(cè)。從控制部600的角度來看，如圖6所示，先識(shí)別畫面上輸入的手指的坐標(biāo)，然后監(jiān)測(cè)手指坐標(biāo)的移動(dòng)地點(diǎn)，待手指移動(dòng)到已設(shè)定區(qū)域時(shí)使全景圖像旋轉(zhuǎn)。圖6中，用(M，N) — (M+M/4, N)對(duì)該坐標(biāo)做出了例示。手指從中央向左移動(dòng)到已設(shè)定的坐標(biāo)時(shí)，按同樣的方法右側(cè)圖像位于正中央。若用戶在特定時(shí)間內(nèi)雙擊某一個(gè)圖像框的已設(shè)定的特定坐標(biāo)，則控制部600只將該圖像顯示在顯示部200。例如，如圖7的(b)所示，用戶500ms內(nèi)點(diǎn)擊兩次(M，N)的坐標(biāo)，則如圖7的(b)，只將前方圖像放大顯示在顯示部200。
另一方面，通過沖擊檢測(cè)部800檢測(cè)到?jīng)_擊，則控制部600將檢測(cè)到的沖擊部位相應(yīng)的攝像機(jī)的圖像框儲(chǔ)存到圖像儲(chǔ)存部700。例如，被左側(cè)沖擊傳感器檢測(cè)到?jīng)_擊，則控制部600將存儲(chǔ)器400上臨時(shí)儲(chǔ)存的左側(cè)攝像機(jī)320的圖像框儲(chǔ)存到圖像儲(chǔ)存部700。一個(gè)實(shí)施例中，控制部600將儲(chǔ)存于存儲(chǔ)器400的左側(cè)多個(gè)圖像框以及從檢測(cè)到?jīng)_擊的時(shí)間開始重新儲(chǔ)存于存儲(chǔ)器400的左側(cè)多個(gè)圖像框儲(chǔ)存到圖像儲(chǔ)存部700，如圖8所示，若左側(cè)攝像機(jī)320的Frame #N輸入時(shí)點(diǎn)檢測(cè)到?jīng)_擊，則控制部600如圖9所示，將臨時(shí)儲(chǔ)存于存儲(chǔ)器400 的 Frame #N_4、Frame #N_3、Frame #N_2、Frame #N_1 儲(chǔ)存到圖像儲(chǔ)存部 700,并將從檢測(cè)到?jīng)_擊的時(shí)點(diǎn)開始重新臨時(shí)儲(chǔ)存于存儲(chǔ)器400的Frame謝、Frame #N+K Frame #N+2、Frame #N+3儲(chǔ)存到圖像儲(chǔ)存部700。
圖10是本發(fā)明一個(gè)實(shí)施例的全景圖像提供方法的流程圖?？刂撇?00將從多個(gè)攝像機(jī)300、310、320、330輸入的圖像框儲(chǔ)存到存儲(chǔ)器400 (S100)。對(duì)于儲(chǔ)存到存儲(chǔ)器400的時(shí)間，可以通過用戶設(shè)定進(jìn)行變更。控制部600將儲(chǔ)存于存儲(chǔ)器400的各攝像機(jī)的同一時(shí)點(diǎn)的圖像框傳送到圖像處理部500，圖像處理部500將各攝像機(jī)的圖像框合成一個(gè)圖像框生成全景圖像(S150)?？刂撇?00將生成的全景圖像顯示在顯示部200的畫面上(S200)。此后控制部600判斷有無用戶觸摸輸入(S250)。若有用戶觸摸輸入，則控制部600識(shí)別該輸入地點(diǎn)的坐標(biāo)(S300)?？刂撇?00用該識(shí)別坐標(biāo)判斷在一定時(shí)間之內(nèi)有無用戶再輸入(S350)，就是說，控制部600是確認(rèn)雙擊與否。若有雙擊輸入，則控制部600將與該雙擊地點(diǎn)的坐標(biāo)相應(yīng)的攝像機(jī)圖像框放大顯示在顯示部200 (S400)。S350步驟中確認(rèn)的不是雙擊而是拖動(dòng)輸入，則控制部600監(jiān)測(cè)該拖動(dòng)輸入(S450)?？刂撇?00通過監(jiān)測(cè)確認(rèn)輸入終止時(shí)點(diǎn)的坐標(biāo)，與此相應(yīng)地使顯示部200上顯示的全景圖像旋轉(zhuǎn)(S500)。另一方面，控制部600判斷檢測(cè)到?jīng)_擊與否，若判斷檢測(cè)到?jīng)_擊，則確認(rèn)發(fā)生沖擊的車輛部位(S550) (S600)。而且可以通過沖擊傳感器部分進(jìn)行確認(rèn)?？刂撇?00將與確認(rèn)的沖擊部位相應(yīng)的攝像機(jī)圖像框儲(chǔ)存到圖像儲(chǔ)存部400 (S650)。S650中，控制部600如上所述將已儲(chǔ)存于存儲(chǔ)器400的左側(cè)多個(gè)圖像框以及被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)開始重新儲(chǔ)存于存儲(chǔ)器400的左側(cè)多個(gè)圖像框儲(chǔ)存到圖像儲(chǔ)存部700。以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所述的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例所述技術(shù)方案的范圍。
權(quán)利要求
1.全景圖像提供系統(tǒng)，其特征在于，包括: 多個(gè)攝像機(jī)，拍攝車輛周邊； 存儲(chǔ)器，儲(chǔ)存所述多個(gè)攝像機(jī)的輸出圖像框； 圖像處理部，將所述存儲(chǔ)器上儲(chǔ)存的所述攝像機(jī)的多個(gè)圖像框合成全景圖像； 顯示部，顯示所述合成的全景圖像； 控制部，根據(jù)用戶輸入，旋轉(zhuǎn)所述顯示部顯示的全景圖像，或者放大構(gòu)成所述全景圖像的所述多個(gè)圖像框中的某一個(gè)圖像框。
2.根據(jù)權(quán)利要求1所述的全景圖像提供系統(tǒng)，其特征在于， 所述圖像處理部對(duì)所述多個(gè)攝像機(jī)的多個(gè)圖像框中的一個(gè)圖像框進(jìn)行二等分之后生成所述全景圖像。
3.根據(jù)權(quán)利要求1所述的全景圖像提供系統(tǒng)，其特征在于，還包括: 圖像儲(chǔ)存部，儲(chǔ)存所述全景圖像。
4.根據(jù)權(quán)利要求3所述的全景圖像提供系統(tǒng)，其特征在于，還包括: 沖擊檢測(cè)部，檢測(cè)所述車輛的沖擊； 所述控制部將與沖擊檢測(cè)部檢測(cè)的沖擊部位相應(yīng)的攝像機(jī)圖像儲(chǔ)存到所述圖像儲(chǔ)存部。
5.根據(jù)權(quán)利要求4所述的全景圖像提供系統(tǒng)，其特征在于， 所述控制部將所述該攝像機(jī)圖像儲(chǔ)存到所述圖像儲(chǔ)存部，且將所述被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)之前已儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)多個(gè)圖像模式以及從所述檢測(cè)到?jīng)_擊的時(shí)點(diǎn)開始一定時(shí)間之內(nèi)重新儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)的多個(gè)圖像框儲(chǔ)存到所述圖像儲(chǔ)存部。
6.一種全景圖像提供方法，其特征在于，其實(shí)施步驟包括: 將拍攝車輛周邊的多個(gè)攝像機(jī)的輸出圖像框合成全景圖像； 在畫面上顯示所述合成的全景圖像； 根據(jù)用戶輸入，旋轉(zhuǎn)所述顯示的全景圖像，或者放大構(gòu)成所述全景圖像的所述多個(gè)圖像框中的某一個(gè)圖像框。
7.根據(jù)權(quán)利要求6所述的全景圖像提供方法，其特征在于，其實(shí)施步驟還包括: 判斷所述車輛沖擊與否； 判斷結(jié)果判斷所述車輛有沖擊，則將所述多個(gè)攝像機(jī)中的拍攝沖擊部位的攝像機(jī)圖像儲(chǔ)存到圖像儲(chǔ)存部，且將被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)之前已儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)多個(gè)圖像框以及從所述被檢測(cè)到?jīng)_擊的時(shí)點(diǎn)開始至一定時(shí)間之內(nèi)重新儲(chǔ)存于所述存儲(chǔ)器的所述該攝像機(jī)多個(gè)圖像框儲(chǔ)存到所述圖像儲(chǔ)存部。
全文摘要
本發(fā)明公開了一種全景圖像提供系統(tǒng)及其方法,該系統(tǒng)和方法具體為，將車輛前后左右的攝像機(jī)圖像合成全景圖像后顯示在畫面上，并根據(jù)用戶的輸入旋轉(zhuǎn)全景圖像或者只放大部分圖像，進(jìn)而在車輛受到?jīng)_擊時(shí)將對(duì)其沖擊部位的沖擊時(shí)點(diǎn)之前及以后的攝像機(jī)圖像儲(chǔ)存起來。隨之可根據(jù)用戶的要求使全景圖像旋轉(zhuǎn)或者放大一部分，并提供可作為交通事故證據(jù)的圖像。
文檔編號(hào)H04N5/232GK103139465SQ20121043021
公開日2013年6月5日 申請(qǐng)日期2012年11月1日 優(yōu)先權(quán)日2011年11月21日
發(fā)明者周碩榮 申請(qǐng)人:現(xiàn)代摩比斯株式會(huì)社