專利名稱：用戶界面控制裝置、用戶界面控制方法、計(jì)算機(jī)程序以及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用戶界面技術(shù)，特別是涉及進(jìn)行立體視覺圖像的加工時(shí)的用戶界面的顯不O
背景技術(shù)：
近年來，利用雙眼網(wǎng)膜像差的立體視覺圖像顯示技術(shù)備受關(guān)注。其是如下技術(shù):因?yàn)槿死米笱鄣木W(wǎng)膜像和右眼的網(wǎng)膜像的不同來識(shí)別立體，所以使視聽者的左眼和右眼具有視差的圖像(左眼用圖像/右眼用圖像)獨(dú)立地入射，由此使在雙眼的網(wǎng)膜上生成的物體像產(chǎn)生偏差而感到進(jìn)深?？梢灶A(yù)想到如下情況:能對(duì)立體照片進(jìn)行攝影的設(shè)備不僅是數(shù)碼相機(jī)，而且智能手機(jī)等也在今后越來越增加。由于這樣的立體視覺圖像顯示技術(shù)的普及，進(jìn)行了如下實(shí)驗(yàn):除了攝影/閱覽這樣的現(xiàn)有的立體視覺圖像的利用形式之外，還提供對(duì)攝影的立體視覺圖像進(jìn)行加工的新的用戶體驗(yàn)。例如，在專利文獻(xiàn)I中公開了如下技術(shù):在用相機(jī)等攝影的立體視覺圖像中配置、合成氣球、字符等各種圖形。具體地，在專利文獻(xiàn)I公開的技術(shù)中，根據(jù)圖形所配置的位置上的立體視覺圖像的進(jìn)深信息(深度圖)來決定多個(gè)圖形間的相對(duì)尺寸、前后關(guān)系，由此賦予立體的視覺效果。現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:日本特開2009 - 230431號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的課題但是，在專利文獻(xiàn)I公開的技術(shù)中，沒有提供用戶指定圖形的進(jìn)深信息的單元。在此，具有如下問題:用戶不能決定在加工照片之后將圖形配置成什么樣的深度，不能實(shí)現(xiàn)用戶期望的加工。另外，在立體視覺圖像的加工中，未必在立體視覺顯示立體視覺圖像的狀態(tài)下進(jìn)行加工作業(yè)，也有時(shí)在構(gòu)成立體視覺圖像的視點(diǎn)圖像被平面視覺顯示的狀態(tài)下進(jìn)行加工作業(yè)。例如，在作為顯示設(shè)備僅有不能立體視覺顯示圖像的顯示器的環(huán)境下的立體視覺圖像的加工中，要求一種即使是視點(diǎn)圖像被平面視覺顯示的狀態(tài)也能容易指定要合成的圖形的進(jìn)深信息的單元。本發(fā)明鑒于這樣的問題，其目的在于提供實(shí)現(xiàn)當(dāng)在立體視覺圖像中合成圖形時(shí)能容易設(shè)定圖形的深度的GUI的用戶界面控制裝置、用戶界面控制方法、控制用戶界面的計(jì)算機(jī)程序以及集成電路。用于解決課題的手段為了達(dá)成上述目的，本發(fā)明的一方式所涉及的用戶界面控制裝置當(dāng)在立體視覺圖像中合成圖形時(shí)提供用戶界面，該用戶界面用于設(shè)定配置圖形的進(jìn)深方向的深度，其特征在于，該用戶界面控制裝置具備:平面位置確定單元，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍；視點(diǎn)圖像深度取得單元，在確定的所述范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及提示單元，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同的能配置圖形的其他深度的選項(xiàng)。發(fā)明效果上述方式所涉及的用戶界面控制裝置通過用于解決課題的手段所記載的構(gòu)成，根據(jù)配置圖形的位置上的深度信息的分布，對(duì)用戶提供示出能配置圖形的深度的選項(xiàng)，所以能各易設(shè)定圖形的深度。另外，在上述方式所涉及的用戶界面控制裝置中，能利用選項(xiàng)的選擇進(jìn)行深度設(shè)定，因此與圖像加工時(shí)的顯示形式是立體視覺顯示/平面視覺顯示中的哪個(gè)無關(guān)，能容易設(shè)定合成的圖形的進(jìn)深信息。


圖1是示出具有作為本實(shí)施方式所涉及的用戶界面控制裝置的功能的智能手機(jī)的硬件構(gòu)成的圖。圖2是示出實(shí)施方式I所涉及的用戶界面控制裝置的構(gòu)成的圖。圖3是示出在本實(shí)施方式中設(shè)為加工對(duì)象的立體圖像的被攝體的圖。圖4是示出顯示器200的顯示例的圖。圖5是示出圖形的描繪范圍和中心坐標(biāo)的圖。圖6 (a)是示出2個(gè)被攝體的更前方設(shè)定有圖形部(Graphic part)的深度的例子的圖，圖6 (b)是示出在與近前側(cè)的被攝體相同的深度設(shè)定有圖形部的深度的例子的圖，圖6 (c )是示出在2個(gè)被攝體的中間深度設(shè)定有圖形部的深度的例子的圖。圖7是示出圖形部的配置位置上的視點(diǎn)圖像的深度分布的圖。圖8是包含多個(gè)選項(xiàng)的深度設(shè)定彈出式菜單的顯示例。圖9是說明選擇深度設(shè)定菜單后的圖形部的深度調(diào)節(jié)的圖。圖10是示出深度信息算出部103中的深度信息生成處理的流程的流程圖。圖11是示出深度設(shè)定彈出式菜單顯示處理的流程的圖。圖12是示出提取圖形部的配置深度的候選的處理的流程的流程圖。圖13是示出選擇深度設(shè)定菜單后的圖形部深度調(diào)節(jié)處理的流程的流程圖。圖14是示出步驟S33、34的處理的詳情的流程圖。圖15是示出生成合成了圖形部的立體視覺圖像的處理的流程的流程圖。圖16是示出用于根據(jù)所決定的進(jìn)深信息算出視差的像素位移的圖。圖17是示出圖形部合成處理的流程的流程圖。圖18是包含2個(gè)選項(xiàng)的深度設(shè)定彈出式菜單的顯示例。圖19是示出實(shí)施方式2所涉及的用戶界面控制裝置300的構(gòu)成的圖。圖20 Ca)是示出攝影時(shí)的被攝體的配置的圖，圖20 (b)是示出視點(diǎn)圖像的圖。圖21 Ca)基于深度分布用顏色對(duì)從圖像中提取的被攝體像進(jìn)行區(qū)別地顯示的畫面例，圖21 (b)是對(duì)從圖像中提取的被攝體像附加編號(hào)地顯示的畫面例。
圖22是示出用戶界面控制裝置300中的立體視覺圖像加工的流程的流程圖。
具體實(shí)施例方式(發(fā)明的一方式的概要)本發(fā)明的目的在于提供當(dāng)在立體視覺圖像中合成圖形時(shí)提供GUI的用戶界面控制裝置、用戶界面控制方法、控制用戶界面的計(jì)算機(jī)程序以及集成電路，該GUI能容易設(shè)定用于在合成后顯示圖形的深度。作為本發(fā)明的第I方式的用戶界面控制裝置當(dāng)在立體視覺圖像中合成圖形時(shí)提供用戶界面，該用戶界面用于設(shè)定配置圖形的進(jìn)深方向的深度，其特征在于，該用戶界面控制裝置具備:平面位置確定單元，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍；視點(diǎn)圖像深度取得單元，在確定的所述范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及提示單元，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同的能配置圖形的其他深度的選項(xiàng)。根據(jù)上述的構(gòu)成，因?yàn)榛谂渲脠D形的位置上的深度信息的分布對(duì)用戶提供示出能配置圖形的深度的選項(xiàng)，所以用戶通過選擇任一選項(xiàng)能容易設(shè)定圖形的深度。另外，能利用選項(xiàng)的選擇進(jìn)行深度設(shè)定，因此與加工圖像時(shí)的顯示形式是立體視覺顯示/平面視覺顯示中的哪個(gè)無關(guān)，能容易設(shè)定合成的圖形的進(jìn)深信息。另外，本發(fā)明的第2方式可以在第I方式中構(gòu)成為:示出取得的所述深度的選項(xiàng)示出照在所述圖形所占的范圍內(nèi)的被攝體中位于最靠近前的被攝體的深度，示出能配置所述圖形的其他深度的選項(xiàng)示出比位于所述最靠近前的被攝體的深度更靠近前側(cè)的深度。根據(jù)上述本發(fā)明的第2方式的構(gòu)成，用戶能容易選擇是以在被攝體上粘貼圖形的方式進(jìn)行合成，還是以在比被攝體靠近前配置圖形的方式進(jìn)行合成。另外，本發(fā)明的第3方式可以在第2方式中構(gòu)成為:在所述一方視點(diǎn)圖像的確定的所述范圍內(nèi)，除了位于所述最靠近前的被攝體之外還存在其他被攝體，且在2個(gè)被攝體間深度超出閾值的情況下，提示單元還提示示出所述2個(gè)被攝體的深度的中間深度的選項(xiàng)。根據(jù)上述本發(fā)明的第3方式的構(gòu)成，除了發(fā)明的第2方式中以能選擇的深度的圖形合成之外，用戶也能容易選擇在深度不同的2個(gè)被攝體之間配置圖形的合成。另外，本發(fā)明的第4方式可以在第3方式中構(gòu)成為，還具備:接受單元，接受所述多個(gè)選項(xiàng)中的任一個(gè)的選擇；伸縮顯示單元，在接受所述選項(xiàng)的選擇后，使所述圖形的尺寸反復(fù)變化地顯示直至接受來自用戶的決定指示為止；以及深度決定單元，在接受所述決定指示的時(shí)間點(diǎn)將圖形放大顯示的情況下，將比所述選擇的選項(xiàng)示出的深度靠近前側(cè)的深度決定為配置圖形的深度，在接受所述決定指示的時(shí)間點(diǎn)將圖形縮小顯示的情況下，將比所述選擇的選項(xiàng)示出的深度靠里側(cè)的深度決定為配置圖形的深度。根據(jù)上述本發(fā)明的第4方式的構(gòu)成，不僅能將圖形的配置深度調(diào)整為由多個(gè)選項(xiàng)示出的深度，而且能將圖形的配置深度調(diào)整為比從各個(gè)選項(xiàng)示出的深度更靠近前或者靠里。由此，能提高圖形的配置深度的設(shè)定自由度，所以能使用戶的便利性提高。另外，此時(shí)一邊使尺寸變化一邊進(jìn)行圖形的顯示，但是不必進(jìn)行立體視覺顯示，因此即使在不能對(duì)圖像進(jìn)行立體視覺顯示的環(huán)境下也能容易設(shè)定圖形的深度。
另外，本發(fā)明的第5方式可以在第4方式中構(gòu)成為:深度決定單元在示出2個(gè)被攝體的深度的中間深度的選項(xiàng)被選擇的情況下，使所述2個(gè)被攝體中位于近前側(cè)的被攝體的深度與伸縮顯示單元最放大顯示的圖形的尺寸對(duì)應(yīng)起來，使所述2個(gè)被攝體中位于里側(cè)的被攝體的深度與伸縮顯示單元最縮小顯示的圖形的尺寸對(duì)應(yīng)起來，由此決定與在接受所述決定指示的時(shí)間點(diǎn)的圖形的尺寸相應(yīng)的深度。根據(jù)上述本發(fā)明的第5方式的構(gòu)成，能使2個(gè)被攝體之間的深度的幅度與圖形的顯示尺寸關(guān)聯(lián)地表現(xiàn)。由此，用戶能在2個(gè)被攝體之間直觀地設(shè)定圖形的配置深度。另外，本發(fā)明的第6方式可以在第4方式中構(gòu)成為:深度決定單元在所述圖形所占的范圍中且在比所述選擇的選項(xiàng)示出的深度靠里側(cè)存在有任一被攝體的情況下，使位于該里側(cè)的被攝體的深度與伸縮顯示單元顯示得最小的圖形的尺寸對(duì)應(yīng)起來，由此決定與接受所述決定指示的時(shí)間點(diǎn)的圖形的尺寸相應(yīng)的深度。根據(jù)上述本發(fā)明的第6方式的構(gòu)成，能使從所選擇的選項(xiàng)示出的深度到里側(cè)的被攝體的深度的幅度與圖形的顯示尺寸關(guān)聯(lián)地表現(xiàn)。由此，用戶能在所選擇的選項(xiàng)示出的深度到里側(cè)的被攝體之間直觀地設(shè)定圖形的配置深度。另外，本發(fā)明的第7方式可以在第4方式中構(gòu)成為:深度決定單元在所述圖形所占的范圍中且在比所述選擇的選項(xiàng)示出的深度靠近前側(cè)存在任一被攝體的情況下，使位于該近前側(cè)的被攝體的深度與伸縮顯示單元顯示得最大的圖形的尺寸對(duì)應(yīng)起來，在所述圖形所占的范圍中且在比所述選擇的選項(xiàng)示出的深度靠近前側(cè)不存在被攝體的情況下，使比所述選擇的選項(xiàng)示出的深度靠近前側(cè)的規(guī)定深度與伸縮顯示單元顯示得最大的圖形的尺寸對(duì)應(yīng)起來，由此決定與接受所述決定指示的時(shí)間點(diǎn)的圖形的尺寸相應(yīng)的深度。根據(jù)上述本發(fā)明的第7方式的構(gòu)成，能使從所選擇的選項(xiàng)示出的深度到近前側(cè)的被攝體的深度、或者從所選擇的選項(xiàng)示出的深度到近前側(cè)規(guī)定深度的深度的幅度與圖形的顯示尺寸關(guān)聯(lián)地表現(xiàn)。由此，用戶能在所選擇的選項(xiàng)示出的深度到近前側(cè)的深度之間直觀地設(shè)定圖形的配置深度。另外，本發(fā)明的第8方式可以在第4方式中構(gòu)成為，還具備:位移量取得單元，算出用于以所述決定的深度產(chǎn)生立體視覺效果的視差，通過將該視差轉(zhuǎn)換為像素?cái)?shù)而取得位移量；以及圖像合成單元，對(duì)所述一方視點(diǎn)圖像在由所述平面位置確定單元確定的范圍內(nèi)合成圖形，對(duì)構(gòu)成立體視覺圖像的另一方視點(diǎn)圖像在從由所述平面位置確定單元確定的范圍在水平方向位移所述位移量的范圍內(nèi)合成圖形。根據(jù)上述本發(fā)明的第8方式的構(gòu)成，能在決定的深度生成合成圖形的立體視覺圖像。另外，本發(fā)明的第9方式可以在第I方式中構(gòu)成為:視點(diǎn)圖像深度取得單元通過構(gòu)成立體視覺圖像的所述一方視點(diǎn)圖像和另一方視點(diǎn)圖像的立體匹配而取得所述被攝體的深度。根據(jù)上述本發(fā)明的第9方式的構(gòu)成，能將沒有預(yù)先準(zhǔn)備深度圖等深度信息的立體視覺圖像作為加工對(duì)象。另外，本發(fā)明的第10方式可以在第I方式中構(gòu)成為，還具備:區(qū)域劃分單元，將所述一方視點(diǎn)圖像劃分為立體視覺顯示時(shí)的深度鄰接的區(qū)域和深度超出閾值且不同的多個(gè)區(qū)域；區(qū)域提示單元，提示劃分的多個(gè)區(qū)域；以及區(qū)域接受單元，接受提示的區(qū)域中的任一個(gè)的選擇，所述平面位置確定單元以包含所述選擇的區(qū)域的至少一部分的方式確定所述圖形所占的范圍。根據(jù)上述本發(fā)明的第10方式的構(gòu)成，通過對(duì)用戶提示在平面視覺顯示的視點(diǎn)圖像中按深度分割的區(qū)域，從而用戶能容易配置圖形的平面位置。例如，即使是對(duì)靠近配置的多個(gè)被攝體進(jìn)行攝影的圖像，通過按區(qū)域單位選擇配置圖形的范圍，從而相對(duì)于哪個(gè)被攝體重疊圖形的指定變得容易。另外，本發(fā)明的第11方式可以在第10方式中構(gòu)成為:所述區(qū)域提示單元通過不同的顏色顯示鄰接的區(qū)域而提示劃分的多個(gè)區(qū)域。另外，本發(fā)明的第12方式可以在第10方式中構(gòu)成為:所述區(qū)域提示單元通過對(duì)各區(qū)域附加不同的文本進(jìn)行顯示而提示劃分的多個(gè)區(qū)域。根據(jù)上述本發(fā)明的第11方式的構(gòu)成或者本發(fā)明的第12方式的構(gòu)成，具有在視覺上更容易掌握視點(diǎn)圖像中深度不同的區(qū)域的效果。另外，本發(fā)明的第13方式可以在第10方式中構(gòu)成為:在基于區(qū)域劃分單元的所述一方視點(diǎn)圖像的劃分中，通過提取在所述一方視點(diǎn)圖像的像素間亮度敏銳變化的邊緣或者邊緣的交點(diǎn)來確定各區(qū)域的邊界，進(jìn)行立體視覺顯示時(shí)的深度使用通過構(gòu)成立體視覺圖像的所述一方視點(diǎn)圖像和另一方視點(diǎn)圖像的立體匹配而得到的各像素的深度。根據(jù)上述本發(fā)明的第13方式的構(gòu)成，在以多個(gè)被攝體局部重疊的方式所攝像的視點(diǎn)圖像中，在被攝體間的邊界產(chǎn)生邊緣，因此在將邊緣設(shè)為區(qū)域的邊界的情況下，能通過指定任一區(qū)域而指定重疊配置圖形的被攝體。以下使用附圖對(duì)作為本發(fā)明的一方式的用戶界面控制裝置的實(shí)施方式進(jìn)行說明。(實(shí)施方式I)圖1是示出具有作為本實(shí)施方式所涉及的用戶界面控制裝置的功能的智能手機(jī)的硬件構(gòu)成的圖。圖1所示的智能手機(jī)具有相機(jī)10、揚(yáng)聲器20、GPS30、傳感器40、觸摸面板50、麥克風(fēng)60、記錄介質(zhì)70、處理部100、顯示器200。相機(jī)10是對(duì)由2個(gè)視點(diǎn)圖像構(gòu)成的立體視覺圖像進(jìn)行攝像的立體相機(jī)。所攝像的立體視覺圖像記錄于記錄介質(zhì)70。記錄介質(zhì)70是內(nèi)置于智能手機(jī)的能讀寫的非易失性記錄介質(zhì)，利用硬盤、半導(dǎo)體存儲(chǔ)器等實(shí)現(xiàn)。處理部100具有例如RAM等存儲(chǔ)器、CPU等處理器，通過在CPU中執(zhí)行記錄于記錄介質(zhì)70的程序，從而控制通話、立體視覺圖像的攝影、加工等功能。作為本實(shí)施方式所涉及的用戶界面控制裝置的功能也通過在處理部100中執(zhí)行記錄于記錄介質(zhì)70的程序而實(shí)現(xiàn)。圖2是示出本實(shí)施方式所涉及的用戶界面控制裝置的構(gòu)成的圖。該用戶界面控制裝置提供支持對(duì)由2個(gè)視點(diǎn)圖像構(gòu)成的立體視覺圖像進(jìn)行加工的用戶的加工操作的GUI，裝入到各種電氣設(shè)備而被利用。作為裝入用戶界面控制裝置的設(shè)備，除了智能手機(jī)之外，還有PC (Personal Computer ;個(gè)人計(jì)算機(jī)或者個(gè)人電腦)等通用的計(jì)算機(jī)、PDA (PersonalDigital Assistance:個(gè)人數(shù)字助理)、平板或者手機(jī)等通信終端。如圖2所示，用戶界面控制裝置構(gòu)成為包含操作輸入接受部101、控制部102、深度信息算出部103、圖形信息取得部105、深度信息解析部106、深度設(shè)定提示部107、立體圖像生成部108、輸出部109。
這些操作輸入接受部101、控制部102、深度信息算出部103、圖形信息取得部105、深度信息解析部106、深度設(shè)定提示部107、立體圖像生成部108、輸出部109的后述的功能作為例如程序預(yù)先記錄于圖1所示的記錄介質(zhì)70。在本實(shí)施方式中，在處理部100中，將與操作輸入接受部101、控制部102、深度信息算出部103、圖形信息取得部105、深度信息解析部106、深度設(shè)定提示部107、立體圖像生成部108、輸出部109分別對(duì)應(yīng)的程序裝載到處理部100內(nèi)的RAM，由處理部100內(nèi)的CPU執(zhí)行，從而利用硬件資源(CPU和RAM上的程序的協(xié)作)來實(shí)現(xiàn)。在上述的例子中，以將預(yù)先記錄于記錄介質(zhì)70的程序裝載到處理部100內(nèi)的RAM并由處理部100內(nèi)的CPU執(zhí)行的構(gòu)成為例進(jìn)行了說明，但是上述程序可以預(yù)先記錄于處理部100內(nèi)的RAM。在采用在處理部100內(nèi)的RAM中預(yù)先記錄上述程序的構(gòu)成的情況下，不必在記錄介質(zhì)70中記錄上述程序。另外，深度信息保存部104利用記錄介質(zhì)70的記錄區(qū)域的一部分實(shí)現(xiàn)。<操作輸入接受部101 >操作輸入接受部101具有接受通過觸摸面板、鼠標(biāo)等指示設(shè)備輸入的用戶操作的功能。具體地，在本實(shí)施方式中接受的用戶操作有配置對(duì)照片進(jìn)行修整的圖形的拖動(dòng)操作、選擇利用指示設(shè)備指示的項(xiàng)目、狀態(tài)的點(diǎn)擊操作等，通過接受在畫面上顯示多個(gè)選項(xiàng)時(shí)選擇任一選項(xiàng)的點(diǎn)擊操作，從而操作輸入接受部101作為接受單元執(zhí)行功能。如圖4所示，在顯示器200上顯示:作為構(gòu)成立體視覺圖像的一方視點(diǎn)圖像的左眼用圖像I ;圖形部顯示部2，顯示與合成到立體視覺圖像的各種圖形對(duì)應(yīng)的圖形部2a 2d的模板圖像；以及指針3等，示出指示設(shè)備的指示位置，例如，在照片中配置圖形部的操作通過從顯示于圖形部顯示部2的圖形部2a 2d中拖動(dòng)任一圖形部并使其在左眼用圖像I的任意的位置降落而實(shí)現(xiàn)。<控制部 102 >控制部102具有按照操作輸入接受部101的輸入內(nèi)容控制本實(shí)施例的處理的功倉泛。<深度信息算出部103 >深度信息算出部103通過由立體圖像按左眼用圖像的像素生成示出被攝體的進(jìn)深方向的位置的深度信息(深度圖)，從而實(shí)現(xiàn)視點(diǎn)圖像深度取得單元的功能的一部分。具體地，首先對(duì)構(gòu)成立體圖像的左眼用圖像/右眼用圖像間的各像素進(jìn)行對(duì)應(yīng)點(diǎn)檢索。并且，根據(jù)左眼用圖像和右眼用圖像的對(duì)應(yīng)點(diǎn)的位置關(guān)系，基于三角測量的原理算出被攝體的進(jìn)深方向的距離。深度信息是用8位亮度表示各像素的進(jìn)深的灰色標(biāo)度圖像，深度信息算出部103將算出的被攝體的進(jìn)深方向的距離轉(zhuǎn)換為O 255的256灰度的值。此外，對(duì)應(yīng)點(diǎn)檢索大致分為如下2種:在關(guān)注點(diǎn)的周圍設(shè)置小區(qū)域，基于該區(qū)域中的像素值的濃淡圖案進(jìn)行的區(qū)域基本匹配手法；以及從圖像提取邊緣等特征，在該特征間進(jìn)行對(duì)應(yīng)的特征基本匹配手法，可以使用任一手法。此外，立體圖像是從不同的視點(diǎn)對(duì)視場進(jìn)行攝像而得到的圖像，在本實(shí)施方式I中使用利用相機(jī)10攝像并記錄于記錄介質(zhì)70的立體視覺圖像的圖像數(shù)據(jù)。立體圖像不限于實(shí)際拍攝圖像，可以是假設(shè)不同的假想視點(diǎn)而制作的CG (ComputerGraphics:計(jì)算機(jī)圖形)等。
在本實(shí)施方式中，如圖3所示，以利用立體相機(jī)對(duì)I個(gè)人站在公共汽車前的情景進(jìn)行攝影的立體視覺圖像為對(duì)象說明圖像加工。<深度信息保存部104 >深度信息保存部104利用記錄介質(zhì)70的記錄區(qū)域的一部分實(shí)現(xiàn)，具有將深度信息算出部103算出的深度信息保存于記錄介質(zhì)70的記錄區(qū)域的功能。<圖形信息取得部105 >圖形信息取得部105具有作為取得用戶配置的圖形在左眼用圖像上所占的區(qū)域的坐標(biāo)的平面位置確定單元的功能。具體地，在操作輸入接受部101中接受到圖形配置操作的情況下，在以左眼用圖像的左上角為原點(diǎn)的左眼用圖像的X — Y坐標(biāo)系中，取得使圖形降落(Drop)時(shí)的指針指示位置作為配置圖形部的中心坐標(biāo)(xg，yg)，算出圖5所示的包圍圖形部的矩形框的左上角坐標(biāo)(Xl，Y1)和右下角坐標(biāo)(x2，y2)作為圖形部在上述的X — Y坐標(biāo)系中所占的配置范圍。此外，圖形信息取得部105對(duì)各圖形部保持中心坐標(biāo)與左上角坐標(biāo)以及右下角坐標(biāo)的相對(duì)值，左上角坐標(biāo)(Xl，Y1)和右下角坐標(biāo)(X2，Y2)的算出使用指針指示位置的坐標(biāo)及其相對(duì)值，從而能簡便地得到圖形部的配置范圍。<深度信息解析部106 >深度信息解析部106具有如下功能:取得圖形部的配置范圍中的左眼用圖像的深度信息；以及指示深度設(shè)定提示部107使其向用戶提示選項(xiàng)，該選項(xiàng)利用與被攝體的相對(duì)位置示出能配置圖形部的深度。具體地，深度信息解析部106通過深度信息保存部104從記錄介質(zhì)70讀出由圖形信息取得部105算出的圖形部的配置范圍中的左眼用圖像的深度信息，利用深度信息的解析來檢測存在于配置范圍的被攝體，從而作為視點(diǎn)圖像深度取得單元執(zhí)行功能，而且針對(duì)檢測的被攝體決定能配置圖形部的相對(duì)位置。在被攝體的檢測中，首先，用在圖形部的配置范圍中通過圖形部中心坐標(biāo)(xg，yg)并在水平方向連續(xù)的像素(以下稱為水平像素組)解析左眼用圖像的深度分布，在鄰接的像素間的深度超出閾值Th且不同的情況下，判定為夾著超出閾值Th且深度不同的位置存在不同的2個(gè)被攝體。在判定為在圖形部的配置范圍內(nèi)存在被攝體的情況下，深度信息解析部106將(Xl，yg)到(x2，yg)之間比最淺深度更靠近前的深度、與最淺深度相同的深度、以及超出閾值Th且深度不同的鄰接的2像素的平均深度作為能配置圖形部的進(jìn)深的位置，指示深度設(shè)定提示部107提示與各自對(duì)應(yīng)的選項(xiàng)。例如，考慮到如下情況:在顯示于顯示器200的左眼用圖像中，以在相當(dāng)于作為被攝體的人的頭的位置重疊有圖形部的一部分的方式進(jìn)行配置。在該情況下，考慮到能配置圖形部的進(jìn)深方向的位置大致分為:如圖6 (a)那樣比位于最靠近前的作為被攝體的人物更靠前方的深度4a;如圖6 (b)那樣與人物相同的深度4b;以及如圖6 (c)那樣人物與公共汽車的中間深度4c。在深度信息解析部106中，如圖7所示，在照在左眼用圖像中的人物和公共汽車的邊界處深度超出閾值Th地變化，因此判定為在圖形部的配置范圍內(nèi)存在2個(gè)被攝體，將比近前側(cè)的X1的深度更靠近前的深度設(shè)為圖6的(a)所示的深度4a，將比近前側(cè)的X1的深度設(shè)為圖6 (b)所示的深度4b，將近前側(cè)的X1的深度和里側(cè)的X2的深度的平均深度設(shè)為圖6(C)所示的深度4c來決定能配置圖形部的深度。此外，在圖形部的配置范圍檢測到3個(gè)以上被攝體的情況下，深度信息解析部106按深度在前后的2個(gè)被攝體的組將這些被攝體的中間深度作為能配置圖形部的深度，指示深度設(shè)定提示部107進(jìn)行對(duì)應(yīng)選項(xiàng)的追加。另外，在顯示于顯示器200的左眼用圖像中以在任一個(gè)被攝體像存在的范圍內(nèi)重疊有整個(gè)圖形部的方式進(jìn)行配置的情況下，即使將圖形部的深度設(shè)于被攝體的背后也不會(huì)出現(xiàn)在圖像中，沒有意義，因此能配置圖形部的與被攝體的相對(duì)位置成為與被攝體相同的深度、以及比被攝體更靠近前的深度這2個(gè)位置。在這樣的情況下，深度信息解析部106指示深度設(shè)定提示部107提示與這2個(gè)深度分別對(duì)應(yīng)的選項(xiàng)。<深度設(shè)定提示部107 >深度設(shè)定提示部107在內(nèi)部具有⑶I提示部111、伸縮顯示部112、深度決定部113，具有控制用于設(shè)定圖形部的進(jìn)深信息的GU1、決定配置圖形部的深度的功能。GUI提示部111作為提示單元執(zhí)行功能，接受來自深度信息解析部106的指示，生成包含所指示的選項(xiàng)的GUI圖像，以描繪為彈出式菜單的方式通知輸出部109。在圖8所示的例子中，在顯示于畫面的左眼用圖像中花形的圖形部的配置范圍包含人物的頭部及其背后的公共汽車，從深度信息解析部106進(jìn)行指示，使得將相對(duì)于最靠近前的作為被攝體的人物而言為“前方”、“粘貼”以及“后方”設(shè)為圖形部的配置深度的選項(xiàng)?；谠撝甘荆疃仍O(shè)定提示部107生成由”前方”、“粘貼”以及“后方”這3個(gè)選項(xiàng)構(gòu)成的彈出式菜單的GUI圖像。在接受到從這樣的菜單選擇例如配置于“前方”的項(xiàng)目的操作的情況下，是指圖形部的配置范圍中比左眼圖像的最淺深度更靠近規(guī)定值的深度被選擇為圖形部的配置深度。另夕卜，在從菜單選擇“粘貼”(與最靠近前的被攝體相同的深度)的項(xiàng)目的情況下，是指圖形部的配置范圍中左眼圖像的最淺深度被選擇為圖形部的配置深度使得圖形部不進(jìn)入被攝體。另外，在從菜單選擇配置于“后方”的項(xiàng)目的情況下，是指存在于圖形部的配置范圍的作為最靠近前的被攝體的人物頭部及其背后的公共汽車這2個(gè)被攝體的中間深度被選擇為圖形部的配置深度。伸縮顯示部112具有作為如下伸縮顯示單元的功能:在用戶從彈出式菜單選擇任一選項(xiàng)的情況下，如圖9所示，指示輸出部109，使得在顯示器200上反復(fù)使尺寸變化地描繪配置于左眼用圖像的圖形部，直至通過點(diǎn)擊操作輸入用戶的決定指示為止。在該圖形部的伸縮顯示中，在圖形部中心坐標(biāo)(xg，yg)上，在顯示于圖形部顯示部2的原大小的2倍到1/2倍的范圍反復(fù)放大、縮小地顯示圖形部。深度決定部113具有作為如下深度決定單元的功能:在反復(fù)進(jìn)行圖形部的放大、縮小顯示的期間被輸入用戶的決定操作的情況下，將與所選擇的選項(xiàng)對(duì)應(yīng)的深度作為暫定的進(jìn)深位置，與決定操作時(shí)的圖形部顯示尺寸相應(yīng)地決定對(duì)暫定的進(jìn)深位置進(jìn)行了調(diào)整的最終的深度。詳細(xì)地，通過將以原尺寸顯示圖形部的狀態(tài)分配在與由菜單所選擇的選項(xiàng)對(duì)應(yīng)的深度，將圖形部放大2倍顯示的狀態(tài)分配在位于比菜單中的選擇深度靠近前的被攝體的深度，將圖形部縮小1/2倍顯示的狀態(tài)分配在位于比與菜單對(duì)應(yīng)的深度靠里側(cè)的被攝體的深度，從而使圖形部的顯示尺寸和配置深度對(duì)應(yīng)起來。根據(jù)該對(duì)應(yīng)，由決定操作時(shí)的圖形部的放大/縮小比率算出配置圖形部的最終的深度。
但是，在從菜單選擇配置于“前方”的項(xiàng)目的情況下，在比選擇深度靠近前不存在被攝體，因此伸縮顯示部112在原大小 原大小的1/2倍的范圍內(nèi)反復(fù)放大、縮小地顯示圖形部。另外，在從菜單選擇“粘貼”的情況下，所謂比選擇深度靠里側(cè)的深度成為沉入被攝體內(nèi)的深度，因此伸縮顯示部112在原大小 原大小的2倍的范圍內(nèi)反復(fù)放大、縮小地顯示圖形部。此外，在從菜單選擇“前方”的情況下，也在原大小的2倍 原大小的1/2倍的范圍內(nèi)反復(fù)放大、縮小地顯示圖形部，深度決定部113將比菜單中的選擇深度靠近前側(cè)規(guī)定深度的位置分配為將圖形部放大2倍顯示的狀態(tài)，可以根據(jù)決定操作時(shí)的放大/縮小比率算出深度。這樣，通過使圖形部的顯示大小的變化與圖形部的配置深度關(guān)聯(lián)地表現(xiàn)，從而用戶能進(jìn)行直觀的深度設(shè)定。<立體圖像生成部108 >立體圖像生成部108在內(nèi)部具有位移量取得部114、圖像合成部115，具有如下功能:基于由深度設(shè)定提示部107決定的圖形部的配置深度，帶有視差地將圖形部合成到照片中，生成合成了圖形部的左眼用圖像和右眼用圖像。位移量取得部114具有作為如下位移量取得單元的功能:通過算出用于生成圖形部的配置深度的立體視覺效果的視差，將算出的視差轉(zhuǎn)換為像素?cái)?shù)，從而取得位移量。圖像合成部115作為如下圖像合成單元執(zhí)行功能:對(duì)左眼用圖像在圖形部的配置范圍內(nèi)合成圖形部，對(duì)右眼用圖像在使圖形部的配置范圍在水平方向移動(dòng)由位移量取得部114算出的位移量的范圍內(nèi)合成圖形部，從而生成合成了圖形部的立體視覺圖像。<輸出部 109 >輸出部109是控制顯示器200的顯示的驅(qū)動(dòng)器，使顯示器顯示加工作業(yè)時(shí)的左眼圖像、圖形部、由深度設(shè)定提不部107指不的⑶I圖像、以及在立體圖像生成部108中合成了圖形部的立體視覺圖像等。以上是對(duì)用戶界面控制裝置的構(gòu)成的說明。< 動(dòng)作 >接著，對(duì)具備上述構(gòu)成的用戶界面控制裝置的動(dòng)作進(jìn)行說明。<深度信息生成處理>首先，對(duì)基于深度信息算出部103的深度信息生成處理進(jìn)行說明。圖10是示出深度信息生成處理的流程的流程圖。如該圖所示，深度信息算出部103首先取得攝影的左眼用圖像、右眼用圖像(步驟SI)。接著，深度信息算出部103從右眼用圖像檢索與構(gòu)成左眼用圖像的像素對(duì)應(yīng)的像素(步驟S2)。并且，深度信息算出部103根據(jù)左眼用圖像和右眼用圖像的對(duì)應(yīng)點(diǎn)的位置關(guān)系，基于三角測量的原理算出被攝體的進(jìn)深方向的距離(步驟S3)。對(duì)構(gòu)成左眼用圖像的所有像素進(jìn)行由以上步驟S2和步驟S3構(gòu)成的立體匹配處理。在對(duì)構(gòu)成左眼用圖像的所有像素結(jié)束步驟S2、步驟S3的立體匹配處理后，深度信息算出部103使在步驟S3的處理中得到的被攝體的進(jìn)深方向的距離的信息8位量子化(步驟S4)。具體地，將算出的被攝體的進(jìn)深方向的距離轉(zhuǎn)換為O 255的256灰度的值，生成用8位亮度表示各像素的進(jìn)深的灰色標(biāo)度圖像。這樣生成的灰色標(biāo)度圖像作為深度信息記錄于深度信息保存部104。
以上是對(duì)基于深度信息算出部103的深度信息生成處理的說明。<深度設(shè)定彈出式菜單顯示處理>圖11是示出根據(jù)用戶的圖形部配置操作執(zhí)行的深度設(shè)定彈出式菜單顯示處理的流程的流程圖。在深度設(shè)定彈出式菜單顯示處理中，首先，當(dāng)在操作輸入接受部101中接受到圖形部配置操作時(shí)(步驟S11)，圖形信息取得部105取得用戶在左眼用圖像上配置圖形部的坐標(biāo)(步驟S12)，算出以配置坐標(biāo)為中心的圖形部的配置范圍(步驟S13)。在此，配置范圍作為如圖5所示的包圍圖形部的矩形區(qū)域的左上角坐標(biāo)和右下角坐標(biāo)被算出。當(dāng)算出配置范圍的坐標(biāo)時(shí)，深度信息解析部106從深度信息保存部104讀出通過圖形部的配置范圍的中心(xg，Ig)的水平像素組的深度信息(步驟S14)，執(zhí)行基于讀出的深度信息提取圖形部的配置深度的候選的處理(步驟S15)。在步驟S15的圖形部配置深度候選提取處理中，如使用圖12在后面說明的那樣，決定示出圖形部的配置深度的候選的選項(xiàng)數(shù)L，而且包含在圖形部的配置范圍內(nèi)的L 一 I個(gè)被攝體各自的深度記錄于記錄介質(zhì)70?；谠摬襟ES15中的圖形部配置深度候選提取處理的處理結(jié)果，GUI提示部111生成包含所決定的L個(gè)選項(xiàng)在內(nèi)的彈出式菜單并提示用戶(步驟 S16)。在基于⑶I提示部111的彈出式菜單的生成中，具體地，L個(gè)選項(xiàng)按照如下與深度對(duì)應(yīng)起來。首先，在圖形部配置深度候選提取處理中記錄于記錄介質(zhì)70的被攝體的深度中最近前側(cè)的深度與“粘貼”的選項(xiàng)對(duì)應(yīng)起來，比與“粘貼”的選項(xiàng)對(duì)應(yīng)起來的深度進(jìn)一步靠近前側(cè)規(guī)定深度的深度與“前方”的選項(xiàng)對(duì)應(yīng)起來。而且，算出從記錄于記錄介質(zhì)70的L 一I個(gè)被攝體的深度的近前側(cè)起每2個(gè)的平均深度，使算出的L 一 2個(gè)平均深度按順序與“后方1”、“后方2”、…“ 后方L - 2”的選項(xiàng)對(duì)應(yīng)起來。在此，設(shè)為彈出式菜單的顯示位置如圖8那樣默認(rèn)地配置于左眼用圖像的左上角，但是在顯示的彈出式菜單的重疊位置與配置圖形的位置重疊的情況下，設(shè)為使彈出式菜單移動(dòng)到與被攝體不重疊的位置。以上是對(duì)深度設(shè)定彈出式菜單顯示處理的說明。<圖形部配置深度候選提取處理>圖12是示出在圖11的步驟S15中提取圖形部的配置深度的候選的處理的詳情的流程圖。在圖形部配置深度候選提取處理中，深度信息解析部106首先用2使管理選項(xiàng)數(shù)的變量L初始化(步驟S21),用作為圖形部的配置范圍的左上角坐標(biāo)的X坐標(biāo)值的X1使管理檢索坐標(biāo)的變量η初始化(步驟S22)。在變量初始化后，深度信息解析部106反復(fù)步驟S23 步驟S27的循環(huán)來進(jìn)行處理。在步驟S23中，判定坐標(biāo)(n，yg)上的左眼用圖像的深度Dn與從坐標(biāo)(n，yg)向右側(cè)規(guī)定像素?cái)?shù)w (例如，5個(gè)像素)的坐標(biāo)(n + w，yg)上的左眼用圖像的深度Dn+W之差的絕對(duì)值[Dn — Dn+W]是否超出閾值Th。在[Dn — Dn+W]超出閾值Th的情況下(步驟S23:是)，使選項(xiàng)數(shù)L遞增(步驟S24)，將檢索坐標(biāo)上的左眼用圖像深度Dn的值作為被攝體的深度記錄于記錄介質(zhì)70 (步驟S25)。
在[Dn — Dn+W]為閾值Th以下的情況下(步驟S23:否)，以及在步驟S25中將Dn的值作為與選項(xiàng)對(duì)應(yīng)起來的深度加以記錄后，用n + w更新管理檢索坐標(biāo)的變量η (步驟S26)，判定更新后的變量η是否超出作為圖形部的配置范圍的右下角坐標(biāo)的X坐標(biāo)值的X2 (步驟S27)。如果在步驟S27中變量η未超出χ2，則從步驟S23起反復(fù)進(jìn)行循環(huán)處理，如果超出，則結(jié)束圖形部的配置深度候選的提取。此外，作為檢索的像素寬度w不限于上述5個(gè)像素，能使用適于檢測照在圖像中的被攝體的任意值。但是，在對(duì)以相同深度橫向排列的2個(gè)人物進(jìn)行攝影的圖像中，在使用I個(gè)像素等小的值作為檢索寬度w的情況下，有可能連2人之間的微小的背景也檢測為圖形部的配置候選，而向用戶提示在圖像加工中沒有意義的選項(xiàng)。或者，在增大檢索寬度w的情況下，有可能將從淺的深度到深的深度連續(xù)地緩慢變化的區(qū)域、例如從傾斜方向攝影的壁等按檢索寬度W檢測為多個(gè)被攝體。因此,在這樣增大檢索寬度W的情況下,優(yōu)選根據(jù)檢索寬度W對(duì)深度的閾值Th也使用大的值。另外，在本實(shí)施方式中，為了提取圖形部的配置深度的候選，用通過圖形部的配置范圍的中心(xg，yg)的水平像素組解析深度分布，但是用于提取圖形部的配置深度的候選的深度分布的解析可以將圖形部的配置范圍內(nèi)的其他的水平像素組、或者在垂直方向連續(xù)的像素組作為對(duì)象。而且，可以將圖形部的配置范圍內(nèi)的多個(gè)水平像素組、垂直像素組作為深度分布的解析對(duì)象。以上是對(duì)基于深度信息解析部106的圖形部配置深度候選提取處理的說明。<圖形部深度調(diào)節(jié)處理>圖13是示出根據(jù)從彈出式菜單的選項(xiàng)選擇操作而執(zhí)行的圖形部深度調(diào)節(jié)處理的流程的流程圖。在圖形部深度調(diào)節(jié)處理中，深度決定部113取得與用戶選擇的選項(xiàng)對(duì)應(yīng)起來的深度(步驟S31)。接著，伸縮顯示部112在圖形部的配置范圍內(nèi)重疊顯示圖形部后(步驟S32)，以配置圖形部的坐標(biāo)為中心，將圖形部反復(fù)放大、縮小地更新顯示圖像(步驟S33)。該放大/縮小顯示的圖形部的大小以越大越往近前側(cè)、越小越往里側(cè)地調(diào)節(jié)圖形部的深度的方式對(duì)應(yīng)起來，當(dāng)用戶在圖形部以期望的大小顯示的時(shí)間點(diǎn)輸入決定操作時(shí)，深度決定部113根據(jù)決定操作時(shí)的圖形部顯示尺寸，校正與在步驟S31中取得的選項(xiàng)對(duì)應(yīng)起來的深度(步驟S34)。在此，使用圖14所示的流程圖說明步驟S33、34的處理的詳情。步驟S41是等待用戶的彈出式菜單選項(xiàng)的選擇操作的循環(huán)處理。當(dāng)接受到選擇操作時(shí)(步驟S41:是)，伸縮顯示部112用開啟使放大標(biāo)志初始化(步驟S42)。在標(biāo)志初始化后，伸縮顯示部112反復(fù)執(zhí)行步驟S43 步驟S50的循環(huán)處理。步驟S43是放大標(biāo)志是否設(shè)定為開啟的判定。在放大標(biāo)志設(shè)定為開啟的情況下(步驟S43:是)，判定圖形部是否以最大尺寸(圖4的顯示于圖形部顯示部2的圖形部的原尺寸的2倍)進(jìn)行顯示(步驟S44)。如果圖形部沒有以最大尺寸進(jìn)行顯示(步驟S44:否)，則將圖形部的放大率提高10%，更新圖形部的顯示(步驟S45)，如果圖形部以最大尺寸進(jìn)行顯示(步驟S44:是)，則將放大標(biāo)志設(shè)定為關(guān)閉(步驟S46)。在步驟S45、步驟S46的處理后，在步驟S50中判定是否有用戶的決定操作的輸入。另一方面，在步驟S43的判定中放大標(biāo)志設(shè)定為關(guān)閉的情況下(步驟S43:否)，判定圖形部是否以最小尺寸(原尺寸的1/2倍)進(jìn)行顯示(步驟S47)。如果圖形部沒有以最小尺寸進(jìn)行顯示(步驟S47:否)，則使圖形部的縮小率降低5%，更新圖形部的顯示(步驟S48)，如果圖形部以最小尺寸進(jìn)行顯示(步驟S47:是)，則將放大標(biāo)志設(shè)定為開啟(步驟S49)。在步驟S48、步驟S49的處理后，在步驟S50中判定是否有用戶的決定操作的輸入。在步驟S50的判定中，在沒有用戶的決定操作的輸入的情況下(步驟S50:否)，從步驟S43起反復(fù)進(jìn)行處理。在步驟S50的判定中，在有用戶的決定操作的輸入的情況下(步驟S50:是)，深度決定部113取得決定操作時(shí)的圖形部顯示尺寸(步驟S51)，根據(jù)尺寸決定深度(步驟S52)。具體地，如果在步驟S51中取得的圖形部顯示尺寸比圖4的顯示于圖形部顯示部2的圖形部放大，則將使其與放大率成比例地校正為比在圖13所示的流程圖的步驟S31中取得的與選項(xiàng)對(duì)應(yīng)起來的深度靠近前側(cè)的深度決定為圖形部配置深度。反之，如果在步驟S51中取得的圖形部顯示尺寸比顯示于圖形部顯示部2的圖形部縮小，則將使其與縮小率成比例地校正為比在步驟S31中取得的深度靠里側(cè)的深度決定為圖形部配置深度。以上是對(duì)基于深度設(shè)定提示部107的圖形部深度調(diào)節(jié)處理的說明。<立體圖像生成處理>圖15是示出基于由深度設(shè)定提示部107決定的圖形部的深度生成合成了圖形部的立體視覺圖像的處理的流程的流程圖。首先，位移量取得部114取得由深度設(shè)定提示部107決定的圖形部的深度(步驟S61)。圖像合成部115在左眼用圖像的圖形部的配置范圍內(nèi)合成圖形部，在合成后生成左眼用圖像(步驟S62)。接著，位移量取得部114根據(jù)由深度設(shè)定提示部107決定的圖形部的深度算出像素位移量(步驟S63)，圖像合成部115在使圖形部的配置范圍位移在步驟S63中算出的像素位移量的坐標(biāo)上在右眼用圖像中合成圖形部，合成后生成右眼用圖像(步驟S64)。在此，使用圖16對(duì)根據(jù)圖形部的深度算出像素位移量的方法進(jìn)行說明。圖16是示出圖形部的配置深度和像素位移量的關(guān)系的圖。立體視覺效果有帶來浮出效果的立體視覺效果(浮出立體視覺)和帶來凹入效果的立體視覺效果(凹入立體視覺)，圖16 Ca)示出浮出立體視覺的情況下的像素位移，圖16 (b)示出凹入立體視覺的情況下的像素位移。在這些圖中，Px示出向水平方向的位移量，L-View-Point示出左眼瞳孔位置，R-View-Point示出右眼瞳孔位置，L-Pixel示出左眼像素，R-Pixel示出右眼像素，e示出瞳孔間距離，H示出顯示畫面的高度，W示出顯示畫面的橫向?qū)挾龋琒示出從視聽者到顯示畫面的距離，Z示出從視聽者到成像點(diǎn)的距離、即圖形部的配置深度。連接左眼像素L-Pixel和左眼瞳孔L-view-point的直線是左眼瞳孔L-view-point的視線,連接右眼像素R-Pixel和右眼瞳孔R(shí)-View-Point的直線是右眼瞳孔R(shí)-View-Point的視線，利用基于3D眼鏡的透光/遮光的切換、視差屏障、使用雙凸透鏡等的視差障壁來實(shí)現(xiàn)。另外，將右眼像素R-pixel、左眼像素L-pixel處于圖16 Ca)的顯示畫面701中的位置關(guān)系的情況下的Px設(shè)為負(fù)的值，將右眼像素R-pixel、左眼像素L-pixel處于圖16(b)的顯示畫面702中的位置關(guān)系的情況下的Px設(shè)為正的值。
首先，對(duì)顯示畫面的高度H、顯示畫面的橫向?qū)挾萕進(jìn)行考慮。當(dāng)考慮顯示畫面是X型的電視機(jī)的情況時(shí)，電視機(jī)的型號(hào)數(shù)用畫面的對(duì)角線的長度(英寸)表示，因此在電視機(jī)的型號(hào)數(shù)X、顯示畫面的高度H、顯示畫面的橫向?qū)挾萕之間，X2 = H2 + W2的關(guān)系成立。另夕卜，顯示畫面的高度H、顯示畫面的橫向?qū)挾萕使用縱橫比m:n表示為W:H = m:n。根據(jù)上述的關(guān)系式，圖16 (a)、(b)所示的顯示畫面的高度H用如下數(shù)式I表示，[數(shù)式I]
權(quán)利要求
1.一種用戶界面控制裝置，當(dāng)在立體視覺圖像中合成圖形時(shí)提供用戶界面，該用戶界面用于設(shè)定配置圖形的進(jìn)深方向的深度，其特征在于，該用戶界面控制裝置具備: 平面位置確定單元，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍； 視點(diǎn)圖像深度取得單 元，在確定的所述范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及 提示單元，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同的能配置圖形的其他深度的選項(xiàng)。
2.如權(quán)利要求1所述的用戶界面控制裝置，其特征在于， 示出取得的所述深度的選項(xiàng)示出在照在所述圖形所占的范圍內(nèi)的被攝體中位于最靠近前的被攝體的深度， 示出能配置所述圖形的其他深度的選項(xiàng)示出比位于所述最靠近前的被攝體的深度更靠近前側(cè)的深度。
3.如權(quán)利要求2所述的用戶界面控制裝置，其特征在于， 在所述一方視點(diǎn)圖像的確定的所述范圍內(nèi)，除了位于所述最靠近前的被攝體之外還存在其他被攝體，且在2個(gè)被攝體間深度超出閾值且不同的情況下，提示單元還提示示出所述2個(gè)被攝體的深度的中間深度的選項(xiàng)。
4.如權(quán)利要求3所述的用戶界面控制裝置，其特征在于，還具備: 接受單元，接受所述多個(gè)選項(xiàng)中的任一個(gè)的選擇； 伸縮顯示單元，在接受所述選項(xiàng)的選擇后，使所述圖形的尺寸反復(fù)變化地顯示直至接受來自用戶的決定指示；以及 深度決定單元，在接受所述決定指示的時(shí)間點(diǎn)將圖形放大顯示的情況下，將比選擇的所述選項(xiàng)示出的深度靠近前側(cè)的深度決定為配置圖形的深度，在接受所述決定指示的時(shí)間點(diǎn)將圖形縮小顯示的情況下，將比選擇的所述選項(xiàng)示出的深度靠里側(cè)的深度決定為配置圖形的深度。
5.如權(quán)利要求4所述的用戶界面控制裝置，其特征在于， 深度決定單元在示出2個(gè)被攝體的深度的中間深度的選項(xiàng)被選擇的情況下，使所述2個(gè)被攝體中位于近前側(cè)的被攝體的深度與伸縮顯示單元最放大顯示的圖形的尺寸對(duì)應(yīng)起來，使所述2個(gè)被攝體中位于里側(cè)的被攝體的深度與伸縮顯示單元最縮小顯示的圖形的尺寸對(duì)應(yīng)起來，由此決定與在接受所述決定指示的時(shí)間點(diǎn)的圖形的尺寸相應(yīng)的深度。
6.如權(quán)利要求4所述的用戶界面控制裝置，其特征在于， 深度決定單元在所述圖形所占的范圍中且在比選擇的所述選項(xiàng)示出的深度靠里側(cè)存在任一被攝體的情況下，將位于該里側(cè)的被攝體的深度與伸縮顯示單元顯示得最小的圖形的尺寸對(duì)應(yīng)起來，由此決定與接受所述決定指示的時(shí)間點(diǎn)的圖形的尺寸相應(yīng)的深度。
7.如權(quán)利要求4所述的用戶界面控制裝置，其特征在于， 深度決定單元在所述圖形所占的范圍中且在比選擇的所述選項(xiàng)示出的深度靠近前側(cè)存在任一被攝體的情況下，使位于該近前側(cè)的被攝體的深度與伸縮顯示單元顯示得最大的圖形的尺寸對(duì)應(yīng)起來，在所述圖形所占的范圍中且在比選擇的所述選項(xiàng)示出的深度靠近前側(cè)不存在被攝體的情況下，使比選擇的所述選項(xiàng)示出的深度靠近前側(cè)的規(guī)定深度與伸縮顯示單元顯示得最大的圖形的尺寸對(duì)應(yīng)起來，由此決定與接受所述決定指示的時(shí)間點(diǎn)的圖形的尺寸相應(yīng)的深度。
8.如權(quán)利要求4所述的用戶界面控制裝置，其特征在于，還具備: 位移量取得單元，算出用于以決定的所述深度產(chǎn)生立體視覺效果的視差，通過將該視差轉(zhuǎn)換為像素?cái)?shù)而取得位移量；以及 圖像合成單元，對(duì)所述一方視點(diǎn)圖像在由所述平面位置確定單元確定的范圍內(nèi)合成圖形，對(duì)構(gòu)成立體視覺圖像的另一方視點(diǎn)圖像在從由所述平面位置確定單元確定的范圍在水平方向位移所述位移量的范圍內(nèi)合成圖形。
9.如權(quán)利要求1所述的用戶界面控制裝置，其特征在于， 視點(diǎn)圖像深度取得單元通過構(gòu)成立體視覺圖像的所述一方視點(diǎn)圖像和另一方視點(diǎn)圖像的立體 匹配而取得所述被攝體的深度。
10.如權(quán)利要求1所述的用戶界面控制裝置，其特征在于，還具備: 區(qū)域劃分單元，將所述一方視點(diǎn)圖像劃分為立體視覺顯示時(shí)的深度鄰接的區(qū)域和深度超出閾值且不同的多個(gè)區(qū)域； 區(qū)域提示單元，提示劃分的多個(gè)區(qū)域；以及 區(qū)域接受單元，接受提示的區(qū)域中的任一個(gè)的選擇， 所述平面位置確定單元以包含選擇的所述區(qū)域的至少一部分的方式確定所述圖形所占的范圍。
11.如權(quán)利要求10所述的用戶界面控制裝置，其特征在于， 所述區(qū)域提示單元通過用不同的顏色顯示鄰接的區(qū)域而提示劃分的多個(gè)區(qū)域。
12.如權(quán)利要求10所述的用戶界面控制裝置，其特征在于， 所述區(qū)域提示單元通過對(duì)各區(qū)域附加不同的文本進(jìn)行顯示而提示劃分的多個(gè)區(qū)域。
13.如權(quán)利要求10所述的用戶界面控制裝置，其特征在于， 在基于區(qū)域劃分單元的所述一方視點(diǎn)圖像的劃分中，通過提取在所述一方視點(diǎn)圖像的像素間亮度敏銳變化的邊緣或者邊緣的交點(diǎn)來確定各區(qū)域的邊界， 立體視覺顯示時(shí)的深度使用通過構(gòu)成立體視覺圖像的所述一方視點(diǎn)圖像和另一方視點(diǎn)圖像的立體匹配而得到的各像素的深度。
14.一種用戶界面控制方法，當(dāng)在立體視覺圖像中合成圖形時(shí)控制用戶界面，該用戶界面用于設(shè)定配置圖形的進(jìn)深方向的深度，其特征在于，該用戶界面控制方法包含: 平面位置確定步驟，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍； 視點(diǎn)圖像深度取得步驟，在確定的所述范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及 提示步驟，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同、能配置圖形的其他深度的選項(xiàng)。
15.一種計(jì)算機(jī)程序，當(dāng)在立體視覺圖像中合成圖形時(shí)控制用戶界面，該用戶界面用于設(shè)定配置圖形的進(jìn)深方向的深度，其特征在于，該計(jì)算機(jī)程序使計(jì)算機(jī)執(zhí)行如下步驟: 平面位置確定步驟，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍；視點(diǎn)圖像深度取得步驟，在確定的所述范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及 提示步驟，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同、能配置圖形的其他深度的選項(xiàng)。
16.一種集成電路，是用戶界面控制裝置的集成電路，該用戶界面控制裝置當(dāng)在立體視覺圖像中合成圖形時(shí)提供用戶界面，該用戶界面用于設(shè)定配置圖形的進(jìn)深方向的深度，該集成電路的特征在于，具備: 平面位置確定單元，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍； 視點(diǎn)圖像深度取得單元，在確定的所述范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及 提示單元，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同、能配置圖形的其他深度的 選項(xiàng)。
全文摘要
本發(fā)明提供一種用戶界面控制裝置，當(dāng)在立體視覺圖像中合成圖形時(shí)實(shí)現(xiàn)能容易設(shè)定圖形的深度的GUI。本發(fā)明的用戶界面控制裝置具備圖形信息取得部(105)，在構(gòu)成立體視覺圖像的一方視點(diǎn)圖像上配置有圖形的情況下，確定圖形所占的范圍；深度信息解析部(106)，在確定的范圍中取得照在所述一方視點(diǎn)圖像中的被攝體的深度；以及深度設(shè)定提示部(107)，提示示出取得的所述深度的選項(xiàng)和示出與取得的所述深度不同的能配置圖形的其他深度的選項(xiàng)。
文檔編號(hào)G06T19/00GK103168316SQ20128000204
公開日2013年6月19日 申請(qǐng)日期2012年8月10日 優(yōu)先權(quán)日2011年10月13日
發(fā)明者箱田航太郎, 山地治, 緒方伸輔 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社