本申請要求2016年3月14日申請的日本特愿2016-049151的優(yōu)先權(quán),并將包括說明書、權(quán)利要求書、附圖以及摘要的其全部內(nèi)容引用于此。
本發(fā)明涉及對拍攝圖像進行處理的圖像處理裝置、圖像處理方法以及記錄介質(zhì)。
背景技術(shù):
一般來說,在數(shù)字?jǐn)z像機等攝像裝置中,在拍攝時與背景相比更重視所希望的被攝體的情況下,拍攝為使該被攝體位于拍攝圖像的正中(中央部分),此外,在拍攝時重視所希望的被攝體的同時也重視背景的情況下,拍攝為使所希望的被攝體和背景均衡地配置在整個拍攝圖像中。像這樣,以與目的相應(yīng)的構(gòu)圖進行拍攝,但是,為了從拍攝圖像之中只對所希望的被攝體進一步進行特寫而得到新的圖像(使視角變窄的圖像),需要從許多的保存圖像(已拍攝圖像)之中找出所希望的拍攝圖像,并由用戶將該拍攝圖像內(nèi)的一部分指定為截取范圍。此時,例如,如日本特開2000-106623號公報所示,如果截取范圍的形狀為矩形,則使用戶分別指定與其四角對應(yīng)的畫面上的各位置。
技術(shù)實現(xiàn)要素:
發(fā)明要解決的課題
然而,每次從許多的保存圖像(已拍攝圖像)之中找出所希望的拍攝圖像并指定其截取范圍時都要指定四角,不僅指定的錯誤會增多,而且會對用戶造成大的負(fù)擔(dān)。
這種情況不限于從拍攝圖像截取其一部分的圖像的情況,在進行其它的處理,例如,對廣角圖像的失真進行修正的處理、實施對比度/模糊/銳度等特殊效果的圖像處理的情況下也是同樣的。
本發(fā)明的課題在于,能夠容易且合適地確定攝像圖像中的執(zhí)行處理的區(qū)域。
用于解決課題的技術(shù)方案
本發(fā)明的圖像處理裝置的特征在于,具備:處理單元,將由拍攝單元獲取的拍攝圖像中的不是沿著該拍攝圖像的周圍的邊緣部分的區(qū)域作為第1區(qū)域,將包括所述邊緣部分的區(qū)域作為第2區(qū)域,并對所述第1區(qū)域和第2區(qū)域中的任一方進行給定的處理;以及確定單元,基于所述拍攝單元獲取所述拍攝圖像時的姿勢信息,確定是將所述第1區(qū)域作為所述給定的處理的對象,還是將所述第2區(qū)域作為所述給定的處理的對象。
本發(fā)明的圖像處理方法是圖像處理裝置中的圖像處理方法,其特征在于,包括:將由拍攝單元獲取的拍攝圖像中的不是沿著該拍攝圖像的周圍的邊緣部分的區(qū)域作為第1區(qū)域,將包括所述邊緣部分的區(qū)域作為第2區(qū)域,并對所述第1區(qū)域和第2區(qū)域中的任一方進行給定的處理的步驟;以及基于所述拍攝單元獲取所述拍攝圖像時的姿勢信息,確定是將所述第1區(qū)域作為所述給定的處理的對象,還是將所述第2區(qū)域作為所述給定的處理的對象的步驟。
本發(fā)明的計算機可讀的記錄介質(zhì),其存儲有程序,特征在于,使圖像處理裝置的計算機實現(xiàn)如下功能,即,將由拍攝單元獲取的拍攝圖像中的不是沿著該拍攝圖像的周圍的邊緣部分的區(qū)域作為第1區(qū)域,將包括所述邊緣部分的區(qū)域作為第2區(qū)域,并對所述第1區(qū)域和第2區(qū)域中的任一方進行給定的處理,基于所述拍攝單元獲取所述拍攝圖像時的姿勢信息,確定是將所述第1區(qū)域作為所述給定的處理的對象,還是將所述第2區(qū)域作為所述給定的處理的對象。
發(fā)明效果
根據(jù)本發(fā)明,能夠容易且合適地確定攝像圖像中的執(zhí)行處理的區(qū)域。
附圖說明
附圖屬于說明書的一部分,示出本發(fā)明的實施方式,與上述的一般說明以及以下對實施方式的詳細(xì)說明一同用于解釋本發(fā)明的原理。
圖1(a)是在作為圖像處理裝置而應(yīng)用的數(shù)字?jǐn)z像機中表示將構(gòu)成該攝像機的攝像裝置10和主體裝置20組合為一體的狀態(tài)的外觀圖。
圖1(b)是表示將攝像裝置10和主體裝置20分離的狀態(tài)的外觀圖。
圖2(a)是示出攝像裝置10的概略結(jié)構(gòu)的框圖。
圖2(b)是示出主體裝置20的概略結(jié)構(gòu)的框圖。
圖3(a)是示出將攝像裝置10設(shè)為第1姿勢的情況的圖。
圖3(b)是例示了在將攝像裝置10設(shè)為第1姿勢的狀態(tài)下用魚眼鏡頭拍攝的魚眼圖像的圖。
圖3(c)是示出將攝像裝置10設(shè)為第2姿勢的情況的圖。
圖3(d)是例示了在將攝像裝置10設(shè)為第2姿勢的狀態(tài)下用魚眼鏡頭拍攝的魚眼圖像的圖。
圖4(a)~圖4(f)是例示了在使攝像裝置10保持第1姿勢的狀態(tài)下進一步使其框體繞光軸進行旋轉(zhuǎn)而改變了其方向的情況以及以該姿勢拍攝的圖像的圖。
圖5是用于說明在切換為拍攝模式時開始執(zhí)行的主體裝置20側(cè)的動作(第1實施方式的特征性的動作)的流程圖。
圖6是繼圖5的動作之后的流程圖。
圖7(a)是示出第2實施方式中的圖像處理裝置(個人計算機:pc)30的概略結(jié)構(gòu)的框圖。
圖7(b)是示出第2實施方式中的攝像裝置(數(shù)字?jǐn)z像機)40的概略結(jié)構(gòu)的框圖。
圖8(a)是示出在第2實施方式中以第1姿勢拍攝的魚眼圖像的圖。
圖8(b)是例示了在第2實施方式中對從該魚眼圖像的第1區(qū)域內(nèi)截取的標(biāo)準(zhǔn)尺寸展開用的圖像修正了其失真之后的圖像的圖。
圖9(a)是示出在第2實施方式中以第2姿勢拍攝的魚眼圖像的圖。
圖9(b)是例示了在第2實施方式中對從該魚眼圖像的第2區(qū)域內(nèi)截取的全景尺寸展開用的圖像修正了其失真之后的圖像的圖。
圖10是示出在攝像機40中根據(jù)拍攝指示操作開始執(zhí)行的動作(第2實施方式的特征性的動作)的流程圖。
圖11是示出在pc30中進行圖像顯示時的動作(第2實施方式的特征性的動作)的流程圖。
具體實施方式
以下,參照附圖對本發(fā)明的實施方式進行詳細(xì)說明。
(第1實施方式)
首先,參照圖1~圖6對本發(fā)明的第1實施方式進行說明。
本實施方式例示了作為圖像處理裝置而應(yīng)用于數(shù)字?jǐn)z像機的情況,該攝像機是可分離為后面說明的具備攝像部的攝像裝置10和后面說明的具備顯示部的主體裝置20的分離型數(shù)字?jǐn)z像機。圖1是圖像處理裝置(數(shù)字?jǐn)z像機)的外觀圖,圖1(a)示出將攝像裝置10和主體裝置20組合為一體的狀態(tài),圖1(b)是示出將攝像裝置10和主體裝置20分離的狀態(tài)的圖。攝像裝置10的框體整體呈箱型。另外,圖中10a表示設(shè)置在攝像裝置10的一端部的與主體裝置20的連接部。
構(gòu)成該分離型數(shù)字?jǐn)z像機的攝像裝置10和主體裝置20能夠使用各自可利用的無線通信進行配對(無線連接識別),作為無線通信,例如使用無線lan(wi-fi)或藍牙(bluetooth,注冊商標(biāo))。在主體裝置20側(cè)接收并獲取在攝像裝置10側(cè)拍攝的圖像。并將該拍攝圖像作為實時取景圖像進行顯示。另外,在本實施方式中,拍攝圖像不限于已保存的圖像,是指包括顯示在實時取景畫面中的圖像(實時取景圖像:保存前的圖像)的廣義的圖像。
圖2(a)是示出攝像裝置10的結(jié)構(gòu)的框圖,圖2(b)是示出主體裝置20的結(jié)構(gòu)的框圖。
在圖2(a)中,攝像裝置10除了能夠拍攝靜止圖像以外,還能夠拍攝動態(tài)圖像,具備控制部11、電源部12、存儲部13、通信部14、操作部15、攝像部16、姿勢檢測部17。控制部11通過來自電源部(二次電池)12的電力供給進行動作,并根據(jù)存儲部13內(nèi)的各種程序?qū)υ摂z像裝置10的整體動作進行控制,在該控制部11設(shè)置有未圖示的cpu(中央運算處理裝置)、存儲器等。
存儲部13例如是具有rom、閃速存儲器等的結(jié)構(gòu),儲存有用于實現(xiàn)本實施方式的程序、各種應(yīng)用程序等。另外,存儲部13例如可以是包括sd卡、usb存儲器等可自由拆裝的移動型存儲器(記錄介質(zhì))的結(jié)構(gòu),此外,其一部分也可以包括未圖示的給定的外部服務(wù)器的區(qū)域。通信部14將拍攝圖像發(fā)送到主體裝置20側(cè),或者接收來自主體裝置20的操作指示信號等。操作部15具備電源開關(guān)等基本的操作鍵(硬件鍵)。
攝像部16構(gòu)成能夠?qū)Ρ粩z體高精細(xì)地進行拍攝的攝像機部,在該攝像部16的鏡頭單元16a設(shè)置有魚眼鏡頭16b、攝像元件16c等。另外,本實施方式的攝像機能夠更換通常的攝像鏡頭(省略圖示)和魚眼鏡頭16b,圖示的例子示出安裝了魚眼鏡頭16b的狀態(tài)。該魚眼鏡頭16b例如由三透鏡結(jié)構(gòu)的鏡頭系統(tǒng)構(gòu)成,是視角為大致180°的能夠進行寬范圍的拍攝的圓周魚眼鏡頭(全周魚眼鏡頭),通過該魚眼鏡頭16b拍攝的廣角圖像(魚眼圖像)的整體成為圓形的圖像。在該情況下,因為采用投影方式,所以用魚眼鏡頭16b拍攝的廣角圖像(魚眼圖像)隨著從其中心朝向端部而失真增大。
即,魚眼鏡頭16b是其視角為大致180°的能夠進行寬范圍的拍攝的圓周魚眼鏡頭,因此魚眼圖像的整體成為圓形的圖像,并隨著從其中心部朝向端部(周邊部)一方而失真增大,并且與魚眼圖像的中心部相比,其周邊部成為縮小的圖像,因此即使用戶想要詳細(xì)地對其周邊部的內(nèi)容進行目視確認(rèn),該確認(rèn)也是極其困難的。當(dāng)由這樣的魚眼鏡頭16b得到的被攝體像(光學(xué)像)成像于攝像元件(例如,cmos或ccd)16c時,由該攝像元件16c進行了光電變換的圖像信號(模擬值的信號)會通過省略了圖示的a/d變換部變換為數(shù)字信號,并且在實施了給定的圖像顯示處理之后發(fā)送到主體裝置20側(cè),并顯示于監(jiān)視器。
姿勢檢測部17由檢測施加于攝像裝置10的加速度的三軸加速度傳感器等構(gòu)成,將根據(jù)攝像裝置10的姿勢檢測出的x、y、z方向的各加速度分量提供給控制部11。另外,如上所述,攝像裝置10的框體整體為箱型,將該框體的短邊的方向設(shè)為x軸方向,將框體的長邊的方向設(shè)為y軸方向,將框體的厚度方向設(shè)為z軸方向,控制部11對該x軸、y軸、z軸的加速度分量進行比較而檢測攝像裝置10的姿勢(后面說明的第1姿勢、第2姿勢),并將該姿勢信息從通信部14發(fā)送到主體裝置20側(cè)。
在圖2(b)中,主體裝置20構(gòu)成數(shù)字?jǐn)z像機的控制器,具有顯示由攝像裝置10拍攝的圖像的再現(xiàn)功能,具備控制部21、電源部22、存儲部23、通信部24、操作部25、觸摸顯示部26??刂撇?1通過來自電源部(二次電池)22的電力供給進行動作,并根據(jù)存儲部23內(nèi)的各種程序?qū)υ撝黧w裝置20的整體動作進行控制,在該控制部21設(shè)置有未圖示的cpu(中央運算處理裝置)、存儲器等。存儲部23例如是具有rom、閃速存儲器等的結(jié)構(gòu),具有儲存有用于實現(xiàn)本實施方式的程序、各種應(yīng)用程序等的程序存儲器23a、臨時存儲該主體裝置20進行動作所需的各種信息(例如,標(biāo)志等)的工作存儲器23b等。
通信部24與攝像裝置10之間進行各種數(shù)據(jù)的收發(fā)。操作部25具備電源鈕、釋放鈕、設(shè)定曝光、快門速度等拍攝條件的設(shè)定鈕等按鈕式的各種鍵,控制部21執(zhí)行與來自該操作部25的輸入操作信號相應(yīng)的處理,或者對攝像裝置10發(fā)送輸入操作信號。觸摸顯示部26是在高精細(xì)液晶等顯示器26a上層疊配置了觸摸面板26b的結(jié)構(gòu),其顯示畫面為對實時取景圖像(魚眼圖像)進行實時顯示的監(jiān)視器畫面(實時取景畫面),或者為對已拍攝圖像進行再現(xiàn)的再現(xiàn)畫面。
在主體裝置20側(cè),控制部21使從攝像裝置10接收的拍攝圖像(魚眼圖像)顯示于實時取景畫面,或者基于從攝像裝置10接收的姿勢信息確定執(zhí)行給定的處理的處理對象的區(qū)域,并且在實時取景畫面上顯示用于明示所確定的處理對象區(qū)域的框(矩形框)。即,在將拍攝圖像中的不是沿著拍攝圖像的周圍的邊緣部分的區(qū)域(不包括邊緣部分的區(qū)域)設(shè)為第1區(qū)域并將包括該邊緣部分的區(qū)域設(shè)為第2區(qū)域的情況下,控制部21基于攝像裝置10的姿勢信息確定第1區(qū)域和第2區(qū)域中的任一方,并在實時取景畫面上顯示用于明示該區(qū)域的范圍的矩形框。
在本實施方式中,第2區(qū)域是包括沿著拍攝圖像的周圍的邊緣部分的區(qū)域,意味著拍攝圖像整體的區(qū)域(全視角的區(qū)域)。此外,在本實施方式中,上述的給定的處理意味著,從魚眼圖像截取其一部分的圖像的修剪處理、對魚眼圖像的失真進行修正的失真修正處理、圖像保存處理。另外,根據(jù)處理對象區(qū)域的種類(是第1區(qū)域還是第2區(qū)域)來執(zhí)行該給定的處理(例如,修剪處理),對此,將在后面進行詳細(xì)說明。
圖3和圖4是例示了攝像裝置10的各種姿勢和以該姿勢拍攝的圖像的圖。
圖3(a)是示出攝像裝置10的拍攝時的姿勢為第1姿勢的圖,即,是示出配置在攝像裝置10的正面中央部的魚眼鏡頭16b的光軸方向與重力方向之間形成的角度以直角為基準(zhǔn)在允許角度范圍內(nèi)的姿勢的圖。另外,圖中用虛線表示的半球表示視角為大致180°的魚眼鏡頭16b的拍攝范圍(以下相同)。圖3(b)是示出了以第1姿勢使人物位于正中而進行拍攝的實時取景圖像(魚眼圖像)的顯示例的圖,在該實時取景畫面上重疊顯示有用于明示執(zhí)行給定的處理的處理對象的區(qū)域(第1區(qū)域)的矩形框(圖中用虛線表示的框)。
圖3(b)所示的第1區(qū)域的矩形框是將拍攝圖像的一部分作為處理對象的范圍的框,表示從拍攝圖像截取該范圍的圖像時的截取范圍。主體裝置20側(cè)的控制部21在從拍攝圖像截取處理對象的區(qū)域(第1區(qū)域的矩形框)內(nèi)的圖像之后,實施對該截取的圖像(魚眼圖像)的失真進行修正的處理。在該情況下,使用如下技術(shù),即,將在假想球面模型上的任意的點相切的平面作為屏幕,并將假想球面模型上的點坐標(biāo)變換為平面屏幕上的點,從而對魚眼圖像的失真進行修正,對魚眼圖像的失真進行修正的處理(魚眼失真修正處理)利用的是在圖像處理中通常使用的眾所周知的技術(shù),因此省略其具體的說明。控制部21對該修正圖像進行顯影處理,并且實施圖像壓縮處理而變換為文件形式,然后使存儲部23的記錄介質(zhì)進行記錄保存。
圖3(c)是示出攝像裝置10的拍攝時的姿勢為第2姿勢的圖,即,是示出攝像裝置10的魚眼鏡頭16b的光軸方向相對于重力方向平行或者光軸方向與重力方向之間形成的角度以180°為基準(zhǔn)在允許角度范圍內(nèi)的姿勢的圖。圖3(d)是示出以第2姿勢拍攝了樓群的實時取景圖像(魚眼圖像)的顯示例,在該實時取景畫面上重疊顯示有用于明示執(zhí)行給定的處理的處理對象的區(qū)域(第2區(qū)域)的矩形框。圖3(d)所示的第2區(qū)域的矩形框是將拍攝圖像的整體(全視角)設(shè)為給定的處理的處理對象的范圍的框,控制部21對拍攝圖像的整體進行顯影處理,并且實施圖像壓縮處理而變換為文件形式,然后使存儲部23的記錄介質(zhì)進行記錄保存。
圖4是例示了在使攝像裝置10保持第1姿勢的狀態(tài)下進一步使其框體繞光軸進行旋轉(zhuǎn)而改變了其方向的情況和以該姿勢拍攝的圖像的圖。
圖4(a)示出與圖3(a)同樣的姿勢(第1姿勢),圖4(b)示出與圖3(b)同樣的實時取景畫面。在此,當(dāng)將攝像裝置10的連接部10a處于重力方向的方向作為通常的姿勢(第1-1姿勢:正立)時,圖4(c)表示從該通常的方向(第1-1姿勢)沿順時針方向(圖中為右方向)旋轉(zhuǎn)了90°的情況下的姿勢(第1-2姿勢),圖4(d)是例示了該旋轉(zhuǎn)了90°的方向上的實時取景畫面的圖。在該情況下,雖然是第1姿勢,但是如圖4(d)所示,并不是將拍攝圖像的中央部分作為處理對象區(qū)域,而是將拍攝圖像的整體(全視角)作為處理對象區(qū)域,因此在實時取景畫面上重疊顯示第2區(qū)域的矩形框??刂撇?1對拍攝圖像的整體進行顯影處理,并且實施圖像壓縮處理而變換為文件形式,然后使存儲部23的記錄介質(zhì)進行記錄保存。
圖4(e)示出從上述的通常的方向(第1-1姿勢)沿逆時針方向(圖中為左方向)旋轉(zhuǎn)了90°的情況下的姿勢(第1-3姿勢),圖4(f)示出該旋轉(zhuǎn)了90°的方向上的實時取景畫面。在該情況下,在實時取景畫面上重疊顯示用于明示第1區(qū)域的矩形框,但是,圖4(b)所示的第1區(qū)域的矩形框是其橫縱比為橫4:縱3的標(biāo)準(zhǔn)尺寸的矩形框,相對于此,圖4(f)所示的第1區(qū)域的矩形框是橫縱比為橫8:縱3的全景尺寸的矩形框??刂撇?1在從拍攝圖像截取處理對象的區(qū)域(第1區(qū)域的矩形框)內(nèi)的圖像(全景尺寸的圖像)之后,實施對該截取的圖像(魚眼圖像)的失真進行修正的處理。然后,對該修正圖像進行顯影處理,并且實施圖像壓縮處理而變換為文件形式,然后使存儲部23的記錄介質(zhì)進行記錄保存。
接著,參照圖5和圖6所示的流程圖對第1實施方式中的圖像處理裝置(數(shù)字?jǐn)z像機)的動作概念進行說明。在此,在這些流程圖中記載的各功能以可讀的程序代碼的形式進行保存,并按照該程序代碼依次執(zhí)行動作。此外,也可以按照經(jīng)由網(wǎng)絡(luò)等傳輸介質(zhì)傳輸過來的上述的程序代碼依次執(zhí)行動作。這在后面說明的其它實施方式中也是同樣的,除了記錄介質(zhì)以外,還能夠利用經(jīng)由傳輸介質(zhì)進行外部供給的程序/數(shù)據(jù)來執(zhí)行本實施方式特有的動作。另外,圖5和圖6是示出主體裝置20側(cè)的整體動作中的第1實施方式的特征部分的動作概要的流程圖,跳出該圖5和圖6的流程時,將返回到整體動作的主流程(省略圖示)。
圖5和圖6是用于說明在切換到拍攝模式時開始執(zhí)行的主體裝置20側(cè)的動作(第1實施方式的特征性的動作)的流程圖。
首先,主體裝置20側(cè)的控制部21開始進行將從攝像裝置10獲取的圖像作為實時取景圖像顯示在觸摸顯示部26的動作(圖5的步驟a1),并且從攝像裝置10的姿勢檢測部17獲取姿勢信息(步驟a2),判別是第1姿勢還是第2姿勢(步驟a3)。
現(xiàn)在,如果是如圖3(a)所示的第1姿勢(步驟a3),則進一步基于該姿勢信息判別攝像裝置10的框體(攝像機框體)的旋轉(zhuǎn)狀態(tài)(步驟a4)。即,判別在第1姿勢的狀態(tài)下該攝像機框體被旋轉(zhuǎn)的情況下的方向,如果是如圖4(a)所示的通常的姿勢(第1-1姿勢),則轉(zhuǎn)到步驟a6,將標(biāo)準(zhǔn)尺寸(橫4:縱3)展開用的第1區(qū)域(中央部分的區(qū)域)確定為針對拍攝圖像的處理對象區(qū)域。此外,如果是如圖4(c)所示地從通常的方向沿順時針方向旋轉(zhuǎn)了90°的情況下的姿勢(第1-2姿勢),則轉(zhuǎn)到步驟a7,為了將拍攝圖像的整體(全視角)作為處理對象區(qū)域而確定全視角展開用的第2區(qū)域。
此外,如果是如圖4(e)所示地從通常的方向沿逆時針方向旋轉(zhuǎn)了90°的情況下的姿勢(第1-3姿勢),則轉(zhuǎn)到步驟a5,將全景尺寸(橫8:縱3)展開用的第1區(qū)域(中央部分的區(qū)域和一部分的周邊區(qū)域)確定為針對拍攝圖像的處理對象區(qū)域。像這樣,在第1姿勢的情況下,進一步根據(jù)該攝像機框體的旋轉(zhuǎn)狀態(tài)將第1區(qū)域或第2區(qū)域確定為處理對象區(qū)域。然后,如圖4(b)、(d)、(f)所示,在實時取景畫面上重疊顯示用于明示所確定的區(qū)域的矩形框(步驟a8)。
然后,轉(zhuǎn)到圖6的步驟a9,檢查是否進行了指示拍攝的操作(釋放鍵操作),如果未進行拍攝指示操作(步驟a9中為“否”),則返回到圖5的步驟a2,以下,重復(fù)進行一邊獲取姿勢信息一邊根據(jù)該姿勢確定處理對象區(qū)域的處理,直至進行了拍攝指示操作為止。在此,當(dāng)進行了拍攝指示操作時(步驟a9中為“是”),從攝像裝置10接受該拍攝指示操作時的拍攝圖像(魚眼圖像)(步驟a10),并從該魚眼圖像獲取處理對象區(qū)域內(nèi)的圖像(第1區(qū)域或第2區(qū)域內(nèi)的圖像)(步驟a11)。
即,在像圖5的步驟a5或步驟a6那樣確定了第1區(qū)域的情況下,進行從魚眼圖像獲取(截取)該第1區(qū)域內(nèi)的圖像的處理。例如,在步驟a6的情況下,作為第1區(qū)域內(nèi)的圖像而截取標(biāo)準(zhǔn)尺寸展開用的圖像,但是在步驟a5的情況下,作為第1區(qū)域內(nèi)的圖像而截取全景尺寸展開用的圖像。此外,在像圖5的步驟a7所示的那樣確定了第2區(qū)域的情況下,不進行圖像的截取處理,獲取魚眼圖像的整體(全視角)作為處理對象。
對由此獲取的圖像進行修正其失真的處理,并且實施顯影處理和圖像壓縮處理而變換為文件形式,然后使存儲部23的記錄介質(zhì)進行記錄保存(步驟a12)。然后,檢查是否解除了拍攝模式(步驟a13),如果保持著拍攝模式的狀態(tài)(步驟a13中為“否”),則返回到圖5的步驟a1,以下,重復(fù)上述的動作,但是在解除了拍攝模式的情況下(步驟a13中為“是”),跳出圖5和圖6的流程。
另一方面,在像圖3(c)所示的那樣是第2姿勢的情況下(圖5的步驟a3),轉(zhuǎn)到圖6的步驟a14,為了將拍攝圖像的整體(全視角)作為處理對象,確定全視角展開用的第2區(qū)域。然后,如圖3(d)所示,在實時取景畫面上重疊顯示用于明示該第2區(qū)域的矩形框(步驟a15),然后檢查是否進行了指示拍攝的操作(釋放鍵操作)(步驟a16),如果未進行拍攝指示操作(步驟a16中為“否”),則返回到圖5的步驟a2,以下,重復(fù)進行一邊獲取姿勢信息一邊根據(jù)該姿勢確定處理對象區(qū)域的處理,直至進行了拍攝指示操作為止。
在此,當(dāng)進行了拍攝指示操作時(步驟a16中為“是”),從攝像裝置10接受該拍攝指示操作時的拍攝圖像(魚眼圖像)(步驟a17),并從該魚眼圖像獲取全視角圖像作為處理對象區(qū)域內(nèi)的圖像(步驟a18)。然后,對獲取的圖像實施失真修正處理、顯影處理、圖像壓縮處理而變換為文件形式,然后使存儲部23的記錄介質(zhì)進行記錄保存(步驟a12)。然后,檢查是否解除了拍攝模式(步驟a13),直至解除了拍攝模式為止,返回到圖5的步驟a1,以下,重復(fù)上述的動作。
如上所述,第1實施方式的數(shù)字?jǐn)z像機具備攝像裝置10和主體裝置20,在將從攝像裝置10獲取的拍攝圖像中的不是沿著該拍攝圖像的周圍的邊緣部分的區(qū)域作為第1區(qū)域、將包括該邊緣部分的區(qū)域作為第2區(qū)域,并對第1區(qū)域和第2區(qū)域中的任一方進行給定的處理的情況下,主體裝置20基于攝像裝置10的姿勢來確定是將第1區(qū)域作為給定的處理的對象,還是將第2區(qū)域作為給定的處理的對象,因此無需由用戶進行繁雜的操作即可容易且合適地確定執(zhí)行合適的處理的區(qū)域。即,對用戶而言,能夠在拍攝時不進行麻煩的操作而僅通過以適合所希望的構(gòu)圖的自然的姿勢進行拍攝即可容易且合適地確定執(zhí)行處理的區(qū)域。
主體裝置20基于由攝像裝置10的姿勢檢測部17檢測出的姿勢信息將第1區(qū)域和第2區(qū)域中的任一方確定為處理對象,因此能夠根據(jù)以高精度檢測出的姿勢準(zhǔn)確地確定處理對象的區(qū)域。
如果攝像裝置10的光軸方向與重力方向之間形成的角度以直角為基準(zhǔn)在允許角度范圍內(nèi)(如果是第1姿勢),則主體裝置20將第1區(qū)域確定為處理對象,因此在進行與背景相比更重視所希望的被攝體的拍攝的情況下,用戶只需使攝像裝置10為第1姿勢并使該被攝體位于視角的正中,就能夠?qū)⑦m合該被攝體拍攝的第1區(qū)域作為處理對象。
在攝像裝置10為第1姿勢的情況下,主體裝置20進一步根據(jù)攝像裝置10的框體的旋轉(zhuǎn)狀態(tài)將不同的形狀的第1區(qū)域確定為處理對象,因此對于用戶而言,即使是相同的第1姿勢,也能夠僅通過使框體旋轉(zhuǎn)而改變其方向,從而將形狀不同的第1區(qū)域例如標(biāo)準(zhǔn)尺寸的區(qū)域或全景尺寸的區(qū)域作為處理對象。
在攝像裝置10為第1姿勢的情況下,主體裝置20進一步根據(jù)攝像裝置10的框體的旋轉(zhuǎn)狀態(tài)將第2區(qū)域確定為處理對象,因此對于用戶而言,即使是保持相同的第1姿勢的狀態(tài),也能夠僅通過使框體旋轉(zhuǎn)而改變其方向,從而將第1區(qū)域或第2區(qū)域作為處理對象。
如果攝像裝置10的光軸方向與重力方向之間形成的角度以180°為基準(zhǔn)在允許角度范圍內(nèi)(如果是第2姿勢),則主體裝置20將第2區(qū)域確定為處理對象,因此在進行寬范圍的拍攝的情況下,用戶僅通過使攝像裝置10為第2姿勢,就能夠?qū)⑦m合該寬范圍拍攝的第2區(qū)域作為處理對象。
主體裝置20將從攝像裝置10獲取的圖像作為實時取景圖像進行顯示,并且從攝像裝置10獲取姿勢檢測部17的檢測結(jié)果(姿勢信息)來判別攝像裝置10的姿勢,并顯示對根據(jù)該姿勢確定的第1區(qū)域或第2區(qū)域進行明示的框,因此對用戶而言,能夠容易地識別所確定的區(qū)域。
在將第1區(qū)域確定為處理對象的情況下,主體裝置20進行從拍攝圖像之中截取該第1區(qū)域內(nèi)的圖像并進行記錄的處理,在將第2區(qū)域確定為處理對象的情況下,主體裝置20進行對拍攝圖像的整體進行記錄保存的處理,因此能夠根據(jù)攝像裝置10的姿勢容易且合適地控制是對拍攝圖像的整體進行記錄保存還是對其一部分進行記錄。
在將第1區(qū)域確定為處理對象的情況下,主體裝置20進行從拍攝圖像之中截取該第1區(qū)域內(nèi)的圖像的處理,因此在進行為了與背景相比更重視所希望的被攝體而使該被攝體位于正中的拍攝的情況下,能夠截取拍攝有該被攝體的區(qū)域。
主體裝置20進行獲取由魚眼鏡頭16b拍攝的圖像并對確定為處理對象的區(qū)域內(nèi)的圖像的失真進行修正的處理,因此即使是用魚眼鏡頭16b拍攝的圖像,也能夠?qū)ζ涫д孢M行修正。
主體裝置20對確定的區(qū)域內(nèi)的圖像進行全景展開,因此能夠根據(jù)攝像裝置10的姿勢得到全景圖像。
<變形例1>
另外,在上述的第1實施方式中,示出了主體裝置20對基于攝像裝置10的姿勢從拍攝圖像中確定為處理對象的區(qū)域內(nèi)的圖像進行記錄保存的情況,但是也可以顯示確定為處理對象的區(qū)域內(nèi)的圖像,或者經(jīng)由通信單元將其發(fā)送到其它外部設(shè)備(例如,外部顯示裝置)。由此,對用戶而言,通過顯示,能夠容易地確認(rèn)處理對象的區(qū)域內(nèi)的圖像。
在上述的第1實施方式中,示出了應(yīng)用于能夠分離為攝像裝置10和主體裝置20的分離型數(shù)字?jǐn)z像機的情況,但是也可以應(yīng)用于將它們一體化的數(shù)字緊湊型攝像機等。
此外,雖然在上述的實施方式中例示了拍攝靜止圖像的情況,但是在拍攝動態(tài)圖像的情況下也能夠同樣地進行應(yīng)用。在此,在將第1區(qū)域確定為處理對象區(qū)域的情況下,作為該動態(tài)圖像的標(biāo)準(zhǔn)尺寸,例如只要截取縱橫比為橫16×縱9的區(qū)域即可。
(第2實施方式)
以下,參照圖7~圖11對本發(fā)明的第2實施方式進行說明。
另外,在上述的第1實施方式中,應(yīng)用于能夠分離為攝像裝置10和主體裝置20的分離型數(shù)字?jǐn)z像機,主體裝置20對基于拍攝時的攝像裝置10的姿勢從拍攝圖像之中確定為處理對象的區(qū)域內(nèi)的圖像進行記錄保存,但是在該第2實施方式中,作為圖像處理裝置應(yīng)用于筆記本型pc(個人計算機)30,在獲取并顯示由攝像裝置(數(shù)字?jǐn)z像機)40拍攝的已拍攝圖像(保存圖像)的情況下,該pc對基于拍攝時的攝像機的姿勢從拍攝圖像之中確定為處理對象(顯示對象)的區(qū)域(第1區(qū)域、第2區(qū)域)內(nèi)的圖像進行顯示。另外,在該第2實施方式中也與第1實施方式同樣地,第1區(qū)域是并非邊緣部分的區(qū)域,第2區(qū)域意味著包括邊緣部分的區(qū)域。
圖7是示出圖像處理裝置(pc)30和攝像裝置(數(shù)字?jǐn)z像機)40的結(jié)構(gòu)的框圖。
pc30和攝像機40是與第1實施方式所示的攝像裝置10和主體裝置20基本相同的結(jié)構(gòu),因此省略其詳細(xì)的說明。圖7(a)示出pc30的結(jié)構(gòu),pc30具備控制部31、電源部32、存儲部33、通信部34、操作部35、顯示部36。圖7(b)示出攝像機40的結(jié)構(gòu),攝像機40具備控制部41、電源部42、存儲部43、通信部44、操作部45、帶魚眼鏡頭的攝像部46、姿勢檢測部47。
圖8(a)示出在第1姿勢下使人物位于視角的正中而進行拍攝的已拍攝圖像(保存圖像:魚眼圖像),第1姿勢是攝像機40的正面方向(魚眼鏡頭的光軸方向)與重力方向之間形成的角度以直角為基準(zhǔn)在允許角度范圍內(nèi)的姿勢。圖中,粗的虛線矩形示出根據(jù)第1姿勢在保存圖像上確定的區(qū)域,即,示出確定為執(zhí)行給定的處理(顯示處理)的處理對象區(qū)域(顯示區(qū)域)的第1區(qū)域。進而,在該第1區(qū)域內(nèi),配置為包圍各人物的面部的細(xì)的虛線矩形將人物的面部作為特定被攝體,因此pc30識別該第1區(qū)域內(nèi)的特定被攝體,并使保存圖像上的第1區(qū)域的配置位置移動,使得該特定被攝體配置在第1區(qū)域的中心部分。圖8(b)示出pc30側(cè)的再現(xiàn)畫面,示出對從圖8(a)所示的魚眼圖像的第1區(qū)域內(nèi)截取的圖像修正了其失真的圖像。
圖9(a)示出在第2姿勢下包含附近的人物而拍攝的已拍攝圖像(保存圖像:魚眼圖像),第2姿勢是攝像機40的正面方向(魚眼鏡頭的光軸方向)與重力方向之間形成的角度以180°為基準(zhǔn)在允許角度范圍內(nèi)的姿勢。圖中,虛線矩形示出根據(jù)第2姿勢在保存圖像上確定的區(qū)域,即,示出確定為執(zhí)行給定的處理(顯示處理)的處理對象區(qū)域(顯示區(qū)域)的第2區(qū)域。在第1實施方式的情況下,將該第2區(qū)域設(shè)為包括魚眼圖像的周邊部的區(qū)域(魚眼圖像的全視角),但是在第2實施方式中,示出將該第2區(qū)域設(shè)為魚眼圖像上的一部分的周邊區(qū)域(圓弧狀的區(qū)域)的情況。圖9(b)示出pc30側(cè)的再現(xiàn)畫面,示出了對從圖9(a)所示的魚眼圖像的第2區(qū)域內(nèi)截取的圖像修正了其失真的全景圖像。
圖10是示出在攝像機40中根據(jù)拍攝指示操作而開始執(zhí)行的動作(第2實施方式的特征性的動作)的流程圖。
首先,攝像機40側(cè)的控制部41對由攝像部46拍攝的圖像實施顯影處理和圖像壓縮處理而變換為文件形式(步驟b1),并獲取該處理后的拍攝圖像(步驟b2)。然后,從姿勢檢測部47獲取拍攝時的攝像機40的姿勢(步驟b3),在將該姿勢信息附加為拍攝圖像的exif信息(步驟b4)之后,使存儲部23的記錄介質(zhì)對該帶姿勢信息的拍攝圖像進行記錄保存(步驟b5)。
圖11是示出在pc30中進行圖像再現(xiàn)時的動作(第2實施方式的特征性的動作)的流程圖。
首先,pc30側(cè)的控制部31在經(jīng)由通信單元或記錄介質(zhì)(sd卡、usb存儲器等)導(dǎo)入了由攝像機40拍攝的圖像(魚眼圖像)的狀態(tài)下從中獲取通過用戶操作選擇為顯示對象的魚眼圖像(步驟c1),并且獲取作為exif信息附加于該獲取的魚眼圖像的姿勢信息(步驟c2)。
然后,轉(zhuǎn)到基于該姿勢信息確定魚眼圖像內(nèi)的顯示對象區(qū)域(第1區(qū)域、第2區(qū)域)的處理,但是在此之前,檢查是否通過用戶操作選擇了顯示對象區(qū)域(步驟c3)。即,在第2實施方式中,除了與上述的第1實施方式同樣地根據(jù)姿勢信息自動地確定顯示對象區(qū)域以外,還能夠?qū)⑼ㄟ^用戶操作選擇的區(qū)域確定為顯示對象區(qū)域,如果未通過用戶操作選擇處理對象區(qū)域(步驟c3中為“否”),則與第1實施方式同樣地,基于姿勢信息判別是第1姿勢或者是第2姿勢,如果是第1姿勢,則自動地將第1區(qū)域確定為處理對象區(qū)域(顯示對象區(qū)域),如果是第2姿勢,則自動地將第2區(qū)域確定為處理對象區(qū)域(顯示對象區(qū)域)(步驟c6)。
另一方面,在通過用戶操作任意地選擇了處理對象區(qū)域(顯示對象區(qū)域)的情況下(步驟c3中為“是”),對該由用戶選擇的區(qū)域和預(yù)先設(shè)定的限制區(qū)域進行比較(步驟c4)。在此,限制區(qū)域是指,在通過用戶操作選擇的區(qū)域?qū)τ跀z像機40的姿勢而言不相稱的情況下為了限制該區(qū)域而預(yù)先設(shè)定的區(qū)域。例如,在圖4(f)中,全景展開用的區(qū)域被設(shè)定為與第1姿勢對應(yīng)的處理對象區(qū)域。在全景展開中,雖然在人物拍攝在魚眼圖像內(nèi)的正中的情況下沒有問題,但是在拍攝在周邊的情況下,該人物的失真很大。因此,在攝像機40為了進行全景展開而處于第1姿勢的情況下,圖像的邊緣部分成為限制區(qū)域。
現(xiàn)在,檢查對由用戶選擇的區(qū)域和限制區(qū)域進行比較的結(jié)果由用戶選擇的區(qū)域是否屬于限制區(qū)域(步驟c5),在屬于限制區(qū)域的情況下(步驟c5中為“是”),為了使該選擇無效而返回到上述的步驟c3,但是如果不屬于限制區(qū)域(步驟c5中為“否”),則將該由用戶選擇的第1區(qū)域或第2區(qū)域確定為顯示對象區(qū)域(步驟c7)。此后,檢查像上述那樣確定的區(qū)域是否為第1區(qū)域(步驟c8),如果是第1區(qū)域(步驟c8中為“是”),則對該第1區(qū)域內(nèi)進行分析,識別是否拍攝有與第1區(qū)域建立對應(yīng)而預(yù)先設(shè)定的特定的被攝體,例如,人物的面部、菜肴等(步驟c9)。同樣地,如果是第2區(qū)域(步驟c8中為“否”),則對第2區(qū)域內(nèi)進行分析,識別是否拍攝有與第2區(qū)域建立對應(yīng)而預(yù)先設(shè)定的特定的被攝體,例如,人物的面部等(步驟c10)。
如果其結(jié)果是在第1區(qū)域或第2區(qū)域內(nèi)未拍攝到特定被攝體(步驟c11中為“否”),則轉(zhuǎn)到顯示該確定區(qū)域內(nèi)的圖像的處理(步驟c13),如果拍攝有特定被攝體(步驟c11中為“是”),則檢測魚眼圖像上的特定被攝體的位置,并進行使第1區(qū)域或第2區(qū)域移動使得第1區(qū)域或第2區(qū)域的中心位于該檢測位置的位置調(diào)整處理(步驟c12)。此后,轉(zhuǎn)到圖像顯示處理(步驟c13)。在該步驟c13中,對第1區(qū)域或第2區(qū)域內(nèi)的圖像進行處理并顯示于顯示部36。例如,在確定了第1區(qū)域的情況下,如圖8(b)所示,從魚眼圖像截取第1區(qū)域內(nèi)的圖像(標(biāo)準(zhǔn)尺寸的圖像),并對該圖像的失真進行修正,然后進行放大顯示。此外,在確定了第2區(qū)域的情況下,像圖9(b)所示的那樣從魚眼圖像截取第2區(qū)域內(nèi)的圖像(全景尺寸的圖像)并對該圖像的失真進行修正,然后進行放大顯示。
如上所述,在第2實施方式中,在獲取在攝像裝置(攝像機)40的拍攝時附加了表示其姿勢的信息的拍攝圖像并對該拍攝圖像進行給定的處理的情況下,圖像處理裝置(pc)30基于該姿勢信息確定是將第1區(qū)域作為給定的處理的對象還是將第2區(qū)域作為給定的處理的對象,因此,無需由用戶進行繁雜的操作就能夠容易且合適地確定執(zhí)行合適的處理的區(qū)域。
如果是攝像裝置40的光軸方向與重力方向之間形成的角度以直角為基準(zhǔn)在允許角度范圍內(nèi)的姿勢(第1姿勢),則pc30將該第1區(qū)域確定為給定的處理的對象,因此用戶在進行與背景相比更重視所希望的被攝體的拍攝的情況下,只要將攝像裝置40設(shè)為第1姿勢并使該被攝體位于視角的正中即可,能夠?qū)⑦m合該被攝體拍攝的第1區(qū)域作為處理對象。
如果是攝像裝置40的光軸方向與重力方向之間形成的角度以180°為基準(zhǔn)在允許角度范圍內(nèi)的姿勢(第2姿勢),則pc30將該第2區(qū)域確定為給定的處理的對象,因此用戶在進行寬范圍的拍攝的情況下只要將攝像裝置40設(shè)為第2姿勢即可,能夠?qū)⑦m合該寬范圍拍攝的第2區(qū)域作為處理對象。
在將第1區(qū)域確定為處理對象區(qū)域的情況下,pc30進行從拍攝圖像之中截取該第1區(qū)域內(nèi)的圖像的處理,因此,在進行為了與背景相比更重視所希望的被攝體而使該被攝體位于視角的正中的拍攝的情況下,能夠截取拍攝有該被攝體的區(qū)域。
pc30獲取由魚眼鏡頭16b拍攝的圖像,并進行對確定為處理對象的區(qū)域內(nèi)的圖像的失真進行修正的處理,因此,即使是用魚眼鏡頭16b拍攝的圖像,也能對其失真進行修正。
pc30對確定的區(qū)域內(nèi)的圖像進行全景展開,因此能夠根據(jù)攝像裝置10的姿勢得到全景圖像。
在通過用戶操作選擇了處理對象區(qū)域的情況下,在該被選擇的區(qū)域?qū)z像機姿勢而言不是不相稱的區(qū)域的條件下,pc30將該區(qū)域確定為該姿勢的處理對象,因此在將通過用戶操作選擇的區(qū)域確定為處理對象的情況下,能夠排除對攝像機姿勢而言不相稱的區(qū)域的確定,能夠只確定適合于攝像機姿勢的區(qū)域。
pc30對確定為處理對象的區(qū)域內(nèi)包括的特定的被攝體的位置進行識別,并配合該被攝體的位置使該區(qū)域移動,因此只要預(yù)先將人物的面部等設(shè)定為特定的被攝體,就能夠容易地得到以人物的面部為中心的圖像。
<變形例2>
另外,在上述的第2實施方式中示出了pc30顯示基于攝像機姿勢從拍攝圖像中確定為處理對象的區(qū)域內(nèi)的圖像的情況,但是也可以經(jīng)由通信單元將確定為處理對象的區(qū)域內(nèi)的圖像發(fā)送到其它外部設(shè)備(例如,外部顯示裝置)。
在上述的第2實施方式中,根據(jù)特定被攝體的位置對確定區(qū)域的位置進行了調(diào)整,但是也可以省略該位置調(diào)整處理(圖11的步驟c8~c12)。
<變形例3>
在上述的第2實施方式中,在通過用戶操作選擇了處理對象區(qū)域的情況下,在該被選擇的區(qū)域?qū)τ跀z像機姿勢而言不是不相稱的限制區(qū)域的條件下,將該區(qū)域確定為該姿勢的處理對象,也可以將其同樣地應(yīng)用于第1實施方式。
<變形例4>
在上述的第2實施方式中,識別確定為處理對象的區(qū)域內(nèi)包括的特定的被攝體的位置并配合該被攝體的位置使該區(qū)域移動,也可以將其同樣地應(yīng)用于第1實施方式。
雖然在上述的各實施方式中根據(jù)攝像機姿勢(第1姿勢、第2姿勢)將第1區(qū)域和第2區(qū)域中的任一方確定為處理對象,但是并不限于這兩種姿勢和這兩種區(qū)域,例如,也可以根據(jù)第三姿勢將第三區(qū)域確定為處理對象。在該情況下,可以使第1區(qū)域為圖像的中央部分,使第2區(qū)域為圖像的邊緣部分,使第三區(qū)域為圖像的中央部分與邊緣部分的中間部分的區(qū)域。此外,區(qū)域的形狀也不限于矩形,還可以是三角形、橢圓等。
此外,作為給定的處理,不限于截取魚眼圖像的一部分的處理、對失真進行修正的處理、對圖像進行記錄保存的處理、顯示圖像的處理,例如,也可以是實施對比度/模糊/銳度等的特殊效果的圖像處理。
此外,在上述的各實施方式中,作為圖像處理裝置,不限于數(shù)字?jǐn)z像機、筆記本型pc,例如也可以是pda(面向個人的便攜型信息通信設(shè)備)、平板終端裝置、智能電話等便攜式電話機、電子游戲機、音樂播放器等。
在上述的各實施方式中示出的“裝置”、“部”也可以按功能分離為多個框體,并不限于單個框體。此外,在上述的流程圖記載的各步驟不限于時序上的處理,可以并行地處理多個步驟,或者也可以獨立地另行處理。
另外,雖然在本實施方式中將魚眼圖像作為對象進行了說明,但是并不特別限定于此,也可以應(yīng)用于通常的圖像、廣角圖像。
以上對本發(fā)明的實施方式進行了說明,但是本發(fā)明不限定于此,包括權(quán)利要求書記載的發(fā)明及其等同的范圍。