本發(fā)明涉及一種用于校正由振動(dòng)所導(dǎo)致的圖像模糊或者圖像傾斜的技術(shù)。

背景技術(shù)：

裝配在攝像設(shè)備上的圖像模糊校正設(shè)備例如通過根據(jù)照相機(jī)振動(dòng)量在與光軸垂直的平面上移動(dòng)鏡頭或者攝像元件，抑制圖像在圖像平面上的圖像模糊?？蛇x地，可以通過圍繞光軸轉(zhuǎn)動(dòng)攝像元件來抑制由滾轉(zhuǎn)轉(zhuǎn)動(dòng)所導(dǎo)致的圖像模糊。另外，還有這樣一種傾斜校正設(shè)備，其中，該傾斜校正設(shè)備用于通過使用加速度計(jì)等檢測(cè)重力方向、并且自動(dòng)校正攝像設(shè)備相對(duì)與重力方向垂直的水平面的傾斜來高精度地檢測(cè)設(shè)備的傾斜角度。在拍攝運(yùn)動(dòng)圖像時(shí)，通過電子校正而改變由攝像元件所輸出的每一攝像幀的切出位置，降低振動(dòng)或者傾斜的影響。日本特開平7-95466所公開的攝像設(shè)備通過檢測(cè)攝像設(shè)備的傾斜、并且自動(dòng)校正拍攝圖像的傾斜，校正相對(duì)于與攝像元件的重力方向垂直的水平面的圍繞光軸的傾斜。

另外，作為攝像元件，存在電荷耦合裝置(CCD)傳感器和低功耗的互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)，并且CCD和CMOS在攝像期間的曝光方式上有所不同。盡管在CCD傳感器中拍攝一個(gè)圖像時(shí)，攝像元件的所有圖像的曝光定時(shí)和曝光期相同，但是由于對(duì)于構(gòu)成攝像元件的每一行來說，快門的打開/關(guān)閉定時(shí)不同，因而在CMOS傳感器中發(fā)生曝光期之間的差異。在被稱為卷簾快門方式的CMOS傳感器的驅(qū)動(dòng)方式中，例如，由于曝光期間被攝體的移動(dòng)或者在曝光期間由拍攝者抓握攝像設(shè)備所引起的照相機(jī)振動(dòng)，對(duì)于攝像元件的每一行來說，被攝體圖像都移動(dòng)。因此，發(fā)生導(dǎo)致拍攝圖像失真這一現(xiàn)象，并且將其稱為“卷簾快門問題”或者“焦平面現(xiàn)象”。已知與使用機(jī)械快門的靜止圖像拍攝相比，在不使用機(jī)械快門的運(yùn)動(dòng)圖像拍攝時(shí)，卷簾快門失真更為明顯。

在日本特開2006-186481中，公開了一種與卷簾快門失真的校正有關(guān)的、用于校正由拍攝者所引起的照相機(jī)振動(dòng)所導(dǎo)致的失真的技術(shù)。日本特開2006-186481的設(shè)備改變攝像元件的每一行的讀取位置來校正水平方向上的照相機(jī)振動(dòng)，并且改變垂直方向上的讀取行的位置來校正垂直方向上的照相機(jī)振動(dòng)。

在進(jìn)行振動(dòng)校正、傾斜校正或者卷簾快門失真校正的攝像設(shè)備的情況下，如果振動(dòng)的振幅由于諸如在行走的同時(shí)進(jìn)行拍攝時(shí)根據(jù)用戶身體的振動(dòng)向攝像設(shè)備的抖動(dòng)傳遞而增大，則需要增大每一校正范圍以提高各校正效果。

作為圖像模糊校正的類型，存在光學(xué)校正和電子校正。光學(xué)校正是用于在移位方向上移動(dòng)攝像光學(xué)系統(tǒng)的鏡頭的一部分或者攝像元件的光軸移位校正、或者用于基于振動(dòng)角度而轉(zhuǎn)動(dòng)驅(qū)動(dòng)鏡頭和攝像一體化的鏡筒的校正等。在機(jī)械校正的情況下，需要在有限可移動(dòng)范圍內(nèi)進(jìn)行平移方向(圖像的垂直方向和水平方向)上的校正和滾轉(zhuǎn)方向上的校正。另一方面，在電子校正中，通過改變每一攝像幀的切出位置，通過圖像處理來進(jìn)行校正。在這種情況下，通過將圖像的剩余部分分配至平移、滾轉(zhuǎn)和卷簾快門失真的校正范圍，可以減小原始圖像的切出范圍和擴(kuò)大校正范圍。然而，當(dāng)過分縮小圖像的切出視角時(shí)，由于分辨率的劣化或者切出之后攝像視角的縮小這一情況，有可能發(fā)生圖像劣化。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在用于校正圖像的圖像模糊的圖像模糊校正設(shè)備或者用于校正圖像的傾斜的傾斜校正設(shè)備中，基于用戶所任意指定的校正效果的設(shè)置，在預(yù)定校正范圍內(nèi)對(duì)圖像的圖像模糊或者傾斜的校正。

本發(fā)明實(shí)施例的設(shè)備是一種傾斜校正設(shè)備，其包括：操作部件，用于指定以光軸作為轉(zhuǎn)動(dòng)軸的攝像設(shè)備的第一傾斜校正的效果水平和以與所述光軸垂直的軸作為轉(zhuǎn)動(dòng)軸的所述攝像設(shè)備的第二傾斜校正的效果水平；電子校正部件，用于通過移動(dòng)在攝像畫面內(nèi)設(shè)置的圖像切出范圍，執(zhí)行所述第一傾斜校正和所述第二傾斜校正中的至少一個(gè)；以及計(jì)算部件，用于根據(jù)所述第一傾斜校正的效果水平和所述第二傾斜校正的效果水平，改變所述電子校正部件的第一傾斜可校正范圍的比例和第二傾斜可校正范圍的比例。

另外，本發(fā)明實(shí)施例的設(shè)備是一種圖像模糊校正設(shè)備，其包括：操作部件，用于指定圖像模糊校正的效果水平和以光軸作為轉(zhuǎn)動(dòng)軸的攝像設(shè)備的第一傾斜校正的效果水平；電子校正部件，用于通過移動(dòng)在攝像畫面內(nèi)設(shè)置的圖像切出范圍，執(zhí)行所述圖像模糊校正和所述第一傾斜校正中的至少一個(gè)；以及計(jì)算部件，用于根據(jù)所述圖像模糊校正的效果水平和所述第一傾斜校正的效果水平，改變所述電子校正部件的圖像模糊可校正范圍的比例和第一傾斜可校正范圍的比例。

本發(fā)明還提供一種傾斜校正設(shè)備的控制方法，所述控制方法包括：在操作處理中，指定以光軸作為轉(zhuǎn)動(dòng)軸的攝像設(shè)備的第一傾斜校正的效果水平和以與所述光軸垂直的軸作為轉(zhuǎn)動(dòng)軸的所述攝像設(shè)備的第二傾斜校正的效果水平；在電子校正處理中，通過移動(dòng)在攝像畫面內(nèi)設(shè)置的圖像切出范圍，執(zhí)行所述第一傾斜校正和所述第二傾斜校正中的至少一個(gè)；以及在計(jì)算處理中，根據(jù)所述第一傾斜校正的效果水平和所述第二傾斜校正的效果水平，改變所述電子校正處理中的第一傾斜可校正范圍的比例和第二傾斜可校正范圍的比例。

本發(fā)明還提供一種圖像模糊校正設(shè)備的控制方法，所述控制方法包括：在操作處理中，指定圖像模糊校正的效果水平和以光軸作為轉(zhuǎn)動(dòng)軸的攝像設(shè)備的第一傾斜校正的效果水平；在電子校正處理中，通過移動(dòng)在攝像畫面內(nèi)設(shè)置的圖像切出范圍，執(zhí)行所述圖像模糊校正和所述第一傾斜校正中的至少一個(gè)；以及在計(jì)算處理中，根據(jù)所述圖像模糊校正的效果水平和所述第一傾斜校正的效果水平，改變所述電子校正處理中的圖像模糊可校正范圍的比例和第一傾斜可校正范圍的比例。

通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將顯而易見。

附圖說明

圖1是示出根據(jù)本發(fā)明實(shí)施例的攝像設(shè)備的振動(dòng)的示意圖。

圖2是示出根據(jù)第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)例子的框圖。

圖3A和3B是第一實(shí)施例的圖像切出處理的說明圖。

圖4是示出第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖。

圖5是示出第一實(shí)施例的振動(dòng)校正角度計(jì)算單元的框圖。

圖6是示出第一實(shí)施例中的振動(dòng)校正參數(shù)設(shè)置的結(jié)構(gòu)的框圖。

圖7是示出第一實(shí)施例的傾斜校正角度計(jì)算單元的框圖。

圖8是示出第一實(shí)施例中的傾斜校正參數(shù)設(shè)置的結(jié)構(gòu)的框圖。

圖9是示出第一實(shí)施例的水平校正角度計(jì)算單元的框圖。

圖10A和10B是第一實(shí)施例的攝像設(shè)備的角度波形的說明圖。

圖11是示出第一實(shí)施例的卷簾快門失真校正計(jì)算單元的框圖。

圖12是示出第一實(shí)施例中的卷簾快門失真校正參數(shù)設(shè)置的結(jié)構(gòu)的框圖。

圖13是示出第一實(shí)施例的振動(dòng)校正處理的流程圖。

圖14是示出第一實(shí)施例的指定模式切換的圖。

圖15是示出第二實(shí)施例的指定模式切換的圖。

圖16是示出在第二實(shí)施例的模式切換時(shí)指定校正效果的圖。

圖17是示出第二實(shí)施例的校正參數(shù)計(jì)算處理的流程圖。

圖18是示出接著圖17的處理的流程圖。

圖19是示出第二實(shí)施例的水平校正角度計(jì)算單元的框圖。

圖20是第二實(shí)施例的模式切換時(shí)的快門速度設(shè)置的說明圖。

圖21是電子校正的圖像切出校正范圍的說明圖。

圖22是示出第三實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖。

圖23A和23B是示出在第三實(shí)施例的模式切換時(shí)指定校正效果的圖。

圖24A和24B是示出第三實(shí)施例的水平校正角度計(jì)算單元的框圖。

圖25A和25B是示出第四實(shí)施例的梯形失真的圖。

圖26是示出第四實(shí)施例的攝像設(shè)備的結(jié)構(gòu)例子的框圖。

圖27A和27B是示出第四實(shí)施例的針孔照相機(jī)模型的圖。

圖28A和28B是示出第四實(shí)施例的梯形失真校正量計(jì)算單元的框圖。

具體實(shí)施方式

參考附圖詳細(xì)說明本發(fā)明的實(shí)施例。本發(fā)明不局限于應(yīng)用于數(shù)字照相機(jī)或者數(shù)字?jǐn)z像機(jī)等，并且可以應(yīng)用于諸如便攜式電話、監(jiān)控?cái)z像機(jī)或者Web照相機(jī)等的攝像設(shè)備。

第一實(shí)施例

圖1是示出攝像設(shè)備的振動(dòng)方向的示意圖。裝配在照相機(jī)101上的振動(dòng)校正系統(tǒng)針對(duì)相對(duì)于光軸102以箭頭103p、103y和103r所表示的俯仰、橫擺、滾轉(zhuǎn)的角度進(jìn)行圖像模糊校正。在三維正交坐標(biāo)系統(tǒng)中，將z軸方向定義為光軸方向，將與z軸垂直的第一軸定義為x軸，并且將與x軸和z軸垂直的第二軸定義為y軸。以箭頭103p所表示的x軸轉(zhuǎn)動(dòng)方向是俯仰方向，以箭頭103y所表示的y軸轉(zhuǎn)動(dòng)方向是橫擺方向，并且以箭頭103r所表示的z軸轉(zhuǎn)動(dòng)方向是滾轉(zhuǎn)方向。照相機(jī)101包括用于檢測(cè)各方向上的角度振動(dòng)的角速度的角度檢測(cè)單元(以下稱為角速度計(jì))。箭頭104x表示與x軸方向平行的方向，箭頭104y表示與y軸方向平行的方向，并且箭頭104z表示與z軸方向平行的方向。照相機(jī)101包括用于檢測(cè)其在平移方向上的振動(dòng)(平行振動(dòng))的加速度的加速度檢測(cè)單元(以下稱為加速度計(jì))。參考圖2說明本實(shí)施例的攝像設(shè)備。

圖2是示出根據(jù)本實(shí)施例具有振動(dòng)校正功能和傾斜校正功能的攝像設(shè)備的結(jié)構(gòu)的主要部分的框圖。對(duì)于攝像光學(xué)系統(tǒng)，將圖2的右側(cè)描述為被攝體側(cè)。變焦單元201具有進(jìn)行變倍的變焦透鏡和檢測(cè)變焦位置的變焦位置檢測(cè)單元。光圈/快門單元202包括光圈和快門。調(diào)焦單元203具有用于進(jìn)行焦點(diǎn)調(diào)節(jié)的調(diào)焦透鏡。攝像單元204包括攝像元件。攝像元件接收通過攝像光學(xué)系統(tǒng)的各透鏡組所入射的光，根據(jù)所接收到的光量將電荷轉(zhuǎn)換成電信號(hào)，并且將電信號(hào)作為模擬圖像信號(hào)輸出至攝像信號(hào)處理單元205。

攝像信號(hào)處理單元205將通過攝像單元204所輸出的電信號(hào)轉(zhuǎn)換成視頻信號(hào)。視頻信號(hào)處理單元206根據(jù)目的對(duì)通過攝像信號(hào)處理單元205所輸出的視頻信號(hào)進(jìn)行處理。例如，對(duì)數(shù)字圖像數(shù)據(jù)進(jìn)行失真校正、白平衡調(diào)整、顏色插值處理等。

格式轉(zhuǎn)換單元207將通過視頻信號(hào)處理單元206所輸出的數(shù)字圖像數(shù)據(jù)轉(zhuǎn)換成諸如運(yùn)動(dòng)圖像專家組(MPEG)格式等的記錄格式，并且將轉(zhuǎn)換后的數(shù)字圖像數(shù)據(jù)輸出至圖像記錄單元208。圖像記錄單元208將通過格式轉(zhuǎn)換單元207的轉(zhuǎn)換所獲得的數(shù)字圖像數(shù)據(jù)記錄在諸如非易失性存儲(chǔ)器等的記錄介質(zhì)上。顯示控制單元208控制通過視頻信號(hào)處理單元206所輸出的數(shù)字圖像數(shù)據(jù)以將其顯示在諸如小型液晶顯示器(LCD)等的畫面上。

振動(dòng)檢測(cè)單元包括三軸加速度計(jì)213和三軸角速度計(jì)214。三軸加速度計(jì)213檢測(cè)圖1中以箭頭104x、104y和104z所表示的方向上的加速度，并且輸出檢測(cè)信號(hào)。三軸角速度計(jì)214檢測(cè)圖1中以箭頭103p、103y和103r所表示的方向上的角速度，并且輸出檢測(cè)信號(hào)?？刂茊卧?15處理通過三軸加速度計(jì)213和三軸角速度計(jì)214所獲得的檢測(cè)信號(hào)?？刂茊卧?15是控制整個(gè)系統(tǒng)的控制中央單元。電源單元210根據(jù)目的向整個(gè)系統(tǒng)供應(yīng)電力。外部輸入/輸出端子單元211向外部設(shè)備輸出通信信號(hào)和視頻信號(hào)、或者從外部設(shè)備輸入通信信號(hào)和視頻信號(hào)。用戶使用操作單元212來操作該系統(tǒng)。

控制單元215包括傾斜校正角度計(jì)算單元217和振動(dòng)校正角度計(jì)算單元218。下面，將傾斜校正角度計(jì)算單元217稱為第一計(jì)算單元，并且將振動(dòng)校正角度計(jì)算單元218稱為第二計(jì)算單元。第一計(jì)算單元217獲取通過三軸加速度計(jì)213和三軸角速度計(jì)214所輸出的檢測(cè)信號(hào)，并且計(jì)算傾斜校正角度。第二計(jì)算單元218獲取通過三軸角速度計(jì)214所輸出的檢測(cè)信號(hào)，并且計(jì)算振動(dòng)校正角度。校正切換單元219根據(jù)操作單元212的輸出，來切換是否進(jìn)行基于第一計(jì)算單元217的輸出的校正、或者切換是否進(jìn)行基于第二計(jì)算單元218的輸出的校正。圖像切出設(shè)置單元220獲取校正切換單元219的輸出，并且根據(jù)對(duì)于每一幀的校正量來設(shè)置用于切出圖像的一部分的設(shè)置。下面將詳細(xì)說明這些單元。

接著參考圖3A和3B說明用于通過根據(jù)針對(duì)每一幀的校正量而切出圖像的一部分來進(jìn)行校正的電子圖像模糊校正控制。

圖3A是示出通過圖像切出設(shè)置單元220和視頻信號(hào)處理單元206所進(jìn)行的電子圖像模糊校正控制校正后的圖像的圖。根據(jù)滾轉(zhuǎn)校正角度的計(jì)算結(jié)果，圖像切出設(shè)置單元220計(jì)算用于進(jìn)行轉(zhuǎn)動(dòng)校正的滾轉(zhuǎn)校正量。圖像301a表示被輸入至視頻信號(hào)處理單元206的拍攝圖像。圖像302a表示在基于用于拍攝圖像301a的滾轉(zhuǎn)校正量進(jìn)行了轉(zhuǎn)動(dòng)處理之后的轉(zhuǎn)動(dòng)后圖像。此外，在電子圖像模糊校正中，進(jìn)行用于切出與拍攝圖像301a具有相同寬高比的內(nèi)接部分作為來自轉(zhuǎn)動(dòng)后圖像302a的輸出圖像303a的處理。通過對(duì)于運(yùn)動(dòng)圖像的每一幀進(jìn)行該切出處理，實(shí)現(xiàn)滾轉(zhuǎn)方向上的電子圖像模糊校正。

接著，圖3B是示出通過圖像切出設(shè)置單元220和視頻信號(hào)處理單元206所要進(jìn)行的垂直/水平方向(平移方向)上的圖像的圖像模糊校正的圖。在平移方向上的校正中，基于振動(dòng)角度和變焦位置信息，根據(jù)焦距信息計(jì)算用于校正俯仰/橫擺方向上的角度振動(dòng)的圖像移位量，并且進(jìn)行用于根據(jù)圖像移位量來切出圖像的處理。圖像301b表示被輸入至視頻信號(hào)處理單元206的拍攝圖像。圖像302b是與根據(jù)與拍攝圖像301b的水平/垂直圖像移位量所切出的視角相對(duì)應(yīng)的圖像。通過針對(duì)運(yùn)動(dòng)圖像的每一幀進(jìn)行該切出處理，實(shí)現(xiàn)平移方向上的電子圖像模糊校正。

在圖像切出處理中，可以針對(duì)每一運(yùn)動(dòng)圖像幀實(shí)現(xiàn)俯仰/橫擺/滾轉(zhuǎn)方向上的電子圖像模糊校正，但是還可以組合光學(xué)圖像模糊校正。例如，有這樣一種方法，該方法用于在通過攝像元件進(jìn)行攝像之前以機(jī)械驅(qū)動(dòng)方式在光學(xué)上進(jìn)行控制，并且通過光軸的移位和圍繞光軸的轉(zhuǎn)動(dòng)，在俯仰/橫擺/滾轉(zhuǎn)方向方面進(jìn)行校正。圖4示出具體例子。圖4是示出具有攝像元件的驅(qū)動(dòng)機(jī)構(gòu)單元的攝像設(shè)備的結(jié)構(gòu)例子的框圖。驅(qū)動(dòng)機(jī)構(gòu)單元402是在與光軸方向垂直的方向上移位和移動(dòng)攝像元件、并且圍繞光軸轉(zhuǎn)動(dòng)攝像元件的機(jī)構(gòu)單元。對(duì)于與圖2所述相同的結(jié)構(gòu)單元，使用上面所用的附圖標(biāo)記，并且省略對(duì)其的說明。

攝像元件驅(qū)動(dòng)單元401獲取校正切換單元219的輸出，基于通過來自變焦單元201的變焦位置信息所獲得的焦距而放大俯仰和橫擺校正角度，并且計(jì)算攝像元件的移位驅(qū)動(dòng)量的目標(biāo)值。另外，攝像元件驅(qū)動(dòng)單元401基于滾轉(zhuǎn)校正角度，計(jì)算攝像元件的轉(zhuǎn)動(dòng)驅(qū)動(dòng)量的目標(biāo)值?；谒?jì)算出的移位驅(qū)動(dòng)量的目標(biāo)值和轉(zhuǎn)動(dòng)驅(qū)動(dòng)的目標(biāo)值，驅(qū)動(dòng)機(jī)構(gòu)單元402移動(dòng)攝像元件，從而進(jìn)行振動(dòng)校正和傾斜校正。

參考圖4說明了用于移位和轉(zhuǎn)動(dòng)攝像元件的方法，但是這只是一個(gè)例子。除此之外，還有以下形式。

●通過在與光軸垂直的方向上移位內(nèi)置于攝像光學(xué)系統(tǒng)的一部分中的光學(xué)構(gòu)件(移位透鏡)來進(jìn)行平移方向上的校正的形式。

●使用攝像元件和移位透鏡兩者的驅(qū)動(dòng)來進(jìn)行平移方向和轉(zhuǎn)動(dòng)方向上的校正的形式。

●通過基于校正角度而轉(zhuǎn)動(dòng)和驅(qū)動(dòng)鏡頭和攝像元件一體化的鏡筒來進(jìn)行校正的形式。

用戶使用操作單元212進(jìn)行是否進(jìn)行振動(dòng)校正的ON/OFF設(shè)置(振動(dòng)校正設(shè)置)和是否進(jìn)行傾斜校正的ON/OFF設(shè)置(傾斜校正設(shè)置)。當(dāng)接收到用戶的操作指示時(shí)，操作單元212向控制單元215輸出操作指示信號(hào)。圖14示出通過利用操作單元212的模式改變操作的模式切換的設(shè)置例子，并且對(duì)應(yīng)于顯示單元上所顯示的設(shè)置畫面。水平方向和搖擺方向上的ON/OFF設(shè)置可能與傾斜校正有關(guān)。

在圖2的電子圖像模糊校正的例子中，可以通過擴(kuò)大圖像的切出范圍來擴(kuò)大平移或者滾轉(zhuǎn)等的校正范圍。然而，可能發(fā)生由于與圖像的切出相對(duì)應(yīng)的分辨率降低而導(dǎo)致的圖像劣化、或者在切出之后攝像視角的縮小。因而，難以通過改變切出大小來擴(kuò)大校正范圍，而且在有限校正范圍內(nèi)進(jìn)行控制。因此，在本實(shí)施例中，校正范圍保持固定或者變化不大，并且通過來自操作單元212的振動(dòng)校正設(shè)置和傾斜校正設(shè)置來改變傾斜校正角度或者振動(dòng)校正角度的最大校正范圍。另外，還通過來自操作單元212的振動(dòng)校正設(shè)置和傾斜校正設(shè)置來改變第一計(jì)算單元217和第二計(jì)算單元218內(nèi)的計(jì)算參數(shù)。從而，可以在有限校正范圍內(nèi)獲得用戶想要的校正效果。下面，說明基于振動(dòng)校正設(shè)置和傾斜校正設(shè)置所要進(jìn)行的第二計(jì)算單元218和第一計(jì)算單元217的計(jì)算處理。

首先，參考圖5和6說明通過第二計(jì)算單元218的振動(dòng)校正角度計(jì)算處理。三軸角速度計(jì)214輸出俯仰角速度214p、橫擺角速度214y和滾轉(zhuǎn)角速度214r的檢測(cè)信號(hào)。將這些檢測(cè)信號(hào)輸入至HPF單元501p、501y和501r。p、y和r是用于標(biāo)識(shí)俯仰、橫擺和滾轉(zhuǎn)的符號(hào)。在相應(yīng)的高通濾波器(HPF)中截止直流(DC)成分之后，將這些檢測(cè)信號(hào)輸入至減法器502p、502y和502r。這些減法器從HPF處理后的輸出減去角速度偏移計(jì)算單元504p、504y和504r的輸出，并且將相減之后的信號(hào)輸出至積分器503p、503y和503r。將通過這些積分器的積分處理之后的輸出發(fā)送至限制單元505p、505y和505r、以及角速度偏移計(jì)算單元504p、504y和504r。限制單元505p、505y和505r將輸入值限制成等于或者小于預(yù)定值的值，并且計(jì)算俯仰振動(dòng)校正角度、橫擺振動(dòng)校正角度和滾轉(zhuǎn)振動(dòng)校正角度。

角速度偏移計(jì)算單元504p、504y和504r基于前一采樣中的振動(dòng)校正角度(前一振動(dòng)校正角度值)的大小計(jì)算偏移量，并且將這些偏移量輸出至減法器502p、502y和502r。如果振動(dòng)角度小于或者等于閾值A(chǔ)，則角速度偏移計(jì)算單元將偏移設(shè)置成0，并且如果振動(dòng)角度大于閾值A(chǔ)，則角速度偏移計(jì)算單元設(shè)置偏移量，使得偏移量根據(jù)前一振動(dòng)校正角度值的大小而增大。

圖6的振動(dòng)校正參數(shù)設(shè)置單元508、509和510基于振動(dòng)校正指定單元506和傾斜校正指定單元507的指定信息，設(shè)置俯仰、橫擺和滾轉(zhuǎn)的軸的振動(dòng)校正參數(shù)。俯仰振動(dòng)校正參數(shù)設(shè)置單元508、橫擺振動(dòng)校正參數(shù)設(shè)置單元509和滾轉(zhuǎn)振動(dòng)校正參數(shù)設(shè)置單元510管理這些軸的振動(dòng)校正參數(shù)，并且根據(jù)振動(dòng)校正指定單元506和傾斜校正指定單元507的狀態(tài)，設(shè)置這些振動(dòng)校正參數(shù)。將通過振動(dòng)校正參數(shù)設(shè)置單元508所設(shè)置的俯仰振動(dòng)校正參數(shù)輸入至HPF單元501p、角速度偏移計(jì)算單元504p和限制單元505p。將通過振動(dòng)校正參數(shù)設(shè)置單元509所設(shè)置的橫擺振動(dòng)校正參數(shù)輸入至HPF單元501y、角速度偏移計(jì)算單元504y和限制單元505y。將通過振動(dòng)校正參數(shù)設(shè)置單元510所設(shè)置的滾轉(zhuǎn)振動(dòng)校正參數(shù)輸入至HPF單元501r、角速度偏移計(jì)算單元504r和限制單元505r。如果振動(dòng)校正效果下降，則將HPF單元501p、501y和501r的截止頻率設(shè)置成高，并且設(shè)置這些參數(shù)，使得角速度偏移計(jì)算單元504p、504y和504r的偏移量增大。設(shè)置這些參數(shù)，使得限制單元505p、505y和505r的限制閾值減小。如果振動(dòng)校正效果提高，則將HPF單元501p、501y和501r的截止頻率設(shè)置成低，并且設(shè)置這些參數(shù)，使得角速度偏移計(jì)算單元504p、504y和504r的偏移量減小。設(shè)置這些參數(shù)，使得限制單元505p、505y和505r的限制閾值增大。根據(jù)平移方向和滾轉(zhuǎn)方向上的校正范圍，設(shè)置這些參數(shù)。

下面的表1示出根據(jù)振動(dòng)校正設(shè)置和傾斜校正設(shè)置的校正的校正比例的例子。對(duì)于傾斜校正，作為水平方向(滾轉(zhuǎn)方向)上的傾斜校正的水平傾斜設(shè)置和作為搖擺方向(俯仰方向或者橫擺方向)上的傾斜校正的搖擺傾斜設(shè)置都是可以的。下面，為了簡(jiǎn)化，還將卷簾快門失真稱為“RS失真”。

表1

表1的第一行第一列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置是ON，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正OFF和搖擺傾斜校正OFF。在這種情況下，給出用于優(yōu)先平移方向上的振動(dòng)校正效果的參數(shù)設(shè)置。俯仰振動(dòng)校正角度和橫擺振動(dòng)校正角度的校正范圍被設(shè)置得大。不進(jìn)行與滾轉(zhuǎn)振動(dòng)校正角度有關(guān)的水平傾斜校正，因此滾轉(zhuǎn)振動(dòng)校正角度的校正范圍未被設(shè)置得如俯仰和橫擺振動(dòng)校正角度那樣大。因而，校正限制的限制閾值在限制單元505p和限制單元505y中被設(shè)置得大，并且限制單元505r中的限制閾值被設(shè)置成小于俯仰方向和橫擺方向上的限制閾值。截止頻率在HPF單元501p和HPF單元501y中被設(shè)置得低，并且HPF單元501r的截止頻率被設(shè)置成高于HPF單元501p和HPF單元501y的截止頻率。當(dāng)振動(dòng)大時(shí)，設(shè)置參數(shù)以使得角速度偏移計(jì)算單元504p和504y的偏移量小于角速度偏移計(jì)算單元504r的偏移量。因而，俯仰方向和橫擺方向上的圖像模糊校正效果相對(duì)高，并且滾轉(zhuǎn)方向上的圖像模糊校正效果相對(duì)低。因此，設(shè)置參數(shù)使得基于振動(dòng)校正設(shè)置和傾斜校正設(shè)置而在俯仰、橫擺和滾轉(zhuǎn)的振動(dòng)校正范圍內(nèi)獲得必要效果。

表1的第一行第四列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置是ON，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正ON和搖擺傾斜校正ON。在這種情況下，校正比例被設(shè)置成分散，使得在俯仰、橫擺和滾轉(zhuǎn)的方向上提供同等效果。在該設(shè)置的情況下，由于以通過下述第一計(jì)算單元217所計(jì)算出的俯仰、橫擺和滾轉(zhuǎn)角度來進(jìn)行校正，因而不使用第二計(jì)算單元218的計(jì)算結(jié)果。表1的第一行第二列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為ON，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正ON和搖擺傾斜校正OFF。在這種情況下，滾轉(zhuǎn)方向上的校正效果被設(shè)置得高，并且將俯仰方向和橫擺方向上的校正效果設(shè)置成相對(duì)低于滾轉(zhuǎn)方向上的校正效果。在該設(shè)置的情況下，由于在滾轉(zhuǎn)方向上以通過第一計(jì)算單元217所計(jì)算出的滾轉(zhuǎn)角度來進(jìn)行校正，因而不使用通過第二計(jì)算單元218的滾轉(zhuǎn)角度的計(jì)算結(jié)果。

表1的第一行第三列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置是ON，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正OFF和搖擺傾斜校正ON。在這種情況下，俯仰方向和橫擺方向上的校正效果被設(shè)置得高，并且將滾轉(zhuǎn)方向上的校正效果設(shè)置成相對(duì)低于俯仰方向和橫擺方向上的校正效果。在該設(shè)置的情況下，由于在俯仰方向和橫擺方向上以通過第一計(jì)算單元217所計(jì)算出的俯仰角度和橫擺角度來進(jìn)行校正，因而不使用通過第二計(jì)算單元218的俯仰角度和橫擺角度的計(jì)算結(jié)果。

如果表1的第二行所示的通過振動(dòng)校正指定單元506的設(shè)置為OFF，則將限制單元505p、505y和505r的各自的限制閾值設(shè)置成0。表1的第二行第一列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正OFF和搖擺傾斜校正OFF。在這種情況下，俯仰、橫擺和滾轉(zhuǎn)的校正角度被設(shè)置成0，既不進(jìn)行振動(dòng)校正也不進(jìn)行傾斜校正。

表1的第二行第二列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正ON和搖擺傾斜校正OFF。在這種情況下，平移方向上的校正比例為0，并且給出滾轉(zhuǎn)優(yōu)先的參數(shù)設(shè)置。表1的第二行第三列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正OFF和搖擺傾斜校正ON。在這種情況下，滾轉(zhuǎn)方向上的校正比例為0，并且給出平移優(yōu)先的參數(shù)設(shè)置。表1的第二行第四列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置是OFF，并且通過傾斜校正指定單元507的設(shè)置是水平傾斜校正ON和搖擺傾斜校正ON。在這種情況下，將校正比例設(shè)置成分散，使得在俯仰、橫擺和滾轉(zhuǎn)的方向上提供同等效果，并且基于第一計(jì)算單元217的計(jì)算結(jié)果來進(jìn)行校正。

接著參考圖7說明第一計(jì)算單元217的傾斜校正角度計(jì)算處理。首先，說明用于計(jì)算水平傾斜校正角度的方法。三軸加速度計(jì)213輸出相互垂直的三個(gè)軸的方向上加速度檢測(cè)信號(hào)。另外，三軸角速度計(jì)214輸出滾轉(zhuǎn)角速度214r、俯仰角速度214p和橫擺角速度214y的檢測(cè)信號(hào)。

水平角度計(jì)算單元601獲取加速度計(jì)213的輸出和滾轉(zhuǎn)角速度214r，并且計(jì)算水平角度(絕對(duì)滾轉(zhuǎn)角度)。水平角度計(jì)算單元601基于卡爾曼濾波器等，在處理中對(duì)根據(jù)加速度計(jì)213的輸出所計(jì)算出的照相機(jī)的絕對(duì)滾轉(zhuǎn)角度和滾轉(zhuǎn)角速度214r進(jìn)行信號(hào)合成，并且計(jì)算出絕對(duì)滾轉(zhuǎn)角度作為水平角度。使用加速度計(jì)和角速度計(jì)，可以在寬頻帶上計(jì)算高精度的水平角度(絕對(duì)滾轉(zhuǎn)角度)。

圖像模糊校正角度計(jì)算單元602獲取滾轉(zhuǎn)角速度214r，并且以與圖5的滾轉(zhuǎn)振動(dòng)校正角度計(jì)算方法相同的方法計(jì)算滾轉(zhuǎn)振動(dòng)校正角度。從而，計(jì)算出截止了低頻成分的滾轉(zhuǎn)角度。然而，在圖7的圖像模糊校正角度計(jì)算單元602、606和609中，不進(jìn)行參考圖5所述的、用于根據(jù)通過操作單元212的設(shè)置、角速度偏移計(jì)算單元的參數(shù)和限制單元的限制閾值來改變HPF參數(shù)的處理。

水平校正角度計(jì)算單元603獲取作為水平角度計(jì)算單元601的輸出的絕對(duì)滾轉(zhuǎn)角度、作為圖像模糊校正角度計(jì)算單元602的輸出的滾轉(zhuǎn)振動(dòng)校正角度以及水平傾斜校正參數(shù)，并且計(jì)算滾轉(zhuǎn)傾斜校正角度。圖8的水平傾斜校正參數(shù)設(shè)置單元611根據(jù)振動(dòng)校正指定單元506和傾斜校正指定單元507的狀態(tài)，設(shè)置水平傾斜校正參數(shù)。下面說明水平校正角度計(jì)算單元603的內(nèi)部計(jì)算。

接著說明用于計(jì)算搖擺校正角度的方法。

搖擺角度選擇單元604獲取作為水平角度計(jì)算單元601的輸出的絕對(duì)滾轉(zhuǎn)角度，并且根據(jù)絕對(duì)滾轉(zhuǎn)角度的大小，選擇是設(shè)置俯仰軸處的搖擺角度還是設(shè)置橫擺軸處的搖擺角度。搖擺角度選擇單元604將選擇結(jié)果輸出至搖擺校正角度計(jì)算單元607和610。只要絕對(duì)滾轉(zhuǎn)角度在預(yù)定角度范圍內(nèi)，則搖擺角度選擇單元604設(shè)置俯仰軸處的搖擺角度，并且只要絕對(duì)滾轉(zhuǎn)角度在預(yù)定角度范圍外，則搖擺角度選擇單元604設(shè)置橫擺軸處的搖擺角度。預(yù)定角度范圍是例如使用0度作為照相機(jī)的正常位置時(shí)的基準(zhǔn)的±45度內(nèi)的范圍、135度～180度的范圍、或者-135度～-180度的范圍。

俯仰搖擺角度計(jì)算單元605獲取三軸加速度計(jì)213的輸出和俯仰角速度214p，并且計(jì)算俯仰搖擺角度(絕對(duì)俯仰角度)。俯仰搖擺角度計(jì)算單元605基于卡爾曼濾波器等，在處理中對(duì)根據(jù)三軸加速度計(jì)213的輸出所計(jì)算出的照相機(jī)的絕對(duì)俯仰角度和俯仰角速度214p進(jìn)行信號(hào)合成，并且計(jì)算絕對(duì)俯仰角度。

圖像模糊校正角度計(jì)算單元606獲取俯仰角速度214p，并且以與圖5的俯仰振動(dòng)校正角度計(jì)算方法相同的方法計(jì)算俯仰振動(dòng)校正角度。計(jì)算出截止了低頻成分的俯仰角度。搖擺校正角度計(jì)算單元607獲取搖擺角度選擇單元604的輸出、俯仰搖擺角度計(jì)算單元605的輸出、圖像模糊校正角度計(jì)算單元606的輸出以及搖擺傾斜校正參數(shù)，并且計(jì)算俯仰傾斜校正角度。這里，如果搖擺角度選擇單元604設(shè)置橫擺軸處的搖擺角度，則由于未正確進(jìn)行絕對(duì)俯仰角度的計(jì)算，因而計(jì)算圖像模糊校正角度計(jì)算單元606的輸出，以將其設(shè)置為俯仰傾斜校正角度。圖8的搖擺傾斜校正參數(shù)設(shè)置單元612根據(jù)振動(dòng)校正指定單元506和傾斜校正指定單元507的狀態(tài)，設(shè)置搖擺傾斜參數(shù)。

橫擺搖擺角度計(jì)算單元608獲取三軸加速度計(jì)213的輸出和橫擺角速度214y，并且計(jì)算搖擺橫擺角度(絕對(duì)橫擺角度)。橫擺搖擺角度計(jì)算單元608基于卡爾曼濾波器等，在處理中對(duì)根據(jù)三軸加速度計(jì)213的輸出所計(jì)算出的照相機(jī)的絕對(duì)橫擺角度和橫擺角速度214y進(jìn)行信號(hào)合成，并且計(jì)算絕對(duì)橫擺角度。圖像模糊校正角度計(jì)算單元609獲取橫擺角速度214y，并且以與圖5的橫擺振動(dòng)校正角度計(jì)算方法相同的方法計(jì)算橫擺振動(dòng)校正角度。計(jì)算出截止了低頻成分的橫擺角度。搖擺校正角度計(jì)算單元610獲取搖擺角度選擇單元604的輸出、橫擺搖擺角度計(jì)算單元608的輸出、圖像模糊校正角度計(jì)算單元609的輸出以及搖擺傾斜校正參數(shù)，并且計(jì)算橫擺傾斜校正角度。這里，如果搖擺角度選擇單元604設(shè)置俯仰軸處的搖擺角度，則由于未正確進(jìn)行絕對(duì)橫擺角度的計(jì)算，因而計(jì)算圖像模糊校正角度計(jì)算單元609的輸出，以將其設(shè)置為橫擺傾斜校正角度。

圖9是示出水平校正角度計(jì)算單元603的內(nèi)部結(jié)構(gòu)的框圖。將來自水平角度計(jì)算單元601的絕對(duì)滾轉(zhuǎn)角度和來自圖像模糊校正角度計(jì)算單元602的、去除了低頻的滾轉(zhuǎn)角度輸入至減法器701。圖10A示出波形例子。水平軸表示時(shí)間軸，并且垂直軸表示角度軸。波形801表示絕對(duì)滾轉(zhuǎn)角度，并且波形802表示去除了低頻的滾轉(zhuǎn)校正角度。波形803表示減法器701的輸出，即，用于從絕對(duì)滾轉(zhuǎn)角度減去去除了低頻的滾轉(zhuǎn)校正角度的結(jié)果。

±45度轉(zhuǎn)換單元702將減法器701的輸出從±180度的角度值轉(zhuǎn)換成±45度的角度值。這里，當(dāng)攝像元件處于與重力方向垂直的方向上的位置時(shí)，假定照相機(jī)的傾斜是0度(正常位置)。如果相減之后的角度大于+45度、并且小于或者等于+135度，則±45度轉(zhuǎn)換單元702減去90度。另外，如果相減之后的角度大于+135度、并且小于或者等于+180度，則±45度轉(zhuǎn)換單元702減去180度。另外，如果相減之后的角度小于或者等于-45度、并且大于-135度，則±45度轉(zhuǎn)換單元702加上90度，并且如果相減之后的角度小于或者等于-135度、并且大于-180度，則±45度轉(zhuǎn)換單元702加上180度。通過該處理，將照相機(jī)的角度轉(zhuǎn)換成以0度、90度、-90度和180度為中心的±45度范圍的角度。這是進(jìn)行傾斜校正的、用于判斷基準(zhǔn)姿勢(shì)的處理?；鶞?zhǔn)姿勢(shì)根據(jù)照相機(jī)被置于水平位置(正常位置)還是垂直位置而不同。如果用戶保持照相機(jī)處于水平位置，則將攝像元件的左右方向軸與重力方向垂直的姿勢(shì)設(shè)置為基準(zhǔn)姿勢(shì)，并且將此時(shí)的角度設(shè)置為基準(zhǔn)角度(0度)。進(jìn)行傾斜校正，使得以基準(zhǔn)角度保持水平狀態(tài)。另一方面，如果用戶保持照相機(jī)處于垂直位置，則將攝像元件的上下方向與重力方向垂直的姿勢(shì)設(shè)置為基準(zhǔn)姿勢(shì)。使用從照相機(jī)的正常位置轉(zhuǎn)動(dòng)±90度之后的位置作為基準(zhǔn)角度(0度)來進(jìn)行傾斜校正。

可變?cè)鲆鎲卧?06獲取±45度轉(zhuǎn)換單元702的輸出，并且將該輸出乘以增益。增益值被設(shè)置在0和1之間。加法器707獲取可變?cè)鲆鎲卧?06的輸出和圖像模糊校正角度計(jì)算單元602的輸出，并且將增益相乘之后的信號(hào)相加至低頻去除振動(dòng)校正后的角度信號(hào)。例如，如果增益值為1，則加法器707的輸出值具有與通過將絕對(duì)角度轉(zhuǎn)換成±45度的角度所獲得的值相同的值，其中，該值是水平角度計(jì)算單元601的輸出。另外，如果可變?cè)鲆鎲卧?06的增益是0，則加法器707的輸出值具有與作為圖像模糊校正角度計(jì)算單元602的輸出的、低頻去除振動(dòng)校正后的角度信號(hào)相同的值。如果增益值在0和1之間，則絕對(duì)角度和低頻去除振動(dòng)校正后的角度之間的合成比率根據(jù)增益值而變化。加法器707輸出滾轉(zhuǎn)傾斜校正角度。

接著說明用于設(shè)置可變?cè)鲆鎲卧?06的增益的方法。

絕對(duì)值轉(zhuǎn)換單元703獲取±45度轉(zhuǎn)換單元702的輸出，并且將±45度轉(zhuǎn)換單元702的輸出轉(zhuǎn)換成絕對(duì)值。將絕對(duì)值轉(zhuǎn)換單元703的輸出輸入至增益表704。增益表704具有用于確定與絕對(duì)值轉(zhuǎn)換后的角度相對(duì)應(yīng)的增益的數(shù)據(jù)。例如，當(dāng)以θ表示絕對(duì)值轉(zhuǎn)換后的角度、并且以G表示增益時(shí)，如下設(shè)置數(shù)據(jù)。

●如果θ在角度閾值1內(nèi)，則G＝1。

●如果θ大于或者等于角度閾值2，則G＝0。

●如果θ在角度閾值1和角度閾值2之間，則0<G<1。

“角度閾值1<角度閾值2”，并且“角度閾值2<45度”。如果“0<G<1”，則給出具有通過在增益值1和0之間進(jìn)行線性插值所獲得的特性的表數(shù)據(jù)。盡管在該例子中，在兩個(gè)點(diǎn)處創(chuàng)建表數(shù)據(jù)，并且在該例子中，基于線性插值的直線連接在這兩個(gè)點(diǎn)之間，但是可以在三個(gè)以上的點(diǎn)處創(chuàng)建表數(shù)據(jù)。

圖10A所示的范圍804表示角度閾值1中所設(shè)置的范圍的例子，并且如果波形803的一部分位于范圍804內(nèi)，則將增益值設(shè)置成1。另外，如果波形803的該部分位于范圍804外部，則增益值小于1，并且當(dāng)其大于或者等于角度閾值2時(shí)，將增益值設(shè)置成0。

另外，增益表704根據(jù)基于水平傾斜校正參數(shù)設(shè)置單元611的輸出而判斷水平傾斜校正的校正范圍(滾轉(zhuǎn)校正范圍)是否大而變化。例如，假定以“大”、“中”和“小”三級(jí)來設(shè)置水平傾斜校正的校正范圍。在這種情況下，增益表704的角度閾值1和角度閾值2的大小按照“大”時(shí)>“中”時(shí)>“小”時(shí)的關(guān)系而變化。在圖9中，示出基于線性插值的三種直線的階段性特性的變化。因而，如果想要提高校正效果，則通過增大傾斜校正的可移動(dòng)范圍來優(yōu)先傾斜校正的校正效果。如果降低校正效果，則限制傾斜校正，但是獲得振動(dòng)校正的效果。

增益改變單元705根據(jù)增益表704的輸出，改變可變?cè)鲆鎲卧?06的增益。還將從搖擺角度計(jì)算單元605和608所輸出的搖擺角度同時(shí)輸入至增益改變單元705。對(duì)于搖擺角度，設(shè)置通過搖擺角度選擇單元604所選擇的俯仰軸或者橫擺軸的角度。當(dāng)搖擺角度在預(yù)定范圍(例如，-30度～+30度)內(nèi)時(shí)，將通過水平角度計(jì)算單元601所計(jì)算出的水平角度判斷為是高度可靠信號(hào)，并且將增益表704的輸出按原樣地輸出至可變?cè)鲆鎲卧?06。另一方面，當(dāng)搖擺角度在預(yù)定范圍外時(shí)，將通過水平角度計(jì)算單元601所計(jì)算出的水平角度判斷為是低可靠度的信號(hào)。在這種情況下，增益改變單元705在預(yù)定時(shí)間內(nèi)逐步將增益表704的輸出設(shè)置成0。另外，當(dāng)搖擺角度在預(yù)定范圍內(nèi)平移時(shí)，在預(yù)定時(shí)間內(nèi)逐步將增益改變單元705復(fù)位成增益表704的輸出。

為了防止在搖擺角度在預(yù)定范圍外時(shí)由水平角度的錯(cuò)誤計(jì)算所引起的傾斜校正效果的劣化，通過作為圖像模糊校正角度計(jì)算單元602的輸出的、低頻去除后的振動(dòng)校正角度信號(hào)來進(jìn)行角度校正。因此，可以在抑制由傾斜校正的錯(cuò)誤操作所引起的對(duì)控制的影響的同時(shí)來進(jìn)行振動(dòng)校正。

圖7的搖擺校正角度計(jì)算單元607和610具有大體與圖9相同的結(jié)構(gòu)。基于搖擺角度選擇單元604的輸出而執(zhí)行該計(jì)算，并且計(jì)算用于搖擺角度計(jì)算單元605和608的輸出及圖像模糊校正角度計(jì)算單元606和609的輸出的搖擺傾斜校正參數(shù)、以及俯仰方向和橫擺方向上的傾斜校正角度。

圖10B示出作為加法器707的輸出的校正角度的波形例子。水平軸表示時(shí)間軸，并且垂直軸表示角度軸。波形801表示絕對(duì)滾轉(zhuǎn)角度，并且波形802表示低頻去除滾轉(zhuǎn)校正角度。波形901表示加法器707的輸出，并且范圍902是傾斜校正的可移動(dòng)范圍。計(jì)算加法器707的輸出以使其盡可能位于范圍902內(nèi)。由于將可變?cè)鲆鎲卧?06的增益值設(shè)置成圖10A的范圍804中的1，因而加法器707的輸出波形901與絕對(duì)滾轉(zhuǎn)角度的波形801相一致。由于可變?cè)鲆鎲卧?06的增益值被設(shè)置成圖10A的范圍804外的、小于1的值，因而圖10A和10B的波形801和波形802的合成比率根據(jù)增益的大小而變化?？梢垣@得所計(jì)算出的校正角度的波形901，使得其最終包含在可移動(dòng)范圍902內(nèi)。另外，對(duì)于范圍804和可移動(dòng)范圍902，其大小根據(jù)水平傾斜校正參數(shù)而變化。由于如果想要或者不想要提高水平傾斜校正的校正效果，則可以改變可移動(dòng)范圍902，因而可以在所確定的可移動(dòng)范圍902內(nèi)計(jì)算傾斜校正的校正角度。

如上所述，說明了如上所述根據(jù)操作單元212的振動(dòng)校正指定單元506和傾斜校正指定單元507的指定的、第二計(jì)算單元218和第一計(jì)算單元217的內(nèi)部計(jì)算。下面說明用于根據(jù)通過操作單元212的設(shè)置而選擇是進(jìn)行傾斜校正還是進(jìn)行振動(dòng)校正的方法。圖2和4的校正切換單元219切換是使用第二計(jì)算單元218的輸出還是使用第一計(jì)算單元217的輸出的校正角度來進(jìn)行控制。根據(jù)通過操作單元212的振動(dòng)校正指定單元506和傾斜校正指定單元507的設(shè)置，在俯仰/橫擺/滾轉(zhuǎn)的方向上進(jìn)行該切換處理。在通過振動(dòng)校正指定單元506的ON設(shè)置的情況下執(zhí)行振動(dòng)校正，并且在通過傾斜校正指定單元507的ON設(shè)置的情況下執(zhí)行傾斜校正。如果振動(dòng)校正指定單元506和傾斜校正指定單元507兩者被指定為OFF，則不進(jìn)行控制。

接著說明卷簾快門(RS)失真校正處理。

在如圖4所示具有光學(xué)圖像模糊校正機(jī)構(gòu)單元的攝像設(shè)備的情況下，攝像元件驅(qū)動(dòng)單元401將攝像元件移動(dòng)如下的量：在圖像模糊校正之后通過三軸角速度計(jì)214和三軸加速度計(jì)213所檢測(cè)到的照相機(jī)振動(dòng)量。如果在圖像模糊校正之后存在振動(dòng)剩余量(剩余振動(dòng)量)，則通過從照相機(jī)振動(dòng)量減去圖像模糊校正量所獲得的剩余振動(dòng)量會(huì)影響RS失真。因此，在本實(shí)施例中，RS失真計(jì)算單元根據(jù)剩余振動(dòng)量，計(jì)算基于RS失真的圖像形成位置的移動(dòng)量、以及基準(zhǔn)范圍信息。具體地，進(jìn)行如下的處理：計(jì)算形成根據(jù)剩余振動(dòng)量針對(duì)RS失真所校正的每一像素位置的圖像的存儲(chǔ)器的像素位置，并且計(jì)算其坐標(biāo)位置之間的差作為移動(dòng)量。另外，基準(zhǔn)范圍信息是用于校正RS失真的信息。因此，RS失真量計(jì)算單元計(jì)算用于校正在基于卷簾快門方式的攝像時(shí)所發(fā)生的RS失真的、表示存儲(chǔ)器的范圍的范圍信息以及移動(dòng)量，并且進(jìn)行RS失真校正處理。另外，在如圖2所示僅具有電子校正功能的攝像設(shè)備的情況下，基于通過三軸角速度計(jì)214和三軸加速度計(jì)213所檢測(cè)到的照相機(jī)振動(dòng)量來進(jìn)行RS失真校正處理。

參考圖11說明用于RS失真校正的校正量計(jì)算處理。

將從三軸角速度計(jì)214輸出的角速度214p、214y和214r分別輸入至減法器1003p、1003y和1003r。在進(jìn)行光學(xué)圖像模糊校正控制的攝像設(shè)備的情況下，通過俯仰機(jī)構(gòu)圖像模糊校正角度1001p、橫擺機(jī)構(gòu)圖像模糊校正角度100y和滾轉(zhuǎn)機(jī)構(gòu)圖像模糊校正角度100r表示來自圖像模糊校正機(jī)構(gòu)單元的校正角度。微分器1002p、1002y和1002r對(duì)校正角度進(jìn)行微分處理，并且將微分處理的結(jié)果輸入至減法器1003p、1003y和1003r。

減法器1003p、1003y和1003r從角速度輸出減去用于機(jī)械圖像模糊校正量的校正角速度。計(jì)算要輸入至攝像面的振動(dòng)的剩余角速度。將減法器1003p、1003y和1003r的輸出分別輸入至積分器1004p、1004y和1004r。在攝像元件的曝光初始化時(shí)，積分器1004p、1004y和1004r被初始化成0，并且計(jì)算曝光期的角度。將積分器1004p、1004y和1004r的輸出分別輸入至限制單元1005p、1005y和1005r，并且限制大于或者等于預(yù)定值的值。從而，計(jì)算俯仰RS失真校正角度、橫擺RS失真校正角度和滾轉(zhuǎn)RS失真校正角度。RS失真校正量計(jì)算單元1006p、1006y和1006r各自將RS失真校正角度轉(zhuǎn)換成與攝像面振動(dòng)量相對(duì)應(yīng)的單位的量，并且根據(jù)每一讀取定時(shí)來確定校正量。

將RS失真校正參數(shù)輸入至限制單元和積分器。圖12的RS失真校正參數(shù)設(shè)置單元1007、1008和1009根據(jù)振動(dòng)校正指定單元506和傾斜校正指定單元507的狀態(tài)，設(shè)置俯仰、橫擺和滾轉(zhuǎn)的軸的RS失真校正參數(shù)。如果提高RS失真校正效果，則設(shè)置RS失真校正參數(shù)以使得增大限制單元1005p、1005y和1005r的限制閾值。如果降低RS失真校正效果，則設(shè)置RS失真校正參數(shù)以使得減小限制閾值。另外，在積分器1004p、1004y和1004r中，使用組合積分和HPF的、下面的公式(1)右邊所示結(jié)構(gòu)的濾波器。這樣變成與用于將時(shí)間常數(shù)T乘以時(shí)間常數(shù)T的低通濾波器(LPF)的傳遞函數(shù)的公式相同的公式。s是拉普拉斯變量。

當(dāng)將積分器1004p、1004y和1004r的偏移頻率設(shè)置成低(時(shí)間常數(shù)增大)時(shí)，加寬RS失真校正的控制頻帶。相反，當(dāng)偏移頻率高(時(shí)間常數(shù)小)時(shí)，縮窄RS失真校正的控制頻帶，并且弱化頻率控制。如果RS失真校正的校正范圍窄，而且發(fā)生振動(dòng)增大并且發(fā)生大的RS失真，則通過限制單元1005立即將積分信號(hào)限制成限制閾值。在這種情況下，存在下面的可能性：僅在曝光的前半部分的行部分中實(shí)現(xiàn)RS失真校正，而在曝光的后半部分的行部分中沒有實(shí)現(xiàn)RS失真校正。因此，在可移動(dòng)范圍窄、并且限制值小的條件下，將積分器的截止頻率設(shè)置成高。對(duì)于每一校正行的校正效果弱，但是作為總體校正效果，可以計(jì)算作為可以一定程度地確?？尚Ｕ嵌鹊男盘?hào)。另外，在校正范圍大、并且限制值大的條件下，將積分器的截止頻率設(shè)置得低，并且RS失真校正的校正效果強(qiáng)。

參考圖13說明本實(shí)施例中的照相機(jī)的振動(dòng)校正和傾斜校正的處理。當(dāng)接通照相機(jī)的電源時(shí)，開始圖13的流程圖所示的處理，并且以預(yù)定采樣周期反復(fù)執(zhí)行該處理。

控制單元215在S1101獲取三軸角速度計(jì)214的輸出、而且在接著的S1102獲取三軸加速度計(jì)213的輸出，并且處理進(jìn)入S1103。在S1103，根據(jù)操作單元212的振動(dòng)校正指定單元506和傾斜校正指定單元507的指定，設(shè)置振動(dòng)校正和傾斜校正的參數(shù)。振動(dòng)校正的參數(shù)是參考圖5所述的HPF單元501p、501y和501r的截止頻率、角速度偏移計(jì)算單元504p、504y和504r的參數(shù)、以及限制單元505p、505y和505r的限制閾值的參數(shù)。另外，傾斜校正的參數(shù)是參考圖7和9所述的增益表704的參數(shù)。設(shè)置這些參數(shù)，以使得根據(jù)振動(dòng)校正和傾斜校正的設(shè)置狀態(tài)，即，上述表1所示的振動(dòng)校正和傾斜校正的ON/OFF設(shè)置，改變平移校正比例、滾轉(zhuǎn)校正比例和平移方向/滾轉(zhuǎn)方向上的RS失真校正比例中的每一個(gè)。

圖21是示出電子圖像模糊校正中的圖像切出和每一校正范圍的圖。進(jìn)行用于將原始圖像1901切出成圖像1902的大小的處理。切出后的其它剩余范圍1907表示電子校正的可用范圍。如上述表1所示，每一校正比例根據(jù)振動(dòng)校正和傾斜校正的設(shè)置而變化。例如，如果振動(dòng)校正被設(shè)置成ON、水平傾斜校正被設(shè)置成ON、并且搖擺傾斜校正被設(shè)置成OFF(表1：第一行第二列)，則設(shè)置參數(shù)以優(yōu)先滾轉(zhuǎn)校正、并且使得最大化滾轉(zhuǎn)校正比例。圖21的范圍1903是平移校正范圍，并且范圍1904是滾轉(zhuǎn)校正范圍。范圍1905是平移RS失真校正范圍，并且范圍1906是滾轉(zhuǎn)RS失真校正范圍。具體地，平移校正范圍1903用作為與通過將剩余范圍1907乘以4/14所獲得的值相對(duì)應(yīng)的范圍。分母14的值表示校正比例的和。滾轉(zhuǎn)校正范圍1904用作為與通過將剩余范圍1907乘以6/14所獲得的值相對(duì)應(yīng)的范圍。平移RS失真校正范圍1905和滾轉(zhuǎn)RS失真校正范圍1906用作為與通過將剩余范圍1907乘以2/14所獲得的值相對(duì)應(yīng)的范圍。根據(jù)如上所述所獲得的校正范圍，設(shè)置第二計(jì)算單元218和第一計(jì)算單元217的參數(shù)。

在圖13的S1104，根據(jù)在S1103所設(shè)置的參數(shù)和在S1101所獲取的角速度輸出，計(jì)算俯仰/橫擺/滾轉(zhuǎn)方向上的振動(dòng)校正角度。以使用圖5所述的方法，計(jì)算每一振動(dòng)校正角度。在S1105，根據(jù)在S1103所設(shè)置的參數(shù)、在S1101所獲取的角速度輸出和在S1102所獲取的加速度輸出，計(jì)算俯仰/橫擺/滾轉(zhuǎn)方向上的傾斜校正角度。以使用圖7和9所述的方法，計(jì)算每一傾斜校正角度。

接著，S1106是用于判斷水平傾斜校正模式的處理?？刂茊卧?15根據(jù)通過操作單元212的傾斜校正指定單元507的設(shè)置，判斷水平傾斜校正模式是ON還是OFF。如果水平傾斜校正模式為ON，則處理進(jìn)入S1107，并且如果水平傾斜校正模式為OFF，則處理進(jìn)入S1108。在S1107，校正切換單元219將滾轉(zhuǎn)校正角度設(shè)置成與滾轉(zhuǎn)校正有關(guān)的、來自第一計(jì)算單元217的滾轉(zhuǎn)傾斜校正角度，并且處理進(jìn)入S1109。另外，在S1108，校正切換單元219將滾轉(zhuǎn)校正角度設(shè)置成與滾轉(zhuǎn)校正有關(guān)的、來自第二計(jì)算單元218的滾轉(zhuǎn)振動(dòng)校正角度，并且處理進(jìn)入S1109。

S1109是用于判斷搖擺傾斜校正模式的處理?？刂茊卧?15根據(jù)操作單元212的傾斜校正指定單元507的設(shè)置，判斷搖擺傾斜校正模式是ON還是OFF。如果搖擺傾斜校正模式為ON，則處理進(jìn)入S1110，并且如果搖擺傾斜校正模式為OFF，則處理進(jìn)入S1111。在S1110，校正切換單元219將俯仰/橫擺校正角度設(shè)置成與俯仰/橫擺校正有關(guān)的、來自第一計(jì)算單元217的俯仰/橫擺傾斜校正角度，并且處理進(jìn)入S1112。另外，在S1111，校正切換單元219將俯仰/橫擺校正角度設(shè)置成來自第二計(jì)算單元218的俯仰/橫擺振動(dòng)校正角度，并且處理進(jìn)入S1112。這里，處理進(jìn)入S112的情況，是具有電子校正功能和光學(xué)校正功能的攝像設(shè)備的情況，并且假定在僅具有電子校正功能的攝像設(shè)備的情況下，該處理進(jìn)入S1114。

在S1112，控制單元215分離通過電子校正的控制量和通過光學(xué)校正的控制量。在具有電子校正功能和光學(xué)校正功能的攝像設(shè)備的情況下，例如，俯仰/橫擺/滾轉(zhuǎn)方向上的角度校正包括通過圖4的攝像元件驅(qū)動(dòng)單元401以機(jī)械驅(qū)動(dòng)所進(jìn)行的校正和通過圖2的圖像切出設(shè)置單元220的圖像處理中的校正?？刂茊卧?15分離與俯仰/橫擺/滾轉(zhuǎn)方向上的校正角度相對(duì)應(yīng)的校正量。例如，如果在將截止頻率設(shè)置在0.5Hz附近的HPF處理中，分離校正角度，則以HPF處理后的校正角度來進(jìn)行通過光學(xué)校正機(jī)構(gòu)單元的校正。根據(jù)通過從原始校正角度減去HPF處理后的校正角度所獲得的剩余校正量，進(jìn)行電子校正?？蛇x地，還有這樣一種方法：該方法用于設(shè)置與光學(xué)校正機(jī)構(gòu)單元的可移動(dòng)范圍和電子校正的可移動(dòng)范圍有關(guān)的校正范圍的比率。在這種情況下，根據(jù)通過將每一校正角度乘以該比率所分離的校正角度，執(zhí)行每一校正。根據(jù)攝像設(shè)備的產(chǎn)品說明書或者攝像條件，預(yù)先確定基于校正范圍的比率的分布，并且以適當(dāng)比例使用光學(xué)校正和電子校正兩者來進(jìn)行控制。

在S1113，執(zhí)行通過光學(xué)校正機(jī)構(gòu)單元的校正，并且處理進(jìn)入S1114。在S1114，如參考圖11所述，基于通過從照相機(jī)振動(dòng)減去通過光學(xué)校正的校正量所獲得的信號(hào)，計(jì)算俯仰/橫擺/滾轉(zhuǎn)方向上的RS失真校正量，并且處理進(jìn)入S1115。在S1115，執(zhí)行通過圖像切出的電子校正?；谠赟1112所分離的俯仰/橫擺/滾轉(zhuǎn)方向上的校正角度，進(jìn)行電子校正的平移以及滾轉(zhuǎn)校正，并且基于在S1114所計(jì)算出的俯仰/橫擺/滾轉(zhuǎn)方向上的RS失真校正量，進(jìn)行RS失真校正。之后，校正處理結(jié)束。

在本實(shí)施例中，根據(jù)振動(dòng)校正的ON/OFF設(shè)置和傾斜校正的ON/OFF設(shè)置，設(shè)置第二計(jì)算單元218和第一計(jì)算單元217的參數(shù)。根據(jù)通過用戶任意指定的校正效果的設(shè)置，改變平移方向(俯仰/橫擺方向)上的校正效果、滾轉(zhuǎn)方向上的校正效果和平移/滾轉(zhuǎn)方向上的RS失真校正效果的比例，并且進(jìn)行振動(dòng)校正和傾斜校正。根據(jù)本實(shí)施例，可以進(jìn)行與用戶想要的攝像效果有關(guān)的最佳振動(dòng)和傾斜校正。

第二實(shí)施例

接著說明本發(fā)明的第二實(shí)施例。在本實(shí)施例中，設(shè)置有被配置成通過用戶操作逐步改變振動(dòng)校正的校正效果水平和傾斜校正的校正效果水平的選擇單元。下面，說明用于基于攝像切出的電子校正單元的結(jié)構(gòu)。另外，對(duì)于本實(shí)施例與第一實(shí)施例相同的結(jié)構(gòu)單元，使用上面所使用的附圖標(biāo)記，并且省略對(duì)其的說明，主要說明不同。在下面說明的實(shí)施例中也這樣省略說明。

圖15是通過能夠通過操作單元212所操作的選擇單元的設(shè)置的說明圖，并且示出設(shè)置畫面例子。在設(shè)置畫面中，除使用振動(dòng)校正的菜單項(xiàng)的振動(dòng)校正的ON/OFF設(shè)置以外，如果振動(dòng)校正的設(shè)置為ON，則用戶還可以設(shè)置校正效果水平。在校正效果設(shè)置中，呈現(xiàn)用于允許用戶逐步進(jìn)行是優(yōu)先寫實(shí)還是優(yōu)先振動(dòng)停止的水平設(shè)置的選擇表示。對(duì)于振動(dòng)校正效果，可以設(shè)置從“低”水平到“高”水平的水平，“低”水平對(duì)應(yīng)于寫實(shí)優(yōu)先模式，并且“高”水平對(duì)應(yīng)于振動(dòng)停止優(yōu)先模式。例如，假定在追隨奔跑者的同時(shí)進(jìn)行攝像的場(chǎng)景。如果在跟隨被攝體(人)的同時(shí)拍攝動(dòng)態(tài)感的視頻，則當(dāng)振動(dòng)校正過分有效時(shí)，由于消除了圖像模糊、并且獲得平滑的運(yùn)動(dòng)圖像，因而沒有獲得動(dòng)態(tài)感的視頻。因此，如果用戶選擇寫實(shí)優(yōu)先模式，則進(jìn)行控制以使得振動(dòng)校正效果低。當(dāng)在寫實(shí)優(yōu)先模式下在攝像時(shí)發(fā)生照相機(jī)振動(dòng)時(shí)，通過進(jìn)行用于有意保留圖像模糊的校正，獲得寫實(shí)視頻表現(xiàn)。

另外，在振動(dòng)停止模式下，進(jìn)行控制以獲得使得圖像模糊最小化的振動(dòng)校正效果。例如，如果拍攝者想要在行走過程中清晰拍攝城市景觀或者風(fēng)景等，則希望通過盡可能地消除所拍攝的運(yùn)動(dòng)圖像中的模糊來拍攝平滑運(yùn)動(dòng)圖像。適用于這種情況的模式是振動(dòng)停止優(yōu)先模式。

用戶可以使用設(shè)置畫面中的傾斜校正的菜單項(xiàng)，設(shè)置水平方向上的傾斜校正的ON/OFF設(shè)置和搖擺方向上的傾斜校正的ON/OFF設(shè)置。如果水平方向或者搖擺方向上的傾斜校正被設(shè)置成ON，則用戶可以使用效果設(shè)置菜單，逐步設(shè)置從“低”水平到“高”水平的水平的傾斜校正效果。如果傾斜校正效果被設(shè)置成“高”，則增大可以進(jìn)行最大傾斜校正的角度，并且進(jìn)行校正使得即使在發(fā)生大的傾斜時(shí)，拍攝圖像也保持水平。另外，如果傾斜校正效果被設(shè)置成“低”，則與傾斜校正效果被設(shè)置成“高”時(shí)相比，將可校正角度的最大值設(shè)置得較小。例如，假定下面的情況：用戶在他/她的眼睛在攝像期間離開照相機(jī)的畫面監(jiān)視器的狀態(tài)下進(jìn)行攝像的情況；或者用戶在他/她的眼睛離開照相機(jī)的畫面監(jiān)視器的狀態(tài)下行走的同時(shí)進(jìn)行攝像的情況。在這種情況下，由于照相機(jī)的傾斜通常增大，因而僅需要用戶將傾斜校正效果設(shè)置成“高”水平。另外，由于如果用戶在可靠地確認(rèn)照相機(jī)的監(jiān)視器畫面的同時(shí)進(jìn)行攝像，則不大可能發(fā)生大的傾斜，因而僅需要將傾斜校正效果設(shè)置成“低”水平。

在本實(shí)施例中，說明可以將振動(dòng)校正效果水平和傾斜校正效果水平各自設(shè)置成最大7個(gè)等級(jí)的水平的模式切換的例子。此外，作為進(jìn)行如圖2所示通過圖像切出的校正的例子，說明根據(jù)設(shè)置的各校正處理。

圖16是振動(dòng)校正設(shè)置、振動(dòng)校正效果的水平設(shè)置、傾斜校正設(shè)置和傾斜校正效果的水平設(shè)置的說明圖。作為振動(dòng)校正效果和傾斜校正效果的水平設(shè)置例子，示出電子校正時(shí)的平移校正(俯仰校正和橫擺校正)、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正的參數(shù)設(shè)置系數(shù)。系數(shù)值對(duì)應(yīng)于7個(gè)等級(jí)的水平，系數(shù)值1表示最小校正效果，并且系數(shù)值7表示最大校正效果。

參考圖17和18說明用于計(jì)算校正參數(shù)的處理。圖17和18是示出用于基于模式設(shè)置來計(jì)算平移校正、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正的控制參數(shù)的處理的流程的流程圖。根據(jù)圖17和18的流程圖的處理，設(shè)置在參考圖13所述的流程圖的S1103中設(shè)置的參數(shù)。

在S1601，控制單元215進(jìn)行用于振動(dòng)校正模式的ON/OFF設(shè)置的判斷。如果振動(dòng)校正模式為ON，則處理進(jìn)入S1602，并且如果振動(dòng)校正模式為OFF，則處理進(jìn)入S1603。在S1602，根據(jù)振動(dòng)校正效果的水平，設(shè)置每一參數(shù)。假定與平移校正、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正相關(guān)的系數(shù)分別為系數(shù)A1、B1、C1和D1。在圖16所示的例子中，將振動(dòng)校正效果的水平設(shè)置成與寫實(shí)優(yōu)先模式相比更接近振動(dòng)停止優(yōu)先側(cè)一個(gè)等級(jí)。因此，將2設(shè)置為平移校正系數(shù)A1、滾轉(zhuǎn)校正系數(shù)B1、平移RS失真校正系數(shù)C1和滾轉(zhuǎn)RS失真校正系數(shù)D1的值。在S1603，將所有系數(shù)A1、B1、C1和D1設(shè)置成0。在S1602和S1603的設(shè)置處理之后，處理進(jìn)入S1604。

在S1604，控制單元215進(jìn)行對(duì)于傾斜校正的搖擺傾斜校正模式的ON/OFF設(shè)置的判斷。如果搖擺傾斜校正模式為ON，則處理進(jìn)入S1605，如果搖擺傾斜校正模式為OFF，則處理進(jìn)入S1606。在S1605，根據(jù)傾斜校正效果的水平，設(shè)置平移校正系數(shù)A2。在圖16的例子中，將傾斜校正效果的水平設(shè)置成低于“高”水平一個(gè)等級(jí)。因此，將6設(shè)置為平移校正系數(shù)A2的值，并且處理進(jìn)入接著的S1607。在S1606，將平移校正系數(shù)A2的值設(shè)置為0，并且處理進(jìn)入接著的S1607。

在S1607，控制單元215進(jìn)行對(duì)于傾斜校正的水平傾斜校正模式的ON/OFF設(shè)置的判斷。如果水平傾斜校正模式為ON，則處理進(jìn)入S1608，并且如果水平傾斜校正模式為OFF，則處理進(jìn)入S1609。在S1608，根據(jù)傾斜校正效果的水平，設(shè)置滾轉(zhuǎn)校正系數(shù)B2。在圖16的例子中，將傾斜校正效果的水平設(shè)置成低于“高”水平一個(gè)等級(jí)。因此，將6設(shè)置為滾轉(zhuǎn)校正系數(shù)B2的值，并且處理進(jìn)入接著的S1610。在S1609，將滾轉(zhuǎn)校正系數(shù)B2的值設(shè)置成0，并且處理進(jìn)入接著的S1610。在本實(shí)施例中，說明水平傾斜校正效果的水平與如圖15那樣的搖擺傾斜校正效果的水平相同的結(jié)構(gòu)例子。本發(fā)明不局限于此，并且可以將水平傾斜校正效果的水平和搖擺傾斜校正效果的水平配置成進(jìn)行不同設(shè)置，并且可以如圖17和18的處理那樣進(jìn)行計(jì)算。

在S1610，控制單元215判斷傾斜校正的搖擺傾斜校正模式是否為ON、或者水平傾斜校正模式是否為ON。如果搖擺傾斜校正模式或者水平傾斜校正模式為ON，則處理進(jìn)入S1611，并且如果搖擺傾斜校正模式和水平傾斜校正模式為OFF，則處理進(jìn)入S1612。在S1611，根據(jù)傾斜校正效果的水平，設(shè)置平移RS失真校正系數(shù)C2和滾轉(zhuǎn)RS失真校正系數(shù)D2的值。在圖16的例子中，將傾斜校正效果的水平設(shè)置成低于“高”水平一個(gè)等級(jí)。因此，將2設(shè)置為系數(shù)C2和系數(shù)D2的值，并且處理進(jìn)入圖18的S1613。在S1612，將系數(shù)C2和系數(shù)D2兩者的值設(shè)置為0，并且處理進(jìn)入圖18的S1613。

在圖18的S1613，基于至此的振動(dòng)校正模式的設(shè)置和傾斜校正模式的設(shè)置之間的關(guān)系等，設(shè)置平移校正系數(shù)A3、滾轉(zhuǎn)校正系數(shù)B3、平移RS失真校正系數(shù)C3和滾轉(zhuǎn)RS失真校正系數(shù)D3。具體地，進(jìn)行加法計(jì)算，并且將系數(shù)A1和A2之和設(shè)置為系數(shù)A3，并且將系數(shù)B1和B2之和設(shè)置為系數(shù)B3。將系數(shù)C1和C2之和設(shè)置為系數(shù)C3，并且將系數(shù)D1和D2之和設(shè)置為系數(shù)D3。在圖16所示的例子中，設(shè)置A3＝8、B3＝8、C3＝4和D3＝4，并且處理進(jìn)入接著的S1614。

在S1614，控制單元215計(jì)算系數(shù)A3、B3、C3和D3的和，并且將計(jì)算結(jié)果作為Total保持在存儲(chǔ)器中。在圖16所示的例子中，設(shè)置Total＝24。在S1615，執(zhí)行用于通過將S1613的系數(shù)A3、B3、C3和D3中的每一個(gè)除以S1614的Total來計(jì)算校正比例的處理。控制單元215計(jì)算平移校正比例、滾轉(zhuǎn)校正比例、平移RS失真校正比例和滾轉(zhuǎn)RS失真校正比例中的每一個(gè)。在圖16所示的例子中，這些比如下：

●平移校正比例A3/Total＝8/24。

●滾轉(zhuǎn)校正比例B3/Total＝8/24。

●平移RS失真校正比例C3/Total＝4/24。

●滾轉(zhuǎn)RS失真校正比例D3/Total＝4/24。

接著，在S1616，基于平移校正比例，設(shè)置振動(dòng)校正參數(shù)和傾斜校正參數(shù)。圖6的俯仰振動(dòng)校正參數(shù)設(shè)置單元508和橫擺振動(dòng)校正參數(shù)設(shè)置單元509、以及圖8的搖擺傾斜校正參數(shù)設(shè)置單元612根據(jù)基于平移校正比例的可移動(dòng)范圍來設(shè)置參數(shù)，并且處理進(jìn)入S1617。在S1617，基于滾轉(zhuǎn)校正比例來設(shè)置滾轉(zhuǎn)振動(dòng)校正參數(shù)和水平傾斜校正參數(shù)。圖6的滾轉(zhuǎn)振動(dòng)校正參數(shù)設(shè)置單元510和圖8的水平傾斜校正參數(shù)設(shè)置單元611根據(jù)基于滾轉(zhuǎn)校正比例的可移動(dòng)范圍來設(shè)置參數(shù)。處理進(jìn)入S1618。

在S1618，基于平移RS失真校正比例，設(shè)置俯仰/橫擺RS失真校正參數(shù)。圖12的俯仰RS失真校正參數(shù)設(shè)置單元1007和橫擺RS失真校正參數(shù)設(shè)置單元1108根據(jù)基于平移RS失真校正比例的可移動(dòng)范圍來設(shè)置參數(shù)，并且處理進(jìn)入S1619。在S1619，圖12的滾轉(zhuǎn)RS失真校正參數(shù)設(shè)置單元1009根據(jù)基于滾轉(zhuǎn)RS失真校正比例的可移動(dòng)范圍來設(shè)置參數(shù)。然后，結(jié)束校正參數(shù)計(jì)算例程。

在計(jì)算平移校正比例、滾轉(zhuǎn)校正比例、平移RS失真校正比例和滾轉(zhuǎn)RS失真校正比例時(shí)，由于根據(jù)校正比例來確定校正的最大可移動(dòng)范圍，因而可以根據(jù)校正的可移動(dòng)范圍來設(shè)置參數(shù)。如圖21所示，針對(duì)原始圖像1901，切出圖像1902的范圍，并且其它剩余范圍1907用作為電子校正時(shí)的可用范圍。這里，設(shè)置平移校正范圍1903、滾轉(zhuǎn)校正范圍1904、平移RS失真校正范圍1905和滾轉(zhuǎn)RS失真校正范圍1906中的每一個(gè)，并且在所設(shè)置的范圍內(nèi)進(jìn)行各校正。

在圖16中，如果與振動(dòng)校正相關(guān)地設(shè)置振動(dòng)停止優(yōu)先模式，則將平移方向或者滾轉(zhuǎn)方向上的校正效果設(shè)置成高。另外，如果設(shè)置寫實(shí)優(yōu)先模式，則將平移方向或者滾轉(zhuǎn)方向上的校正效果設(shè)置成低。如果與傾斜校正效果相關(guān)地設(shè)置“高”水平，則將平移方向或者滾轉(zhuǎn)方向上的校正效果設(shè)置成高。如果與傾斜校正效果相關(guān)地設(shè)置“低”水平，則將平移方向或者滾轉(zhuǎn)方向上的校正效果設(shè)置成低。例如，如果在振動(dòng)停止優(yōu)先模式下將傾斜校正效果設(shè)置成“高”，則平移校正和滾轉(zhuǎn)校正的校正比例變成14/36，并且平移RS失真校正和滾轉(zhuǎn)RS失真校正的比例變成4/36。因此，與RS失真校正的效果相比，平移和滾轉(zhuǎn)校正的效果更重要，并且分配校正范圍，使得在平移方向和滾轉(zhuǎn)方向上的校正時(shí)獲得大體相同的校正效果。

作為另一例子，如果在寫實(shí)優(yōu)先模式下，將傾斜校正效果設(shè)置成“低”，則平移校正和滾轉(zhuǎn)校正的校正比例變成2/12，并且平移RS失真校正和滾轉(zhuǎn)RS失真校正的比例變成4/12。因此，由于向RS失真校正的校正范圍分配相對(duì)減小量的平移和滾轉(zhuǎn)校正的校正量，因而RS失真校正效果變得重要。特別地，在設(shè)置寫實(shí)優(yōu)先模式的情況下，由于如果照相機(jī)的振動(dòng)在許多情況下都增大，則RS失真也增大，因而增大RS失真校正的校正范圍是有效的。

作為另一例子，與振動(dòng)校正相關(guān)聯(lián)，可以在寫實(shí)優(yōu)先和振動(dòng)停止優(yōu)先之間的正中間位置設(shè)置優(yōu)先，并且可以將傾斜校正效果的水平設(shè)置成“低”水平和“高”水平之間的正中間水平。在這種情況下，分配校正范圍，使得在平移和滾轉(zhuǎn)校正以及RS失真校正時(shí)獲得平均效果。

接著說明用于基于所計(jì)算出的平移/滾轉(zhuǎn)/平移RS失真/滾轉(zhuǎn)RS失真的校正比例來設(shè)置第二計(jì)算單元218和第一計(jì)算單元217中的參數(shù)的處理以及校正角度計(jì)算。

在圖15中，如果振動(dòng)校正被設(shè)置成ON、并且傾斜校正OFF，則校正切換單元219選擇通過第二計(jì)算單元218所計(jì)算出的角度，從而來進(jìn)行校正。下面，在本實(shí)施例中，說明第二計(jì)算單元218的用于計(jì)算校正角度的方法。如第一實(shí)施例一樣，如參考圖5所述，計(jì)算振動(dòng)校正角度。根據(jù)振動(dòng)校正指定單元506和傾斜校正指定單元507的指定，設(shè)置俯仰/橫擺/滾轉(zhuǎn)校正參數(shù)。根據(jù)振動(dòng)校正效果的水平進(jìn)行該計(jì)算。例如，如果在圖16中設(shè)置寫實(shí)優(yōu)先模式，則計(jì)算振動(dòng)校正角度，使得發(fā)生校正剩余。在寫實(shí)優(yōu)先模式的情況下，在HPF單元501p、501y和501r中，將截止頻率設(shè)置成高、并且圖像模糊校正控制頻帶變窄，使得不進(jìn)行對(duì)于低頻成分的振動(dòng)校正。在角速度偏移計(jì)算單元504p、504y和504r中，將偏移量設(shè)置得大。限制大的振動(dòng)校正、并且進(jìn)行計(jì)算，使得出現(xiàn)校正剩余。另外，對(duì)于限制單元505p、505y和505r，設(shè)置基于圖16中的設(shè)置信息所計(jì)算出的平移和滾轉(zhuǎn)校正范圍，并且將限制閾值設(shè)置得小。

另一方面，如果設(shè)置振動(dòng)停止優(yōu)先模式，則將截止頻率設(shè)置成低、并且圖像模糊校正控制頻帶變寬，因而在HPF單元501p、501y和501r中，還進(jìn)行用于低頻成分的振動(dòng)校正。在角速度偏移計(jì)算單元504p、504y和504r中，將偏移量設(shè)置得小。進(jìn)行計(jì)算，使得還可以應(yīng)對(duì)大的振動(dòng)校正。另外，對(duì)于限制單元505p、505y和505r，設(shè)置基于圖16中的設(shè)置信息所計(jì)算出的平移和滾轉(zhuǎn)校正范圍，并且將限制閾值設(shè)置得大。因此，在振動(dòng)停止優(yōu)先模式的情況下，計(jì)算振動(dòng)校正角度，使得盡可能地消除校正剩余。根據(jù)振動(dòng)校正效果的水平，逐步設(shè)置每一HPF單元的截止頻率、角速度偏移計(jì)算單元的偏移量計(jì)算參數(shù)和限制單元的限制閾值。

如果在圖15中將傾斜校正設(shè)置成ON，則校正切換單元219選擇通過第一計(jì)算單元217所計(jì)算出的角度，并且進(jìn)行校正。下面，說明本實(shí)施例的第一計(jì)算單元217的傾斜校正角度計(jì)算方法。

圖19是示出水平校正角度計(jì)算單元603的結(jié)構(gòu)例子的框圖。本實(shí)施例與第一實(shí)施例中參考圖9所述的結(jié)構(gòu)的不同在于改變了加法器1701。加法器1701獲取并相加可變?cè)鲆鎲卧?06的輸出和通過第二計(jì)算單元218所計(jì)算出的滾轉(zhuǎn)振動(dòng)校正角度，并且輸出作為相加結(jié)果的滾轉(zhuǎn)傾斜校正角度。

第二計(jì)算單元218根據(jù)振動(dòng)校正效果的水平，計(jì)算滾轉(zhuǎn)振動(dòng)校正角度。如果在圖16中設(shè)置寫實(shí)優(yōu)先模式，計(jì)算滾轉(zhuǎn)振動(dòng)校正角度，使得如上所述發(fā)生校正剩余。在這種情況下，以滾轉(zhuǎn)振動(dòng)校正角度大大地截止低頻成分，并且僅高頻是可校正的。

減法器701從來自水平角度計(jì)算單元601的滾轉(zhuǎn)絕對(duì)角度減去來自圖像模糊校正角度計(jì)算單元602的角度。從被設(shè)置成控制一般圖像模糊校正控制頻帶的圖像模糊校正角度計(jì)算單元602，輸出去除了低頻成分的角度。可變?cè)鲆鎲卧?06將±45度轉(zhuǎn)換單元702的輸出乘以增益，使得控制可以在可移動(dòng)范圍內(nèi)、并且輸出相乘結(jié)果。通過可變?cè)鲆鎲卧?06輸出的信號(hào)用作為去除了高頻成分的傾斜角度，并且變成僅低頻傾斜角度的信號(hào)。

另外，將作為水平傾斜校正參數(shù)設(shè)置單元611的輸出的、根據(jù)滾轉(zhuǎn)校正比例的滾轉(zhuǎn)特定校正可移動(dòng)范圍，輸入至增益表704，并且根據(jù)該可移動(dòng)范圍來設(shè)置角度閾值1和角度閾值2。在增益表704中，當(dāng)通過絕對(duì)值轉(zhuǎn)換單元703所輸出的絕對(duì)值轉(zhuǎn)換后的角度小于或者等于1時(shí)，將增益值設(shè)置成1。另外，當(dāng)絕對(duì)值轉(zhuǎn)換后的角度大于或者等于角度閾值2時(shí)，將增益值設(shè)置成0。當(dāng)絕對(duì)值轉(zhuǎn)換后的角度在角度閾值1和角度閾值2之間時(shí)，根據(jù)用于在增益值1和0之間進(jìn)行線性插值的公式，設(shè)置增益值。這樣，計(jì)算滾轉(zhuǎn)傾斜校正角度以使其被控制在滾轉(zhuǎn)特定校正可移動(dòng)范圍內(nèi)。

加法器1701對(duì)作為可變?cè)鲆鎲卧?06的輸出的僅低頻成分的傾斜角度和作為第二計(jì)算單元218的輸出的滾轉(zhuǎn)振動(dòng)校正角度進(jìn)行相加，并且計(jì)算滾轉(zhuǎn)傾斜校正角度。進(jìn)行極低頻傾斜角度的校正，并且相加對(duì)于振動(dòng)校正被限制在高頻側(cè)的滾轉(zhuǎn)振動(dòng)校正角度。因此，即使實(shí)現(xiàn)了低頻傾斜校正、想要表現(xiàn)寫實(shí)、并且希望發(fā)生振動(dòng)剩余，也可以限制振動(dòng)校正，使得利用傾斜校正而表現(xiàn)寫實(shí)。根據(jù)該方法，進(jìn)行控制以使得如果在圖16中將傾斜校正效果的水平設(shè)置成“高”、并且將振動(dòng)校正效果的水平設(shè)置成優(yōu)先寫實(shí)，則進(jìn)行在進(jìn)行低頻傾斜校正的同時(shí)創(chuàng)建寫實(shí)的振動(dòng)剩余。另外，如果振動(dòng)校正效果的水平被設(shè)置成優(yōu)先振動(dòng)停止，則可以在從低頻到高頻的范圍內(nèi)的寬控制頻帶內(nèi)進(jìn)行傾斜校正和振動(dòng)校正。另外，說明了滾轉(zhuǎn)傾斜校正角度計(jì)算方法，但是即使對(duì)于俯仰方向和橫擺方向上的搖擺傾斜校正角度計(jì)算，也可以以同樣的方法來進(jìn)行計(jì)算。

另外，在僅通過電子校正的控制的情況下，想要通過控制快門速度值來控制在運(yùn)動(dòng)圖像的一個(gè)幀圖像內(nèi)發(fā)生的模糊量。參考圖20說明具體例子。圖20是示出振動(dòng)校正效果的水平設(shè)置和與快門速度相對(duì)應(yīng)的曝光時(shí)間的限制值之間的關(guān)系的說明圖?？梢詮膶憣?shí)優(yōu)先到振動(dòng)停止優(yōu)先逐步進(jìn)行水平設(shè)置。如果在寫實(shí)優(yōu)先模式下，照相機(jī)振動(dòng)大，則由于當(dāng)模糊(由振動(dòng)導(dǎo)致的圖像流)在運(yùn)動(dòng)圖像的一個(gè)幀圖像內(nèi)時(shí)，獲得動(dòng)態(tài)感的視頻表現(xiàn)，因而模糊可能在一個(gè)幀圖像中。因此，在寫實(shí)優(yōu)先模式的情況下，控制單元215將曝光控制改變至低速側(cè)，使得快門速度慢。設(shè)置參數(shù)以提高不進(jìn)行平移/滾轉(zhuǎn)校正時(shí)的RS失真校正效果，從而防止發(fā)生RS失真。另外，如果振動(dòng)校正效果的水平設(shè)置在振動(dòng)停止優(yōu)先模式下，則控制單元215將曝光控制改變至高速側(cè)，因而由于希望在一個(gè)幀圖像內(nèi)沒有模糊，因而使得快門速度快。

在本實(shí)施例中，通過根據(jù)拍攝者的操作指示而逐步改變振動(dòng)校正效果和傾斜校正效果的水平，與拍攝者想要的視頻效果相關(guān)地進(jìn)行最佳平移校正、最佳滾轉(zhuǎn)校正和最佳RS失真校正。

第三實(shí)施例

接著說明本發(fā)明的第三實(shí)施例。在本實(shí)施例中，說明具有用于根據(jù)拍攝者的操作指示而逐步改變振動(dòng)校正效果和傾斜校正效果的水平的選擇單元、并且具有光學(xué)校正機(jī)構(gòu)單元的校正功能和圖像處理的電子校正功能的攝像設(shè)備。

圖22是示出本實(shí)施例的具有振動(dòng)校正功能和傾斜校正功能的攝像設(shè)備的結(jié)構(gòu)例子的框圖。與圖2所示結(jié)構(gòu)的不同在于除通過圖像切出的電子校正以外，還設(shè)置如圖4所示的光學(xué)振動(dòng)校正單元。校正量分離單元2001獲取校正切換單元219的輸出以分離校正量，并且將分離后的校正量輸出至圖像切出設(shè)置單元220和機(jī)械振動(dòng)校正驅(qū)動(dòng)單元2002中的每一個(gè)。機(jī)械振動(dòng)校正驅(qū)動(dòng)單元2002通過驅(qū)動(dòng)機(jī)械振動(dòng)校正單元2003來進(jìn)行光學(xué)校正。另外，機(jī)械振動(dòng)校正是基于光學(xué)校正機(jī)構(gòu)單元的驅(qū)動(dòng)的校正，并且在以下還被稱為機(jī)械校正。

圖23A示出進(jìn)行模式切換時(shí)各模式的設(shè)置水平量與電子校正時(shí)的平移校正、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正的參數(shù)設(shè)置系數(shù)的關(guān)系。在圖23A所示電子校正的參數(shù)設(shè)置系數(shù)中，與第二實(shí)施例中所述的圖16的情況下相比，將平移校正的參數(shù)和滾轉(zhuǎn)校正的參數(shù)設(shè)置得較小。具體地，如果與振動(dòng)校正有關(guān)設(shè)置寫實(shí)優(yōu)先模式，則將平移校正和滾轉(zhuǎn)校正的參數(shù)設(shè)置成0，并且設(shè)置增大用于平移RS失真校正和滾轉(zhuǎn)RS失真校正的分配。

圖23B示出機(jī)械校正(光學(xué)校正)時(shí)振動(dòng)校正效果的設(shè)置水平量與平移校正和滾轉(zhuǎn)校正的參數(shù)設(shè)置系數(shù)的關(guān)系。在機(jī)械校正的參數(shù)設(shè)置中，如果與振動(dòng)校正相關(guān)地設(shè)置寫實(shí)優(yōu)先模式，則將系數(shù)值設(shè)置得小，并且如果設(shè)置振動(dòng)停止優(yōu)先模式，則將系數(shù)值設(shè)置得大。

基于在圖23A和23B中所設(shè)置的校正效果的參數(shù)，計(jì)算振動(dòng)校正角度和傾斜校正角度，并且進(jìn)行振動(dòng)校正和傾斜校正。下面，說明本實(shí)施例的第二計(jì)算單元218和第一計(jì)算單元217的校正角度計(jì)算處理。

如果傾斜校正被設(shè)置成OFF、并且振動(dòng)校正被設(shè)置成ON，則校正切換單元219選擇通過第二計(jì)算單元218所計(jì)算出的角度，使得進(jìn)行校正。在這種情況下，根據(jù)圖23A中的振動(dòng)校正效果的水平設(shè)置，計(jì)算平移/滾轉(zhuǎn)/平移RS失真/滾轉(zhuǎn)RS失真校正的校正比例，并且確定電子校正時(shí)的平移方向和滾轉(zhuǎn)方向上的特定校正可移動(dòng)范圍。另外，根據(jù)振動(dòng)校正效果的水平設(shè)置，同時(shí)確定機(jī)械校正時(shí)的平移方向和滾轉(zhuǎn)方向上的機(jī)械特定校正可移動(dòng)范圍。

首先，在通過對(duì)電子校正的可移動(dòng)范圍和機(jī)械校正的可移動(dòng)范圍進(jìn)行相加所獲得的可移動(dòng)范圍中，如圖5所述的方法那樣計(jì)算俯仰/橫擺/滾轉(zhuǎn)振動(dòng)校正角度。圖22的校正量分離單元2001獲取通過校正切換單元219所選擇的振動(dòng)校正角度，并且根據(jù)電子校正和機(jī)械校正的可移動(dòng)范圍的比例來分割信號(hào)。例如，假定下面的情況：將電子校正的比例設(shè)置成2，并且將機(jī)械校正的比例設(shè)置成3。進(jìn)行計(jì)算使得(通過第二計(jì)算單元218所計(jì)算出的振動(dòng)校正角度)×2÷5的值成為電子校正時(shí)的校正量、并且(振動(dòng)校正角度)×3÷5的值成為機(jī)械校正時(shí)的校正量。作為另一方法，使用根據(jù)電子校正和機(jī)械校正的可移動(dòng)范圍的比例而設(shè)置截止頻率的HPF。對(duì)振動(dòng)校正角度進(jìn)行HPF處理，在HPF處理之后以校正角度進(jìn)行機(jī)械校正，并且根據(jù)通過從振動(dòng)校正角度減去機(jī)械校正時(shí)的校正量，即，校正剩余量所獲得的差，進(jìn)行電子校正。在該方法中，可以在機(jī)械校正時(shí)校正高頻成分、并且在電子校正時(shí)校正低頻成分。在任何方法中，都可以使用機(jī)械校正和電子校正兩者來進(jìn)行控制。

接著說明傾斜校正被設(shè)置成ON的情況。在這種情況下，校正切換單元219選擇通過第一計(jì)算單元217所計(jì)算出的角度，使得進(jìn)行校正。將參考圖24A和24B對(duì)此進(jìn)行具體說明。

圖24A和24B是與通過第一計(jì)算單元217內(nèi)的水平校正角度計(jì)算單元603的滾轉(zhuǎn)傾斜角度計(jì)算有關(guān)的框圖。在本實(shí)施例中，在電子校正時(shí)進(jìn)行傾斜校正，并且在機(jī)械校正時(shí)進(jìn)行振動(dòng)校正?；趤碜哉駝?dòng)校正角度計(jì)算單元218的振動(dòng)角度，進(jìn)行機(jī)械校正。根據(jù)用于振動(dòng)角度的圖23B所示的振動(dòng)校正效果的水平設(shè)置，使用通過滾轉(zhuǎn)振動(dòng)校正參數(shù)設(shè)置單元510所設(shè)置的參數(shù)，計(jì)算校正角度。在寫實(shí)優(yōu)先模式下，進(jìn)行計(jì)算使得通過縮窄圖像模糊校正控制頻帶和限制大的振動(dòng)校正來發(fā)生校正剩余。另外，在振動(dòng)停止優(yōu)先模式的情況下，進(jìn)行計(jì)算使得通過進(jìn)行用于加寬圖像模糊校正控制范圍的設(shè)置、并且進(jìn)行大的振動(dòng)校正來盡可能地抑制振動(dòng)。

接著說明用于計(jì)算傾斜校正角度的方法。

如第二實(shí)施例使用圖19所述，可變?cè)鲆鎲卧?06的輸出用作為去除了高頻成分的傾斜角度，并且成為僅低頻傾斜角度的信號(hào)。可變?cè)鲆鎲卧?06的輸出成為電子校正的滾轉(zhuǎn)傾斜校正角度。也就是說，通過利用電子校正進(jìn)行傾斜校正，校正極低頻傾斜角度。另外，基于用于振動(dòng)校正的、被限制在高頻側(cè)的振動(dòng)校正角度，通過機(jī)械校正來進(jìn)行振動(dòng)校正。即使在實(shí)現(xiàn)低頻傾斜校正的同時(shí)想要表現(xiàn)寫實(shí)并且想要發(fā)生振動(dòng)剩余，也可以在進(jìn)行傾斜校正的同時(shí)限制振動(dòng)校正。另外，將作為水平傾斜校正參數(shù)設(shè)置單元611的輸出的、根據(jù)滾轉(zhuǎn)校正比例的滾轉(zhuǎn)特定校正可移動(dòng)范圍，輸入至增益表704，并且進(jìn)行計(jì)算以使得將滾轉(zhuǎn)傾斜校正角度控制在滾轉(zhuǎn)特定校正可移動(dòng)范圍內(nèi)。根據(jù)該方法，如果傾斜校正效果被設(shè)置成“高”、并且振動(dòng)校正效果的水平被設(shè)置成優(yōu)先寫實(shí)，則可以進(jìn)行控制以在進(jìn)行低頻傾斜校正的同時(shí)，發(fā)生創(chuàng)建寫實(shí)的振動(dòng)剩余。

通過上述方法，如果傾斜校正被設(shè)置成ON，則校正量分離單元2001通過將作為可變?cè)鲆鎲卧?06的輸出的傾斜校正角度指定為第一校正量(電子校正量)、并且將第二計(jì)算單元218的輸出指定為第二校正量(機(jī)械校正量)，來分離校正量。盡管在此詳細(xì)說明了滾轉(zhuǎn)傾斜校正角度計(jì)算方法，但是還可以以同樣的方法進(jìn)行俯仰方向和橫擺方向上的搖擺傾斜校正角度計(jì)算。

與本實(shí)施例的圖23A的電子校正效果的參數(shù)有關(guān)，將平移/滾轉(zhuǎn)方向上的振動(dòng)校正效果的參數(shù)設(shè)置成小于第二實(shí)施例情況下(僅電子校正)的圖16所述的校正效果的參數(shù)。另外，將RS失真校正效果的參數(shù)設(shè)置成大于圖16所述的校正效果的參數(shù)的值。也就是說，由于在本實(shí)施例中使用電子校正和機(jī)械校正兩者，因而將機(jī)械校正時(shí)的可校正的平移/滾轉(zhuǎn)校正比例設(shè)置得小。與RS失真校正有關(guān)，在攝像之前，通過機(jī)械校正進(jìn)行振動(dòng)校正。因此，如果設(shè)置了振動(dòng)停止優(yōu)先模式，由于如圖23A和23B那樣，基于機(jī)械校正的校正量大，因而RS失真的影響降低。另外，如果設(shè)置了寫實(shí)優(yōu)先模式，則由于如圖23A和23B那樣，機(jī)械校正的校正效果被設(shè)置得小(使得在攝像面上發(fā)生模糊)，因而可能發(fā)生RS失真。在這種情況下，給出有效視頻表現(xiàn)以表現(xiàn)與平移/滾轉(zhuǎn)方向上的振動(dòng)有關(guān)的寫實(shí)，但是由于與RS失真有關(guān)地給出不自然的模糊圖像，因而想要盡可能地消除RS失真。因此，在寫實(shí)優(yōu)先的情況下，進(jìn)行控制以增大RS失真校正的校正比例、并且提高校正效果。從而，即使在振動(dòng)大的攝像場(chǎng)景下，也可以獲取自然的寫實(shí)視頻。

在本實(shí)施例中，設(shè)置被配置成根據(jù)用戶的操作逐步改變振動(dòng)校正效果和傾斜校正效果的水平設(shè)置的選擇單元，并且進(jìn)行使用光學(xué)(機(jī)械)校正和電子校正兩者的控制。因而，可以進(jìn)行對(duì)于拍攝者想要的視頻效果最佳的平移校正、滾轉(zhuǎn)校正和RS失真校正。

如本發(fā)明的該實(shí)施例所述，本發(fā)明可以應(yīng)用于能夠改變振動(dòng)校正的校正效果或者改變傾斜校正的校正效果的攝像設(shè)備、或者能夠改變振動(dòng)校正和傾斜校正兩者的校正效果的攝像設(shè)備。通過針對(duì)平移方向上的校正、滾轉(zhuǎn)方向上的校正和滾轉(zhuǎn)失真校正適當(dāng)設(shè)置校正比例，可以實(shí)現(xiàn)用戶想要的攝像效果。

在本發(fā)明的第二和第三實(shí)施例中，說明了用于如果可以逐步改變振動(dòng)校正效果和傾斜校正效果的水平則適當(dāng)控制平移校正、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正的方法。即使沒有進(jìn)行傾斜校正的設(shè)置或者傾斜校正的校正效果的水平設(shè)置，也可以根據(jù)振動(dòng)校正效果的水平來適當(dāng)控制平移校正、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正。具體地，這與如將傾斜校正設(shè)置成OFF時(shí)的控制例子所述的相同。同樣，即使沒有進(jìn)行振動(dòng)校正的設(shè)置或者振動(dòng)校正的校正效果的水平設(shè)置，也可以根據(jù)傾斜校正效果的水平來適當(dāng)控制平移校正、滾轉(zhuǎn)校正、平移RS失真校正和滾轉(zhuǎn)RS失真校正。具體地，這與如將振動(dòng)校正設(shè)置成OFF時(shí)的控制例子所述的相同。另外，說明了在電子校正時(shí)進(jìn)行傾斜校正、并且在光學(xué)校正時(shí)進(jìn)行振動(dòng)校正的例子，但是根據(jù)產(chǎn)品說明書或者條件等，可以在光學(xué)校正時(shí)進(jìn)行傾斜校正，并且可以在電子校正時(shí)進(jìn)行振動(dòng)校正。

第四實(shí)施例

接著說明本發(fā)明的第四實(shí)施例。在本實(shí)施例中，說明如下的攝像設(shè)備：除圖像的滾轉(zhuǎn)轉(zhuǎn)動(dòng)模糊校正(圖3A)和圖像的平移模糊校正(圖3B)以外，該攝像設(shè)備還具有用于通過圖像處理來校正由照相機(jī)的傾斜所引起的梯形失真(圖25)的電子校正功能。圖25A和25B示出梯形失真的例子。圖25A是垂直方向上的梯形失真的例子，通過附圖標(biāo)記2501a表示拍攝圖像，并且通過附圖標(biāo)記2502a表示變形圖像。圖25B是水平方向上的梯形失真的例子，通過附圖標(biāo)記2501b表示拍攝圖像，并且通過附圖標(biāo)記2502b表示變形圖像。

圖26是示出本實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖。與第一實(shí)施例的圖2的框圖相比，添加梯形失真校正量計(jì)算單元2601，并且以圖像變形量計(jì)算單元2602替換圖2的圖像切出設(shè)置單元220。

在第一實(shí)施例所述的方法中，從校正切換單元219輸出平移振動(dòng)校正量和滾轉(zhuǎn)轉(zhuǎn)動(dòng)振動(dòng)校正量。通過梯形失真校正量計(jì)算單元2601計(jì)算梯形失真校正量，并且通過圖像變形量計(jì)算單元2602，計(jì)算最終的電子模糊校正。下面詳細(xì)說明用于計(jì)算校正量的方法。

在視頻信號(hào)處理單元206中的圖像變形單元中，使用例如諸如投影變換等的幾何變換來進(jìn)行圖像變形。具體地，當(dāng)可以通過將變形之前的圖像的像素坐標(biāo)設(shè)置成(X1，Y0)(這里，將與攝像光學(xué)系統(tǒng)的光軸相對(duì)應(yīng)的拍攝圖像的中心指定為原點(diǎn))、并且將變形之后的圖像的像素坐標(biāo)設(shè)置成(X1，Y1)來表示齊次坐標(biāo)時(shí)，可以將該齊次坐標(biāo)寫為如公式(2)所示。

公式(2)左邊和右邊表示等值關(guān)系(即使在將左邊或者右邊乘以任意倍率時(shí)，意義也不會(huì)改變)，并且以正常等號(hào)給出公式(3)和(4)。

另外，在公式(2)中，通常將(3×3)矩陣稱為投影變換矩陣。圖像變形量計(jì)算單元2602設(shè)置矩陣的元素h1～h8。另外，盡管作為使用投影變換來描述圖像變形，但是，例如，可以使用諸如仿射變換等的任意變形方法。

接著詳細(xì)說明通過圖像變形量計(jì)算單元2602所要進(jìn)行的處理。圖像變形量計(jì)算單元2602使用攝像設(shè)備的振動(dòng)角度和攝像光學(xué)系統(tǒng)的焦距，計(jì)算通過視頻信號(hào)處理單元206所要處理的圖像變形量。具體地，計(jì)算公式(2)的投影變換矩陣。

這里，下面說明用于使用振動(dòng)角度和攝像光學(xué)系統(tǒng)的焦距來計(jì)算投影變換矩陣的方法。

圖27A示出通過針孔照相機(jī)模型中的攝像設(shè)備在被攝體的攝像面上的投影。在圖27A中，XYZ空間坐標(biāo)的原點(diǎn)(0，0，0)是針孔照相機(jī)模型中的針孔位置。由于在將攝像面配置得與針孔位置相比更接近后側(cè)時(shí)，投影在攝像面上的圖像倒轉(zhuǎn)，因而在圖27A中虛擬地將攝像面I配置針孔位置的前面，使得在不被倒轉(zhuǎn)的情況下容易地處理圖像。

XYZ空間坐標(biāo)的原點(diǎn)(0，0，0)和攝像面I之間的在Z軸方向上的距離成為焦距f。將攝像面I上的坐標(biāo)定義為uv平面坐標(biāo)，并且假定uv平面坐標(biāo)的原點(diǎn)(0，0)與XYZ空間坐標(biāo)中的(0，0，f)相一致。uv平面坐標(biāo)上的坐標(biāo)P(u，v)是在將XYZ空間坐標(biāo)上的被攝體A(X，Y，Z)投影在攝像面I上時(shí)的坐標(biāo)。此時(shí)，可以通過公式(5)表示坐標(biāo)P。

當(dāng)使用其次坐標(biāo)時(shí)，可以通過公式(6)表示公式(5)。

由于在本發(fā)明的說明中，公式(6)的(3×4)矩陣的第四列的元素保持為0，因而公式(6)就是公式(7)。

圖27B示出R轉(zhuǎn)動(dòng)時(shí)圖27A的針孔照相機(jī)模型。在圖27B中，將通過圖27A的XYZ空間坐標(biāo)的R轉(zhuǎn)動(dòng)所獲得的坐標(biāo)，設(shè)置為X’Y’Z’空間坐標(biāo)。假定X’Y’Z’空間坐標(biāo)的原點(diǎn)(0，0，0)與XYZ空間坐標(biāo)的相一致。也就是說，圖27B示出簡(jiǎn)化針孔照相機(jī)模型中的如下狀態(tài)的表現(xiàn)：在該狀態(tài)下，圍繞作為攝像設(shè)備的光軸的方向的第三方向發(fā)生轉(zhuǎn)動(dòng)振動(dòng)R，并且沒有發(fā)生作為攝像設(shè)備的平行移動(dòng)的平行振動(dòng)。

在圖27B的針孔照相機(jī)模型中，如圖27A那樣，將攝像面I’配置在相對(duì)于原點(diǎn)(0，0，0)的距離是焦距f的位置處。將攝像面I’上的坐標(biāo)定義為u’v’平面坐標(biāo)，假定u’v’平面坐標(biāo)的原點(diǎn)(0，0)與X’Y’Z’空間坐標(biāo)中的(0，0，f)相一致。u’v’平面坐標(biāo)上的坐標(biāo)P’(u’，v’)是將X’Y’Z’空間坐標(biāo)上的被攝體A’(X’，Y’，Z’)投影在攝像面I’上時(shí)的坐標(biāo)。另外，假定圖27A的被攝體A和圖27B的被攝體A’在世界坐標(biāo)系中的位置是相同位置(也就是說，被攝體沒有移動(dòng))。此時(shí)，當(dāng)使用齊次坐標(biāo)時(shí)，可以通過與公式(7)同樣的公式(8)表示坐標(biāo)P’。

另外，由于被攝體A和被攝體A’在世界坐標(biāo)系中的位置相同，因而可以通過公式(9)表示這兩個(gè)位置的坐標(biāo)之間的關(guān)系。

此外，當(dāng)對(duì)公式(7)和公式(8)進(jìn)行變形、并且將其代入公式(9)時(shí)，可以獲得公式(10)。

公式(10)示出在使得針孔照相機(jī)經(jīng)過R轉(zhuǎn)動(dòng)之前和之后被攝體在攝像面上的位置的對(duì)應(yīng)關(guān)系。也就是說，這樣變成表示當(dāng)向攝像設(shè)備施加R轉(zhuǎn)動(dòng)的振動(dòng)時(shí)，攝像面上的像素是否從哪里移動(dòng)至哪里的公式。因此，僅需要進(jìn)行用于對(duì)攝像設(shè)備振動(dòng)時(shí)的像素移動(dòng)量進(jìn)行復(fù)原以校正圖像模糊的變換。也就是說，根據(jù)公式(11)，向攝像設(shè)備應(yīng)用R轉(zhuǎn)動(dòng)。

因此，假定通過R表示應(yīng)用于攝像設(shè)備的振動(dòng)、通過f表示攝像光學(xué)系統(tǒng)的焦距、并且通過H表示用于進(jìn)行圖像模糊校正的投影變換矩陣，則通過公式(12)表示H。

另外，假定通過θ_y表示在應(yīng)用于攝像設(shè)備的、圍繞與光軸垂直的平面上的第一方向的振動(dòng)中的橫擺方向上的角度振動(dòng)量，通過θ_p表示在圍繞作為與同光軸垂直的平面上的第一方向垂直的方向的第二方向的振動(dòng)中的、俯仰方向上的角度振動(dòng)量，并且通過θ_r表示滾轉(zhuǎn)方向上的角度振動(dòng)量，則可以通過公式(13)表示R。

可以使用公式(14)將將公式(12)的H分解成平移t→、縮放s(常數(shù))、轉(zhuǎn)動(dòng)r(矩陣)、剪切k(矩陣)和搖擺v→的變形成分。

這里，

t_x:水平偏移量

t_y:垂直平移量

θ:轉(zhuǎn)動(dòng)角度

v_x:水平搖擺量

v_y:垂直搖擺量

α:剪切的各向異性倍率

φ:剪切的方向角度

當(dāng)通過公式(12)、(13)和(14)求解出變形成分的方程式時(shí)，給出公式(15)～(22)。

t_x＝f(tanθ_y cosθ_r/cosθ_p+tanθ_p sinθ_r)…(15)

t_y＝f(-tanθ_ysinθ_r/cosθ_p+tanθ_p cosθ_r)…(16)

θ＝-θ_r…(17)

v_x＝-tanθ_y/f…(18)

v_y＝-tanθ_p/(fcosθ_y)…(19)

s＝(cosθ_yconθ_p)^-3/2…(20)

α＝(cosθ_pconθ_y)^1/2…(21)

tanφ＝sinθ_y sinθ_p/(cosθ_ycosθ_p)^1/2…(22)

這里，當(dāng)通過γ表示應(yīng)用于攝像設(shè)備的振動(dòng)角度時(shí)，如果γ的值不大，則可以近似獲得cosγ＝1、sinγtanγ＝0和sinγsinγ＝0，并且可以通過公式(23)～(30)表示公式(15)～(21)。

t_x＝f tanθ_y…(23)

t_y＝f tanθ_p…(24)

θ＝-θ_r…(25)

v_x＝-tanθ_y/f…(26)

v_y＝-tanθ_p/f…(27)

s＝1…(28)

α＝1…(29)

tanφ＝0…(30)

在本實(shí)施例中，具體說明基于通過直到圖像變形量計(jì)算單元2603的這些單元所計(jì)算出的校正量的操作。另外，通過橫擺方向上的角度振動(dòng)，導(dǎo)致根據(jù)公式(23)和(26)的水平方向上的平移方向移動(dòng)和水平方向上的梯形失真，通過俯仰方向上的角度振動(dòng)，導(dǎo)致根據(jù)公式(24)～(27)的垂直方向上的平移方向移動(dòng)和垂直方向上的梯形失真，并且用于這兩個(gè)振動(dòng)的處理相同。

使用通過直到校正切換單元219的這些單元所計(jì)算出的校正角度θ_y和θ_p，計(jì)算公式(23)和(24)，使用通過直到校正切換單元219的這些單元所計(jì)算出的滾轉(zhuǎn)校正角度θ_r，計(jì)算公式(25)，并且通過梯形失真校正量計(jì)算單元2601計(jì)算公式(26)和(27)。

另外，在本實(shí)施例中，假定在不使用圖像變形的變形成分中的剪切和縮放的成分來進(jìn)行圖像變形。因此，在圖26的結(jié)構(gòu)中，未示出剪切和縮放的成分。然而，可以設(shè)置用于根據(jù)公式(20)～(22)或者公式(28)～(30)對(duì)剪切和縮放的成分進(jìn)行圖像變形的結(jié)構(gòu)。

參考圖28A和28B說明梯形失真校正計(jì)算單元2501中的垂直方向和水平方向上的梯形失真校正量計(jì)算單元。將來自角速度計(jì)214的檢測(cè)信號(hào)輸入至HPF單元2801p和2801y。p和y是用于分別識(shí)別俯仰和橫擺的符號(hào)。在相應(yīng)HPF中截止直流(DC)成分之后，將檢測(cè)信號(hào)輸入至減法器2802p和2802y。減法器從HPF處理后的輸出減去角速度偏移計(jì)算單元2804p和2804y的輸出，并且將相減之后的信號(hào)輸出至積分器2803p和2803y。將通過積分器的積分處理之后的輸出，發(fā)送至限制單元2805p和2805y、以及角速度偏移計(jì)算單元2804p和2804y。限制單元2805p和2805y將輸入值限制成等于或者小于預(yù)定值的值，并且計(jì)算垂直梯形失真校正量和水平梯形失真校正量。

角速度偏移計(jì)算單元2804p和2804y基于前一采樣中的校正量(垂直梯形失真校正量和水平梯形失真校正量的前一值)，計(jì)算偏移量，并且將偏移量輸出至減法器2802p和2802y。如果振動(dòng)角度小于或者等于閾值A(chǔ)，則角速度偏移計(jì)算單元將偏移設(shè)置成0，并且如果校正量大于閾值A(chǔ)，則設(shè)置偏移量以使得偏移量根據(jù)校正量的前一值的大小而增大。

垂直梯形失真參數(shù)設(shè)置單元2808和水平梯形失真參數(shù)設(shè)置單元2809基于振動(dòng)校正指定單元506和傾斜校正指定單元507的指定信息，設(shè)置垂直梯形失真參數(shù)設(shè)置單元2808和水平梯形失真參數(shù)設(shè)置單元2809的校正參數(shù)。垂直梯形失真參數(shù)設(shè)置單元2808和水平梯形失真參數(shù)設(shè)置單元2809管理軸的校正參數(shù)，并且根據(jù)振動(dòng)校正指定單元506和傾斜校正指定單元507的狀態(tài)，設(shè)置校正參數(shù)。將通過垂直梯形失真參數(shù)設(shè)置單元2808所設(shè)置的垂直梯形失真校正參數(shù)輸入至HPF單元2801p、角速度偏移計(jì)算單元2804p和限制單元2805p。將通過水平梯形失真參數(shù)設(shè)置單元2809所設(shè)置的水平梯形失真校正參數(shù)輸入至HPF單元2801y、角速度偏移計(jì)算單元2804y和限制單元2805y。

如果校正效果下降，則設(shè)置參數(shù)以使得HPF單元2801p和2801y的截止頻率高、并且角速度偏移計(jì)算單元2804p和2804y的偏移量大。設(shè)置參數(shù)以使得限制單元2805p和2805y的限制閾值減小。另外，如果校正效果提高，則設(shè)置參數(shù)以使得HPF單元2801p和2801y的截止頻率低、并且角速度偏移計(jì)算單元2804p和2804y的偏移量小。設(shè)置這些參數(shù)以使得限制單元2805p和2805y的限制閾值增大。根據(jù)垂直梯形失真和水平梯形失真的校正范圍，設(shè)置這些參數(shù)。

在上面的方法中，基于振動(dòng)校正設(shè)置單元2806和傾斜校正設(shè)置單元2807的設(shè)置，計(jì)算垂直梯形失真校正量和水平梯形失真校正量。

表2的第一行第四列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為ON，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正ON和搖擺傾斜校正ON。在這種情況下，將校正比例設(shè)置成分散，使得在俯仰、橫擺和滾轉(zhuǎn)的方向上提供同等效果。另外，由于當(dāng)傾斜校正為ON時(shí)，想要傾斜校正的效果高于梯形失真校正的效果，因而梯形失真校正效果降低。

表2的第一行第二列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為ON，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正ON和搖擺傾斜校正OFF。在這種情況下，將滾轉(zhuǎn)方向上的校正效果設(shè)置得高，并且將俯仰方向和橫擺方向上的校正效果設(shè)置成相對(duì)低于滾轉(zhuǎn)方向上的校正效果。另外，優(yōu)先滾轉(zhuǎn)校正，并且還將梯形失真校正效果設(shè)置得低。

表2的第一行第三列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為ON，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正OFF和搖擺傾斜校正ON。在這種情況下，將俯仰方向和橫擺方向上的校正效果設(shè)置得高，并且將滾轉(zhuǎn)方向上的校正效果設(shè)置成相對(duì)低于俯仰方向和橫擺方向上的校正效果。另外，優(yōu)先平移校正，并且還將梯形失真校正效果設(shè)置得低。

表2的第二行第一列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正OFF和搖擺傾斜校正OFF。將俯仰、橫擺和滾轉(zhuǎn)的校正角度設(shè)置成0，并且既不進(jìn)行振動(dòng)校正也不進(jìn)行傾斜校正。

表2的第二行第二列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正ON和搖擺傾斜校正OFF。在這種情況下，平移方向上的校正比例和梯形失真的校正比例為0，并且給出滾轉(zhuǎn)優(yōu)先的參數(shù)設(shè)置。表2的第二行第三列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正OFF和搖擺傾斜校正ON。

在這種情況下，滾轉(zhuǎn)方向上的校正比例和梯形失真的校正比例為0，并且設(shè)置平移優(yōu)先的參數(shù)設(shè)置。表2的第二行第四列表示下面的情況：通過振動(dòng)校正指定單元506的設(shè)置為OFF，并且通過傾斜校正指定單元507的設(shè)置為水平傾斜校正ON和搖擺傾斜校正ON。在這種情況下，將校正比例設(shè)置成分散，使得在俯仰、橫擺和滾轉(zhuǎn)的方向上提供等同效果，并且由于振動(dòng)校正為OFF，因而將梯形失真的校正比例設(shè)置成0。

表2

在本實(shí)施例中，根據(jù)振動(dòng)校正的ON/OFF設(shè)置和傾斜校正的ON/OFF設(shè)置，設(shè)置平移校正、滾轉(zhuǎn)校正和梯形失真校正的參數(shù)。根據(jù)通過用戶隨意指定的校正效果的設(shè)置，改變平移方向(俯仰/橫擺方向)上的校正效果、滾轉(zhuǎn)方向上的校正效果和梯形失真校正(垂直/水平)效果的比例，并且進(jìn)行振動(dòng)校正和傾斜校正。根據(jù)本實(shí)施例，可以進(jìn)行與用戶想要的攝像效果相關(guān)的最佳振動(dòng)和傾斜校正。

另外，即使設(shè)置被配置成通過用戶操作改變振動(dòng)校正的校正效果水平和傾斜校正的校正效果水平的選擇單元，可以通過根據(jù)效果水平來設(shè)置平移校正、滾轉(zhuǎn)校正和梯形失真校正的參數(shù)，與用戶想要的攝像效果相關(guān)聯(lián)地進(jìn)行最佳振動(dòng)和傾斜校正。

其他實(shí)施例

本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。

盡管參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。

本申請(qǐng)要求2015年9月15日提交的日本專利申請(qǐng)2015-181487和2016年6月29日提交的日本專利申請(qǐng)2016-128844的優(yōu)先權(quán)，其全部?jī)?nèi)容通過引用包含于此。