本申請是國家申請?zhí)枮?01380005554.4，進入中國國家階段日期為2014年7月15日，發(fā)明名稱為“拍攝裝置以及拍攝圖像處理系統(tǒng)”的發(fā)明專利申請的分案申請。

本發(fā)明涉及通過圖像輸出裝置來輸出由拍攝裝置拍攝到的圖像的拍攝圖像處理系統(tǒng)。

背景技術：

伴隨因特網(wǎng)技術的發(fā)展，使用手機等便攜終端裝置來保存拍攝到的圖像的機會逐漸增加。此外，不僅單純地將風景、人物等作為被攝體，對各種展覽等中展示的說明圖、說明文、或者學會等中的幻燈片進行攝影的機會也逐漸增大。在保存由這種便攜終端裝置攝影的圖像時，通常是使用以攝影日等信息為基礎自動地附加的文件名或者由自己作成文件名來進行保存。

此外，專利文獻1公開了一種根據(jù)通過拍攝而放入存儲部的圖像數(shù)據(jù)來求出圖像的輪廓，根據(jù)求出的輪廓來求出拍攝對象物的形狀的技術。而且，求出所求出的拍攝對象物的形狀與實際的攝影對象物的射影參數(shù)，并使用該射影參數(shù)進行圖像轉(zhuǎn)換。

專利文獻1:日本國公開專利公報“日本特開2005-122320號公報(2005年5月12日公開)”

技術實現(xiàn)要素：

然而，上述專利文獻1所示的技術是根據(jù)通過拍攝而放入存儲部的圖像數(shù)據(jù)來求出拍攝對象物的形狀的，在不能夠提取希望的形狀的情況下需要進行再次拍攝。此外，即使能夠提取希望的形狀，在拍攝范圍外存在拍攝對象物的一部分的情況下，也無法對對象物的一部分進行拍攝。

本發(fā)明正是為了解決上述技術問題而進行的，其目的在于，提供能夠在容易地確認了對象物在拍攝范圍內(nèi)處于哪個位置的基礎上將圖像數(shù)據(jù)放入到存儲部的拍攝裝置、拍攝圖像處理系統(tǒng)、程序以及記錄介質(zhì)。

為了解決上述的技術問題，本發(fā)明的一個方式所涉及的拍攝裝置具備：拍攝部，其拍攝對象物；顯示單元，其顯示由上述拍攝部拍攝到的圖像亦即拍攝圖像；以及輸出對象圖像決定部，其在指定的定時將正顯示在上述顯示單元中的圖像決定為輸出對象圖像，在該拍攝裝置中，上述對象物為矩形，并具備：檢測部，其在由上述拍攝部拍攝到的圖像中，檢測連接成線段狀的邊緣像素組；和顯示處理部，在由上述顯示單元顯示的拍攝圖像中，該顯示處理部使表示上述對象物的輪廓的輪廓線重疊地顯示在由上述檢測部檢測到的邊緣像素組上。

此外，本發(fā)明的一個方式所涉及的拍攝圖像處理系統(tǒng)是具備上述的拍攝裝置和圖像輸出裝置的拍攝圖像處理系統(tǒng)，上述圖像輸出裝置獲取表示由上述輸出對象圖像決定部決定的輸出對象圖像的圖像數(shù)據(jù)，并輸出該圖像數(shù)據(jù)、或者對該圖像數(shù)據(jù)實施了圖像處理的處理完的圖像數(shù)據(jù)。

本發(fā)明取得可實現(xiàn)能夠在用戶容易地確認了對象物在拍攝范圍內(nèi)處于哪個位置之后將圖像數(shù)據(jù)放入到存儲部的拍攝裝置這一效果。

附圖說明

圖1是表示本發(fā)明的一實施方式所涉及的拍攝圖像處理系統(tǒng)的整體構成的圖。

圖2是表示本發(fā)明的一實施方式所涉及的便攜終端裝置的構成的框圖。

圖3是表示便攜終端裝置具備的拍攝范圍判定部的構成的框圖。

圖4是表示拍攝范圍判定部的處理的一例的流程圖。

圖5是表示邊緣圖像的生成例的圖。

圖6是表示連結(jié)邊緣區(qū)域的標記的方法的圖。

圖7是表示成為拍攝對象物與背景的邊界的連結(jié)邊緣區(qū)域的候選即特征區(qū)域的提取處理的一例的流程圖。

圖8是表示從包含多個連結(jié)邊緣區(qū)域的邊緣圖像提取特征區(qū)域的情況的圖。

圖9是表示對成為矩形的拍攝對象物與背景的邊界的上邊的邊緣像素組的近似直線進行確定的直線提取處理的一例的流程圖。

圖10是表示對成為矩形的拍攝對象物與背景的邊界的左邊的邊緣像素組的近似直線進行確定的直線提取處理的一例的流程圖。

圖11是表示從特征區(qū)域中，提取構成成為矩形的拍攝對象物與背景的邊界的四角形的上邊、左邊、右邊、下邊的、并連接成線段狀的邊緣像素組的例子的圖。

圖12是表示求出邊緣像素組的近似直線的交點的例子的圖。

圖13是表示顯示處理部的處理例的流程圖。

圖14是表示顯示了表示拍攝對象物在拍攝范圍內(nèi)的信息的畫面例的圖。

圖15是表示顯示了第1欠缺信息的畫面例的圖。

圖16是表示顯示了第2欠缺信息的畫面例的圖。

圖17是表示由幾何學的配置檢測部進行的圖像的幾何學的畸變的檢測例的圖。

圖18是表示圖像中的拍攝對象物的邊緣檢測處理例的圖。

圖19是表示圖像的光柵方向的邊緣檢測例的圖。

圖20是表示本發(fā)明的一實施方式所涉及的圖像形成裝置的構成的框圖。

圖21是表示圖像形成裝置具有的圖像處理部的構成的框圖。

圖22是表示在圖像的色彩平衡調(diào)整時作成的查找表的一例的圖。

圖23是表示圖像的透鏡畸變的校正例的圖。

圖24是表示圖像的幾何學的畸變和傾斜的校正例的圖。

圖25是表示高分辨率校正的處理的一例的流程圖。

圖26表示高分辨率圖像數(shù)據(jù)中的基準像素和內(nèi)插像素。

圖27是表示1階微分濾波器例的圖。

圖28是表示內(nèi)插像素的像素值的決定方法的圖。

圖29是表示圖像形成裝置的處理流程的整體的流程圖。

圖30是表示第1欠缺信息的顯示例的圖。

圖31是表示第2欠缺信息的顯示例的圖。

圖32是表示自動快門功能為有效的情況下的畫面例的圖。

圖33是表示變形方式所涉及的便攜終端裝置的構成的框圖。

圖34是表示圖像的傾斜檢測例的圖。

圖35是表示圖34的傾斜檢測例中的傾斜角度θ和其正切值的圖。

圖36是表示圖像的再構成像素值的決定例的圖。

圖37是表示特征區(qū)域提取處理(s3)的變形例的流程圖。

圖38是表示通過圖37所示的特征區(qū)域提取處理從拍攝圖像提取特征區(qū)域的情況的圖。

圖39是表示應用于拍攝圖像的檢測方法的決定處理的流程圖。

圖40是表示通過圖39的流程圖來決定檢測方法的例子的圖。

圖41是表示在圖13所示的s611中進行的處理例的流程圖。

圖42是表示在圖13的s612中為否、在s614中為否、或者在s615中為否的情況下進行的處理例的流程圖。

圖43是表示按照圖41和圖42的處理使顯示處理部動作了時的顯示部的畫面例的圖。

圖44是表示拍攝范圍判定部的變形例的框圖。

圖45是表示包含文檔校正模式的開啟/停止切換用的復選框的畫面例的圖。

圖46表示顯示了校正處理后圖像的畫面例。

具體實施方式

以下，對本發(fā)明的實施方式詳細地進行說明。

(1)拍攝圖像處理系統(tǒng)的整體構成

圖1是表示本發(fā)明所涉及的拍攝圖像處理系統(tǒng)的整體構成的圖。如圖1所示，拍攝圖像處理系統(tǒng)具備：附帶相機的手機、數(shù)碼相機等具備拍攝單元的便攜終端裝置(拍攝裝置)100、復合機、打印機等圖像形成裝置(圖像輸出裝置)200、以及信息顯示器、電子黑板等圖像顯示裝置(圖像輸出裝置)300。

便攜終端裝置100是被用戶便攜的裝置。用戶能夠在各種場合下利用便攜終端裝置100來拍攝對象物。

在本實施方式中，便攜終端裝置100具有文件拍攝模式的功能，該功能用于對打印了文件圖像的紙張、海報、顯示有文件圖像的顯示畫面(例如，顯示器畫面或由投影儀投影的畫面)這樣的矩形狀的拍攝對象物進行拍攝，將通過該拍攝得到的圖像從圖像形成裝置200或者圖像顯示裝置300輸出。即，便攜終端裝置100將由文件拍攝模式下的拍攝得到的、成為通過圖像形成裝置200或者圖像顯示裝置300輸出的對象的圖像數(shù)據(jù)(以下，稱為輸出對象圖像數(shù)據(jù))發(fā)送至圖像形成裝置200或者圖像顯示裝置300。

并且，圖像形成裝置200對接收到的輸出對象圖像數(shù)據(jù)實施規(guī)定的圖像處理，并輸出圖像處理后的輸出對象圖像數(shù)據(jù)(以下，稱為已校正圖像數(shù)據(jù))，或者校正完的圖像數(shù)據(jù)所示的圖像。此外，圖像顯示裝置300進行輸出對象圖像數(shù)據(jù)的顯示處理。

這里，用戶未必總是能夠從正面對作為矩形狀的拍攝對象物的、打印了文件圖像的紙張、海報、顯示有文件圖像的顯示畫面等進行拍攝。即，存在用戶在拍攝對象物中的形成了文件圖像的平面的法線方向與拍攝單元的拍攝方向不一致的狀態(tài)下，從傾斜方向?qū)ε臄z對象物進行拍攝的情況。該情況下，有時在拍攝對象物的一部分從拍攝單元的拍攝范圍超出的狀態(tài)下，即拍攝對象物的一部分缺失的狀態(tài)下進行拍攝。在這樣的情況下，是在用戶希望的信息的一部分缺失的狀態(tài)下被拍攝。在本實施方式中，便攜終端裝置100具有在選擇了上述文件拍攝模式的情況下，防止這樣的拍攝對象物的一部分從拍攝范圍超出的狀態(tài)下被拍攝的功能。

另外，作為由圖像形成裝置200執(zhí)行的輸出處理，具有：對由已校正圖像數(shù)據(jù)表示的圖像進行打印并輸出的打印處理、向服務器、usb存儲器等存儲裝置存放輸出對象圖像數(shù)據(jù)的歸檔處理、向電子郵件添加已校正圖像數(shù)據(jù)并進行發(fā)送的郵件發(fā)送處理等。由圖像顯示裝置300執(zhí)行的輸出處理是輸出對象圖像數(shù)據(jù)的顯示處理。

便攜終端裝置100和圖像形成裝置200能夠進行通信，如上述那樣，便攜終端裝置100將輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200。作為便攜終端裝置100和圖像形成裝置200的通信方式，具有如圖1中以符號a或者b所示那樣的方式。以符號a表示的方式是基于irsimple等紅外線通信標準的任意一種的無線通信方式。以符號b表示的方式是利用felica(注冊商標)這樣的非接觸無線通信，暫時將輸出對象圖像數(shù)據(jù)從便攜終端裝置100發(fā)送至圖像顯示裝置300，然后，使用例如bluetooth(注冊商標)這樣的無線通信，將該數(shù)據(jù)從該圖像顯示裝置300傳送給圖像形成裝置200的方式。在本實施方式中，假設用戶在來到圖像形成裝置200前之后操作便攜終端裝置100，使用紅外線通信這樣的近距離無線通信方式，從便攜終端裝置100向圖像形成裝置200進行數(shù)據(jù)發(fā)送。

這里，圖像顯示裝置300例如是由液晶顯示器、等離子顯示器，有機電致發(fā)光顯示器等組成的信息顯示器、電子黑板等。這樣的圖像顯示裝置300進行使由輸出對象圖像數(shù)據(jù)表示的圖像顯示的顯示處理。該顯示處理是輸出對象圖像數(shù)據(jù)的輸出處理的1種。即，圖像顯示裝置300可以說是進行輸出對象圖像數(shù)據(jù)的輸出處理的圖像輸出裝置。在由圖像顯示裝置300進行了顯示后，由圖像形成裝置200進行打印，或者，向其他地址進行e-mail發(fā)送，或者，也能夠存放于計算機、或在網(wǎng)絡中連接的服務器等。

另外，關于便攜終端裝置100和圖像形成裝置200以及圖像顯示裝置300之間的通信方式，并不局限于此，能夠應用使用了公知的通信方法的方式。例如，也可以將輸出對象圖像數(shù)據(jù)添加到電子郵件并發(fā)送至圖像形成裝置200、圖像顯示裝置300。

(2)便攜終端裝置的構成

首先，基于圖2，對本實施方式所涉及的便攜終端裝置100進行說明。圖2是表示便攜終端裝置100的構成的框圖。如圖2所示，便攜終端裝置100具備：拍攝部101、拍攝范圍判定部110、圖像處理部103、通信部(發(fā)送部)104、顯示部105、輸入部106、記錄介質(zhì)訪問部107、存儲部108、以及控制部109。

拍攝部101使用ccd傳感器、cmos傳感器，進行拍攝對象物的拍攝，并使通過拍攝得到的拍攝圖像顯示于顯示部105。另外，拍攝部101以預先設定的分辨率進行拍攝對象物的拍攝。另外，由拍攝部101拍攝的范圍(以下，稱為拍攝范圍)按照預先設定的放大縮小率而決定。這里，假設拍攝范圍是寬度為xmax，高度為ymax的矩形。

拍攝范圍判定部110在由用戶選擇了文件拍攝模式的情況下，基于由拍攝部101拍攝且顯示在顯示部105中的拍攝圖像，來判定矩形狀的拍攝對象物是否被收入在拍攝范圍內(nèi)。此外，拍攝范圍判定部110在指定的定時將表示正顯示在顯示部105中的拍攝圖像的圖像數(shù)據(jù)作為輸出對象圖像數(shù)據(jù)而存放于存儲部108。之后對拍攝范圍判定部110詳細地進行敘述。

圖像處理部103針對由拍攝部101存放于存儲部108的輸出對象圖像數(shù)據(jù)，至少進行a/d轉(zhuǎn)換處理。

通信部104具有基于usb(universalserialbus：通用串行總線)1.1或者usb2.0的標準進行串行傳輸/并行傳輸?shù)臒o線數(shù)據(jù)通信功能。通信部104按照用戶輸入的發(fā)送指示，將輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200或者圖像顯示裝置300。

顯示部105例如由液晶顯示器等構成。此外，輸入部106具有多個按鈕，用于用戶進行數(shù)據(jù)的輸入等。

記錄介質(zhì)訪問部107從記錄了用于進行便攜終端裝置100的各處理的程序的記錄介質(zhì)讀出程序。

此外，存儲部108存放用于進行便攜終端裝置100的各處理的程序、便攜終端裝置100的機種信息、用戶信息、進行處理時所需的數(shù)據(jù)。另外，所謂用戶信息是指識別便攜終端裝置100的用戶的信息，例如是用戶id和密碼等。此外，存儲部108存儲通過在文件拍攝模式下進行拍攝而得到的輸出對象圖像數(shù)據(jù)及其付屬信息(后述的輸出處理信息、文件名等)。

控制部109進行便攜終端裝置100的各部的控制。在向輸入部106輸入了選擇文件拍攝模式這一意思的指示的情況下，控制部109將圖像形成裝置200中的輸出處理的種類(打印處理、歸檔處理、郵件發(fā)送處理等)的選擇指示、以及促使用于執(zhí)行所選擇的輸出處理的設定條件(打印張數(shù)等的打印條件、歸檔目的地的服務器的地址、郵件的發(fā)送目的地地址等)的輸入的畫面顯示于顯示部105。然后，控制部109從輸入部106獲取表示輸出處理的種類和輸出處理的設定條件的輸出處理信息。

控制部109對存放在存儲部108中的輸出對象圖像數(shù)據(jù)附加文件名和輸出處理信息。

此外，若向輸入部106輸入發(fā)送指示，則控制部109使通信部104執(zhí)行將存放在存儲部108中的輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200或者圖像顯示裝置300的發(fā)送處理。這時，通信部104將與輸出對象圖像數(shù)據(jù)建立對應的文件名以及輸出處理信息、以及存放在存儲部108中的機種信息以及用戶信息合起來與該輸出對象圖像數(shù)據(jù)一起發(fā)送至圖像形成裝置200或者圖像顯示裝置300。

(3)關于拍攝范圍判定部

(3-1)拍攝范圍判定部的構成

接著，對便攜終端裝置100的拍攝范圍判定部110的詳細構成進行說明。圖3是表示拍攝范圍判定部110的內(nèi)部構成的框圖。如圖3所示，拍攝范圍判定部110具備：幾何學配置檢測部111、顯示處理部112、以及輸出對象圖像決定部113。

幾何學配置檢測部111通過假定為拍攝對象物是矩形狀，并提取成為該拍攝對象物和背景的邊界的邊緣像素組，從而檢測拍攝對象物的幾何學配置(幾何學畸變)。

顯示處理部112在顯示于顯示部105的拍攝圖像中，使表示拍攝對象物的輪廓的輪廓線重疊顯示在由幾何學配置檢測部111檢測到的邊緣像素組上。由此，用戶通過確認輪廓線，能夠容易地確認拍攝對象物是否被收入在拍攝范圍內(nèi)。

此外，顯示處理部112基于拍攝對象物的幾何學配置，判定拍攝對象物是否被收入在拍攝范圍內(nèi)，并將該判定結(jié)果顯示于顯示部105。由此，用戶通過確認判定結(jié)果，能夠更加容易地確認拍攝對象物是否被收入在拍攝范圍內(nèi)。并且，在未被收入的情況下，用戶通過變更便攜終端裝置100的方向、位置，能夠?qū)⑴臄z對象物收入在拍攝范圍內(nèi)。

輸出對象圖像決定部113在指定的定時將表示正顯示在顯示部105中的拍攝圖像的圖像數(shù)據(jù)決定為輸出對象圖像數(shù)據(jù)，并將該輸出對象圖像數(shù)據(jù)存放于存儲部108。

(3-2)拍攝范圍判定部的處理

接著，對拍攝范圍判定部110的具體處理的一例進行說明。圖4是表示拍攝范圍判定部110的處理的一例的流程圖。

(步驟1(s1))

首先，幾何學配置檢測部111從由拍攝部101拍攝且顯示于顯示部105的拍攝圖像中，進行邊緣像素的提取。而且，幾何學配置檢測部111生成將邊緣像素設為“1”，將非邊緣像素設為“0”的邊緣圖像。

對于邊緣像素的提取，例如，針對由拍攝部101拍攝的亮度圖像應用canny濾波器來進行提取。所謂canny濾波器，是使用高斯濾波器和索貝爾濾波器，來檢測被細線化的邊緣的濾波器。另外，此時，為了處理高速化，也可以縮小圖像尺寸。此外，為了提高邊緣像素的檢測精度，例如，也可以在進行濾波器處理前平滑化，在濾波器處理后，進行膨脹收縮等的形態(tài)轉(zhuǎn)換。

圖5是表示從亮度圖像提取出的邊緣圖像的圖。在圖5中，上段表示亮度圖像，下段表示提取出的邊緣圖像。

(步驟2(s2))

接著，幾何學配置檢測部111進行按照連結(jié)的邊緣像素的區(qū)域(連結(jié)邊緣區(qū)域)賦予不同的標簽的標記處理。

幾何學配置檢測部111例如如圖6所示那樣使用以下的方法來進行標記。

(i)在關注像素是邊緣像素的情況下，若關注像素的上鄰的像素是邊緣像素且已被賦予標簽，則對關注像素也賦予相同的標簽(圖6的(a))。(ii)在左鄰的像素也是邊緣像素且被賦予與上鄰的像素不同的標簽的情況下，賦予與上鄰相同的標簽(圖6的(b))。

(iii)在上鄰的像素是非邊緣像素且左鄰是邊緣像素的情況下，對關注像素賦予與左鄰相同的標簽(圖6的(c))。

(iv)在上鄰和左鄰均是非邊緣像素的情況下，對關注像素賦予新的標簽(圖6的(d))。

(v)對全部的邊緣像素進行標簽賦予。

(vi)在賦予多個標簽的情況下，基于上述的規(guī)則來統(tǒng)一標簽。

(步驟3(s3))

接著，幾何學配置檢測部111從賦予了標簽的連結(jié)邊緣區(qū)域中，提取包含拍攝對象物和背景的邊界的區(qū)域的候選(以下，稱為特征區(qū)域)(s3)。

通常以將拍攝對象物的中心作為拍攝范圍的中心附近，并占據(jù)拍攝范圍中的大部分的方式來對拍攝對象物進行拍攝。因此，對于拍攝對象物與背景的邊界而言，其中心位于拍攝范圍的中心附近，并且，拍攝范圍的橫向(寬度方向)的長度以及縱向(高度方向)的長度變長。于是，幾何學配置檢測部111將滿足以下的條件a的連結(jié)邊緣區(qū)域提取為特征候選。

條件a：在拍攝范圍內(nèi)，將左上角設為原點，將右方向(寬度方向)設為x軸，將下方向(高度方向)設為y軸，將拍攝范圍的右端的x坐標設為xmax，將拍攝范圍的下端的y坐標設為ymax。這時，連結(jié)邊緣區(qū)域的寬度方向的長度在拍攝范圍的寬度(即xmax)的1/4以上，并且，高度方向的長度在拍攝范圍的高度(即ymax)的1/4以上，并且，連結(jié)邊緣區(qū)域的中心x坐標在xmax/4以上且3×xmax/4以下，區(qū)域的中心y坐標在ymax/4以上且3×ymax/4以下。

圖7是表示特征區(qū)域提取處理(s3)的詳細處理例的流程圖。如圖7所示那樣，首先，幾何學配置檢測部111選擇s2中賦予了標簽的一個連結(jié)邊緣區(qū)域(s301)。然后，幾何學配置檢測部111針對所選擇的連結(jié)邊緣區(qū)域，確定寬度方向的長度、高度方向的長度、中心x坐標、中心y坐標。具體而言，通過從構成連結(jié)邊緣區(qū)域的邊緣像素中的最大的x坐標減去最小的x坐標來求出寬度方向的長度，通過從最大的y坐標減去最小的y坐標來求出高度方向的長度，求出最大的x坐標和最小的x坐標的平均值來作為中心x坐標，求出最大的y坐標和最小的y坐標的平均值來作為中心y坐標。

接著，幾何學配置檢測部111判定中心x坐標是否在xmax/4以上且3×xmax/4以下(s302)。

在s302中為“是”的情況下，幾何學配置檢測部111判定中心y坐標是否在ymax/4以上且3×ymax/4以下(s303)。

在s303中為“是”的情況下，幾何學配置檢測部111判定連結(jié)邊緣區(qū)域的寬度方向的長度是否在xmax/4以上(s304)。

在s304為是的情況下，幾何學配置檢測部111判定連結(jié)邊緣區(qū)域的高度方向的長度是否在ymax/4以上(s305)。

在s305為是的情況下，將選擇的連結(jié)邊緣區(qū)域提取為特征區(qū)域(s306)。然后，幾何學配置檢測部111確認是否存在未選擇的連結(jié)邊緣區(qū)域，在存在的情況下，對未選擇的一個連結(jié)邊緣區(qū)域進行選擇(s308)。

另一方面，在s302～s305的任意一步中為否的情況下，不將選擇的連結(jié)邊緣區(qū)域提取為特征區(qū)域，而移至s308的處理。

然后，對通過s308選擇的連結(jié)邊緣區(qū)域，執(zhí)行s302以后的處理。由此，能夠?qū)M足上述的條件a的連結(jié)邊緣區(qū)域提取為特征區(qū)域。然后，幾何學配置檢測部111生成僅將屬于提取的特征區(qū)域的像素設為邊緣像素，將殘余的像素設為非邊緣像素的特征區(qū)域圖像數(shù)據(jù)。

圖8是表示從包含多數(shù)的連結(jié)邊緣區(qū)域的邊緣圖像提取特征區(qū)域的情況的圖。在圖8中，左列是邊緣圖像。此外，中列是表示通過s302和s303的處理，除去了中心坐標位于拍攝范圍的端部側(cè)的連結(jié)邊緣區(qū)域的狀態(tài)的圖像。右列是通過s304和s305的處理，從中列進一步除去了寬度方向的長度或者高度方向的長度較短的連結(jié)邊緣區(qū)域，僅表示所提取的特征區(qū)域的圖像。即，右列是由特征區(qū)域圖像數(shù)據(jù)表示的圖像。

如圖8所示，通過s3的處理，提取成為矩形的拍攝對象物和背景的邊界的邊緣像素的候選，即特征區(qū)域。但是，如圖8所示，根據(jù)圖像的不同，也存在將拍攝對象物和背景的邊界以外的邊緣像素提取為特征區(qū)域的情況。

(步驟4(s4))

于是，幾何學配置檢測部111進行從特征區(qū)域中，提取構成成為矩形的拍攝對象物和背景的邊界的四邊形的上邊、左邊、右邊、下邊、且連接成線段狀的邊緣像素組，并確定該邊緣像素組的近似直線的處理(直線提取處理)(s4)。

這里，上邊位于拍攝圖像中的上半部(即，y坐標從0到y(tǒng)max/2的范圍)，與拍攝范圍的寬度方向平行的概率較高。此外，左邊位于拍攝圖像的左半部(即，x坐標從0到xmax/2的范圍)，與拍攝范圍的高度方向平行的概率較高。右邊位于拍攝圖像的右半部(即，x坐標從xmax/2到xmax的范圍)，與拍攝范圍的高度方向平行的概率較高。下邊位于拍攝圖像的下半部(即，y坐標從ymax/2到y(tǒng)max的范圍)，與拍攝范圍的寬度方向平行的概率較高。

于是，在存在的概率較高的范圍內(nèi)，從特征區(qū)域圖像數(shù)據(jù)中提取在特定的方向上連接的邊緣像素的個數(shù)為最大的、規(guī)定長度以上的線段狀的邊緣像素組，來作為成為矩形的拍攝對象物和背景的邊界的連接成線段狀的邊緣像素組。然后，確定提取到的邊緣像素組的近似直線。

圖9是表示在圖4所示的s4的處理中，確定構成上邊的邊緣像素組的近似直線的處理的流程的流程圖。

首先，幾何學配置檢測部111設定變量x＝0、變量count＝0、變量pre_y＝-1(s401)。接著，幾何學配置檢測部111設定變量y＝0(s402)。

然后，幾何學配置檢測部111確認在特征區(qū)域圖像數(shù)據(jù)中，由坐標(x、y)表示的像素是否是邊緣像素(s403)。在s403中為否的情況下，將變量y變更為y+1(s404)。接著，確認變更后的變量y是否比拍攝范圍的高度(即ymax)的1/2大(s405)。在s405中為否的情況下，返回至s403的處理。

通過重復s403～s405的處理，在特征區(qū)域圖像數(shù)據(jù)中，從(0、0)坐標到拍攝范圍的高度的1/2的坐標為止，向y軸下方向搜索，在最初找到邊緣像素的時刻，s403中成為是。若在s403中成為是，則幾何學配置檢測部111確認是否滿足pre_y-1≦y≦pre_y+1(s407)。

在不滿足s407的情況下，幾何學配置檢測部111將變量count的值存放于上次設定的坐標組(s408)。然后，幾何學配置檢測部111設定新的坐標組[x]，并且將變量count設定成0(s409)。另一方面，在滿足s407的情況下，幾何學配置檢測部111將變量count加1(s410)，并將坐標(x、y)存放于最新設定的坐標組(s411)。然后，在s409或者s411后，幾何學配置檢測部111將變量pre_y設定成y(s412)。

另一方面，在向y軸下方向搜索，未找到邊緣像素時(s405中為否)，幾何學配置檢測部111設定變量count＝0、變量pre_y＝-1(s406)。

在s406或者s412之后，幾何學配置檢測部111對變量x加1(s413)。接著，確認變更后的變量x是否比拍攝范圍的寬度(即xmax)大(s414)。在s414中為否的情況下，返回至s402的處理。

例如，在x＝0中，向y軸下方向搜索，并記錄最初找到的邊緣像素的坐標(0、y0)。接著，從(1、0)坐標向y軸下方向搜索，并記錄最初找到邊緣像素的時刻的坐標(1、y1)。此時，若y0-1≦y1≦y0+1，則判斷為該2點沿著特定方向連接，在s409中將變量count增加1，并且將坐標(1、y1)存放于坐標組[0]。滿足y0-1≦y1≦y0+1，是指在距拍攝范圍的寬度方向的規(guī)定角度的范圍內(nèi)的特定方向上2點連續(xù)。

通過這種方式，假設在到坐標(k、yk)為止存放于坐標組[0]之后，從(k+1、0)坐標向y軸下方向搜索，最初找到的邊緣像素的坐標(k+1、y(k+1))不滿足yk-1≦y(k+1)≦yk+1。該情況下，在s408中，將變量count的值k存放于坐標組[0]。此外，在s409中設定新的坐標組[k+1]，并將變量count重置成0。

到x變成拍攝范圍的寬度(即xmax)為止重復上述的處理。然后，幾何學配置檢測部111選擇坐標數(shù)最大的坐標組，即，count的值最大的坐標組(s415)。然后，幾何學配置檢測部111確認選擇的坐標組所包含的坐標數(shù)(即count值)是否在xmax/4以上(s416)。在s416中為否的情況下，由于作為成為拍攝對象物和背景的邊界線的上邊較短，所以幾何學配置檢測部111生成無法提取構成上邊的直線這一意思的信息(不可提取信息)(s417)。

另一方面，在s416中為是的情況下，幾何學配置檢測部111基于選擇的坐標組所包含的多個坐標，使用最小二乘法，來求出近似直線式(s418)。在s416為是的情況下，坐標數(shù)最大的坐標組是在距拍攝范圍的寬度方向的預先決定的角度范圍內(nèi)的方向，連接成xmax/4以上的長度的線段狀的邊緣像素組。因此，該邊緣像素組表示拍攝對象物和背景的邊界的上邊的概率變得非常高。

例如，若在坐標數(shù)最大的坐標組存放有(6、120)、(7、120)、(8、121)、(9、122)、(10、121)，則幾何學配置檢測部111能夠通過最小二乘法，求出y＝0.4x+117.6這樣的式。

通過在下邊、右邊、左邊也進行相同的處理，來提取四邊的直線。

另外，在下邊的情況下，在圖9的s402中設定變量y＝y(tǒng)max。此外，在s404中由變量y減去1，在s405中，確認變更后的變量y是否比拍攝范圍的高度(即ymax)的1/2小。

此外，在左邊的情況下，進行圖10的處理即可。圖10為在圖9中更改了x和y的處理。這是由于左邊位于拍攝范圍的左半部，與拍攝范圍的高度方向平行的概率較高。根據(jù)圖10，在s418中，基于在距拍攝范圍的高度方向的預先決定的角度范圍內(nèi)的方向，連接成ymax/4以上的長度的線段狀的邊緣像素組，來求出直線式。該邊緣像素組表示拍攝對象物和背景的邊界的左邊的概率變得非常高。

此外，在右邊的情況下，在圖10的s402’中設定變量x＝xmax。此外，在s404’中由變量x減去1，在s405’中，確認變更后的變量x是否比拍攝范圍的寬度(即xmax)的1/2小。

圖11是表示從特征區(qū)域中，提取(檢測)構成成為矩形的拍攝對象物和背景的邊界的四角形的上邊、左邊、右邊、下邊、且連接成線段狀的邊緣像素組的例子的圖。圖11的(a)是表示全部的特征區(qū)域的圖像。(b)以實線表示作為成為矩形的拍攝對象物和背景的邊界的四角形的上邊而提取的邊緣像素組。(c)是以實線表示作為成為矩形的拍攝對象物和背景的邊界的四角形的左邊而提取的邊緣像素組。(d)是以實線表示作為成為矩形的拍攝對象物和背景的邊界的四角形的下邊而提取的邊緣像素組。(e)是以實線表示作為成為矩形的拍攝對象物和背景的邊界的四角形的右邊而提取的邊緣像素組。

通過這種方式，幾何學配置檢測部111將作為上邊而提取的邊緣像素組的近似直線設為上邊直線，將作為左邊而提取的邊緣像素組的近似直線設為左邊直線，將作為右邊而提取的邊緣像素組的近似直線設為右邊直線，將作為下邊而提取的邊緣像素組的近似直線設為下邊直線，生成各直線式。

(步驟5(s5))

若在s4中進行的四邊的直線提取處理結(jié)束，則幾何學配置檢測部111基于在s4中求出的直線式，來求出交點坐標(s5)。

在s4中求出了與四邊對應的直線式的情況下，幾何學配置檢測部111能夠容易地求出2條直線的交點坐標。即，幾何學配置檢測部111將左邊直線與上邊直線的交點坐標作為左上頂點坐標、將上邊直線與右邊直線的交點坐標作為右上頂點坐標、將右邊直線與下邊直線的交點坐標作為右下頂點坐標、將下邊直線與左邊直線的交點坐標作為左下頂點坐標來求出。然后，幾何學配置檢測部111將包含這4個頂點坐標的提取結(jié)果信息輸出至顯示處理部112。

圖12是表示求出4個頂點坐標的例子的圖。在圖12中，求出左上頂點坐標(x1、y1)、右上頂點坐標(x2、y2)、右下頂點坐標(x3、y3)、左下頂點坐標(x4、y4)。

此外，在s4中求出了僅與三邊對應的直線式的情況下，幾何學配置檢測部111將與剩余的一邊對應的直線作為拍攝范圍端的直線，來求出該直線式。即，在無法提取左邊的情況下將x＝0作為與剩余的一邊對應的直線式，在無法提取右邊的情況下將x＝xmax作為與剩余的一邊對應的直線式，在無法提取上邊的情況下將y＝0作為與剩余的一邊對應的直線式，在無法提取下邊的情況下將y＝y(tǒng)max作為與剩余的一邊對應的直線式。然后，幾何學配置檢測部111使用該直線式，求出4個頂點坐標。

其中，針對與拍攝范圍端的直線的交點，作為假頂點坐標而求出。例如，在無法提取右邊的情況下，右上頂點坐標和右下頂點坐標作為假頂點坐標而求出。

然后，幾何學配置檢測部111生成包含4個頂點坐標、表示僅提取了三邊的信息、表示無法提取的邊的不可提取信息的提取結(jié)果信息，并將其輸出至顯示處理部112。另外，對假頂點坐標賦予表示是假頂點坐標的信息。

此外，在s4中，在未求出與三邊或者四邊對應的直線式的情況下，幾何學配置檢測部111生成表示無法適當?shù)靥崛∨臄z對象物和背景的邊界這一意思的提取結(jié)果信息，并將其輸出至顯示處理部112。

(步驟6(s6))

接著，顯示處理部112進行基于提取結(jié)果信息的顯示處理。具體而言，按照以下進行處理。

顯示處理部112將連結(jié)提取結(jié)果信息中表示的4個頂點坐標的四邊形的線作為拍攝對象物的輪廓線，而與拍攝圖像重疊地顯示。

此外，在提取結(jié)果信息包含4個頂點坐標，未包含不可提取信息的情況下，顯示處理部112判斷4個頂點坐標是否在拍攝范圍內(nèi)。若全部的頂點坐標在拍攝范圍內(nèi)，則顯示處理部112使表示拍攝對象物在拍攝范圍內(nèi)的信息(例如，“ok”)顯示于顯示部105。

此外，在3個頂點坐標在拍攝范圍內(nèi)，1個頂點坐標在拍攝范圍外的情況下，顯示處理部112使表示拍攝對象物的一部分(一角)無法拍攝的第1欠缺信息顯示于顯示部105。

另外，在提取結(jié)果信息包含4個頂點坐標，且包含不可提取信息的情況下，顯示處理部112判斷4個頂點坐標是否在拍攝范圍內(nèi)。若全部的頂點坐標在拍攝范圍內(nèi)，則顯示處理部112使表示拍攝對象物的一部分(一邊)無法拍攝的第2欠缺信息顯示于顯示部105。

在上述以外的情況下，顯示處理部112可以使顯示部105的畫面保持不變地顯示，也可以使促使拍攝部101的方向的變更的信息(例如，“請調(diào)整相機的方向，以使得將拍攝對象物收入在拍攝范圍內(nèi)”等)顯示于顯示部105。

圖13是表示s6的詳細處理的流程圖。

首先，顯示處理部112判斷成為矩形的拍攝對象物和背景的邊界的四邊是否全部被提取(s601)。這里，顯示處理部112在提取結(jié)果信息包含4個頂點坐標，不包含不可提取信息的情況下，判斷為四邊全部被提取。

在四邊全部被提取的情況下(s601中為是)，顯示處理部112判斷提取結(jié)果信息中表示的左上頂點坐標(x1、y1)是否在拍攝范圍內(nèi)(s602)。具體而言，顯示處理部112判斷是否滿足0≦x1≦xmax以及0≦y1≦ymax的雙方，在雙方都滿足的情況下，判斷為左上頂點坐標在拍攝范圍內(nèi)。

當左上頂點坐標在拍攝范圍內(nèi)的情況下，顯示處理部112生成表示左上頂點坐標(x1、y1)在拍攝范圍內(nèi)的標示，并進行存儲(s603)。另一方面，當左上頂點坐標在拍攝范圍外的情況下，移至下一個處理。

顯示處理部112對右上頂點坐標(x2、y2)、右下頂點坐標(x3、y3)、左下頂點坐標(x4、y4)也進行與s602和s603相同的處理(s604～s609)。

然后，顯示處理部112確認是否對全部的頂點坐標存儲有標示(s610)。在對全部的頂點坐標存儲有標示的情況下(s610中為是)，顯示處理部112判斷為拍攝對象物沒有欠缺地收入在拍攝范圍內(nèi)。然后，顯示處理部112將連結(jié)提取結(jié)果信息中表示的4個頂點坐標的四邊形的線作為拍攝對象物的輪廓線，而與拍攝圖像重疊地顯示。這里，頂點坐標是針對由幾何學配置檢測部111檢測到的線段狀的邊緣像素組的近似直線的交點。因此，在邊緣像素組上重疊地顯示輪廓線。此外，顯示處理部112使表示拍攝對象物在拍攝范圍內(nèi)的信息(例如，“ok”)顯示于顯示部105(s611)。此外，這時，顯示處理部112也使用于決定輸出對象圖像的快門按鈕一起顯示于顯示部105。

圖14是表示在s611中顯示于顯示部105的畫面的一例的圖。如圖14所示，作為連結(jié)頂點坐標的四邊形的線的輪廓線l被顯示于矩形的拍攝對象物和背景的邊界上。因此，用戶能夠容易地確認拍攝對象物在拍攝范圍內(nèi)。

另外，在圖14中，符號10是快門按鈕，符號20是自動對焦設定按鈕，符號30是曝光調(diào)整桿，符號40是圖像讀入按鈕，符號50是條件設定按鈕?？扉T按鈕10是用于將顯示在顯示部105中的拍攝圖像決定為輸出對象圖像的按鈕。自動對焦按鈕20是用于自動地對準焦點的按鈕。曝光調(diào)整桿30是用于調(diào)整光的曝光的桿。圖像讀入按鈕40是用于將預先保存的圖像作為被拍攝的圖像來處理的按鈕。若按下圖像讀入按鈕40，則顯示所保存的圖像一覽畫面，若由用戶選擇其中的一個，則將其作為由拍攝部101拍攝的圖像，而進行下一個處理(按下快門后的處理)。條件設定按鈕50是用于設定各種拍攝條件的按鈕。

另一方面，在未對全部的頂點坐標存儲標示的情況下(s610中為否)，顯示處理部112確認是否對3個頂點坐標存儲有標示(s612)。

在s612中為否的情況下，即，當僅2個以下的頂點坐標在拍攝范圍內(nèi)的情況下，顯示處理部112不將表示拍攝對象物在拍攝范圍內(nèi)的信息(例如，“ok”)顯示于顯示部105。因此，用戶識別拍攝對象物不在拍攝范圍內(nèi)，從而使拍攝部101的方向變更。在變更了拍攝部101的方向后(s617)，再次返回至s1的處理。即，基于變更了拍攝部101的方向后的圖像數(shù)據(jù)，再次實施s1以后的處理。

在s612為是的情況下，即，當3個頂點坐標在拍攝范圍內(nèi)的情況下，顯示處理部112將連結(jié)4個頂點坐標的四邊形的線作為拍攝對象物的輪廓線，與拍攝圖像重疊地顯示。另外，顯示處理部112使表示拍攝對象物的一部分(一角)無法拍攝的第1欠缺信息顯示于顯示部105(s613)。

圖15的(a)(b)是表示在s613中顯示于顯示部105的畫面的一例的圖。如圖15所示，作為連結(jié)頂點坐標的四邊形的線的輪廓線l顯示在矩形的拍攝對象物和背景的邊界上。因此，用戶能夠容易地確認拍攝對象物在拍攝范圍內(nèi)。

此外，作為第1欠缺信息，在位于拍攝范圍外的頂點坐標的附近，顯示有表示角欠缺的第1圖標b。這里，顯示處理部112基于拍攝范圍外的頂點坐標，從拍攝范圍中確定離該頂點坐標最近的點，并根據(jù)確定的點，將第1圖標b顯示在預先設定的距離的范圍內(nèi)。這時顯示處理部112以第1圖標b和輪廓線l不重疊的方式來顯示。由此，確認了第1圖標b的用戶能夠容易地識別該第1圖標b的附近的角脫離拍攝范圍。而且，用戶能夠容易地變更拍攝部101的方向，以使得將拍攝對象物收入在拍攝范圍內(nèi)。在變更了拍攝部101的方向后(s617)，再次返回至s1的處理。即，基于變更了拍攝部101的方向后的圖像數(shù)據(jù)，再次實施s1以后的處理。

此外，在s601中為否的情況下，顯示處理部112判斷是否僅提取了成為矩形的拍攝對象物和背景的邊界的四邊中的三邊(s614)。這里，顯示處理部112在提取結(jié)果信息包含4個頂點坐標，且包含不可提取信息的情況下，判斷為僅提取了三邊。

在s614中為是的情況下，顯示處理部112判斷提取結(jié)果信息中表示的、除去假頂點坐標的2個頂點坐標是否在拍攝范圍內(nèi)(s615)。這里，所謂除去假頂點坐標的2個頂點坐標，在提取的三邊是上邊、左邊、右邊的情況下，是指作為上邊和左邊的交點的左上頂點坐標、以及作為上邊和右邊的交點的右上頂點坐標。此外，在提取的三邊是上邊、左邊、下邊的情況下，是指作為上邊和左邊的交點的左上頂點坐標、以及作為左邊和下邊的交點的左下頂點坐標。此外，在提取的三邊是左邊、下邊、右邊的情況下，是指作為下邊和左邊的交點的左下頂點坐標、以及作為下邊和右邊的交點的右下頂點坐標。此外，在提取的三邊是上邊、右邊、下邊的情況下，是指作為上邊和右邊的交點的右上頂點坐標、以及作為下邊和右邊的交點的右下頂點坐標。s615的處理為與s602～s609同樣的處理。

在s614或者s615中為否的情況下，顯示處理部112不將表示拍攝對象物在拍攝范圍內(nèi)的信息(例如，“ok”)顯示于顯示部105。因此，用戶識別拍攝對象物不在拍攝范圍內(nèi)，從而使拍攝部101的方向變更。在變更了拍攝部101的方向后(s617)，再次返回至s1的處理。

另一方面，在s615為是的情況下，顯示處理部112將連結(jié)4個頂點坐標的四邊形的線中的除去2個假頂點坐標間的邊的線作為拍攝對象物的輪廓線，與拍攝圖像重疊地顯示。然后，顯示處理部112使表示拍攝對象物的一部分(一邊)無法拍攝的第2欠缺信息顯示于顯示部105(s616)。

圖16是表示在s616中顯示于顯示部105的畫面的一例的圖。如圖16所示，輪廓線l被顯示在矩形的拍攝對象物和背景的邊界上。因此，用戶能夠容易地確認拍攝對象物在拍攝范圍內(nèi)。

此外，作為第2欠缺信息，在位于拍攝范圍外的邊的附近，顯示有表示拍攝對象物的外框的一邊欠缺的第2圖標c。另外，顯示處理部112將第2圖標c顯示在從與不可提取信息所表示的邊對應的拍攝范圍的框的邊開始預先決定的范圍內(nèi)。例如，當不可提取信息為右邊的情況下，在拍攝范圍的外框的右邊(即，x＝xmax所示的線)的附近顯示第2圖標c。由此，確認了第2圖標c的用戶能夠容易地識別第2圖標c的附近的邊脫離拍攝范圍。由此，用戶能夠容易地變更拍攝部101的方向，以使得將拍攝對象物收入在拍攝范圍內(nèi)。然后，在變更了拍攝部101的方向后(s617)，再次返回至s1的處理。即，基于在變更了拍攝部101的方向后的圖像數(shù)據(jù)，再度實施s1以后的處理。

另外，顯示處理部112優(yōu)選顯示與輪廓線l不同的顏色的第1欠缺信息和第2欠缺信息。由此，用戶容易確認第1欠缺信息和第2欠缺信息。

(步驟7(s7))

最后，輸出對象圖像決定部113決定成為輸出處理的對象的圖像數(shù)據(jù)，即輸出對象圖像數(shù)據(jù)。具體而言，如圖14所示，輸出對象圖像決定部113在表示拍攝對象物在拍攝范圍內(nèi)的信息(例如，“ok”)和快門按鈕10被顯示于顯示部105的狀態(tài)下，檢測操作了快門按鈕10的定時。然后，輸出對象圖像決定部113將操作了快門按鈕10的定時作為指定的定時，在該定時將表示正顯示于顯示部105的拍攝圖像的圖像數(shù)據(jù)決定為輸出對象圖像數(shù)據(jù)。

另外，輸出對象圖像決定部113僅在顯示有表示拍攝對象物在拍攝范圍內(nèi)的信息時，能夠受理快門按鈕10的操作。

(3-3)幾何學配置檢測部的其他的處理例(其1)

幾何學配置檢測部111也可以通過省略上述的s2的處理，并在上述的s3中進行如圖37所示那樣的處理，來提取包含拍攝對象物和背景的邊界的區(qū)域的候選(特征區(qū)域)。另外，圖37是表示本變形例中的特征區(qū)域提取處理(s3)的流程圖。此外，圖38是表示通過本變形例中的特征區(qū)域提取處理來提取特征區(qū)域的情況的圖。

首先，如圖38所示，幾何學配置檢測部111從(1)的拍攝圖像獲取在s1中提取的(2)的邊緣圖像。然后，幾何學配置檢測部111對提取的邊緣圖像進行一級的膨脹處理(s311)。所謂一級的膨脹處理是指，在關注像素是邊緣的情況下，將關注像素的4個周邊附近(位于關注像素的上、左、下、右的像素)的像素設為邊緣的處理。圖38的(3)表示膨脹處理后的邊緣圖像，可知邊緣部分膨脹。

接著，幾何學配置檢測部111使邊緣圖像反轉(zhuǎn)(s312)。即，在邊緣圖像中將邊緣像素置換成非邊緣像素，將非邊緣像素置換成邊緣像素。圖38的(4)表示反轉(zhuǎn)處理后的邊緣圖像。如圖38的(3)(4)所示，在通過膨脹使邊緣區(qū)域彼此的連接數(shù)增加后進行了反轉(zhuǎn)處理的圖像中，能夠?qū)⑴B圖像端(拍攝范圍端)的區(qū)域看作是背景。

接著，幾何學配置檢測部111對反轉(zhuǎn)處理后的邊緣圖像，進行按照各連結(jié)的邊緣像素的區(qū)域(連結(jié)區(qū)域)賦予不同的標簽的標記處理(s313)。該標記處理進行與上述的s2相同的處理即可。

幾何學配置檢測部111選擇在s313中賦予了標簽的連結(jié)區(qū)域的1個，并確定中心x坐標、中心y坐標(s314)。具體而言，求出最大的x坐標和最小的x坐標的平均值來作為中心x坐標，求出最大的y坐標和最小的y坐標的平均值來作為中心y坐標。

接著，幾何學配置檢測部111判定中心x坐標是否在xmax/4以上且在3×xmax/4以下(s315)。

在s315中為是的情況下，幾何學配置檢測部111判定中心y坐標是否在ymax/4以上且在3×ymax/4以下(s316)。

在s316中為是的情況下，幾何學配置檢測部111判定連結(jié)區(qū)域是否離開圖像端(s317)。具體而言，判定所選擇的連結(jié)區(qū)域的最大的x坐標是否與圖像右端的x坐標(圖像寬度-1)一致，最小的x坐標是否與圖像左端的x坐標(0)一致，最大的y坐標是否與圖像下端的y坐標(圖像高度-1)一致，最小的y坐標是否與圖像上端的y坐標(0)一致。并且，若至少一個為是，則判定為連結(jié)區(qū)域毗連圖像端(未離開圖像端)，若全部為否，則判定為離開圖像端。

在s317中為是的情況下，幾何學配置檢測部111將選擇的連結(jié)區(qū)域提取為特征區(qū)域(s318)。然后，確認是否存在未選擇的連結(jié)區(qū)域(s319)。另一方面，在s315、s316、s317的任意一步中為否的情況下，不將選擇的連結(jié)區(qū)域提取為特征區(qū)域，而是確認是否存在未選擇的連結(jié)區(qū)域(s319)。

然后，幾何學配置檢測部111在存在未選擇的連結(jié)區(qū)域的情況下，選擇未選擇的一個連結(jié)區(qū)域(s320)。另一方面，在不存在未選擇的連結(jié)區(qū)域的情況下，幾何學配置檢測部111結(jié)束特征區(qū)域提取處理并進行圖4的s4的處理，檢測表示拍攝對象物和背景的邊界的概率較高的、連接成線段狀的邊緣像素組。

圖38的(5)表示在s315或者s316中判定為否的連結(jié)區(qū)域。圖38的(5)所示的連結(jié)區(qū)域是中心坐標靠近圖像端的區(qū)域，作為矩形狀的拍攝對象物以外的背景部分、或者描繪于拍攝對象物的端部的小區(qū)域的可能性較高。因此，不將圖38的(5)所示的連結(jié)區(qū)域提取為特征區(qū)域。

此外，圖38的(6)表示在s317中判定為否的連結(jié)區(qū)域。圖38的(6)所示的連結(jié)區(qū)域是毗連圖像端的區(qū)域，作為拍攝對象物以外的背景部分的可能性較高。因此，不將圖38的(6)所示的連結(jié)區(qū)域提取為特征區(qū)域。

圖38的(7)是從(4)所示的圖像除去了(5)和(6)的區(qū)域的區(qū)域，表示提取為特征區(qū)域的區(qū)域。如圖示，可知包含拍攝對象物和背景的邊界區(qū)域被提取為特征區(qū)域。

(3-4)幾何學配置檢測部的其他的處理例(其2)

幾何學配置檢測部111也可以通過與s2～s4的處理獨立地進行以下那樣的處理，來求出與成為拍攝對象物和背景的邊界的連接成線段狀的邊緣像素組對應的直線式。

即，幾何學配置檢測部111從拍攝圖像數(shù)據(jù)中檢測連接成線段狀的邊緣像素的組(進行直線識別)，并將檢測到的邊緣像素的組看作拍攝對象物和背景的邊界。

首先，幾何學配置檢測部111對由拍攝部101拍攝的、顯示在顯示部105中的圖像數(shù)據(jù)進行光柵掃描。這里，如圖17所示，將光柵掃描的順方向設為x方向，將與x方向垂直的方向設為y方向。此外，將拍攝圖像中左上角設為原點。

進行1行的掃描，若不存在邊緣，則幾何學配置檢測部111對向y方向偏移了規(guī)定量的下一行進行掃描。另外，行間的間隔固定即可，無需是1個像素。

然后，幾何學配置檢測部111將光柵掃描中最初檢測到邊緣的行設為l1(第1行)，如圖18所示，將在順方向上判定為最初的邊緣的點的坐標存放于第1組(第1邊緣像素組)，將在相同的行上判定為第2個邊緣的點的坐標分類在第2組(第2邊緣像素組)。繼續(xù)進行下一行的掃描，檢測邊緣。然后，針對各行l(wèi)i，求出在順方向上第一個判定為拍攝對象物的邊緣的點與第2個判定為拍攝對象物的邊緣的點的x坐標值的差分(x坐標的距離di)，并如下述那樣進行判定。

另外，將行l(wèi)i中的最初的邊緣的x坐標設為xi1(分類在第1組x坐標)，將第2個邊緣的x坐標設為xi2(分類在第2組的x坐標)。檢測方法如以下。

(a)不變更第1行(l1)的坐標x11和x12。

(b)針對第2行以后的第i行，計算坐標間的距離di1(＝xi1-x(i-1)1)和di2(相同)。以下，為了對di1敘述而省略下標1，di2也相同。

(c)第3行以后的第i行計算ddi＝abs{(di)-di-1}。若ddi≦th1(≒接近0的小的數(shù)值)，則坐標xi分類在相同的組。若不是這種情況(ddi＞th1)，則分類在其他組(第3組(第3邊緣像素組)或者第4組(第4邊緣像素組))。

(d)作為初始處理僅在i＝4時，進行用于確定x2的組的處理。按照以下進行。

i)dd3≦th1且dd4≦th1→x2：同組

ii)dd3＞th1且dd4≦th1→x2：其他組

iii)dd3≦th1且dd4＞th1→x2：同組

iv)dd3＞th1且dd4＞th1→x2：同組

在一旦遷移到其他組(第3組或者第4組)的情況下，無需進行增減的確認。

在圖像整體中進行這樣的處理，提取屬于各組的邊緣像素。然后，按照各邊緣像素組，利用最小2乘法等對屬于該邊緣像素組的邊緣像素的坐標進行直線近似，求出與屬于該邊緣像素組的邊緣像素近似的直線。這里，當針對各邊緣像素組而求出的近似直線與該邊緣像素組所包含的邊緣像素的距離的平方和的平均在規(guī)定閾值以下的情況下，幾何學配置檢測部111能夠判斷為邊緣像素組排列成線段狀，并繼續(xù)進行以下的處理。由此，幾何學配置檢測部111能夠檢測被推斷為拍攝對象物和背景的邊界且連接成線段狀的邊緣像素組。而且，幾何學配置檢測部111將針對檢測到的各邊緣像素組而求出的近似直線作為與成為拍攝對象物和背景的邊界的四邊對應的直線即可。

圖19是通過上述那樣的處理，利用光柵掃描提取邊緣點，并分類在4個邊緣像素組時的圖。在圖中，圓符號表示屬于第1組的邊緣像素，四邊符號表示屬于第2組的邊緣像素，三角符號表示屬于第3組的邊緣像素，星符號表示屬于第4組的邊緣像素，以虛線表示利用最小2乘法而求出的、屬于各邊緣像素組的邊緣像素的近似直線。

另外，也可以對旋轉(zhuǎn)了90度的圖像進行上述的分類處理。通過這種方式，理想上也能夠提取平行于圖像內(nèi)的水平方向、垂直方向而配置的這樣的原稿的邊緣像素組。即，通過進行光柵掃描，能夠在旋轉(zhuǎn)前的圖像中檢測垂直方向的邊緣。另一方面，能夠在旋轉(zhuǎn)后的圖像中檢測旋轉(zhuǎn)前呈水平方向的邊緣像素組(旋轉(zhuǎn)后呈垂直方向的邊緣)。由此，也能夠提取與垂直方向、水平方向平行的邊緣。若在旋轉(zhuǎn)前具有足夠的信息量(在各組例如有3點以上的交點)，則僅使用旋轉(zhuǎn)前的信息即可，在任意一組的交點小于1點的情況下，當然求不出直線式，所以使用旋轉(zhuǎn)后的交點即可。

或者也可以僅對求出的交點坐標再次進行坐標轉(zhuǎn)換后返回到原來，并根據(jù)各組分布的區(qū)域求出對應的組，將交點信息統(tǒng)一，來求出直線式。即，根據(jù)從旋轉(zhuǎn)前的圖像求出的交點坐標和對從旋轉(zhuǎn)后的圖像求出的交點進行逆旋轉(zhuǎn)而得到的交點坐標，對屬于相同組的復原坐標進行統(tǒng)一來求出直線方程式即可。

另外，作為邊緣像素的提取方法，對在至少1個以上的像素寬度的小窗口內(nèi)的像素值直接地比較(在2個以上的寬度的情況下比較和、平均值)，當鄰接的值的差分在一定以上的情況下，判斷為是邊緣像素即可。另外，為了防止誤檢測背景、拍攝對象物內(nèi)的文本邊緣等，也可以僅將規(guī)定長度以上的邊緣像素組檢測為拍攝對象物的邊緣。該情況下，所謂規(guī)定長度，例如設定拍攝范圍的外框邊的長度的80％左右的長度即可。作為這種檢測方法，例如，能夠使用日本國公開專利公報“日本特開2006-237757”中記載的技術?；蛘?，即使進行各坐標組的評價，或進行用于線段檢測的處理(霍夫轉(zhuǎn)換等)也能夠防止。另外，通過進行使用了縮小圖像的處理來作為預處理，能夠防止誤檢測文本、細微紋理的邊緣。

(3-5)幾何學配置檢測部的其他處理例(其3)

在上述的(3-2)(3-3)(3-4)中所示的、表示拍攝對象物和背景的邊界的概率較高的連接成線段狀的邊緣像素組的檢測方法中，分別具有特征。例如，在(3-2)所示的檢測方法中，作為拍攝對象物，幾何學配置檢測部111不僅能夠檢測字符原稿，還能夠檢測插圖原稿、照片等，但是針對在拍攝對象物的周邊具有圖案、物體的拍攝圖像(通過canny濾波器，拍攝對象物和背景的邊緣連系的拍攝圖像)，難于準確地檢測表示拍攝對象物和背景的邊界的邊緣像素組。此外，在(3-3)所示的檢測方法中，即使是在拍攝對象物的周邊具有圖案、物體的拍攝圖像，幾何學配置檢測部111也能夠檢測原稿，但是針對插圖原稿、寫真這樣的拍攝圖像(canny濾波器中邊緣中斷的拍攝圖像)，有時無法檢測表示拍攝對象物和背景的邊界的邊緣像素組。

于是，由于根據(jù)上述的(3-2)(3-3)(3-4)的提取方法，存在這樣的特征差異，所以幾何學配置檢測部111也可以對一個拍攝圖像應用多個檢測方法。例如，對一個拍攝圖像，按照(3-2)、(3-3)、(3-4)的順序執(zhí)行處理，采用在最初提取出了成為拍攝對象物和背景的邊界的三邊或者四邊的處理中生成的提取結(jié)果信息。

此外，若拍攝對象物和便攜終端裝置100分別是靜止狀態(tài)，則在由拍攝部101連續(xù)拍攝的拍攝圖像(預覽用的幀)中幾乎沒有差異。因此，幾何學配置檢測部111也可以對各個連續(xù)拍攝的拍攝圖像應用從(3-2)(3-3)(3-4)的多個檢測方法選擇出的一個。

圖39是表示對拍攝圖像應用的檢測方法的決定處理的流程圖。對多個檢測方法預先賦予表示選擇順序的選擇標號。首先，幾何學配置檢測部111選擇選擇標號是第1個的檢測方法，使用選擇的檢測方法來生成提取結(jié)果信息(s390)。例如，選擇(3-2)所示的檢測方法。

接著，幾何學配置檢測部111確認針對目前的拍攝圖像(幀)的提取結(jié)果信息，并判斷對拍攝對象物和背景的邊界的檢測是否成功(s391)。幾何學配置檢測部111在提取結(jié)果信息表示無法適當?shù)靥崛∨臄z對象物和背景的邊界這一意思的情況下判斷為檢測失敗，在不是這樣的情況下，判斷為檢測成功即可。

在檢測成功的情況下(s391中為是)，幾何學配置檢測部111將上次檢測成功標示變成開(s392)。然后，移至s398的處理。

另一方面，在檢測失敗的情況下(s391中為否)，幾何學配置檢測部111確認上次檢測成功標示是否為開(s393)。在上次檢測成功標示為開的情況下(s393中為是)，幾何學配置檢測部111將上次檢測成功標示變更成關(s394)。另一方面，在上次檢測成功標示為關的情況下(s393中為否)，幾何學配置檢測部111確認是否存在選擇標號為下一個的檢測方法(s395)。在存在下一個檢測方法的情況下(s395中為是)，選擇該檢測方法(s396)，在不存在下一個檢測方法的情況下(s395中為否)，選擇第一個檢測方法(s397)。然后，移至s398的處理。

接著，在s398中，幾何學配置檢測部111確認是否需要繼續(xù)進行拍攝圖像的顯示。例如，在未輸入文件拍攝模式的結(jié)束指示等的情況下，判斷為需要繼續(xù)進行拍攝圖像的顯示即可。

在s398為是的情況下，幾何學配置檢測部111利用所選擇的檢測方法，對下一個拍攝圖像(幀)進行檢測處理(s399)。然后，返回至s391的處理。

圖40是表示根據(jù)圖39的流程圖來決定檢測方法的例子的圖。如圖示那樣，幾何學配置檢測部111使用選擇標號為第一個的檢測方法，針對最初的拍攝圖像(第1幀)生成提取結(jié)果信息。另外，上次檢測成功標示設定為在開始了文件拍攝模式的定時變成關。因此，在檢測失敗的情況下，通過s396，選擇第2個檢測方法，來作為對下一個拍攝圖像(第2幀)使用的檢測方法。

然后，幾何學配置檢測部111對第2個拍攝圖像(第2幀)使用第2個檢測方法，來生成提取結(jié)果信息。這里，若檢測成功，則通過s392，將上次檢測成功標示設定成開。

然后，在使用第2個檢測方法對第3個拍攝圖像(第3幀)檢測成功了的情況下，由于檢測成功，所以第2個檢測方法保持被選擇，對第4個拍攝圖像(第4幀)也使用第2個檢測方法執(zhí)行檢測處理。即使對第4個拍攝圖像檢測失敗，由于上次檢測成功標示為開(s393中為是)，所以也不進行檢測方法的變更。因此，對第5個拍攝圖像(第5幀)也使用第2個檢測方法執(zhí)行檢測處理。但是，由于檢測失敗，所以上次檢測成功標示被切換成關。

然后，若對第5個拍攝圖像檢測失敗，則由于上次檢測成功標示為關，所以通過s396，選擇下一個檢測方法(即第3個檢測方法)，來作為對下一個拍攝圖像(第6幀)使用的檢測方法。

這樣，在通過第1個檢測方法對第1幀提取失敗的情況下，通過第2個檢測方法對下一個第2幀執(zhí)行檢測處理。此外，在通過第2個檢測方法對第5幀檢測失敗的情況下，通過第3個檢測方法對下一個第6幀執(zhí)行檢測處理。即，在對處理對象的拍攝圖像的之前的拍攝圖像的檢測處理為失敗的情況下，使用與對該之前的拍攝圖像使用的檢測方法不同的檢測方法，來對處理對象的拍攝圖像進行檢測處理。由此，能夠選擇與拍攝圖像的類型對應的最合適的檢測方法。

但是，如圖39、40所示，在一旦檢測成功的情況下，即使檢測失敗一次，也不變更檢測方法，在檢測連續(xù)地失敗兩次的情況下，變更檢測方法。由此，即使在因手抖等某種理由導致偶爾檢測失敗的情況下，也不變更檢測方法。

(3-6)顯示處理部的其他處理例

在上述的(3-2)的s6中，顯示處理部112按照各拍攝圖像，將連接根據(jù)該拍攝圖像生成的提取結(jié)果信息所表示的4個頂點坐標的四邊形的線作為拍攝對象物的輪廓線，與該拍攝圖像重疊地顯示。

但是，在按照各連續(xù)拍攝的拍攝圖像而顯示了拍攝對象物的輪廓線的情況下，由于拍攝對象物和背景的配置、對比度、照明狀態(tài)、手抖等原因，提取結(jié)果信息中表示的4個頂點坐標有可能按照各拍攝圖像而變化較大。該情況下，由于導致輪廓線閃動較大，所以顯示處理部112也可以進行以下那樣的處理。

顯示處理部112具有：存儲顯示用4頂點坐標的功能、以及對上次的拍攝圖像(幀)設定表示4個頂點坐標的檢測是否成功的幀跳躍標示的功能。另外，在起動了文件拍攝模式的定時，顯示處理部112將幀跳躍標示設定成關。此外，在結(jié)束了文件拍攝模式的定時，顯示處理部112消除顯示用4頂點坐標。因此，在起動了文件拍攝模式時，顯示處理部112存儲被設定成關的幀跳躍標示，未存儲顯示用4頂點坐標。

在圖13所示的s611中，顯示處理部112也可以進行圖41所示的輪廓線顯示處理。圖41表示在本變形例中通過s611進行的輪廓線顯示處理例的流程圖。另外，s611是在4個頂點坐標全部在拍攝范圍內(nèi)的情況下(設置了全部頂點坐標的標示的情況下(在圖13的s610中為是的情況))實施的處理。

首先，顯示處理部112確認是否存儲有顯示用4頂點坐標(s621)。在未存儲顯示用4頂點坐標的情況下(s621中為否)，顯示處理部112將提取結(jié)果信息中表示的4個頂點坐標決定為顯示用4頂點坐標(s622)。另一方面，在存儲有顯示用4頂點坐標的情況下(s621中為是)，顯示處理部112針對左上、右上、左下、右下的各頂點，求出存儲的顯示用4頂點坐標與提取結(jié)果信息中表示的各頂點坐標的中點坐標，并將該4個中點坐標決定為新的顯示用4頂點坐標(s623)。

然后，顯示處理部112存儲新決定的顯示用4頂點坐標(保存)(s624)，并將幀跳躍標示設定成開(s625)。然后，顯示處理部112基于通過s624存儲的顯示用4頂點坐標，來顯示拍攝對象物的輪廓線(s626)。

根據(jù)圖41所示的處理，存儲基于針對上次的幀的拍攝圖像生成的提取結(jié)果信息而生成的顯示用4頂點坐標。然后，將針對此次的幀的拍攝圖像而生成的提取結(jié)果信息中表示的4頂點坐標與該顯示4頂點坐標的中點坐標更新為新的顯示用4頂點坐標，并基于此來顯示輪廓線。因此，在連續(xù)顯示的多個拍攝圖像(幀)中，即使因某種原因?qū)е绿崛〗Y(jié)果信息中表示的4個頂點坐標按照各拍攝圖像變化較大，也能夠防止輪廓線的閃動。

此外，在圖13的s612中為否、在s614中為否、或者在s615中為否的情況下(在提取結(jié)果信息中表示的4頂點坐標不處于圖像范圍內(nèi)的情況下)，顯示處理部112進行圖42所示的處理。

首先，顯示處理部112確認幀跳躍標示是否為開(s631)。在幀跳躍標示為開的情況下(s631中為是)，顯示處理部112確認存儲有顯示用4頂點坐標(s632)。在存儲有顯示用4頂點坐標的情況下(s632中為是)，顯示處理部112維持顯示用4頂點坐標地(s633)移至s635。另一方面，在未存儲有顯示用4頂點坐標的情況下(s632中為否)，移至s635。然后，在s635中，將幀跳躍標示設定成關。

另一方面，在幀跳躍標示為關的情況下(s631中為否)，顯示處理部112消除存儲的顯示用4頂點坐標(s634)。

然后，在s636中，顯示處理部112基于顯示用4頂點坐標而使輪廓線顯示。但是，在未存儲顯示用4頂點坐標的情況下，不顯示輪廓線。然后，返回至圖13的s617的處理。

圖43是表示根據(jù)圖41和圖42的處理，顯示處理部112進行了動作時的顯示部105的畫面例的圖。s1到s6的處理是針對連續(xù)拍攝的各拍攝圖像(幀)而執(zhí)行的。圖43表示從第1個幀(第1幀)到第6個幀(第6幀)的拍攝圖像的顯示例。

在圖43的例子中，由于針對剛起動了文件拍攝模式后的第1幀的提取結(jié)果信息中表示的4個頂點坐標在拍攝范圍內(nèi)，所以按照圖41的s622，將該4個頂點坐標存儲為顯示用4頂點坐標。因此，顯示使用了該4個頂點坐標的輪廓線。

此外，由于針對第2幀的提取結(jié)果信息中表示的4個頂點坐標也在拍攝范圍內(nèi)，所以按照圖41的s623，將第1幀時存儲的顯示用4頂點坐標和該4個頂點坐標的中點存儲為新的顯示用4頂點坐標。然后，顯示使用了該中點的輪廓線。

接著，假設在針對第3幀的提取結(jié)果信息中示出無法正常地提取4個各頂點坐標。該情況下，執(zhí)行圖42的處理。這里，在第2幀中幀跳躍標示被設定成開，并保存有顯示用4頂點坐標。因此，通過s636，基于該顯示用4頂點坐標來顯示輪廓線。此時，將幀跳躍標示變更成關。

這樣，即使在連續(xù)顯示的拍攝圖像的中途的1個幀中4頂點坐標的提取處理失敗，在畫面上也顯示與上次的幀相同的輪廓線，從而能夠抑制看上去的閃動。

由于拍攝圖像是連續(xù)拍攝的圖像，所以通常拍攝對象物的位置沒有較大的變化。但是，存在因照明狀態(tài)僅使某個幀的拍攝圖像的邊緣沒有順利地連接，作為結(jié)果判斷為4頂點坐標均不處于拍攝范圍內(nèi)，或者因手抖等使位置偏移，而判斷為4頂點坐標均不處于拍攝范圍內(nèi)的情況。即使是這樣的情況，通過直接地顯示在前一個幀的拍攝圖像中顯示的顯示用4頂點坐標(無視僅1幀的提取失敗)，能夠減輕閃動。

接著，若針對第4幀的提取結(jié)果信息中表示的4個頂點坐標在拍攝范圍內(nèi)，則移至圖41的流程，通過s623，將第2幀時存儲的顯示用4頂點坐標與該4個頂點坐標的中點存儲為新的顯示用4頂點坐標。然后，顯示使用了該中點的輪廓線。這時，將幀跳躍標示變更成開。

接著，假設在針對第5幀的提取結(jié)果信息中示出無法正常地提取4個各頂點坐標。該情況下，執(zhí)行與第3幀相同的顯示處理。

接著，假設在針對第6幀的提取結(jié)果信息中也示出無法正常地提取4個各頂點坐標。該情況下，執(zhí)行圖42的處理，由于在第5幀中幀跳躍標示被變更成關，所以通過s634，消除所保存的顯示用4頂點坐標。因此，顯示處理部112不進行輪廓線的顯示。這樣，在從顯示有輪廓線的狀態(tài)(第4幀的階段)開始4頂點坐標的提取處理2幀以上連續(xù)地失敗的情況下，不再顯示輪廓線，所以能夠掌握無法識別拍攝對象物的情況。

另外，在圖42和圖43所示的例子中，無視針對1幀的拍攝圖像的4頂點坐標的提取失敗，但是也可以設置計數(shù)器來對失敗的幀數(shù)進行計數(shù)，并無視多個幀的提取失敗。

(4)關于輸出對象圖像數(shù)據(jù)向圖像形成裝置的傳輸

用戶把持便攜終端裝置100來到圖像形成裝置200或者圖像顯示裝置300的附近，操作便攜終端裝置100，并使用紅外線通信這樣的近距離無線通信方式來使輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200或者圖像顯示裝置300。具體而言，用戶向便攜終端裝置100的輸入部106輸入輸出對象圖像數(shù)據(jù)的發(fā)送指示。

若輸入了輸出對象圖像數(shù)據(jù)的發(fā)送指示，則控制部109確定存放在存儲部108中的輸出對象圖像數(shù)據(jù)。然后，控制部109使通信部104執(zhí)行將輸出對象圖像數(shù)據(jù)發(fā)送給圖像形成裝置200或者圖像顯示裝置300的發(fā)送處理。另外，通信部104一同發(fā)送輸出對象圖像數(shù)據(jù)、與輸出對象圖像數(shù)據(jù)建立對應的文件名、輸出處理信息、以及存放在存儲部108中的機種信息和用戶信息。

(5)圖像形成裝置的構成

接著，對本實施方式所涉及的圖像形成裝置200的構成進行說明。在本實施方式中，圖像形成裝置200是具備掃描儀、打印機、復寫機等的功能的復合機。

圖20是表示圖像形成裝置200的構成的框圖。圖像形成裝置200具備圖像讀取部201、圖像處理部202、認證部203、圖像形成部204、顯示部205、輸入部206、第1通信部207、第2通信部208、記錄介質(zhì)訪問部209、存儲部210以及控制部212。

圖像讀取部201讀取原稿，其具有具備ccd(chargecoupleddevice)的掃描部，將從原稿反射來的光轉(zhuǎn)換成被色分解成rgb的電信號(模擬的圖像信號)，并將該電信號輸出。

圖像處理部202對圖像數(shù)據(jù)進行規(guī)定的圖像處理。在本實施方式中，圖像處理部202對從便攜終端裝置100或者圖像顯示裝置300接收到的輸出對象圖像數(shù)據(jù)進行規(guī)定的圖像處理，生成已校正圖像數(shù)據(jù)。之后對圖像處理部202中的圖像處理詳細地進行敘述。

在進行從便攜終端裝置100或者圖像顯示裝置300接收到的輸出對象圖像數(shù)據(jù)的輸出處理時，認證部203進行用戶認證。具體而言，認證部203對照從便攜終端裝置100接收到的用戶信息和輸入至輸入部206的用戶信息(用戶id和密碼)來進行用戶認證。認證部203將認證結(jié)果發(fā)送至控制部212。

圖像形成部204使用例如電子照相方式或噴墨方式，在紙等記錄紙張上形成圖像。即，圖像形成部204執(zhí)行將已校正圖像數(shù)據(jù)中表示的圖像打印到記錄紙張或ohp紙張等記錄紙上的打印處理，來作為輸出處理之一。

顯示部205例如由液晶顯示器等構成。此外，輸入部206用于通過按下例如液晶顯示器的觸摸面板、按鈕等，來進行數(shù)據(jù)的輸入。

第1通信部207具有進行基于usb1.1或者usb2.0的標準的串行傳輸、并行傳輸?shù)臒o線數(shù)據(jù)通信功能。第1通信部207從便攜終端裝置100或者圖像顯示裝置300接收被附加了文件名、便攜終端裝置100的機種信息、用戶信息以及輸出處理信息的輸出對象圖像數(shù)據(jù)。

第2通信部208具有以下功能，即、(a)利用了作為無線lan的標準的、基于ieee802.11a、ieee802.11b以及ieee802.11g的任意一種的無線技術的數(shù)據(jù)通信；(b)具有利用了以太網(wǎng)(注冊商標)的通信用接口的功能、且與經(jīng)由lan電纜的網(wǎng)絡的數(shù)據(jù)通信；(c)利用了作為無線通信標準的、基于ieee802.15.1(所謂的bluetooth(注冊商標))、irsimple等紅外線通信標準、felica(注冊商標)等通信方式的任意一種的無線技術的數(shù)據(jù)通信。

第2通信部208執(zhí)行將由圖像處理部202實施了規(guī)定的圖像處理的已校正圖像數(shù)據(jù)存放到服務器的歸檔處理、或者發(fā)送添加有實施了該規(guī)定的圖像處理的已校正圖像數(shù)據(jù)的郵件的郵件發(fā)送處理，來作為輸出處理。

記錄介質(zhì)訪問部209從記錄了程序的記錄介質(zhì)中讀出程序。存儲部210用于存儲用于上述各部執(zhí)行處理的程序。

控制部212進行圖像形成裝置200的各部的控制。具體而言，若第1通信部207從便攜終端裝置100或者圖像顯示裝置300接收到輸出對象圖像數(shù)據(jù)，則控制部212將該輸出對象圖像數(shù)據(jù)輸出至圖像處理部202，使其執(zhí)行圖像處理。此外，控制部212將附加于輸出對象圖像數(shù)據(jù)的用戶信息輸出至認證部203，使認證部203執(zhí)行認證處理?？刂撇?12若從認證部203接受到認證成功的認證結(jié)果，則按照賦給輸出對象圖像數(shù)據(jù)的輸出處理信息執(zhí)行處理。即，在輸出處理信息表示打印處理的情況下，控制部212使圖像形成部204執(zhí)行基于由圖像處理部202生成的已校正圖像數(shù)據(jù)的打印。此外，在輸出處理信息表示歸檔處理或者郵件發(fā)送處理的情況下，控制部212使第2通信部208執(zhí)行基于由圖像處理部202生成的已校正圖像數(shù)據(jù)的歸檔處理或者郵件發(fā)送處理。

(6)關于圖像處理部中的圖像處理

接著，對圖像處理部202執(zhí)行的圖像處理詳細地進行說明。另外，圖像處理部202針對圖像讀取部201讀取的圖像數(shù)據(jù)也進行圖像處理，這里，對針對從便攜終端裝置100或者圖像顯示裝置300接收到的輸出對象圖像數(shù)據(jù)的圖像處理的內(nèi)容進行說明。

圖21是表示圖像處理部202的內(nèi)部構成的框圖。如圖12所示，圖像處理部202具備：畫質(zhì)調(diào)整部221，幾何學校正部(映射生成部)222、透鏡畸變校正部223、高分辨率校正部225以及輸出圖像處理部224。以下，按照順序?qū)Ω鞑康木唧w處理內(nèi)容進行說明。

(6-1)畫質(zhì)調(diào)整部

畫質(zhì)調(diào)整部221進行輸出對象圖像數(shù)據(jù)的色彩平衡、對比度的校正。畫質(zhì)調(diào)整部221針對接收到的輸出對象圖像數(shù)據(jù)，求出各顏色通道的最大值、最小值，作成將它們集中那樣的查找表，并應用于各顏色通道。具體而言，如圖22所示，畫質(zhì)調(diào)整部221作成在某個通道的最大值為mx，最小值為mn，且數(shù)據(jù)為8bit時，從mn開始通過(mx-mn)/255的步驟而增加那樣的表格，來作為查找表即可。然后，畫質(zhì)調(diào)整部221按照作成的表格，來轉(zhuǎn)換各像素值。由此，校正色彩平衡。

此外，畫質(zhì)調(diào)整部221也以相同的方法執(zhí)行對比度的校正。另外，若無需改變色彩平衡，則將應用于各顏色通道的查找表設為同樣即可。

另外，關于色彩平衡、對比度的校正方法，也可以應用其他公知的技術。

(6-2)透鏡畸變校正部

透鏡畸變校正部223針對輸出對象圖像數(shù)據(jù)，執(zhí)行透鏡畸變的校正。

透鏡畸變校正部223針對輸出對象圖像數(shù)據(jù)，通過與上述的(3-3)中記載的處理相同的處理，利用光柵掃描來依次檢測拍攝圖像中的拍攝對象物的邊緣像素。然后，透鏡畸變校正部223對檢測到的邊緣像素進行曲線近似，根據(jù)該曲線式來進行透鏡畸變校正。

具體而言，透鏡畸變校正部223對檢測到的拍攝對象物的邊緣像素進行檢測，并與上述的(3-3)中記載處理相同地將各邊緣像素分類在與拍攝對象物和背景的邊界的4邊對應的4個邊緣像素組。然后，如圖23的實線所示，對屬于各組的邊緣點進行2次曲線近似。通過這種方式針對4個組求出的2次曲線與拍攝對象物的4邊對應。此外，透鏡畸變校正部223求出與由4條2次曲線包圍的區(qū)域的角部相當?shù)摹?條2次曲線的交點。接著，透鏡畸變校正部223求出與針對各邊求出的2次曲線外接、且與連結(jié)4個交點的四邊形(在圖23中用虛線表示)相似的外接四邊形(在圖23中用單點劃線表示)。然后，透鏡畸變校正部223對拍攝圖像中的拍攝對象物的區(qū)域內(nèi)的像素位置進行轉(zhuǎn)換，以使得通過這種方式求出的外接四邊形成為校正后的對象物的邊緣像素的位置。該轉(zhuǎn)換基于從基準點(例如拍攝對象物的區(qū)域的重心點)開始的向量進行計算即可。由此，能夠校正基于便攜終端裝置100的拍攝部101的透鏡畸變。

作為透鏡畸變的校正的方法，并不局限于上述的方法，能夠使用公知的技術。

(6-3)幾何學校正部

幾何學校正部222針對海報、原稿紙張這樣的矩形狀的拍攝對象物，校正因從與形成了文件圖像的平面的法線方向不同的方向拍攝而引起的拍攝對象物的畸變(即，形成了文件圖像的矩形狀的平面的畸變)，并且校正圖像數(shù)據(jù)中的拍攝對象物的傾斜。

具體而言，幾何學校正部222與幾何學配置檢測部111相同地，基于輸出對象圖像數(shù)據(jù)，求出與成為矩形的拍攝對象物和背景的邊界的4個邊緣像素組對應的直線式。然后，幾何學校正部222確定由該4條直線圍成的四邊形的區(qū)域(校正前區(qū)域)，并切出所確定的校正前區(qū)域。

接著，如圖24那樣，幾何學校正部222求出用于將確定的四邊形的校正前區(qū)域(在圖24中用單點劃線表示)轉(zhuǎn)換成上下2邊在水平方向上大致平行且具有規(guī)定的縱橫比和大小的矩形狀的標準區(qū)域(例如，若是用于商務文件出的a判b判，則是7：10等。在圖24中用實線表示)的映射。另外，標準區(qū)域的上下2邊也可以不與水平方向完全平行，可以相對于水平方向具有規(guī)定范圍內(nèi)的一點角度(可以大致平行)。這里，所謂映射，是指用于從校正前區(qū)域的各像素的坐標(x1，y1)向與標準區(qū)域?qū)南袼氐淖鴺?x2，y2)進行映射轉(zhuǎn)換(坐標轉(zhuǎn)換處理)的標準fx、fy，以x2＝fx(x1、y1)、y2＝fy(x1、y1)表示。作為該映射轉(zhuǎn)換能夠使用公知的技術。另外，幾何學校正部222可以以與預先存儲在存儲部210中的縱橫比一致的方式進行轉(zhuǎn)換，也可以以與輸入到輸入部206的縱橫比一致的方式進行轉(zhuǎn)換。此外，作為標準區(qū)域的大小，可以設定輸入到輸入部206的大小，也可以設定成為與校正前區(qū)域相同的面積這樣的大小。

接著，幾何學校正部222按照求出的映射，對從輸出對象圖像數(shù)據(jù)切出的校正前區(qū)域進行坐標轉(zhuǎn)換。由此，能夠進行幾何學畸變和傾斜的校正(以下，存在稱為幾何學校正的情況)。

作為幾何學校正的方法，并不局限于上述的方法，能夠使用公知的技術。

(6-4)高分辨率校正部

高分辨率校正部225進行針對輸出對象圖像數(shù)據(jù)的高分辨率校正。在本實施方式中，高分辨率校正部225基于一個輸出對象圖像數(shù)據(jù)來進行高分辨率校正。

關于根據(jù)1個圖像數(shù)據(jù)的高分辨率圖像作成方法，介紹了映像信息媒介學會刊vol.62，no.2，pp.181～189(2008)中若干的方法。

一般而言，通過檢測圖像圖案的邊緣方向性，進行與該方向一致的內(nèi)插，并且進行以除去因內(nèi)插引起的畸變、存在于輸入圖像中的噪聲成分的影響等為目的的噪聲除去處理，能夠執(zhí)行高分辨率校正。以下，具體地進行說明。

圖25是表示本實施方式中的高分辨率校正的處理的流程的流程圖。這里，對分別針對橫向、縱向進行2倍的分辨率轉(zhuǎn)換的例子進行說明。在進行2倍的分辨率轉(zhuǎn)換的情況下，當將為校正對象的輸出對象圖像數(shù)據(jù)的像素數(shù)設為n×m時，校正后的高分辨率圖像數(shù)據(jù)的像素數(shù)成為2n×2m。通過將輸出對象圖像數(shù)據(jù)中的各像素作為基準像素，在該基準像素間的中央生成新的像素來作為內(nèi)插像素，并生成具備該基準像素和內(nèi)插像素的雙方的圖像數(shù)據(jù)來作為高分辨率圖像數(shù)據(jù)，來執(zhí)行這種高分辨率校正(2倍的分辨率轉(zhuǎn)換)。圖26表示基準像素和內(nèi)插像素的關系，像素a表示基準像素，像素b表示內(nèi)插像素。

首先，高分辨率校正部225針對輸出對象圖像數(shù)據(jù)進行邊緣提取。例如，高分辨率校正部225使用如圖27所示那樣的1階微分濾波器來進行邊緣提取，并進行2值化處理，生成2值化圖像數(shù)據(jù)(s40)。另外，若在2值化圖像數(shù)據(jù)中像素值為1，則表示是為邊緣的可能性較高的像素。

接著，高分辨率校正部225基于在s40中生成的2值化圖像數(shù)據(jù)，判定拍攝圖像數(shù)據(jù)中的關注像素是否是邊緣(s41)。具體而言，若與2值化圖像數(shù)據(jù)中的關注像素對應的像素的值為1，則高分辨率校正部225判定為該關注像素是邊緣。

另外，所謂關注像素，是指按照任意的順序關注拍攝圖像數(shù)據(jù)中的各像素時的關注的像素。

在關注像素是邊緣的情況下(s41中為是)，高分辨率校正部225使用包含關注像素的n×n(n＞1)的部分圖像來檢測邊緣方向(s42)。具體而言，針對n×n的部分圖像所包含的全部的基準像素，判定是否是邊緣像素。然后，在關注像素的左上的基準像素和右下的基準像素是邊緣像素的情況下，高分辨率校正部225判定為部分圖像中的邊緣方向是左上-右下方向。相同地，在關注像素的左邊的基準像素和右邊的基準像素是邊緣像素的情況下，判定為邊緣方向是左-右方向，在關注像素的上邊的基準像素和下邊的基準像素是邊緣像素的情況下，判定為邊緣方向是上-下方向，在關注像素的右上的基準像素和左下的基準像素是邊緣像素的情況下，判定為邊緣方向是右上-左下方向。

在圖28中，虛線表示檢測到的邊緣方向。另外，在圖28中，像素(1)～(9)是基準像素，其中的像素(5)是關注像素。而且，像素a、b、c分別是基準像素(1)與(5)之間的內(nèi)插像素、基準像素(2)與(5)之間的內(nèi)插像素、基準像素(4)與(5)之間的內(nèi)插像素。

接著，高分辨率校正部225根據(jù)在s42中檢測到的邊緣方向，利用內(nèi)插求出關注像素的左上的內(nèi)插像素a、關注像素的上邊的內(nèi)插像素b、關注像素的左邊的內(nèi)插像素c的像素值。此時，使用沿著邊緣方向的基準像素來求出內(nèi)插像素的像素值。

在邊緣方向是左上-右下方向的情況下，如圖28的(a)所示，基準像素(1)、(5)、(9)是邊緣像素，連結(jié)這些像素的線成為邊緣線。然后，針對邊緣線上的內(nèi)插像素a的像素值va(圖中省略“v”的表記。以下相同)，使用與內(nèi)插像素a相鄰的邊緣線上的基準像素(1)(像素值v(1))和基準像素(5)(像素值v(5))的像素值，通過以下的式

va＝(v(1)+v(5))/2

來求出。

另一方面，針對不在邊緣線上的內(nèi)插像素b、c，使用在包含除去邊緣線上的基準像素的基準像素中的、與該內(nèi)插像素最近的基準像素(最接近基準像素)，且與邊緣方向平行的線上的基準像素，來進行內(nèi)插。例如，在圖28的(a)中，針對內(nèi)插像素b，包含作為最接近基準像素的基準像素(2)，且與邊緣方向平行的線是連結(jié)基準像素(2)和(6)的線。而且，從內(nèi)插像素b向該線垂直地作出的點將連結(jié)基準像素(2)和(6)的線段內(nèi)分。因此，內(nèi)插像素b的像素值vb使用以下的式

vb＝(9×v(2)+4×v(6))/13

來求出。

同樣地，內(nèi)插像素c的像素值vc使用作為最接近基準像素的基準像素(4)、和在包含該基準像素(4)且與邊緣方向平行的線上的基準像素(8)的像素值，通過以下的式

vc＝(9×v(4)+4×v(8))/13

來求出。

此外，在邊緣方向是左-右方向的情況下，如圖28的(b)所示，基準像素(4)、(5)、(6)是邊緣像素，連結(jié)這些像素的線成為邊緣線。而且，針對邊緣線上的內(nèi)插像素c的像素值vc，使用與內(nèi)插像素c相鄰的邊緣線上的基準像素(4)(像素值v(4))和基準像素(5)(像素值v(5))的像素值，通過以下的式

vc＝(v(4)+v(5))/2

來求出。

另一方面，針對不在邊緣線上的內(nèi)插像素a、b，使用在包含除去邊緣線上的基準像素的基準像素中的、與該內(nèi)插像素最近的基準像素(最接近基準像素)，且與邊緣方向平行的線上的基準像素，來進行內(nèi)插。例如，在圖28的(b)中，針對內(nèi)插像素a，包含作為最接近基準像素的基準像素(1)或者(2)，且與邊緣方向平行的線是連結(jié)基準像素(1)和(2)的線。而且，從內(nèi)插像素a向該線垂直地作出的點存在于基準像素(1)和(2)的中央。因此，內(nèi)插像素a的像素值va使用以下的式

va＝(v(1)+v(2))/2

來求出。

針對內(nèi)插像素b，包含作為最接近基準像素的基準像素(2)，且與邊緣方向平行的線是連結(jié)基準像素(1)、(2)以及(3)的線。而且，從內(nèi)插像素b向該線垂直地作出的點與基準像素(2)一致。因此，內(nèi)插像素b的像素值vb成為與基準像素(2)的像素值v(2)相同的值。

此外，在邊緣方向是右上-左下方向的情況下，如圖28的(c)所示，基準像素(3)、(5)、(7)是邊緣像素，連結(jié)這些像素的線成為邊緣線。而且，內(nèi)插像素a、b、c全部不存在于邊緣線上。

針對內(nèi)插像素a，最接近基準像素成為基準像素(1)、(2)、(4)。這里，基準像素(2)、(4)位于與邊緣方向平行的相同的線上，但是基準像素(1)不位于該線上。于是，針對內(nèi)插像素a的像素值va，使用作為最接近基準像素的基準像素(1)、(2)、(4)的像素值，通過以下的式

va＝(v(1)+v(2)+v(4))/3

來求出。

另一方面，針對內(nèi)插像素b、c，使用在包含除去邊緣線上的基準像素的基準像素中的、與該內(nèi)插像素最近的基準像素(最接近基準像素)、且與邊緣方向平行的線上的基準像素來進行內(nèi)插。例如，在圖28的(c)中，針對內(nèi)插像素b，包含作為最接近基準像素的基準像素(2)，且與邊緣方向平行的線是連結(jié)基準像素(2)和(4)的線。而且，從內(nèi)插像素b向該線垂直地作出的點將連結(jié)基準像素(2)和(4)的線段內(nèi)分。因此，內(nèi)插像素b的像素值vb使用以下的式

vb＝(9×v(2)+4×v(4))/13

來求出。

相同地，內(nèi)插像素c的像素值vc使用作為最接近基準像素的基準像素(4)、和在包含該基準像素(4)且與邊緣方向平行的線上的基準像素(2)的的像素值，通過以下的式

vc＝(4×v(2)+9×v(4))/13

來求出。

此外，在邊緣方向是上-下方向的情況下，如圖28的(d)所示，基準像素(2)、(5)、(8)是邊緣像素，連結(jié)這些像素的線成為邊緣線。而且，針對邊緣線上的內(nèi)插像素b的像素值vb，使用與內(nèi)插像素b相鄰的邊緣線上的基準像素(2)和基準像素(5)的像素值，通過以下的式

vc＝(v(2)+v(5))/2

來求出。

另一方面，針對不在邊緣線上的內(nèi)插像素a、c，使用在包含除去邊緣線上的基準像素的基準像素中的、與該內(nèi)插像素最近的基準像素(最接近基準像素)，且與邊緣方向平行的線上的基準像素，來進行內(nèi)插。例如，在圖28的(d)中，針對內(nèi)插像素a，包含作為最接近基準像素的基準像素(1)或者(4)且與邊緣方向平行的線是連結(jié)基準像素(1)和(4)的線。而且，從內(nèi)插像素a向該線垂直地作出的點存在于基準像素(1)和(4)的中央。因此，內(nèi)插像素a的像素值va通過以下的式

va＝(v(1)+v(4))/2

來求出。

針對內(nèi)插像素c，包含作為最接近基準像素的基準像素(4)，且與邊緣方向平行的線是連結(jié)基準像素(1)、(4)以及(7)的線。而且，從內(nèi)插像素c向該線垂直地作出的點與基準像素(4)一致。因此，內(nèi)插像素c的像素值vc成為與基準像素(4)的像素值v(4)相同的值。

另外，存儲部210預先存儲有將邊緣方向和用于求出內(nèi)插像素a、b、c的像素值的運算式建立了對應的信息。然后，高分辨率校正部225從存儲部210讀出與在s42中檢測到的邊緣方向?qū)倪\算式，并基于讀出的運算式，求出內(nèi)插像素a、b、c的像素值即可。

另外，在圖28中，僅示出邊緣方向為直線狀的情況。然而，也存在邊緣在n×n的部分圖像內(nèi)彎曲的情況。例如是邊緣如基準像素(2)-(5)-(4)那樣彎曲的情況、邊緣如基準像素(1)-(5)-(7)那樣彎曲的情況等。針對這種情況，也預先存儲有與用于求出內(nèi)插像素a、b、c的像素值的運算式建立了對應的信息。例如，在邊緣如基準像素(2)-(5)-(4)那樣彎曲的情況下合，針對內(nèi)插像素a，存儲有與圖28的(c)相同的運算式，針對內(nèi)插像素b，存儲有與圖28的(b)相同的運算式，針對內(nèi)插像素c，存儲有與圖28的(d)相同的運算式。此外，在邊緣如基準像素(1)-(5)-(7)那樣彎曲的情況下，針對內(nèi)插像素a，存儲有與圖28的(a)相同的運算式，針對內(nèi)插像素b，存儲有與圖28的(a)相同的運算式，針對內(nèi)插像素c，存儲有與圖28的(d)相同的運算式。針對其他邊緣方向的圖案，也同樣地進行存儲。

通過這種方式，高分辨率校正部225求出位于被判定為邊緣像素的基準像素的周圍的內(nèi)插像素的像素值。

另一方面，在關注像素不是邊緣的情況下(s41中為否)，高分辨率校正部225利用一般的內(nèi)插運算法(雙線性、雙三次等)來求出與該關注像素的左上鄰接的內(nèi)插像素a、與該關注像素的上邊鄰接的內(nèi)插像素b、與該關注像素的左邊的內(nèi)插像素c的像素值(s43)。

高分辨率校正部225通過針對一個圖像數(shù)據(jù)所包含的全部的基準像素執(zhí)行上述的s41～s43的處理，來生成具備基準像素和內(nèi)插像素的雙方的內(nèi)插圖像數(shù)據(jù)(s44)。

然后，高分辨率校正部225對生成的內(nèi)插圖像數(shù)據(jù)進行高畫質(zhì)化處理。例如，高分辨率校正部225將噪聲除去濾波器、銳化濾波器等應用于內(nèi)插圖像數(shù)據(jù)，來生成高分辨率圖像數(shù)據(jù)。以往存在的銳化掩膜或?qū)D27的中央的系數(shù)設為5的濾波器為銳化濾波器。此外，作為噪聲除去，廣泛已知有中值濾波器等。作為更高度的方法，作為同時具有上述邊緣保存性和高畫質(zhì)化的方法，也可以使用雙邊濾波器[proceedingsofthe1998ieeeinternationalconferenceoncomputervision，]等。

另外，高分辨率校正部225并不局限于上述的方法，也可以使用映像信息媒介學會刊vol.62，no.2，pp.181～189(2008)中記載那樣的各種方法，根據(jù)1個拍攝圖像數(shù)據(jù)來生成高分辨率圖像數(shù)據(jù)。

(6-5)輸出圖像處理部

輸出圖像處理部224執(zhí)行將輸出對象圖像數(shù)據(jù)輸出時的區(qū)域分離處理、顏色校正、黑色生成底色除去處理、空間濾波器處理、半色調(diào)處理。另外，作為這些處理，能夠使用公知的技術。

(7)圖像形成裝置的處理的流程

以下，對本實施方式所涉及的圖像形成裝置200的處理流程進行說明。圖29表示圖像形成裝置200的處理流程。

圖像形成裝置200的第1通信部207從便攜終端裝置100接收輸出對象圖像數(shù)據(jù)、機種信息、用戶信息以及輸出處理信息(s30)。

圖像處理部202的畫質(zhì)調(diào)整部221針對接收到的輸出對象圖像數(shù)據(jù)，按照例如上述(6-1)所說明那樣，進行色彩平衡、對比度的校正(s31)。接著，透鏡畸變校正部223針對接收到的輸出對象圖像數(shù)據(jù)，如上述(6-2)所說明那樣，進行透鏡畸變的校正。

另外，幾何學校正部222針對輸出對象圖像數(shù)據(jù)，進行幾何學畸變的校正和傾斜的校正(s32)。具體而言，幾何學校正部222確定由分別與對應于拍攝對象物和背景的邊界的四邊對應的直線圍成的四邊形的區(qū)域(校正前區(qū)域)并將其切出。接著，幾何學校正部222求出與用于將切出的四邊形的校正前區(qū)域轉(zhuǎn)換成上下2邊在水平方向上大致平行，且具有規(guī)定的縱橫比和大小的矩形狀的標準區(qū)域的坐標相關的映射。然后，幾何學校正部222使用該映射，針對切出的校正前區(qū)域的圖像數(shù)據(jù)進行映射轉(zhuǎn)換處理。由此，能夠輸出無幾何學畸變的圖像。

接著，高分辨率校正部225針對進行了s32的處理的圖像數(shù)據(jù)進行高分辨率校正(s33)。另外，高分辨率校正的具體方法按照(6-4)中說明的方法。

接著，輸出圖像處理部224針對通過高分辨率校正部225中的高分辨率校正而得到的高分辨率圖像數(shù)據(jù)，執(zhí)行區(qū)域分離處理、顏色校正、黑色生成底色除去處理、空間濾波器處理、半色調(diào)處理等各種圖像處理。另外，輸出圖像處理部224根據(jù)輸出處理信息中表示的輸出方法的種別，適當?shù)厍袚Q該各種圖像處理的內(nèi)容。然后，輸出圖像處理部224將校正完的圖像數(shù)據(jù)(已校正圖像數(shù)據(jù))存放于存儲部210(s34)。另外，此時，輸出圖像處理部224在存放成為已校正圖像數(shù)據(jù)的源的輸出對象圖像數(shù)據(jù)的同時，與接收到的用戶信息和輸出處理信息建立對應地存放該已校正圖像數(shù)據(jù)。

然后，控制部212判定輸出對象圖像數(shù)據(jù)的輸出指示是否被輸入部206輸入(s35)。在不存在輸出指示的輸入的情況下(s35中為否)，到輸出指示被輸入為止待機。

另一方面，在存在輸出指示的情況下(s35中為是)，認證部203使促使用戶信息(例如用戶id以及密碼)的輸入的畫面顯示于顯示部205，并從輸入部206獲取用戶信息。然后，認證部203進行用戶認證(s36)。另外，認證部203也可以使用設置于圖像形成裝置200的非接觸ic卡的讀/寫器，從用戶所持的非接觸ic卡獲取用戶信息。

在進行用戶認證時，認證部203對照輸入的用戶信息和從便攜終端裝置100接收到的用戶信息，來判定是否存在一致的用戶信息(s37)。然后，在從便攜終端裝置100接收到與輸入的用戶信息一致的用戶信息的情況下(s37中為是)，控制部212按照從便攜終端裝置100接收到的輸出處理信息，執(zhí)行在s34中存放于存儲部210、且與該用戶信息對應的已校正圖像數(shù)據(jù)的輸出處理(s38)。

例如，在輸出處理信息表示打印處理的情況下，控制部212使圖像形成部204執(zhí)行由已校正圖像數(shù)據(jù)表示的圖像的打印。此外，在輸出處理信息表示歸檔處理或者郵件發(fā)送處理的情況下，控制部212使第2通信部208執(zhí)行基于已校正圖像數(shù)據(jù)的歸檔處理或者郵件發(fā)送處理。然后，結(jié)束處理。

另一方面，在輸入的用戶信息與從便攜終端裝置100接收到的用戶信息不一致的情況下(s37中為否)，認證部203判定認證次數(shù)是否在規(guī)定次數(shù)以上(s39)。然后，當認證次數(shù)不在規(guī)定次數(shù)以上的情況下(s39中為否)，重復進行s36、s37的處理。當認證次數(shù)在規(guī)定次數(shù)以上的情況下(s39中為是)，以不輸出的方式結(jié)束流程。

(8)變形例

本發(fā)明的拍攝圖像處理系統(tǒng)并不局限于上述的實施方式，能夠進行各種各樣的變更。以下，對變形方式的具體例進行說明。

(8-1)關于第1欠缺信息的顯示

在上述的說明中，顯示處理部112基于拍攝范圍外的頂點坐標，確定從拍攝范圍中離該頂點坐標最近的點，并在從確定的點開始預先決定的范圍內(nèi)顯示第1欠缺信息。但并不局限于此，顯示處理部112在拍攝范圍外的頂點的附近顯示第1欠缺信息即可。

例如，如圖30所示，在由通過幾何學配置檢測部111檢測到的4條直線圍成的四邊形的頂點中，將在拍攝范圍外的頂點設為第1頂點t1，將與第1頂點t1相鄰的2個頂點設為第2頂點t2和第3頂點t3，將處于與第1頂點t1對角的位置的頂點設為第4頂點t4。此外，將連結(jié)第1頂點t1和第2頂點t2的線與拍攝范圍的框的交點設為第1交點s1，將連結(jié)第1頂點t1和第3頂點t3的線與拍攝范圍的框的交點設為第2交點s2。這時，顯示處理部112也可以使第1欠缺信息顯示在距連結(jié)第1交點s1和第2交點s2的線段的預先決定的范圍內(nèi)。

(8-2)關于第2欠缺信息的顯示

在上述的說明中，顯示處理部112在距與提取結(jié)果信息中的不可提取信息所表示的邊對應的拍攝范圍的框的邊的預先決定的范圍內(nèi)顯示第2欠缺信息。并不局限于此，顯示處理部112在拍攝范圍外的邊的附近顯示第2欠缺信息即可。

例如，如圖31所示，將分別與由幾何學配置檢測部111檢測到的3個邊緣像素組所表示的3條線段對應的直線設為第1直線l1、第2直線l2、第3直線l3，設作為第1直線l1和第2直線l2的交點的第1交點t5、和作為第2直線l2和第3直線l3的交點的第2交點t6在拍攝范圍內(nèi)，另外，將第1直線l1與拍攝范圍的框的交點中離上述第1交點t5較遠的交點設為第3交點s3，將第3直線l3與拍攝范圍的框的交點中離上述第2交點t6較遠的交點設為第4交點s4。此時，顯示處理部112也可以使第2欠缺信息顯示在距連結(jié)第3交點s3和第4交點s4的線段的預先決定的范圍內(nèi)。

(8-3)關于輸出對象圖像數(shù)據(jù)的發(fā)送

(8-3-1)其1

在上述的說明中，將表示由拍攝部101拍攝到的圖像整體的圖像數(shù)據(jù)設成了輸出對象圖像數(shù)據(jù)。此時，通信部104也可以在發(fā)送輸出對象圖像數(shù)據(jù)的同時，發(fā)送分別與由幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線式。

該情況下，圖像形成裝置的幾何學校正部使用附加在輸出對象圖像數(shù)據(jù)中的4個直線式，從輸出對象圖像數(shù)據(jù)中切出由該直線圍成的區(qū)域。然后，幾何學校正部求出用于將切出的圖像轉(zhuǎn)換成上下2邊在水平方向上大致平行，且具有預先決定的縱橫比以及大小的矩形狀的標準區(qū)域(例如，若是用于商務文件出的a判b判，這是7：10等。在圖15中以實線表示)的映射。然后，幾何學校正部針對切出的圖像，按照求出的映射，進行幾何學校正即可。

或者，通信部104也可以在發(fā)送輸出對象圖像數(shù)據(jù)的同時，發(fā)送由分別與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形的4個頂點坐標。

該情況下，圖像形成裝置200的幾何學校正部222也從輸出對象圖像數(shù)據(jù)中切出將附加在輸出對象圖像數(shù)據(jù)中的4個頂點坐標的點作為頂點的四邊形的區(qū)域。然后，幾何學校正部求出用于將切出的圖像轉(zhuǎn)換成矩形狀的標準區(qū)域的映射。然后，幾何學校正部按照求出的映射，進行幾何學校正即可。

此外，在由分別與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形是矩形的情況下，通信部104也可以在發(fā)送輸出對象圖像數(shù)據(jù)的同時，發(fā)送由該四邊形的下邊與拍攝范圍的框的下邊形成的角度(傾斜)。

該情況下，圖像形成裝置的幾何學校正部從輸出對象圖像數(shù)據(jù)中切出將附加在輸出對象圖像數(shù)據(jù)中的4個頂點坐標的點作為頂點的四邊形的區(qū)域。然后，幾何學校正部通過使切出的圖像旋轉(zhuǎn)附加在輸出對象圖像數(shù)據(jù)中的角度，從而能夠校正傾斜。

(8-3-2)其2

此外，輸出對象圖像決定部113也可以從由拍攝部101拍攝到的圖像整體中，切出由分別與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形的區(qū)域，并將表示切出的圖像的圖像數(shù)據(jù)作為輸出對象圖像數(shù)據(jù)。然后，通信部104將決定的輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置。

該情況下，圖像形成裝置的幾何學校正部求出用于將輸出對象圖像數(shù)據(jù)所表示的圖像轉(zhuǎn)換成上下2邊在水平方向上大致平行，且具有預先決定的縱橫比和大小的矩形狀的標準區(qū)域(例如，若是用于商務文件出的a判b判，則是7：10等。在圖15中以實線表示)的映射。然后，幾何學校正部按照求出的映射，進行幾何學校正即可。

(8-3-3)其3

如上述(8-3-2)所記載那樣，輸出對象圖像決定部113從由拍攝部101拍攝到的圖像整體中，切出由分別與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形的區(qū)域，并將表示切出的圖像的圖像數(shù)據(jù)作為輸出對象圖像數(shù)據(jù)。

然后，通信部104也可以在發(fā)送決定的輸出對象圖像數(shù)據(jù)的同時，發(fā)送分別與由幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線式。

在該情況下，圖像形成裝置的幾何學校正部使用附加在輸出對象圖像數(shù)據(jù)中的4個直線式，求出用于將由該直線圍成的區(qū)域轉(zhuǎn)換成矩形狀的標準區(qū)域的映射。然后，幾何學校正部針對輸出對象圖像數(shù)據(jù)，按照求出的映射進行幾何學校正即可。

或者，通信部104也可以在發(fā)送決定的輸出對象圖像數(shù)據(jù)的同時，發(fā)送由分別與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形的4個頂點坐標。

即使在該情況下，圖像形成裝置的幾何學校正部也求出用于將以附加在輸出對象圖像數(shù)據(jù)中的4個頂點坐標的點作為頂點的四邊形的區(qū)域轉(zhuǎn)換成矩形狀的標準區(qū)域的映射。然后，幾何學校正部針對輸出對象圖像數(shù)據(jù)，按照求出的映射進行幾何學校正即可。

此外，在由分別與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形是矩形的情況下，通信部104也可以在發(fā)送輸出對象圖像數(shù)據(jù)的同時，發(fā)送該四邊形的下邊與拍攝范圍的框的下邊形成的角度(傾斜)。

該情況下，圖像形成裝置的幾何學校正部針對輸出對象圖像數(shù)據(jù)，通過旋轉(zhuǎn)附加在輸出對象圖像數(shù)據(jù)中的角度，從而能夠校正傾斜。

(8-4)關于輸出對象圖像決定部的決定方法

在上述的說明中，在通過顯示處理部112顯示有表示拍攝對象物被收入在拍攝范圍內(nèi)的信息(例如“ok”)時操作了快門按鈕(圖14的符號10)的定時，輸出對象圖像決定部113將表示顯示在顯示部105中的拍攝圖像的圖像數(shù)據(jù)決定為輸出對象圖像數(shù)據(jù)。

然而，輸出對象圖像決定部113也可以具有不進行快門按鈕10的操作而自動地決定輸出對象圖像數(shù)據(jù)的自動快門功能。

即，在自動快門功能為有效的情況下，輸出對象圖像決定部113在針對由拍攝部101連續(xù)地拍攝到的規(guī)定數(shù)的拍攝圖像(幀圖像)，通過顯示處理部112顯示有表示拍攝對象物被收入在拍攝范圍內(nèi)的信息的情況下，將表示一個該規(guī)定數(shù)的拍攝圖像(例如，最后拍攝到的拍攝圖像)的圖像數(shù)據(jù)決定為輸出對象圖像數(shù)據(jù)。

更具體而言，輸出對象圖像決定部113針對由拍攝部101連續(xù)拍攝到的規(guī)定數(shù)(例如30)的拍攝圖像(幀圖像)，存儲從幾何學配置檢測部111輸出的提取結(jié)果信息中表示的4個頂點坐標(除去假頂點坐標)。然后，對于各頂點，在根據(jù)規(guī)定數(shù)的拍攝圖像得到的頂點坐標的差的平方小于預先決定的閾值的情況下，輸出對象圖像決定部113將表示顯示在顯示部105中的拍攝圖像的圖像數(shù)據(jù)決定為輸出對象圖像數(shù)據(jù)即可。

這里，預先決定的閾值例如被設定為

(拍攝范圍的高度ymax×1/16)²+(拍攝范圍的寬度xmax×1/16)²。

由此，用戶不操作快門按鈕也能夠決定輸出對象圖像數(shù)據(jù)，所以能夠防止因操作快門按鈕而導致拍攝對象物的抖動、或拍攝對象物從拍攝范圍超出。

另外，用戶能夠切換自動快門功能的有效/無效。該切換通過操作圖14所示的條件設定按鈕50來設定。另外，當自動快門功能為有效，且通過自動快門功能決定了輸出對象圖像數(shù)據(jù)時，輸出對象圖像決定部113如圖32所示那樣使表示這一意思的第3圖標d顯示于顯示部105。

(8-5)輪廓線的顯示功能的開/關切換

圖44是表示拍攝范圍判定部的變形例的框圖。如圖44所示，本變形例所涉及的拍攝范圍判定部110a在具備切換部115這一點，與上述拍攝范圍判定部110不同。

切換部115按照用戶輸入，切換基于幾何學配置檢測部111和顯示處理部112的輪廓線的顯示功能(文檔校正模式)的開/關。

如圖45所示，切換部115使文檔校正模式的開/關切換用的復選框451顯示于顯示部105。在輸入了將文檔校正模式切換成開的指示的情況下，切換部115使幾何學配置檢測部111和顯示處理部112動作，執(zhí)行圖4的s1～s6的處理。由此，拍攝對象物的輪廓線與拍攝圖像重疊地被顯示，從而能夠容易地確認拍攝對象物是否被收入在拍攝范圍內(nèi)。

另一方面，在輸入了將文檔校正模式切換成關的指示的情況下，切換部115不使幾何學配置檢測部111和顯示處理部112動作，僅使拍攝圖像顯示。

另外，切換部115也可以在開始拍攝前受理文檔校正模式的開/關的切換指示，還可以在拍攝中受理。

此外，也可以使本變形例和(8-4)所記載的變形例組合。該情況下，僅在將文檔校正模式設定成開的情況下，能夠?qū)⒆詣涌扉T功能設定成有效。即，在圖45所示的例子中，只有用戶對文檔校正模式用的復選框451輸入了選中的情況下(文檔校正模式為開的情況)，能夠?qū)ψ詣涌扉T功能用的復選框452輸入選中。

(8-6)關于編輯視圖功能

便攜終端裝置100的顯示處理部112也可以具有如下功能，即，針對由輸出對象圖像決定部113決定的輸出對象圖像數(shù)據(jù)，基于輪廓線，使進行了幾何學校正和高畫質(zhì)化校正的圖像校正處理后的圖像(校正處理后圖像)預覽顯示的功能(校正圖像預覽功能)。

在本變形例中，顯示處理部112具有上述的畫質(zhì)調(diào)整部221、幾何學校正部222以及高分辨率校正部225的功能。而且，顯示處理部112若收到校正圖像預覽功能的執(zhí)行指示，則讀出指定的輸出對象圖像數(shù)據(jù)。顯示處理部112使幾何學配置檢測部111針對該輸出對象圖像數(shù)據(jù)所表示的拍攝圖像執(zhí)行s1～s5的處理(圖4)。顯示處理部112通過對由連結(jié)s5中計算的4個頂點坐標的輪廓線圍成的區(qū)域的圖像進行畫質(zhì)調(diào)整、幾何學校正以及高分辨率校正，來生成校正處理后圖像，并使顯示部105預覽顯示。

圖46表示顯示了校正處理后圖像的畫面例。如圖46所示，顯示處理部112將輸出對象圖像數(shù)據(jù)所表示的拍攝圖像與輪廓線重疊地顯示于區(qū)域a，使校正處理后圖像顯示于區(qū)域b。

另外，顯示處理部112即使在按下快門按鈕前的狀態(tài)下也可以顯示校正處理后圖像。

此外，顯示處理部112也可以僅進行畫質(zhì)調(diào)整和幾何學校正，來生成校正處理后圖像。

另外，顯示處理部112也可以受理對由幾何學配置檢測部111計算出的4個頂點坐標進行編輯的指示，并以由連結(jié)編輯后的4個頂點坐標的輪廓線圍成的區(qū)域的圖像作為基礎來生成校正處理后圖像。例如，如圖46所示，顯示處理部112在區(qū)域a中使分別與4個頂點對應的編輯圖標461～464顯示。然后，顯示處理部112受理各編輯圖標461～464的位置變更指示的輸入，根據(jù)變更后的各編輯圖標461～464的位置來編輯4個頂點坐標，并決定輪廓線的位置即可。

該情況下，與(8-3-1)所記載的相同，通信部104在發(fā)送輸出對象圖像數(shù)據(jù)的同時，發(fā)送編輯后的4個頂點坐標。由此，用戶能夠使由希望的輪廓線圍成的區(qū)域從圖像形成裝置200輸出。

此外，如圖46所示，顯示處理部112也可以使用于切換是否使區(qū)域b顯示校正處理后圖像的復選框465顯示于顯示部105。然后，顯示處理部112根據(jù)對復選框465的輸入，來切換對區(qū)域b的校正處理后圖像的顯示的有無。

另外，如圖46所示，顯示處理部112也可以使變更畫質(zhì)校正的程度的欄466顯示于顯示部105。然后，顯示處理部112根據(jù)對欄466的輸入，來變更畫質(zhì)調(diào)整(對比度校正)的程度。例如，能夠通過欄466，變更成“無”、“弱”、“中”、“強”這4階段的任意一個，來作為畫質(zhì)調(diào)整。

另外，如圖46所示，顯示處理部112也可以使登記按鈕467顯示于顯示部105。若按下登記按鈕467，則將在按下的定時設定的輸出對象圖像數(shù)據(jù)與4個頂點坐標和畫質(zhì)調(diào)整等級彼此建立對應地存放于存儲部108。然后，通信部104在將輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200時，同時也發(fā)送將與該輸出對象圖像數(shù)據(jù)建立對應的4個頂點坐標和畫質(zhì)調(diào)整等級。該情況下，圖像形成裝置200的幾何學校正部222從輸出對象圖像數(shù)據(jù)中切出將附加在輸出對象圖像數(shù)據(jù)中的4個頂點坐標的點作為頂點的四邊形的區(qū)域，對切出的圖像進行矩形狀的標準區(qū)域幾何學校正即可。此外，圖像形成裝置200的畫質(zhì)調(diào)整部221根據(jù)附加在輸出對象圖像數(shù)據(jù)中的畫質(zhì)調(diào)整等級來進行畫質(zhì)調(diào)整即可。由此，用戶能夠一邊觀察便攜終端裝置100的顯示部105的畫面，一邊設定從圖像形成裝置200輸出的圖像的區(qū)域、畫質(zhì)。

另外，也可以使本變形例和(8-5)中記載的變形例組合。該情況下，在文檔校正模式被設定成開的情況下，校正圖像預覽功能自動地成為開。即，若在圖45中，通過按下快門按鈕453或者自動快門功能而決定輸出對象圖像數(shù)據(jù)，則顯示處理部112自動地識別為輸入了校正圖像預覽功能的執(zhí)行指示。然后，顯示處理部112也可以執(zhí)行校正圖像預覽功能，將圖46那樣的畫面顯示于顯示部105。

(8-7)關于圖像顯示裝置

圖像顯示裝置300也可以具備圖像形成裝置200所具備的圖像處理部202。而且，圖像顯示裝置300也可以針對輸出對象圖像數(shù)據(jù)，進行使進行了幾何學校正、高分辨率校正的已校正圖像數(shù)據(jù)所表示的圖像顯示的顯示處理，來作為輸出處理。

(8-8)關于便攜終端裝置

在拍攝對象物的拍攝條件惡劣的情況下，即使在圖像形成裝置中進行了圖像處理，有時也難以確認圖像。例如，在幾何學畸變比較大的狀態(tài)下進行了拍攝的情況下，即使進行幾何學校正，也難以視認。

于是，在便攜終端裝置100中，也可以判定輸出對象圖像數(shù)據(jù)是否是在圖像形成裝置中的圖像處理產(chǎn)生效果的條件下拍攝而得，并根據(jù)該判定結(jié)果促使用戶再拍攝。

圖33是表示本變形例所涉及的便攜終端裝置100的構成的框圖。如圖33所示，本變形例所涉及的便攜終端裝置100在具備輸出圖像判定部114這一點上，與圖2所示的便攜終端裝置不同。

輸出圖像判定部114在選擇了文件拍攝模式的情況下，判定由拍攝范圍判定部110決定的輸出對象圖像數(shù)據(jù)是否是在圖像形成裝置中的圖像處理產(chǎn)生效果的條件下拍攝而得。作為輸出圖像判定部114中的判定項目，列舉出以下項目。

(8-8-1)傾斜的判定

輸出圖像判定部114從輸出對象圖像數(shù)據(jù)中選擇拍攝對象物與背景的邊緣上的2點。例如，如圖34所示，分別在左右橫向上選擇離開輔助拍攝圖像數(shù)據(jù)的中心w/2的2點11、12。接著，分別求出選擇出的2點11、12與拍攝圖像數(shù)據(jù)的端邊的距離d1、d2，從而能夠求出拍攝圖像中的拍攝對象物的傾斜。在圖34那樣的情況下，若將傾斜角度設為θ，則成為tanθ＝(d2-d1)/w。于是，輸出圖像判定部114計算(d2-d1)/w的值，從預先已作成的表格(參照圖35)等讀取與該值相當?shù)慕嵌圈取?/p>

然后，輸出圖像判定部114判定檢測到的角度θ是否在規(guī)定范圍內(nèi)(例如，-30°～+30°)，并將該判定結(jié)果輸出至控制部109。這里，角度θ在規(guī)定范圍內(nèi)成為一個處理執(zhí)行條件。

(8-8-2)幾何學畸變的判定

輸出圖像判定部114確定由與通過幾何學配置檢測部111檢測到的4個邊緣像素組對應的直線圍成的四邊形。然后，輸出圖像判定部114計算確定的四邊形的對邊的長度比。另外，由于對邊有2組，所以輸出圖像判定部114分別針對該2組求出長度比。

這里，由于在從正面拍攝了矩形狀的拍攝對象物的情況下拍攝圖像中的拍攝對象物也是矩形狀，所以對邊的長度比為1。另一方面，在從傾斜方向拍攝的情況下，拍攝圖像中的拍攝對象物的形狀為歪斜的四邊形，所以成為與1不同的值。而且，拍攝方向與拍攝對象物的形成了文件圖像的平面的法線方向組成的角度越大，該比的值與1的差變得越大。因此，對邊的長度比可以說是一個表示幾何學畸變的程度的特征量。

然后，輸出圖像判定部114判定求出的二個比的雙方是否在規(guī)定范圍內(nèi)(例如，0.5～2)，并將該判定結(jié)果輸出至控制部109。這里，規(guī)定范圍被預先設定為能夠在圖像形成裝置200中校正的范圍，并存放在存儲部108中。

另外，作為表示幾何學畸變的程度的其他特征量，輸出圖像判定部114也可以使用包括通過上述方式檢測到的4個交點的2條直線組成的角度等。

(8-8-3)其他

除了上述的判定項目之外，輸出圖像判定部114例如也可以判定亮度、對比度、色彩平衡、抖動(劇烈的手抖)等。

針對亮度，考慮例如在曝光過度(過亮)或不足(過暗)的情況下需要再次拍攝的情況。于是，輸出圖像判定部114求出例如輸出對象圖像數(shù)據(jù)的像素值中的最大的值和最小的值，將若最大值在某個閾值(例如8位為100等)以下則為露出不足，若最小值在某個閾值(例如8位為150等)上則為曝光過度的判定結(jié)果輸出至控制部109。

針對對比度，輸出圖像判定部114在輸出對象圖像數(shù)據(jù)的像素值中的最大、最小的差分值在規(guī)定閾值以下的情況下，判定為對比度不足。

另外，在亮度、對比度的判定中，輸出圖像判定部114可以針對各顏色通道進行判定，也可以使用平均值(r+g+b/3)、明度值(0.299×r+0.587×g+0.114×b：ntsc標準)。

針對色彩平衡，通過進行各顏色通道(rgb)的平均值或最大、最小值的比較，能夠掌握在某一個通道發(fā)生過度的偏離的情況。于是，輸出圖像判定部114求出例如具有輸出對象圖像數(shù)據(jù)中的最大明度值附近的值(最大明度～最大明度-5程度)的像素值的各顏色通道的值的平均值(ra、ga、ba)，在該各顏色通道的最大值與最小值的差分在與值相應的固定值以上[max(ra、ga、ba)-min(ra、ga、ba)＞0.1×max(ra、ga、ba)]的情況下，判定為是色彩平衡不良。

針對抖動(劇烈的手抖：所謂的運動模糊)，由于在發(fā)生時邊緣的尖銳性降低，所以輸出圖像判定部114使用如圖27中舉出的邊緣提取濾波器，作成邊緣強度圖像并得到柱狀圖，求出其標準偏差值(上述分散的平方根)。然后，當該標準偏差值在規(guī)定閾值(例如5)以下的情況下，判定為發(fā)生抖動。

(8-8-4)關于向用戶的通知

從輸出圖像判定部114收到判定結(jié)果的控制部109根據(jù)該判定結(jié)果，使促使再拍攝的消息顯示于顯示部105。

例如，在從輸出圖像判定部114收到傾斜角度θ不在規(guī)定范圍內(nèi)這一意思的判定結(jié)果的情況下，控制部109使顯示部105顯示促使以拍攝對象物不傾斜的方式再次拍攝的消息。

此外，當收到表示幾何學畸變程度的特征量(這里，拍攝圖像中的拍攝對象物的對邊的長度比)不在規(guī)定范圍內(nèi)這一意思的判定結(jié)果的情況下，控制部109使顯示部105顯示促使從拍攝對象物中的形成了文件圖像的平面的法線方向再次拍攝的消息。

(8-9)關于高分辨率校正

在上述的說明中，高分辨率校正部225使用1個輸出對象圖像數(shù)據(jù)來進行高分辨率校正。然而，高分辨率校正部也可以使用多個輸出對象圖像數(shù)據(jù)來進行高分辨率校正。作為該高分辨率校正的方法，能夠使用映像信息媒介學會刊vol.62，no.3，pp.337～342(2008)中記載的方法。

該情況下，輸出對象圖像決定部113在指定的定時，將通過連續(xù)地拍攝規(guī)定次數(shù)(例如，2～15)而得到的規(guī)定數(shù)的輸出對象圖像數(shù)據(jù)作為數(shù)據(jù)集來存放于存儲部108。通常，連續(xù)拍攝的圖像是大致相同的圖像，但是因手抖等而引起了微量偏移。

此外，為了使用多個輸出對象圖像數(shù)據(jù)來執(zhí)行高分辨率校正，需要與分辨率轉(zhuǎn)換的倍率對應的規(guī)定數(shù)的圖像數(shù)據(jù)偏移規(guī)定量。于是，在本變形例中，圖33所示的便攜終端裝置100的輸出圖像判定部114判定在數(shù)據(jù)集所包含的輸出對象圖像數(shù)據(jù)中，是否包含為了由圖像形成裝置200執(zhí)行高分辨率校正而需要的偏移了規(guī)定量的規(guī)定數(shù)的輔助拍攝圖像數(shù)據(jù)。

(8-9-1)多張圖像的偏移量的判定

所謂為了進行如提高字符的辨認性那樣的高分辨率校正而需要的偏移，是指為對象的圖像數(shù)據(jù)的小于1像素(小數(shù)點)的偏移。即，小數(shù)點以下(小于1像素)的值例如0.3～0.7等的偏移是重要的。對于高分辨率校正，不考慮整數(shù)部分的偏移。例如，在1.3像素、2.3像素等的包含小于1像素的偏移這樣的情況下，能夠執(zhí)行基于多個圖像的高分辨率校正，但是在1像素、2像素等的不包含小于1像素的偏移的情況下，無法執(zhí)行高分辨率校正。

例如，在轉(zhuǎn)換倍率為2倍的情況下，高分辨率校正所需要的圖像數(shù)據(jù)的個數(shù)為2，作為2個圖像數(shù)據(jù)的偏移量，以像素為單位，優(yōu)選小數(shù)點以下是0.3～0.7。因此，在存儲部108中，預先存放有將分辨率轉(zhuǎn)換的倍率“2倍”、和拍攝次數(shù)“2”以及處理執(zhí)行條件“需要圖像數(shù)據(jù)數(shù)：2，偏移量：0.3～0.7”建立對應的信息。

此外，在轉(zhuǎn)換倍率為4倍的情況下，高分辨率校正所需要的圖像數(shù)據(jù)的個數(shù)為4，在將其內(nèi)一個圖像數(shù)據(jù)作為基準圖像數(shù)據(jù)時，該基準圖像數(shù)據(jù)和剩下的3個圖像數(shù)據(jù)的偏移量以像素為單位，分別優(yōu)選小數(shù)點以下是0.2～0.3，0.4～0.6，0.7～0.8。因此，存儲部108存儲有將分辨率轉(zhuǎn)換的倍率“4倍”、和拍攝次數(shù)“4”以及處理執(zhí)行條件“需要圖像數(shù)據(jù)數(shù)：4，偏移量：0.2～0.3，0.4～0.6，0.7～0.8”建立對應的信息。

控制部109促使用戶進行分辨率轉(zhuǎn)換的倍率的選擇輸入，并設定與輸入的倍率對應的處理執(zhí)行條件。然后，輸出圖像判定部114判定在數(shù)據(jù)集中，是否包含有滿足所設定的處理執(zhí)行條件的輸出對象圖像數(shù)據(jù)。

另外，在以下，為了使說明簡單化，對選擇了2倍來作為分辨率轉(zhuǎn)換的倍率的情況進行敘述。

首先，輸出圖像判定部114選擇輸出對象圖像數(shù)據(jù)的任意一個，并針對該輸出對象圖像數(shù)據(jù)(以下，稱為第1拍攝圖像)，選擇偏移檢測用部分區(qū)域。這里，偏移檢測用部分區(qū)域用于求出第1拍攝圖像和剩余的輸出對象圖像數(shù)據(jù)(以下，稱為第2拍攝圖像)之間的偏移量，所以優(yōu)選在該偏移檢測用部分區(qū)域內(nèi)，像素值的變化較大的區(qū)域(存在明確的圖案的區(qū)域)。于是，輸出圖像判定部114通過以下那樣的方法來提取偏移檢測用部分區(qū)域。

輸出圖像判定部114確定存在于拍攝對象物的區(qū)域的重心位置的像素，將該像素作為關注像素。然后，選定包含關注像素的n×n像素的區(qū)域。針對選定的區(qū)域，判斷是否滿足以下的選定要件，在滿足的情況下，將該區(qū)域設為偏移檢測用部分區(qū)域。另一方面，在不滿足的情況下，基于規(guī)定的偏置量使區(qū)域移動，并對移動后的區(qū)域進行相同的判斷。通過這種方式，來提取偏移檢測用部分區(qū)域。

這里，作為選定要件，例如，舉出以下兩個。

作為一個，使用依照區(qū)域內(nèi)的分散的值。若針對關注像素附近的n×n像素的區(qū)域，將像素值設為p(i)，則部分區(qū)域的分散值variance(x)以下述式(1)來表示。將該分散值variance(x)的值在規(guī)定閾值以上作為選定要件。此外為了簡單化，也可以僅考慮本式的分子。

[數(shù)1]

作為另一個，針對關注像素附近的n×n像素的區(qū)域，使用圖27所示的1階微分濾波器這樣的邊緣提取濾波器，進行2值化，來觀察總和。將總和在某一規(guī)定閾值以上(例如，部分區(qū)域像素數(shù)的5％以上等)作為選定要件即可。

接著，相對于通過這種方式求出的第1拍攝圖像的偏移檢測用部分圖像a(n×n)，從第2拍攝圖像中切出來作為中心在大致相同的位置的偏移檢測用部分圖像b(m×m)(m＞n)。作為該切出的方法，以第1拍攝圖像中的偏移檢測用部分圖像a的中心像素的坐標與第2拍攝圖像中的偏移檢測用部分圖像b的中心像素的坐標一致的方式切出。

然后，以亞像素精度求出在切出的偏移檢測用部分圖像b中最適合于偏移檢測用部分圖像a的區(qū)域。作為該方法，舉出將偏移檢測用部分圖像a設為模板的正規(guī)化相關圖案匹配。

作為正規(guī)化相關圖案匹配的例子，使用為已知的正規(guī)化相關式來計算相關。一般而言，由n像素構成的2個圖案input(i)和target(t)的相關式能夠表示為下述式(2)。這里，如下述那樣分別表示α、β、γ。

[數(shù)2]

[數(shù)3]

α＝n∑(i×t)-(∑i)×(∑t)

β＝y(tǒng)∑(i×i)(∑i)×(∑i)

γ＝n∑(t×t)-(∑t)×(∑t)

例如，在n＝5、m＝7的情況下，若按照偏移檢測用部分圖像b(m×m)內(nèi)的與偏移檢測用部分圖像a相同尺寸的區(qū)域(n×n)來運算上述相關式，則作為結(jié)果，生成3×3的相關值map。使用該相關值map，求出合適的2次曲面。作為2次曲面的求出方法，例如，作為s(x、y)＝a＊x＊x+b＊x＊y+c＊y＊y+d＊x+e＊y+f，選擇9點中的相關值較高的6點，對方程組進行求解來求出各系數(shù)。若該函數(shù)的極值(＝最大值)的坐標值(x，y的雙方)的小數(shù)點以下的值在規(guī)定范圍(這里為0.3～0.7)，則判定為滿足處理執(zhí)行條件“需要圖像數(shù)據(jù)數(shù)：2，偏移量：0.3～0.7”。

另外，作為極值的求出方法，對上述2次式進行偏微分，并求出分別為0的點的坐標即可。這時，實際上無需求出各系數(shù)(a～f)，所以直接使用相關值(s1～s6)較有效。以下為應求出的式(3)。這里，原點為關注的窗口基準。

[數(shù)4]

另外，在至少一處進行這種亞像素精度的位置偏移確認，但是優(yōu)選在多處進行。

然后，輸出圖像判定部114將是否滿足處理執(zhí)行條件的判定結(jié)果輸出至控制部109。

(8-9-2)使用了多張輸出對象圖像數(shù)據(jù)的高分辨率校正

接著，對圖像形成裝置200中的高分辨率校正部225的處理進行說明。高分辨率校正部225基于從便攜終端裝置100接收到的數(shù)據(jù)集所包含的多個輸出對象圖像數(shù)據(jù)來進行高分辨率校正。

關于根據(jù)多個圖像數(shù)據(jù)的高分辨率圖像作成方法，在映像信息媒介學會刊vol.62，no.3，pp.337～342(2008)中介紹有若干方法。一般而言，高分辨率校正通過多個圖像的對位處理和再構成處理來實現(xiàn)。在本實施方式中，作為對位處理的例子，應用上述(8-9-1)記載的正規(guī)化相關圖案匹配的方法。即，能夠通過將上述s(x、y)移動表示極大值的偏移量，來進行多個圖像的對位。

接著，高分辨率校正部225進行再構成處理。即，高分辨率校正部225作成具有與分辨率轉(zhuǎn)換后的倍率對應的像素數(shù)的再構成圖像數(shù)據(jù)。其中，圖像尺寸與拍攝圖像的尺寸相同。而且，高分辨率校正部225通過以下方式來決定再構成圖像數(shù)據(jù)的各像素的像素值。即，高分辨率校正部225針對再構成圖像數(shù)據(jù)中的各像素(再構成像素)，從多個拍攝圖像中決定成為該再構成像素的附近的拍攝圖像的像素(拍攝像素)，并利用一般的內(nèi)插方法(線形內(nèi)插、雙三次內(nèi)插等)進行內(nèi)插。

具體而言，如圖36所示，分別在橫向、縱向上選擇關注的再構成像素附近的拍攝像素，例如連結(jié)拍攝像素的格子的線(圖的虛線)為最近距離的2點。這里，假設作為在橫向上的最近距離的2點為第1個輸出對象圖像數(shù)據(jù)的拍攝像素1-2(像素值：vi1-2：以下相同)和拍攝像素1-4，作為在縱向上的最近距離的2點為第2個輸出對象圖像數(shù)據(jù)的拍攝像素2-1和拍攝像素2-2。另外，在選擇再構成像素附近的拍攝像素時，從執(zhí)行了上述幾何學畸變的校正、透鏡畸變的校正的多個輸出對象圖像數(shù)據(jù)中選擇。由此，能夠在進行了幾何學畸變、透鏡畸變的校正的狀態(tài)下進行高分辨率校正。

另外，在計算校正后的坐標的值時，也可以基于考慮了成為基礎的多個拍攝圖像相應的幾何學校正、透鏡畸變的校正的坐標的值來求出。即，可以在僅計算幾何學校正、透鏡畸變的校正值，進行再構成處理后，根據(jù)該校正值進行坐標轉(zhuǎn)換。

然后，求出與連結(jié)分別針對橫向和縱向而選擇的2點的線段垂直、且包含關注的再構成像素的點的直線與該線段的交點。如圖36所示，在該交點分別針對2條線段以t：1-t，u：1-u內(nèi)分的情況下，高分辨率校正部基于下述式4求出關注的再構成像素的像素值vs即可。該情況下，進行了線形內(nèi)插。然后，針對全部的再構成像素以相同的方式求出像素值，從而能夠?qū)⒈桓叻直媛驶脑贅嫵蓤D像數(shù)據(jù)生成為高分辨率圖像數(shù)據(jù)。

[數(shù)5]

vs＝{(1-t)vi1-2+tvi1-4+(1-u)vi2-1+uvi2-2}/2……式(4)

另外，作為內(nèi)插方法也可以使用其他方法。此外，也可以使用映像信息媒介學會刊vol.62，no.3，pp.337～342(2008)中介紹的其他方法。例如，也可以使用map(maximumaposteriori：最大后驗概率)法這樣的通過將與基于事先推斷的事后概率對應的評價函數(shù)最小化來求出的方法。

(8-9-3)關于拍攝部

在上述的說明中，為利用由于拍攝部101連續(xù)拍攝多次時的手抖而使多個拍攝圖像產(chǎn)生偏移的方式。然而，并不局限于此，拍攝部101在連續(xù)拍攝多次時，也可以對拍攝元件(ccd·cmos)或者透鏡進行微小地移動。由此，在多個拍攝圖像間可靠地產(chǎn)生偏移。

(8-10)關于從便攜終端裝置向圖像形成裝置的圖像數(shù)據(jù)的發(fā)送定時

在上述的說明中，在便攜終端裝置100中儲存利用文件拍攝模式而儲存的輸出對象圖像數(shù)據(jù)，在輸入了發(fā)送指示的定時，將至此為止儲存的輸出對象圖像數(shù)據(jù)匯集在一起發(fā)送。然而，從便攜終端裝置100向圖像形成裝置200發(fā)送輸出對象圖像數(shù)據(jù)的定時并不局限于此。

例如，也可以在每次利用文件拍攝模式將輸出對象圖像數(shù)據(jù)存放于存儲部108時，將輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200。該情況下，大部分是用戶不在圖像形成裝置200的附近的情況。因此，便攜終端裝置100的通信部104經(jīng)由便攜電話網(wǎng)和因特網(wǎng)，將輸出對象圖像數(shù)據(jù)發(fā)送至圖像形成裝置200即可。

(8-11)關于輸出處理信息

在上述的說明中，便攜終端裝置100獲取輸出處理信息，并將其發(fā)送至圖像形成裝置200。然而，并不局限于此，圖像形成裝置200也可以在為了進行用戶認證而獲取用戶信息時，獲取輸出處理信息(表示輸出處理的種類、用于輸出處理的設定條件的信息)。

(8-12)關于輸出處理

在圖像形成裝置200中，控制部212在進行歸檔處理、郵件發(fā)送處理前，也可以將由圖像處理部202生成的高分辨率圖像數(shù)據(jù)轉(zhuǎn)換成高壓縮pdf。另外，所謂高壓縮pdf數(shù)據(jù)，是指將圖像數(shù)據(jù)中的背景部分和字符部分分離，并對每個部分進行了最合適的壓縮處理得到的pdf數(shù)據(jù)。由此，能夠使字符辨認性良好，且也使圖像文件尺寸降低。

此外，控制部212在進行歸檔處理、郵件發(fā)送處理前，也可以對由圖像處理部202生成的高分辨率圖像數(shù)據(jù)執(zhí)行ocr處理，生成文本數(shù)據(jù)。而且，控制部212也可以將高分辨率圖像數(shù)據(jù)轉(zhuǎn)換成pdf，并附加生成的文本數(shù)據(jù)來作為透明文本。另外，所謂透明文本，是指用于將所識別的字符作為文本信息，以表面上看不到的形態(tài)與圖像數(shù)據(jù)重合(或者嵌入)的數(shù)據(jù)。例如，在pdf文件中，一般使用對圖像數(shù)據(jù)附加了透明文本的圖像文件。而且，控制部212也可以使附加了生成的透明文本的pdf數(shù)據(jù)輸出。由此，能夠輸出如能夠進行文本檢索的文件那樣易于活用的電子化文件。

(8-13)關于圖像形成裝置具備的圖像處理部

在上述的說明中，對圖像形成裝置200具備的圖像處理部202作為進行高分辨率校正等的部件進行了說明。然而，圖像形成裝置200也可以使具備上述圖像處理部202的服務器執(zhí)行對高分辨率輸出用數(shù)據(jù)集的高分辨率校正或其他的圖像處理(幾何學畸變的校正、透鏡畸變的校正、對比度校正、色彩平衡校正等)。另外，該情況下，該服務器可以說是對從便攜終端裝置100接收到的高分辨率輸出用數(shù)據(jù)集進行高分辨率校正，并輸出校正后的高分辨率圖像數(shù)據(jù)的圖像形成裝置。

(9)程序和記錄介質(zhì)

本發(fā)明也能夠在記錄了用于使計算機執(zhí)行的程序的計算機可讀取記錄介質(zhì)，記錄將由上述的便攜終端裝置100拍攝到的圖像發(fā)送至圖像形成裝置200并由圖像形成裝置200輸出的方法。

該結(jié)果，能夠可搬運地提供記錄了進行上述處理的程序代碼(執(zhí)行形式程序、中間代碼程序、源程序)的記錄介質(zhì)。

另外，在本實施方式中，作為該記錄介質(zhì)，也可以為用于由微型計算機進行處理的未圖示的存儲器，例如如rom這樣的其本身是程序介質(zhì)，此外，也可以是雖然未圖示但作為外部存儲裝置而設置程序讀取裝置，并通過向其插入記錄介質(zhì)而能夠讀取的程序介質(zhì)。

在哪一種情況下，也可以是微處理器訪問存放的程序并使其執(zhí)行的構成，或者，在哪一種情況下也可以是讀出程序代碼，將讀出的程序代碼下載到微型計算機的未圖示的程序存儲區(qū)域，來執(zhí)行該程序的方式。該下載用的程序被預先存放于主體裝置。

這里，上述程序介質(zhì)是構成為可與主體分離的非暫時的有形介質(zhì)(non-transitorytangiblemedium)，也可以是磁帶、盒式帶等的帶系、軟盤、硬盤等磁盤、cd-rom/mo/md/dvd等的光盤的盤系、ic卡(包括存儲卡)/光卡等的卡系、或者掩膜rom、eprom(erasableprogrammablereadonlymemory：可擦可編程只讀存儲器)、eeprom(注冊商標)(electricallyerasableprogrammablereadonlymemory：電可擦可編程只讀存儲器)、閃存rom等的包含半導體存儲器的固定保持程序代碼的介質(zhì)。

此外，在本實施方式中，由于是能夠連接包含因特網(wǎng)的通信網(wǎng)絡的系統(tǒng)構成，所以也可以是以從通信網(wǎng)絡下載程序代碼的方式流動地保持程序代碼的介質(zhì)。另外，在這種從通信網(wǎng)絡下載程序的情況下，可以將該下載用的程序預先存放于主體裝置，或者被從其他記錄介質(zhì)安裝。另外，本發(fā)明也能夠通過以電子傳輸使上述程序代碼具體化，并嵌入至輸送波的計算機數(shù)據(jù)信號的方式來實現(xiàn)。

通過便攜終端裝置100、圖像形成裝置200所具備的程序讀取裝置讀取上述記錄介質(zhì)，來執(zhí)行上述的圖像處理方法。

如以上那樣，本發(fā)明的一方式所涉及的拍攝裝置具備：拍攝部，其拍攝對象物；顯示單元，其顯示作為由上述拍攝部拍攝到的圖像的拍攝圖像；以及輸出對象圖像決定部，其在指定的定時將正顯示在上述顯示單元中的圖像決定為輸出對象圖像，在該拍攝裝置中，上述對象物為矩形，并具備：檢測部，其在由上述拍攝部拍攝到的圖像中檢測連接成線段狀的邊緣像素組；和顯示處理部，在由上述顯示單元顯示的拍攝圖像中，該顯示處理部使表示上述對象物的輪廓的輪廓線重疊地顯示在由上述檢測部檢測到的邊緣像素組上。

根據(jù)上述的構成，將表示對象物的輪廓的輪廓線重疊地顯示在由檢測部檢測到的邊緣像素組上。這里，由檢測部檢測到的邊緣像素組連接成線段狀，其表示矩形的對象物和背景的邊界的概率非常高。因此，通過將表示對象物的輪廓的輪廓線重疊地顯示在邊緣像素組上，用戶能夠容易地確認在拍攝圖像中，對象物處于何處位置。其結(jié)果，用戶能夠在容易地確認了對象物在拍攝范圍內(nèi)處于何處位置后，將圖像數(shù)據(jù)放入到存儲部。

另外，優(yōu)選本發(fā)明的一方式所涉及的拍攝裝置具備切換部，該切換部將基于上述顯示處理部的輪廓線的顯示功能切換成有效或者無效。

根據(jù)上述的構成，用戶能夠在對象物為原稿這樣的矩形的情況下將輪廓線的顯示功能切換成有效，在無需使輪廓線顯示的對象物的情況下將輪廓線的顯示功能切換成無效。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述顯示處理部在上述切換部將上述輪廓線的顯示功能設定成有效的情況下，使上述顯示單元顯示對上述拍攝圖像中的由上述輪廓線圍成的區(qū)域以規(guī)定的矩形狀進行了幾何學校正而得的圖像。

根據(jù)上述的構成，通過操作切換部，能夠顯示對拍攝圖像進行了幾何學校正時的圖像。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述檢測部檢測4個邊緣像素組，當由分別與通過上述檢測部檢測到的4個邊緣像素組所示的4條線段對應的直線圍成的四邊形的頂點中3個在上述拍攝部的拍攝范圍內(nèi)而剩余的1個在該拍攝范圍外的情況下，上述顯示處理部使表示對象物的一角未收入在拍攝范圍內(nèi)的第1欠缺信息顯示于顯示單元。

根據(jù)上述的構成，通過確認第1欠缺信息，用戶能夠容易地識別對象物的一角未收入在拍攝范圍內(nèi)的情況。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述檢測部檢測3個邊緣像素組，當分別與由上述檢測部檢測到的3個邊緣像素組所示的3條線段對應的直線的交點中僅2個在上述拍攝部的拍攝范圍內(nèi)的情況下，上述顯示處理部使表示對象物的外框的一邊未收入在拍攝范圍內(nèi)的第2欠缺信息顯示于顯示單元。

根據(jù)上述的構成，通過確認第2欠缺信息，用戶能夠容易地識別對象物的外框的一邊未收入在拍攝范圍內(nèi)的情況。

另外，優(yōu)選在本發(fā)明的拍攝裝置中，當將上述四邊形的頂點中的在拍攝范圍外的頂點設為第1頂點時，上述顯示處理部使上述第1欠缺信息顯示在第1頂點的附近。

或者，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，當將上述四邊形的頂點中的在拍攝范圍外的頂點設為第1頂點，將與第1頂點相鄰的2個頂點設為第2頂點和第3頂點，將處于與第1頂點對角的位置的頂點設為第4頂點，將連結(jié)第1頂點和第2頂點的線與拍攝范圍的框的交點設為第1交點，將連結(jié)第1頂點和第3頂點的線與拍攝范圍的框的交點設為第2交點時，上述顯示處理部使上述第1欠缺信息顯示在距連結(jié)第1交點和第2交點的線段上的預先決定的范圍內(nèi)。

根據(jù)上述的構成，用戶能夠容易地識別在第1欠缺信息附近，對象物的一角未收入在拍攝范圍內(nèi)。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，在將分別與由上述檢測部檢測到的3個邊緣像素組所示的3個線段對應的直線設為第1直線、第2直線、第3直線，并設作為第1直線和第2直線的交點的第1交點、以及作為第2直線和第3直線的交點的第2交點在上述拍攝范圍內(nèi)，并且，將第1直線和拍攝范圍的框的交點中的離上述第1交點較遠的交點設為第3交點，將第3直線與拍攝范圍的框的交點中的離上述第2交點較遠的交點設為第4交點時，上述顯示處理部使上述第2欠缺信息顯示在距連結(jié)第3交點和第4交點的線段上的預先決定的范圍內(nèi)。

或者，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述檢測部將上述拍攝部的拍攝范圍分割成上半部分和下半部分，檢測在上半部分中在距拍攝范圍的寬度方向的預先決定的角度范圍內(nèi)的方向上連接成線段狀的邊緣像素組，來作為上邊邊緣像素組，檢測在下半部分中在距拍攝范圍的寬度方向的預先決定的角度范圍內(nèi)的方向上連接成線段狀的邊緣像素組，來作為下邊邊緣像素組，將上述拍攝部的拍攝范圍分割成左半部分和右半部分，檢測在左半部分中在距拍攝范圍的高度方向的預先決定的角度范圍內(nèi)的方向上連接成線段狀的邊緣像素組，來作為左邊邊緣像素組，檢測在右半部分中在距拍攝范圍的高度方向的預先決定的角度范圍內(nèi)的方向上連接成線段狀的邊緣像素組，來作為右邊邊緣像素組，上述顯示處理部在由上述檢測部檢測到除了上邊邊緣像素組之外的3個邊緣像素組的情況下，使上述第2欠缺信息顯示在距拍攝范圍的框的上邊的預先決定的范圍內(nèi)，在由上述檢測部檢測到除了左邊邊緣像素組之外的3個邊緣像素組的情況下，使上述第2欠缺信息顯示在距拍攝范圍的框的左邊的預先決定的范圍內(nèi)，在由上述檢測部檢測到除了右邊邊緣像素組之外的3個邊緣像素組的情況下，使上述第2欠缺信息顯示在距拍攝范圍的框的右邊的預先決定的范圍內(nèi)，在由上述檢測部檢測到除了下邊邊緣像素組之外的3個邊緣像素組的情況下，使上述第2欠缺信息顯示在距拍攝范圍的框的下邊的預先決定的范圍內(nèi)。

根據(jù)上述的構成，用戶能夠容易地識別在第2欠缺信息的附近對象物的外框的一邊未收入在拍攝范圍內(nèi)。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述顯示處理部以不同的顏色顯示上述輪廓線和上述第1欠缺信息。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述顯示處理部以不同的顏色顯示上述輪廓線和上述第2欠缺信息。

根據(jù)上述的構成，用戶易于視認第1欠缺信息或者第2欠缺信息。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，上述檢測部使用從用于檢測連接成上述線段狀的邊緣像素組的多個檢測方法選擇出的1個檢測方法，來進行針對拍攝圖像檢測連接成線段狀的邊緣像素組的檢測處理，在針對成為處理對象的拍攝圖像未檢測到成為線段狀的邊緣像素組的情況下，針對下一個成為處理對象的拍攝圖像，使用與之前的拍攝圖像中使用的檢測方法不同的檢測方法來進行上述檢測處理，在針對成為處理對象的拍攝圖像檢測到連接成線段狀的邊緣像素組的情況下，針對下一個成為處理對象的拍攝圖像，也使用相同的檢測方法來進行上述檢測處理。

根據(jù)上述的構成，能夠應用與拍攝圖像的背景、照明狀態(tài)對應的最合適的檢測方法。

另外，優(yōu)選在本發(fā)明的一方式所涉及的拍攝裝置中，輸出對象圖像決定部將在預先決定的時間由上述檢測部檢測到4個邊緣像素組，并且，由分別與該4個邊緣像素組所示的4條線段對應的直線圍成的四邊形的4個頂點全部在上述拍攝部的拍攝范圍內(nèi)，并且，該頂點的變動量在預先決定的閾值以下的情況判斷為是上述指定的定時。

根據(jù)上述的構成，輸出對象圖像決定部能夠自動地決定輸出對象圖像數(shù)據(jù)。因此，用戶不操作快門按鈕也能夠決定輸出對象圖像數(shù)據(jù)，所以能夠防止因操作快門按鈕而引起的對象物的抖動或者對象物從拍攝范圍超出。

此外，本發(fā)明的一方式所涉及的拍攝圖像處理系統(tǒng)是具備上述的拍攝裝置和圖像輸出裝置的拍攝圖像處理系統(tǒng)，其特征在于，上述圖像輸出裝置獲取表示由上述輸出對象圖像決定部決定的輸出對象圖像的圖像數(shù)據(jù)，并輸出該圖像數(shù)據(jù)，或者對該圖像數(shù)據(jù)實施了圖像處理的已處理圖像數(shù)據(jù)。

根據(jù)上述的構成，用戶也能夠在容易地確認了對象物在拍攝范圍內(nèi)處于何處位置后，將從圖像輸出裝置輸出的圖像數(shù)據(jù)放入到存儲部。

另外，上述拍攝裝置也可以由計算機來實現(xiàn)，該情況下，通過使計算機作為上述各部動作而通過計算機實現(xiàn)拍攝裝置的程序、以及記錄了該程序的計算機可讀取的記錄介質(zhì)也進入本發(fā)明的范疇內(nèi)。

本發(fā)明并不局限于上述的實施方式，能夠在權利要求所示的范圍內(nèi)進行各種變更。即，針對使在權利要求所示的范圍內(nèi)適當變更后的技術單元組合而得到的實施方式，也包含在本發(fā)明的技術范圍內(nèi)。

產(chǎn)業(yè)上的可利用性

本發(fā)明能夠應用于在便攜終端裝置與圖像形成裝置或圖像顯示裝置之間進行數(shù)據(jù)通信的拍攝圖像處理系統(tǒng)。

圖中符號說明：

10：快門按鈕；100：便攜終端裝置(拍攝裝置)；101：拍攝部；105：顯示部；108：存儲部；109：控制部；110：拍攝范圍判定部；111：幾何學配置檢測部(檢測部)；112：顯示處理部；113：輸出對象圖像決定部；115：切換部；200：圖像形成裝置(圖像輸出裝置)；300：圖像顯示裝置。