專利名稱：圖像處理裝置及計算機程序的制作方法
技術(shù)領域：
本發(fā)明涉及在圖像內(nèi)提取含有拍攝對象(subject)輪廓(contour)的 四邊形(quadrangle)區(qū)域(area)的圖像處理裝置以及計算機程序。
背景技術(shù)：
以往，己知有，為了能對攝影圖像中包含的拍攝對象圖像實行坐標轉(zhuǎn) 換等圖像處理，具有在圖像內(nèi)提取包含拍攝對象的輪廓的四邊形區(qū)域功 能、即輪廓四邊形提取功能的拍攝裝置(image capturing device)。這樣的 拍攝裝置利用霍夫變換(Hough transform),由包含表示拍攝對象的輪廓 的邊緣像素(edge pixels)的邊緣圖像(edge image)中檢測構(gòu)成拍攝對象 的輪廓的多條直線(stmightline)，由檢測出的多條直線中確定形成四邊形 區(qū)域的直線，從而提取四邊形區(qū)域。這種拍攝裝置的一個例子在日本國特 開2005—267457號公報中公開。
現(xiàn)有的拍攝裝置，在邊緣圖像(edge image)內(nèi)對檢測出的多條直線 中的每條計算直線上存在的邊緣像素(edge pixels)數(shù)，根據(jù)計算出的像 素數(shù)的多少來確定(select)形成四邊形區(qū)域的直線。但是，根據(jù)這樣的結(jié) 構(gòu)，當提取的四邊形區(qū)域的大小(size)不清楚時或在一個圖像內(nèi)存在多 個拍攝對象圖像(subject image)時，會提取出不合格(inadequate)的四 邊形區(qū)域。
此外，在攝影圖像中包含多個拍攝對象圖像時，現(xiàn)有的拍攝裝置按照 四邊形區(qū)域的大小等評價值由高到低的順序在顯示畫面上顯示多個四邊形區(qū)域的候補(以下，簡記為矩形候補(rectangle candidate)),用戶從顯 示在顯示畫面上的多個矩形候補中選擇圖像處理時所利用的矩形候補。但 是，根據(jù)這樣的現(xiàn)有拍攝裝置，由于在不同拍攝對象圖像間頻繁切換矩形 候補的顯示，或顯示與已經(jīng)選擇了矩形候補的拍攝對象圖像相關的其他矩 形候補，用戶不能夠順利地(smoothly)選擇矩形候補。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供一種圖像處理裝置，包括-線段檢測單元，在圖像內(nèi)檢測縱向線段和橫向線段； 對邊候補作成單元，根據(jù)由所述線段檢測單位檢測出的縱向線段和橫
向線段，在所述圖像內(nèi)作成構(gòu)成四邊形區(qū)域的縱向?qū)吅蜓a和橫向?qū)吅?br> 補；
矩形候補作成單元，作成多個所述縱向?qū)吅蜓a和橫向?qū)吅蜓a的組 合，作成以各組合的縱向?qū)吅蜓a和橫向?qū)吅蜓a的交點為4個頂點的所 述四邊形區(qū)域作為所述矩形候補；以及
評分單元，根據(jù)所述矩形候補與構(gòu)成(constituting)縱向?qū)吅蜓a以 及橫向?qū)吅蜓a的線段(line segment)之間的關系(relationship),計算各 個所述矩形候補的概率(likelihood)。


參照

實現(xiàn)本發(fā)明各個特征的大致結(jié)構(gòu)。附圖和說明用來說明
發(fā)明的實施方式，而不是限制本發(fā)明。
圖IA及圖IB是表示構(gòu)成本發(fā)明的第1實施方式的數(shù)碼照相機的結(jié)
構(gòu)的斜視圖，圖1A主要表示前面的結(jié)構(gòu)，圖IB主要表示背面的結(jié)構(gòu)。 圖2是表示圖1所示的數(shù)碼照相機的控制系統(tǒng)的結(jié)構(gòu)的模塊圖。 圖3是表示第1實施方式涉及的輪廓矩形提取處理的流程的流程圖。 圖4A 圖4C是表示由圖3的步驟S5的處理提取的邊緣圖像的一個
例子的圖。
圖5是用于說明圖3的步驟S5的邊緣圖像提取處理中采用的索泊爾 濾波器(Sobel filter)的結(jié)構(gòu)的圖。圖6A及圖6B是表示圖3的步驟S6的細化/二值化處理后的邊緣圖像的一個例子的圖。
圖7A及圖7B是表示由圖3的步驟S7的標注(labeling)處理得到的
線段信息的一個例子的圖。
圖8是用于說明圖3的步驟S8的線段分割處理的概念圖。圖9是用于說明圖3的步驟S9的線段連接處理的概念圖。圖10A及圖10B是表示由圖3的步驟S10的配對(pairing)處理得到
的橫向及縱向的對邊候補的一個例子的圖。
圖11是表示圖IO所示的橫向及縱向的對邊候補的組合的一個例子的圖。
圖12是表示由圖ll所示的橫向及縱向的對邊候補的組合得到的矩形
候補的一個例子的圖。
圖13是用于說明圖3所示的步驟S12的評價(scoring)處理的圖。圖14A 圖14D是表示按照由圖3所示的步驟S12的處理計算出的點
數(shù)順序來顯示的矩形候補的一個例子的圖。
圖15是表示根據(jù)用戶的操作被顯示的矩形候補按照點數(shù)順序而轉(zhuǎn)移
的情形的圖。
圖16是表示攝影圖像中包含多個拍攝對象的情形的矩形候補的顯示例的圖。
圖17是表示根據(jù)所顯示的矩形候補針對拍攝對象圖像進行圖像處理時的處理的流程的圖。
圖18是表示本發(fā)明的第2實施方式涉及的分組處理的流程的流程圖。圖19A及圖19B是表示用于說明圖18所示的步驟S21的處理的矩形
候補的一個例子的圖。
圖20A是表示多個矩形候補的一個例子的圖，圖20B是表示針對各矩形候補計算出的頂點坐標、重心坐標、以及外周的長度的圖。
圖21是表示第2實施方式涉及的矩形候補選擇處理的流程的流程圖。
圖22是表示多個矩形候補的一個例子的圖。
圖23是表示用重心坐標來對圖22所示的多個矩形候補進行分組后的結(jié)果的圖。圖24是表示用重心位置的x坐標和大小來對圖22所示的多個矩形候 補進行分組后的結(jié)果的圖。
圖25是表示用重心位置的y坐標和大小來對圖22所示的多個矩形候 補進行分組后的結(jié)果的圖。
圖26是表示選擇操作的狀態(tài)轉(zhuǎn)移的一個例子的圖。
具體實施例方式
參照附圖來說明基于本發(fā)明的實施方式。所主張的發(fā)明的范圍不應被 限制在附圖中闡明的例子和下述說明的例子中。 (第1實施方式)
以下，針對構(gòu)成本發(fā)明第1實施方式的數(shù)碼照相機的結(jié)構(gòu)詳細說明。
首先，參照圖1A、圖1B，針對構(gòu)成本發(fā)明的第1實施方式的數(shù)碼照 相機(digital camera) 1的整體結(jié)構(gòu)進行說明。
如圖1A所示，構(gòu)成本發(fā)明的第1實施方式的數(shù)碼照相機1在大致矩 形形狀的薄板狀(flatboxshape)本體(body)(以下，簡記為本體)2的 前面(front face)具備攝影鏡頭3、個體定時燈(timer indicator) 4、取 景窗5、閃光燈發(fā)光部6、以及麥克風部(microphone) 7。在本體2上面 (top face)的(基于用戶)右端側(cè)設置有電源鍵(power switch) 8以及快 門鍵(shutter button) 9。攝影鏡頭3具有使焦點距離連續(xù)變化的變焦功能 以及AF (AutoFocus)功能，在電源關閉時以及再生模式時縮回至本體2 內(nèi)部。電源鍵8是在每次接通/斷開電源時操作的鍵，快門鍵9是在攝影模 式時指示攝影計時的鍵。
如圖1B所示，在本體2的背面(back face),設置有攝影模式(R) 鍵(recording mode key) 10、再生模式(P)鍵(playing mode key) 11、 電子取景器(EVF) 12、揚聲器部13、變焦(macro)鍵14、閃光燈鍵15、 菜單(MENU)鍵16、環(huán)形鍵17、確定(SET)鍵18、以及液晶顯示部 (displayunit) 19。對于攝影模式鍵10，通過由電源斷開的狀態(tài)對其進行 操作，從而自動接通電源，轉(zhuǎn)換為靜止畫面的攝影模式，另一方面，通過 由電源接通的狀態(tài)對其反復進行操作，從而循環(huán)地設定靜止畫面和運動畫 面的攝影模式。在第l實施方式中，靜止畫面的攝影模式包含如下攝影模式以規(guī)定的曝光時間進行通常攝影操作的單張攝影模式(single shot mode);采用比單張攝影模式短的曝光時間連續(xù)對拍攝對象攝影，合成多 個圖像幀后生成一張圖像的連拍攝影模式(multi shotmode)。
對于再生模式鍵ll，通過由電源斷開的狀態(tài)對其進行操作，從而自動 接通電源，轉(zhuǎn)換為再生模式。EVF12是使用液晶畫面的目鏡型取景器，攝 影模式時在液晶畫面上顯示取景圖像(live view image),另一方面，再生 模式時再生顯示所選擇的圖像。對于變焦鍵14，在靜止畫面的攝影模式下 切換通常攝影和變焦攝影時對其進行操作。對于閃光燈鍵15，在切換閃光 燈發(fā)光部6的發(fā)光模式時對其進行操作。對于菜單鍵16，在選擇各種菜單 項目等時對其進行操作。環(huán)形鍵17是向上下左右各方向的項目選擇(item selection)用的鍵一體(monolithically)形成的鍵，位于該環(huán)形鍵17的中 央的確定鍵18，在設定該時刻所選擇的項目時對其進行操作。
液晶顯示部19由帶背景燈的彩色液晶面板構(gòu)成，在攝影模式時進行 取景圖像的顯示器顯示，另一方面，在再生模式時再生顯示所選擇的圖像。 另外，液晶顯示部19也能取代液晶面板而具備其他的顯示設備。雖然未 圖示，但是在數(shù)碼照相機1的底面設置有用于裝卸作為記錄介質(zhì)而使用的 存儲卡的存儲卡槽、和作為用于與外部個人電腦等連接的串行接口的USB (Universal Serial Bus)接口等。
下面，參照圖2、圖3說明構(gòu)成第1實施方式的數(shù)碼照相機1的拍攝 系統(tǒng)以及控制系統(tǒng)的結(jié)構(gòu)。
在構(gòu)成第1實施方式的數(shù)碼照相機1中，攝影模式時，在構(gòu)成攝影鏡 頭3的鏡頭光學系統(tǒng)32的攝影光軸后方配置的攝影元件、即CCD33由定 時發(fā)生器(TG) 34和垂直驅(qū)動器35掃描驅(qū)動，輸出1畫面的與按每固定 周期成像的光像相對應的光電轉(zhuǎn)換輸出，其中，攝影透鏡3由馬達(M) 31的驅(qū)動而使對焦位置和光圈位置移動。該光電轉(zhuǎn)換輸出，在模擬形式的 信號狀態(tài)下，按每個RGB的各原色分量，進行適當增益調(diào)整，之后，由 取樣保持電路(S/H: sample-and-hold circuit) 36進行取樣保持，并由A/D 轉(zhuǎn)換器37轉(zhuǎn)換為數(shù)字數(shù)據(jù)，再由彩色處理電路38進行包含像素插補處理 及Y補償處理的彩色處理，從而生成數(shù)字值的亮度信號Y及色差信號Cb、 Cr，并將其輸出至DMA (Direct Memory Access)控制器39。
9DMA控制器39采用來自同一彩色處理電路38的復合同步信號、存 儲器能寫入信號、以及時鐘信號將彩色處理電路38輸出的亮度信號Y以 及色差信號Cb、Cr 一次寫入DMA控制器39內(nèi)部的緩沖區(qū)中，通過DRAM 接口 (I/F) 40向作為緩沖存儲器來使用的DRAM41進行DMA傳送?？?制部42由CPU、固定存儲由CPU執(zhí)行的計算機程序的ROM、以及作為 工作存儲器來使用的RAM等構(gòu)成，用來控制數(shù)碼照相機1整體的操作。
控制部42在將亮度Y以及色差信號Cb、 Cr向DRAM41進行DMA 傳送之后，通過DRAM接口 40由DRAM41讀出該亮度Y以及色差信號 Cb、 Crp，并通過VRAM控制器43寫入VRAM44。數(shù)碼視頻編碼器45 通過VRAM控制器43定期由VRAM44讀出所述亮度Y以及色差信號Cb、 Cr，以這些數(shù)據(jù)為基礎產(chǎn)生視頻信號，并輸出至EVF12和液晶顯示部19。 EVF12和液晶顯示部19根據(jù)來自數(shù)碼視頻編碼器45的視頻信號進行顯 示，從而在該時刻根據(jù)由VRAM控制器43取得的圖像信息實時顯示圖像。
如此，在EVF12和液晶顯示部19中將該時刻的圖像作為顯示器圖像 進行實時顯示的、所謂取景圖像的顯示狀態(tài)下，如果采用進行靜止畫面攝 影的計時來操作快門鍵9，則產(chǎn)生觸發(fā)信號。控制部42響應該觸發(fā)信號停 止向DRAM41進行DMA傳送在該時刻由CCD33取得的1畫面的亮度Y 以及色差信號Cb、 Cr，以按照適當曝光條件得到的光圈值以及快門速度 來驅(qū)動CCD33,再次取得1畫面的亮度Y以及色差信號Cb、 Cr并向 DRAM41傳送，之后，停止該路徑，轉(zhuǎn)移至記錄保存的狀態(tài)。
在該記錄保存的狀態(tài)下，通過DRAM接口 40按Y、 Cb、 Cr的各個 組成讀出由控制部42寫入DRAM41的亮度以及色差信號，并寫入圖像處 理部47，在該圖像處理部47中，釆用ADCT (Adaptive Discrete Cosine Transform:自適應離散余弦變換)、熵編碼(entropy coding)方式即哈夫 曼(Huffman)編碼等處理來壓縮數(shù)據(jù)。然后，由圖像處理部47讀出得到 的符號數(shù)據(jù)，寫入作為數(shù)碼照相機1的記錄介質(zhì)而自由裝卸的存儲卡48、 或數(shù)碼照相機1中固定內(nèi)置的內(nèi)置存儲器(未圖示)中的任意一個。然后， 伴隨亮度Y以及色差信號Cb、 Cr的壓縮處理、以及向存儲卡48或內(nèi)置 存儲器寫入全壓縮數(shù)據(jù)的結(jié)束，控制部42再次起動由CCD33至DRAM41 的路徑?？刂撇?2與鍵輸入部(user interface) 49、聲音處理部50、以及閃光 燈驅(qū)動部51連接。鍵輸入部49由所述電源鍵8、快門鍵9、攝影模式鍵 10、再生模式鍵1K變焦鍵14、閃光燈鍵15、菜單鍵16、環(huán)形鍵17、確 定鍵18等構(gòu)成，與這些鍵操作相附隨的信號向直接控制部42發(fā)送。聲音 處理部50包括PCM音源等音源電路，在聲音錄音時，對由麥克風部7輸 入的聲音信號進行數(shù)字化，按照規(guī)定的數(shù)據(jù)文件形式、例如MP3 (MPEG-1 audio layer 3)標準進行數(shù)據(jù)壓縮，作成聲音數(shù)據(jù)文件，向存儲卡48或內(nèi) 置存儲器發(fā)送，另一方面，在聲音再生時，對由存儲卡48或內(nèi)置存儲器 發(fā)送來的聲音數(shù)據(jù)文件進行解壓縮，并模擬化，驅(qū)動揚聲器部(SP) 13， 擴音播放。閃光燈驅(qū)動部51在靜止圖像攝影時對未圖示的閃光燈用的大 容量電容器進行充電，之后根據(jù)來自控制部42的控制對閃光燈發(fā)光部6 進行閃光驅(qū)動。
具有這樣結(jié)構(gòu)的數(shù)碼照相機1，通過執(zhí)行入如下所示的輪廓四邊形提 取處理，從而提取含有拍攝對象的輪廓的四邊形區(qū)域。以下，參照圖3所 示的流程圖，說明執(zhí)行該輪廓四邊形提取處理時的數(shù)碼照相機l的操作。
用戶通過操作環(huán)形鍵17以及確定鍵18，從按情景攝影模式之中選擇 "拍攝照片或文件"、"拍攝白板(white board)等"這樣的模式進行攝影。 這些模式進行拍攝對象的正面化補償(skewcorrection:傾斜補償)，在圖 像處理部47取得采用這樣的模式攝影的圖像，按照能執(zhí)行輪廓四邊形提 取處理的計時，開始圖3所示的流程圖，輪廓四邊形提取處理進入步驟S1 的處理。另外，以下所示的數(shù)碼照相機1的操作是通過如下過程來實現(xiàn)的， 即，控制部42內(nèi)的CPU將存儲于ROM中的計算機程序加載至RAM，通 過執(zhí)行加載至RAM的計算機程序，從而控制由圖像處理部47進行的圖像 處理。
在步驟S1的處理中，圖像處理部47通過對所輸入的攝影圖像執(zhí)行失 真的補償處理，從而由鏡頭光學系統(tǒng)32的鏡頭特性來補償失真的攝影圖 像。由此，步驟S1的處理結(jié)束，輪廓矩形提取處理進入步驟S2的處理。
在步驟S2的處理中，圖像處理部47將補償失真后的攝影圖像的大小 (圖像尺寸)縮小至規(guī)定的大小。具體來說，圖像處理部47計算補償失 真后的攝影圖像的大小，根據(jù)計算出的大小來縮小攝影圖像的縱向及橫向
ii的長度，以使攝影圖像的大小成為(縱)x (橫)320x240 (像素)的大 小。由此，步驟S2的處理結(jié)束，輪廓四邊形提取處理進入步驟S3的處理。
在步驟S3的處理中，圖像處理部47將攝影圖像的顏色信息的顯示形 式由位圖形式轉(zhuǎn)換為YUV(Y:亮度信號，U:亮度信號與藍色分量的差， V:亮度信號與紅色分量的差)形式。由此，步驟S3的處理結(jié)束，輪廓四 邊形提取處理進入步驟S4的處理。
在步驟S4的處理中，圖像處理部47通過將攝影圖像的圖像數(shù)據(jù)置于 中央(中央值Median)濾波器中，從而從攝影圖像的圖像數(shù)據(jù)中除去噪 聲分量。所謂本實施方式涉及的中央濾波器，其按照從小到大的順序來排 列3x3 (像素)的局部區(qū)域中的像素值，并將位于中央的像素值作為區(qū)域 中央的像素的像素值。由此，步驟S4的處理結(jié)束，輪廓矩形提取處理進 入步驟S5的處理。
如圖4A、圖4B、圖4C所示，在步驟S5的處理中，圖像處理部47 提取由除去噪聲分量后的圖像數(shù)據(jù)中分別提取出縱(垂直，x)向及橫(水 平，y)向的邊緣之后而得到的邊緣圖像(edgeimages)。本實施方式中， 圖像處理部47采用通過計算圖5所示的空間1階微分來檢測輪廓的索泊 爾(Sobd)濾波器，提取縱(垂直)向以及橫(水平)向各個邊緣圖像(vertical edge image, horizontal edge image)。由此，步驟S5的處理結(jié)束，輪廓四 邊形提取處理進入步驟S6的處理。
在步驟S6的處理中，如圖6A、圖6B所示，圖像處理部47分別對由 步驟S5的處理提取出的縱向以及橫向的邊緣圖像實施細化(thinning)和 二值化處理(binarization)。具體來說，圖像處理部47檢測縱向的邊緣圖 像(vertical edge image)中包含的邊緣像素(edge pixels)中滿足條件(坐 標位置x—l的像素值<坐標位置x的像素值^坐標位置x+1的像素值}的 坐標位置x的像素。同樣地，圖像處理部47檢測橫向的邊緣圖像(horizontal edge image)中包含的邊緣像素(edge pixels)中滿足條件{坐標位置y_ 1 的像素值<坐標位置y的像素值2坐標位置y+1的像素值}的坐標位置y的 像素。然后，在構(gòu)成邊緣圖像的像素中，圖像處理部47將提取出的坐標 位置x、 y的像素值設定為255，將這以外的坐標位置的像素值設定為O。 由此，步驟S6的處理結(jié)束，輪廓四邊形提取處理進入步驟S7的處理。在步驟S7的處理中，圖像處理部47通過分別對縱向以及橫向的邊緣 圖像進行標注處理，從而作成形成如圖7A、圖7B所示的拍攝對象的輪廓 的縱向以及橫向的線段(line segment)信息。在本實施方式中，圖像處理 部47針對橫向的邊緣圖像，由x二0的坐標位置開始， 一邊在x方向上掃 描， 一邊也參照與y方向相鄰的像素，從而檢測邊緣圖像中所包含的邊緣 像素。然后，在檢測出邊緣像素的情況下，圖像處理部47判斷所檢測出 的邊緣像素的像素值是否為255、且是否與其他像素相連接，在像素值為 255、且未與其他像素相連接的情況下，在x方向上開始含有所檢測出的 邊緣像素的線段的跟蹤(tmce)。具體來說，圖像處理部47針對位于跟蹤 開始位置的坐標(x， y)的右橫處的3點(x+l， y—l)、 (x+l， y)、 (x + 1， y+l)執(zhí)行跟蹤。
然后，圖像處理部47在滿足如下所示的3個條件中任何一個條件的 情況下，給該線段附加特有編號(標注)，結(jié)束該線段的跟蹤，在繼續(xù)跟 蹤的情況下，將存在最后所檢測出的邊緣像素的x坐標位置設定為下一個 跟蹤開始位置。
條件h 3點中至少一點已經(jīng)被標注。
條件2: 3點中2點以上是構(gòu)成邊緣圖像的像素。
條件3:在跟蹤過程中在3點中2次未檢測出構(gòu)成邊緣圖像的像素。
另一方面，對于縱向的邊緣圖像，圖像處理部47通過由y二0的坐標 位置開始在x方向上掃描，從而檢測包含在邊緣圖像中的邊緣像素，對于 橫向的邊緣圖像也進行與所進行的處理相同的處理。然后，圖像處理部47 計算通過跟蹤所標注的各線段(line segment)的起點(start point)以及終 點(endpoint)的坐標、傾斜度(由起點和終點求出)、構(gòu)成線段的各點相 對于線段的傾斜度的誤差(如果是縱線則是x方向的偏移(displacement), 如果是橫線則是y方向的偏移(displacement))的平均、以及誤差最大的 坐標位置和將其值作為線段信息。由此，步驟S7的處理結(jié)束，輪廓四邊 形提取處理進入步驟S8的處理。
在步驟S8的處理中，圖像處理部47參照由步驟S7的處理作成的線 段信息，判斷是否存在包含相對于線段的傾斜度的誤差的最大值為規(guī)定值 以上的點的線段，在存在包含誤差的最大值為規(guī)定值以上的點的線段的情
13況下，如圖8所示，在該點(圖8所示的例子中為點P)上將線段分割為 2條線段。另外，分割點能被附加在分割后長度較短的線段上。此外，圖 像處理部47在線段長度為第1閾值以上的情況、或分割后的線段的長度 為第2閾值以下的情況下不對線段進行分割。然后，圖像處理部47在存 在分割后的線段的情況下更新線段信息。由此，步驟S8的處理結(jié)束，輪 廓四邊形提取處理進入步驟S9的處理。
在步驟S9的處理中，圖像處理部47參照由步驟S8的處理更新的線 段信息，按照從長到短的順序提取規(guī)定數(shù)目的長度為規(guī)定值以上的線段作 為連接源線段，如圖9所示，在滿足以下3個條件的線段(連接目的線段) 上連接連接源線段。然后，圖像處理部47在連接了連接目的線段和連接 源線段之后，由最小二乘法計算通過連接連接目的線段和連接源線段而形 成的線段的起點和終點的坐標位置。由此，步驟S9的處理結(jié)束，輪廓四 邊形提取處理進入步驟S10的處理。
條件l:連接源線段和連接目的線段未離開規(guī)定值以上。 條件2:連接源線段未完全包含在連接目的線段中。 條件3:當延長連接源線段的起點或終點至連接目的線段時，所延長 的部分與連接源線段的起點及終點的位置的誤差不足規(guī)定值。
在步驟S10的處理中，如圖IOA及圖IOB所示，圖像處理部47由實 施了步驟S8及步驟S9的分割處理以及連接處理的縱向以及橫向各個線段 (line segment)作成四邊形(quadrangle)的對邊候補(candidate for a pair of facing edge lines; hereinafter simply referred to as "facing-lines candidate") (在圖10A、圖IOB所示的例子中，將線段H1和線段H2的配對作為橫 向的對邊候補，將線段VI和線段V2的配對作為縱向的對邊候補來表示)。 具體來說，圖像處理部47分別針對縱向及橫向作成多組線段間距離為規(guī) 定值以上、且一條線段的長度相對于另一條線段的比率處于規(guī)定的范圍內(nèi) (例如，1/3 3倍)的線段的配對作為對邊候補。由此，步驟S10的處理 結(jié)束，輪廓四邊形提取處理進入步驟Sll的處理。
在步驟S11的處理中，如圖11所示，圖像處理部47分別作成由步驟 S10的處理作成的縱向以及橫向的對邊候補的組合。然后，圖像處理部47 針對各組合，計算對邊候補的4個交點。此時，假設圖像處理部47僅采用線段的傾斜度信息，在線段的延長上有交點即可。也就是說，也包括在
所檢測出的交點上實際未有線段交叉的情形。然后，圖像處理部47作成 多個以所計算出的4個交點為頂點的如圖12所示的矩形候補S。由此，步 驟Sll的處理結(jié)束，輪廓四邊形提取處理進入步驟S12的處理。
在步驟S12的處理中，圖像處理部47計算由步驟Sll的處理作成的 矩形候補S的外周的長度Ll。外周的長度Ll能夠通過將構(gòu)成矩形候補S 的4個頂點間的距離相加來計算。此外，圖像處理部47，如圖13所示， 計算縱向以及橫向的線段(line segments) L中處于矩形候補S的外周上 的部分的長度的總和(total)作為長度L2。然后，圖像處理部47采用如 下所示的數(shù)學式1，計算線段L的長度總和L2相對于矩形候補S的外周 的長度Ll的比例作為各矩形候補S的點數(shù)(score)(矩形區(qū)域的概率 (likelihood))(評價處理scoring)。數(shù)學式1中，系數(shù)P意思是在超出 構(gòu)成矩形候補S的4個頂點(comerpoints)的線段(例如超出圖13所示 的區(qū)域R1、 R2、矩形候補S的外周部而延伸出的線段)存在的情況下， 用于減少矩形候補S的點數(shù)的處罰(penalty)系數(shù)，例如如果線段超出4 個頂點的部分是O個，則設定為l.O，如果是l個部分，則設定為0.8，如 果是2個部分，則設定為0.64，等。另外，處罰系數(shù)不限定為所述例子， 例如在拍攝對象為定型，且預先知道縱橫比率的情況下，能設為如果越偏 離該比率，則處罰系數(shù)的值越重(設為1以下)，或者在知道拍攝對象的 外周的長度的情況下，能設為與該外周的誤差越大，則處罰系數(shù)的值越重 (設為1以下)等，能為各種應用。由此，步驟S12的處理結(jié)束，輪廓矩 形提取處理進入步驟S13的處理。
Score = L2/Llxl00xP
在步驟S13的處理中，如圖14A 14D所示，圖像處理部47按照由 步驟S12的處理計算出的點數(shù)從高到低的順序、即概率從高到低的順序?qū)?矩形候補S1 S4中的一個重疊(overlap)在攝影圖像上，在液晶顯示部 19中顯示。具體來說，如圖15所示，圖像處理部47配合用戶對環(huán)形鍵 17的操作，按照概率從高到低的順序?qū)⒕匦魏蜓aSl S4循環(huán)地(circularly) 顯示在液晶顯示部19中。另外，在圖15所示的例子中，雖然按照概率從高到低的順序?qū)⒕匦魏蜓a顯示在液晶顯示部19中，但也能按照點數(shù)用色 彩區(qū)分矩形候補同時顯示在液晶顯示部19中。
此外，由于有時在圖像內(nèi)存在多個拍攝對象，所以例如也能準備可切 換ON/OFF的多個補償模式，讓用戶能夠選擇是否針對多個矩形候補進行 選擇。具體來說，當多個補償模式為OFF的情況下，例如如圖16所示， 圖像處理部47配合用戶對環(huán)形鍵17的操作，按照概率從高到低的順序?qū)?矩形候補循環(huán)地(circularly)顯示在液晶顯示部19中，對于由用戶選擇出 的矩形候補所圍起來的區(qū)域的像素進行坐標轉(zhuǎn)換等圖像處理，之后，輪廓 四邊形提取處理結(jié)束。此外，當多個補償模式為ON的情況下，例如如圖 17所示，圖像處理部47配合用戶對環(huán)形鍵17的操作，按照概率從高到低 的順序?qū)⒕匦魏蜓a循環(huán)地顯示在液晶顯示部19中(圖17中的部分(a) (b))，對于由用戶選擇出的矩形候補所圍起來的區(qū)域的像素進行坐標轉(zhuǎn) 換等圖像處理(圖17中的部分(c))后，將未被用戶選擇的矩形候補作 為可能的選擇，進一步進行圖像處理(圖17中的部分(d) (e) (f))。由 此，用戶就能對多個拍攝對象依次(s叫uentially)選擇正確的矩形候補來 進行圖像修整。由以上，步驟S13的處理結(jié)束， 一系列的輪廓四邊形提取 處理結(jié)束。
如以上說明所知，根據(jù)構(gòu)成第1實施方式的輪廓四邊形提取處理，圖 像處理部47由攝影圖像檢測縱向和橫向的線段信息，根據(jù)所檢測出的縱 向和橫向的線段信息來作成構(gòu)成矩形區(qū)域的縱向和橫向的對邊候補 (facing-lines candidate)。此外，圖像處理部47作成多個縱向的對邊候補 和橫向的對邊候補的組合(pairs of the facing-lines candidate for vertical edge lines and the facing-lines candidate for horizontal edge lines), 針對各組 合(pairs)作成以縱向的對邊候補和橫向的對邊候補的交點為頂點的矩形 區(qū)域作為矩形候補S。然后，圖像處理部47計算位于矩形候補S的外周 上的線段L的長度的總和L2相對矩形候補S的外周的長度LI的比例， 來作為各矩形候補S的點數(shù)，根據(jù)計算結(jié)果與攝影圖像一起顯示矩形候補 S。因此，根據(jù)這樣的輪廓矩形提取處理，能夠在考慮所提取出的矩形候 補S的概率之后，向用戶提示矩形候補S。因此，根據(jù)進行所述輪廓四邊 形提取處理的數(shù)碼照相機1，能夠使用戶順利選擇矩形候補S。另外，在
16提取處理而生成的多個矩形 候補S的方法，以基于色彩區(qū)分的重疊顯示的提示、基于循環(huán)的依次顯示 的提示為例進行了說明，但是并不特別限定針對用戶的多個矩形候補S的 提示方法。此外，也能不對用戶提示所有由輪廓四邊形提取處理所生成的 多個矩形候補S，而按照所計算出的點數(shù)從高到低的順序，限制作為提示
對象的矩形候補s的數(shù)目。該情況下，能夠減少提示給用戶的矩形候補s
的數(shù)目，防止用戶選擇操作的煩雜。
此外，在所述說明中，雖然說明了如下例子，g卩，向用戶提示了由輪
廓四邊形提取處理所生成的多個矩形候補s之后，由用戶選擇在后續(xù)階段
(ate subsequent stage)作為圖像處理的對象的矩形候補S，但是也能在后 續(xù)階段根據(jù)所計算出的點數(shù)來自動(automatically)選擇作為圖像處理的 對象的矩形候補S。該情況下，不必向用戶請求選擇操作，能夠在簡化用 戶操作(simplifying user operation)的同時，使與后續(xù)階段的圖像處理相 配合的一系列處理順暢進行。
此外，在輪廓四邊形提取處理的后續(xù)階段，作為對所選擇出的矩形候 補S內(nèi)的像素進行的圖像處理，也能進行基于坐標轉(zhuǎn)換的傾斜補償處理、 圖像提取處理、放大/縮小處理、對比調(diào)整處理、標注(label)補償處理等 各種圖像處理，或這些圖像處理的組合。 (第2實施方式)
下面，針對本發(fā)明涉及的第2實施方式進行說明。在所述第l實施方 式中，在由步驟Sll的處理生成多個矩形候補S之后，對各矩形候補S進 行評價(步驟S12)，根據(jù)評價后的結(jié)果依次向用戶提示多個矩形候補S(步 驟S13)。第2實施方式在如下一點上與第1實施方式不同，g卩，取代第l 實施方式的步驟S12、 S13的處理，按以下所說明的方式將多個矩形候補 S分組。
第1實施方式所說明的例子是如下情況下的優(yōu)選例，即，通過選擇圖 像內(nèi)所包含的拍攝對象、即矩形候補S作為圖像處理的對象的圖像內(nèi)的區(qū) 域的數(shù)目為l個至多個的情況。另一方面，第2實施方式中說明的例子是 對包含多個以上類似拍攝對象的圖像適用的情況(case、 situation)下的優(yōu) 選例。作為這種情況下的具體的例子，例如，對相片集(photo album)進行俯視攝影(taking an overview image of)之后由攝影圖像提取各照片的 情況，對貼有多個備忘錄的布告板進行攝影(taking a snapshot of a bulletin board having a plurality of memos pinned down)之后提取各備忘錄的情況 等。
第2實施方式涉及的數(shù)碼照相機1,在通過第1實施方式中所說明的 輪廓四邊形提取處理(步驟S1 S11)而在1個攝影圖像中生成多個矩形 候補S之后，通過執(zhí)行以下的分組處理，根據(jù)重心坐標(coordinate of center of gravity; hereinafter simply referred to as "center position")以及大小(size) 來對多個矩形候補S進行分組。以下，參照圖18所示的流程圖說明執(zhí)行 該分組處理時的數(shù)碼照相機1的操作。
圖18所示的流程圖在所述輪廓四邊形提取處理結(jié)束的計時處開始， 分組處理進入步驟S21的處理。另外，控制部42內(nèi)的CPU將存儲在ROM 中的計算機程序加載(load)到RAM中，通過執(zhí)行加載到RAM中的計算 機程序，來控制圖像處理部47所進行的圖像處理，從而實現(xiàn)如以下所示 的數(shù)碼照相機l的操作。
在步驟S21的處理中，圖像處理部47計算各矩形候補S的重心坐標。 具體來說，圖像處理部47首先如圖19A、 19B所示計算矩形候補S的4 個頂點的坐標(Ax， Ay)、 (Bx， By)、 (Cx、 Cy)、 (Dx、 Dy)，采用以下 所示的數(shù)學式2、 3計算構(gòu)成矩形候補S的三角形ABD以及三角形BDC 的重心坐標G1、 G2 (參照圖19A)。接著，圖像處理部47采用以下所示 的數(shù)學式4， 5計算構(gòu)成矩形候補S的三角形ABC以及三角形ACD的重 心坐標G3、 G4 (參照圖19B)。然后圖像處理部47計算連接重心G1、 G2 的直線以及連接重心G3、 G4的直線，計算由以下所示的數(shù)學式6所表示 的2個直線的交點K (Kx， Ky)作為矩形候補S的重心坐標。更具體來 說，在當前由輪廓四邊形提取處理如圖20A所示在1個攝影圖像中生成5 個矩形候補S1 S5的情況下，圖像處理部47如圖20B所示計算矩形候補 S1 S5的4個頂點坐標和重心坐標。由此，步驟S21的處理結(jié)束，分組 處理進入步驟S22的處理。
G1 - ((Ax+Bx+Dx)/3 ， (Ay+By+Dy)八3)
18[2 —數(shù)學式3]
G之=((Bx十Dx+Cx)/3 ， (By+Dy+Cy)/3)
G3 = ((Ax+Bx+Gx)/3 ， (Ay+By+Cy)/3)
G4 = ((Ax+Cx+Dx)八3 ' (Ay+Cy+Dy)/3)
Kx = ((G3y-((G4y—G3y)/(G4x—GS^GSxHGIyHXC^y-GlyMC^x-Glx)),))/
((G2y-Gl y》/(G2x-Q1 x)-(G4y"G3y)/(G4x-G3x))
Ky = (((G4y-G3y)/(G4x-G3x)XG1y—((G2y-G1y)/(G2x-、 G1 x)H((G2y-G1y)/(Mx-G1 x))(G3y-((G4y-G3y)/(G4x-,〉G3x))/
(((G2r"G1y)/(Gi2x-Glx)H(G4y-G3y)/(G4x-G3x》〉
在步驟S22的處理中，圖像處理部47針對由步驟S21的處理所計算 出的各矩形候補S的重心坐標，判斷是否存在XY方向的坐標值的差的絕 對值的合計值為規(guī)定閾值a的重心坐標的組。具體來說，在對矩形候補Sl 的重心坐標(XI， Yl)執(zhí)行處理的情況下，圖像處理部47判斷是否存在 滿足數(shù)學式|X1—X2| + |Y1—Y2l^a的重心坐標(X2， Y2)的組。然后， 判斷結(jié)果中，在XY方向的坐標值的差的絕對值的合計值為規(guī)定閾值a以 下的重心坐標的組(重心坐標的位置較近的矩形候補的組)存在的情況下， 圖像處理部47以步驟S23的處理將該重心坐標登錄至有關重心坐標的組， 之后，使分組處理進入步驟S25的處理中。另一方面，在XY方向的坐標 值的差的絕對值的合計值為規(guī)定值a以下的重心坐標的組不存在情況下， 圖像處理部47以步驟S24的處理，作成新的重心坐標的組，將該重心坐標登錄至所作成的新的重心坐標的組后，使分組處理進入步驟S25的處理。 另外，作為分組的方法，能考慮各種方法，例如能考慮將組特有識別信息 附加至重心坐標的屬性信息中的方法等。
在步驟S25的處理中，圖像處理部47判斷是否對由步驟S21的處理 計算出的全部重心坐標執(zhí)行了所述步驟S22的處理。然后，在判別結(jié)果為 未對由步驟S21的處理計算出的全部重心坐標執(zhí)行所述步驟S22的處理的 情況下，圖像處理部47使分組處理返回步驟S22的處理。另一方面，在 對由步驟S21的處理計算出的全部重心坐標執(zhí)行了所述步驟S22的處理的 情況下，圖像處理部47使分組處理進入步驟S26的處理。
在步驟S26的處理中，圖像處理部47采用以下數(shù)學式7計算各矩形 候補S的外周的長度L。具體來說，在當前如圖20A所示生成5個矩形候 補S1 S5的情況下，圖像處理部47如圖20B所示針對各個矩形候補Sl S5來計算外周的長度L。由此，步驟S26的處理結(jié)束，分組處理進入步驟 S27的處理。
L = /"((Bx-Ax廣2+(By-Ayr2)+Vl(ax-Bx)A2+(Dy-By:r2〉+
在步驟S27的處理中，圖像處理部47針對各重心坐標的組，判斷是 否包含由步驟S26的處理計算出的外周的長度L不在規(guī)定的閾值士(3的范 圍內(nèi)的矩形候補S。然后，由判斷結(jié)果，在包含這樣的矩形候補S的情況 下，圖像處理部47以步驟S28的處理，作成新的重心坐標的組(重心坐 標的位置較近但大小不同的矩形候補的組)，將與該矩形候補S相對應的 重心坐標登錄至所作成的新的重心坐標的組中之后，分組處理進入步驟 S29的處理。另一方面，在不包含這樣的矩形候補S的情況下，圖像處理 部47使分組處理進入步驟S29的處理。
在步驟S29的處理中，圖像處理部47判斷是否對所有重心坐標的組 都執(zhí)行了所述步驟S27的處理。然后，由判斷結(jié)果，在未對所有重心坐標 的組執(zhí)行所述步驟S27的處理的情況下，圖像處理部47使分組處理返回 步驟S27的處理。另一方面，在對所有重心坐標的組都執(zhí)行了所述步驟S27的處理的情況下，圖像處理部47使一系列的分組處理結(jié)束。
通過該分組處理，對1個攝影圖像中所包含的所有矩形候補S，根據(jù)其重心坐標(centerposition)禾卩大小(size)來分組。
另外，在所述說明中，說明了如下情況的例子，即，計算矩形候補S的外周的長度L，并利用外周的長度L作為表示在進行矩形候補S的分組時所使用的各矩形候補S的大小(size)的信息。然而，圖像處理部47也能代替外周的長度L,例如利用矩形候補S的四邊的長度的平均值Z、矩形候補S的內(nèi)部面積、或矩形候補S的對角線長度的平均值等作為表示大小的信息，進行矩形候補S的分組。
所述數(shù)碼照相機1在所述分組處理結(jié)束后，通過執(zhí)行以下的矩形候補選擇處理，即使在1個攝影圖像中存在多個矩形候補S的情況下，用戶也能順利(smoothly)選擇所希望的矩形候補S。以下，參照圖21所示的流程圖，說明執(zhí)行該選擇處理時的數(shù)碼照相機1的操作。
圖21所示的流程圖在所述分組處理結(jié)束的計時處開始，選擇處理進入步驟S31的處理。另外，以下，根據(jù)所述輪廓四邊形提取處理，如圖22所示提取A、 Bl、 B2、 Cl、 C2、 Dl、 D2、 El、 E2、 Fl、 F2、 Gl、 G2、Hl、 H2、 II、 12總計17個矩形候補，采用由所述分組處理如圖23、 24、25所示根據(jù)重心坐標(X， Y)和大小(四邊的長度的平均值)Z的組合對這些矩形候補進行分組后得到例子來具體說明選擇處理。此外，控制部42內(nèi)的CPU將存儲在ROM中的計算機程序加載到RAM中，通過執(zhí)行加載在RAM中的計算機程序來實現(xiàn)以下所示的數(shù)碼照相機1的操作。
在步驟S31的處理中，控制部42判斷進否操作了環(huán)形鍵17。然后，在操作環(huán)形鍵17的計時下，選擇處理進入步驟S32的處理。
在步驟S32的處理中，為了能識別選擇出的矩形候補S，控制部42突出顯示(highlight)由環(huán)形鍵17所選擇的矩形候補S (補償候補)。具體來說，在由環(huán)形鍵17選擇了圖22所示的最大的矩形候補A的情況下，控制部42通過將矩形候補A的框的顏色由白色變?yōu)榫G色，從而突出顯示(highlight)矩形候補A。由此，步驟S32的處理結(jié)束，選擇處理進入步驟S33的處理。
在步驟S33的處理中，控制部42判斷用戶是否通過按壓操作確定鍵
2118將由步驟S32的處理所選擇出的矩形候補S決定為補償候補。由判斷結(jié)果，在確定鍵18未被按壓操作的情況下，控制部42使選擇處理返回至步驟S31的處理。另一方面，確定鍵18被按壓操作的情況下，控制部42使選擇處理進入步驟S34的處理。
另外，在圖22所示的例子中，在選擇矩形候補A的狀態(tài)下，在用戶向下方操作環(huán)形鍵17而不是確定鍵18的情況下，控制部42根據(jù)圖24、25所示的分組結(jié)果，突出顯示矩形候補的大小接近矩形候補A的大小的組(換句話來說，處于Z軸上最接近矩形候補A的組)中所屬的矩形候補Bl。然后，在突出顯示矩形候補B1的狀態(tài)下，在用戶進一步向下方操作環(huán)形鍵17的情況下，控制部42在XY平面內(nèi)，突出顯示與矩形候補Bl屬于同一個組的矩形候補B2。
另一方面，在矩形候補Bl被突出顯示的狀態(tài)下，當用戶向右方操作環(huán)形鍵17時，控 制部42突出顯示Z軸上與矩形候補Bl屬于同一個組、并且在XY平面上屬于與右周邊相鄰的組(重心坐標位置較近的組)的矩形候補C1。此外，在突出顯示矩形候補B1的狀態(tài)下，當用戶向左操作環(huán)形鍵17時，控制部42突出顯示Z軸上與矩形候補B1屬于同一個組、并且在XY平面上屬于與左周邊相鄰的組(重心坐標位置較近的組)的矩形候補F1。
此外，在突出顯示矩形候補C1的狀態(tài)下，當用戶向右操作環(huán)形鍵17時，控制部42突出顯示Z軸上與矩形候補C1屬于同一個組、并且在XY平面上屬于與右周邊相鄰的組的矩形候補G1。另外，控制部42在Z軸上由1個組向其他組轉(zhuǎn)移的情況下，給出規(guī)定的偏移量后，突出顯示下一個組內(nèi)的矩形候補。這是由于，在用戶改變矩形候補的大小來搜索時，將大小幾乎相同但位置相異的矩形候補作為補償候補來突出顯示也沒有意義。具體來說，作為矩形候補B2的下一個，控制部42突出顯示矩形候補E1，而不是若干比矩形候補B2小的補償候補C1、 C2或補償候補G1、 G2。以上的狀態(tài)轉(zhuǎn)移的一個例子如圖26圖示。
在步驟S34的處理中，圖像處理部47計算以由步驟S33的處理決定的矩形候補作為矩形區(qū)域的映射變換矩陣，通過將計算出的映射變換矩陣應用于由矩形候補和該矩形候補圍起來的像素值，從而生成矩形圖像。由此，步驟S34的處理結(jié)束，選擇處理進入步驟S35的處理。
在步驟S35的處理中，圖像處理部47消去由步驟S33的處理決定的矩形候補所屬于的重心坐標組中包含的所有重心坐標所對應的矩形候補的顯示。由此，步驟S35的處理結(jié)束，選擇處理進入步驟S36的處理。
在步驟S36的處理中，控制部42判斷用戶是否通過操作鍵輸入部49而指示了選擇操作結(jié)束。由判斷結(jié)果，在未指示選擇操作結(jié)束的情況下，控制部47使選擇處理返回步驟S31的處理。另一方面，在指示了選擇操作結(jié)束的情況下，控制部42結(jié)束一系列的選擇處理。
由以上說明可知，根據(jù)構(gòu)成第2實施方式的數(shù)碼照相機1，圖像處理部47根據(jù)重心坐標和大小來對多個矩形候補S分組，從多個矩形候補S之中選擇圖像處理所采用的矩形候補S，根據(jù)分組處理的結(jié)果，消去選擇出的矩形候補S所屬于的組內(nèi)包含的矩形候補S的顯示。根據(jù)這樣的結(jié)構(gòu)，即使在存在多個重心位置和大小有細微不同(differs in small degree)的矩形候補S的情況下，也能夠順利選擇用戶所希望的矩形候補。
在以上的說明中，雖然說明了數(shù)碼照相機1作為本發(fā)明涉及的第1以及第2實施方式，但是也能將本發(fā)明應用于對運動圖像進行拍攝的數(shù)碼攝像機、具有拍攝部分的圖像處理裝置等中。即，也能由存儲卡、USB纜線等取得采用外部拍攝裝置拍攝的圖像，進行所述實施方式中所示的一系列的輪廓四邊形提取處理。此外，在所述實施方式中，按照評分從高到低的順序來提示矩形候補，在用戶選擇后進行基于坐標轉(zhuǎn)換的補償，但是也能從評分較高的矩形候補開始由坐標轉(zhuǎn)換對矩形候補進行補償，依次提示該補償結(jié)果，由用戶選擇最優(yōu)選的矩形候補。
應當明白，本發(fā)明并未限定于所述具體實施方式
，本發(fā)明能夠用未脫離本發(fā)明意圖和范圍的組成來表現(xiàn)。本發(fā)明能夠通過適當組合所述實施方式中所揭示的組成而體現(xiàn)為各種形式。例如，某些組成能夠從所述實施方式中的所有組成中刪除。更進一步地，不同實施方式中的組成能被適當組
權(quán)利要求
1.一種圖像處理裝置，包括線段檢測單元，在圖像內(nèi)檢測縱向線段和橫向線段；對邊候補作成單元，根據(jù)由所述線段檢測單元檢測出的縱向線段和橫向線段，在所述圖像內(nèi)作成構(gòu)成四邊形區(qū)域的縱向?qū)吅蜓a和橫向?qū)吅蜓a；矩形候補作成單元，作成多個所述縱向?qū)吅蜓a和橫向?qū)吅蜓a的組合，作成以各組合的縱向?qū)吅蜓a和橫向?qū)吅蜓a的交點為4個頂點的所述四邊形區(qū)域作為所述矩形候補；以及評分單元，根據(jù)所述矩形候補與構(gòu)成縱向?qū)吅蜓a以及橫向?qū)吅蜓a的線段的關系，計算各個所述矩形候補的概率(likelihood)。
2. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述評分單元根據(jù)位于所述矩形候補的外周上的所述縱向?qū)吅蜓a以及所述橫向?qū)吅蜓a的長度相對于所述矩形候補的外周的長度的比例， 計算所述概率。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述評分單元，所述縱向?qū)吅蜓a或所述橫向?qū)吅蜓a中包含的線段從所述矩形候補向外突出并超過所述4個頂點延伸時，將所述概率減少規(guī) 定點數(shù)。
4. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于， 所述對邊候補作成單元，通過將所述縱向線段或所述橫向線段中包含的第1線段以及第2線段設定為所述縱向?qū)吅蜓a以及所述橫向?qū)吅蜓a 之一，來作成所述縱向?qū)吅蜓a以及所述橫向?qū)吅蜓a，所述第1線段以及所述第2線段具有比規(guī)定閾值大的距離， 所述第1線段以及所述第2線段的長度之比處于規(guī)定的范圍內(nèi)。
5. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于， 還具備顯示控制單元，根據(jù)由所述評分單元計算出的所述概率，控制顯示設備將所述矩形候補重疊顯示在所述圖像上。
6. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 所述顯示控制單元，控制所述顯示設備，按照由所述評分單元計算出的所述概率由高到低的順序來顯示所述矩形候補。
7. 根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于， 所述顯示控制單元，控制所述顯示設備，根據(jù)由所述評分單元計算出的所述概率，對多個所述矩形候補進行顏色區(qū)分。
8. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 還具有對所述圖像進行拍攝的拍攝設備。
9. 一種圖像處理裝置，包括矩形候補作成單元，作成圖像內(nèi)的多個四邊形區(qū)域作為矩形候補； 分組單元，根據(jù)各個所述矩形候補的重心坐標和大小，對所述矩形候 補進行分組；顯示單元，將所述矩形候補重疊顯示在所述圖像上； 第1操作單元，從由所述顯示單元顯示出的所述矩形候補中對選擇矩 形候補進行選擇；第2操作單元，將所述選擇矩形候補決定為以后處理中所采用的決定 矩形候補；以及顯示控制單元，所述第2操作單元在所述組內(nèi)決定所述決定矩形候補 時，控制所述顯示單元，停止所述選擇矩形候補所屬的組內(nèi)包含的所述矩 形候補的顯示。
10. 根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于， 所述第1操作單元具有第1操作方向和第2操作方向， 所述顯示控制單元，在所述第1操作方向上操作了所述第1操作單元時，控制所述顯示單元，依次按照選擇狀態(tài)來顯示當前選擇顯示的矩形候 補所屬的第1組中所屬的其他矩形候補，所述顯示控制單元，在所述第2操作方向上操作了所述第l操作單元 時，控制所述顯示單元，按照選擇狀態(tài)來顯示與所述第1組不同的第2組 中所屬的矩形候補。
11. 根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于， 所述顯示控制單元，在所述第2操作方向上操作了所述第1操作單元時，按照選擇狀態(tài)來顯示比當前按照所述選擇狀態(tài)所顯示的所述矩形候補的大小大規(guī)定值以上的矩形候補所屬的所述第2組的矩形候補。
12. 根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于， 還具備對所述圖像進行拍攝的拍攝設備。
13. —種計算機可讀取介質(zhì)，記錄軟件程序，該軟件程序使得計算機 執(zhí)行包含以下功能的圖像處理從圖像中檢測縱向線段和橫向線段；根據(jù)所述縱向線段和所述橫向線段，在所述圖像內(nèi)作成構(gòu)成四邊形區(qū) 域的縱向?qū)吅蜓a和橫向?qū)吅蜓a；作成多個所述縱向?qū)吅蜓a和所述橫向?qū)吅蜓a的組合，針對各組合 作成以所述縱向?qū)吅蜓a和所述橫向?qū)吅蜓a的交點為4個頂點的所述四邊形區(qū)域作為所述矩形候補；以及根據(jù)所述矩形候補和構(gòu)成所述縱向?qū)吅蜓a以及所述橫向?qū)吅蜓a 的線段之間的關系，計算所述各矩形候補的概率。
14. 一種計算機可讀取介質(zhì)，記錄軟件程序，該軟件程序使得計算機 執(zhí)行包含以下功能的圖像處理作成圖像內(nèi)的多個四邊形區(qū)域作為矩形候補；根據(jù)各個所述矩形候補的重心坐標和大小，對所述矩形候補進行分組；在所述圖像上重疊顯示所述矩形候補；從顯示出的所述矩形候補中選擇以后處理中采用的矩形候補時，停止 顯示選擇出的矩形候補所屬的組內(nèi)包含的其他的矩形候補。
全文摘要
本發(fā)明提供一種圖像處理裝置，包括線段檢測單元，其在圖像內(nèi)檢測縱向線段和橫向線段；對邊候補作成單元，其根據(jù)由所述線段檢測單元檢測出的縱向線段和橫向線段，在所述圖像內(nèi)作成構(gòu)成四邊形區(qū)域的縱向?qū)吅蜓a和橫向?qū)吅蜓a；矩形候補作成單元，其作成多個所述縱向?qū)吅蜓a和橫向?qū)吅蜓a的組合，作成以各組合的縱向?qū)吅蜓a和橫向?qū)吅蜓a的交點為4個頂點的所述四邊形區(qū)域作為所述矩形候補；以及評分單元，其根據(jù)縱向?qū)吅蜓a以及橫向?qū)吅蜓a相對所述矩形候補的整合性(alignment)，計算各個所述矩形候補的概率(likelihood)。
文檔編號H04N5/225GK101668116SQ20091016830
公開日2010年3月10日 申請日期2009年8月27日 優(yōu)先權(quán)日2008年9月2日
發(fā)明者吉井雅一, 山本量平, 櫻井敬一 申請人:卡西歐計算機株式會社