本公開涉及圖像處理和圖像識別領(lǐng)域，具體地講，涉及一種基于矩形輔助標(biāo)定框的標(biāo)定方法及裝置。

背景技術(shù)：

隨著科技發(fā)展和圖像信息的大量產(chǎn)生和交流,圖像的自動標(biāo)定應(yīng)用越來越廣泛。為了提高圖片的管理效率，將紙質(zhì)的圖片信息化，獲取其電子數(shù)據(jù)，逐漸成為一種普遍采集管理方式。

目前傳統(tǒng)的方式利用掃描儀設(shè)備，獲取數(shù)據(jù)影像的方式，得到的影像為固定掃描精度，便于下一步利用圖像處理和光學(xué)字符識別技術(shù)，自動提取出其中的文字、數(shù)字等有用信息，加入影像信息管理的數(shù)據(jù)庫。在數(shù)據(jù)庫中統(tǒng)一查詢管理該類影像資料，實(shí)現(xiàn)企業(yè)的影像管理和籌劃的全面規(guī)范化。

隨著智能手機(jī)的大量普及和應(yīng)用，手機(jī)攝像頭也成為一種普遍的數(shù)據(jù)采集設(shè)備，相對傳統(tǒng)的采集方式，手機(jī)采集拍攝圖片具有靈活、便捷的優(yōu)勢。但是由于不同手機(jī)拍攝采集的圖像一般比較大，上傳存儲數(shù)據(jù)庫會占用較多網(wǎng)絡(luò)帶寬；圖像存在除圖像以外背景的冗余信息，浪費(fèi)數(shù)據(jù)存儲服務(wù)器空間；不同手機(jī)采集的圖像尺寸也不固定，不利于進(jìn)一步OCR(Optical Character Recognition，光學(xué)字符識別)識別率；手機(jī)拍攝的圖像存在將三維物理世界中的點(diǎn)投影到二維圖像平面中，帶來的形變的問題，也不利于進(jìn)一步對影像的查看和OCR識別，而且直接使用手機(jī)拍攝采集的圖像還會存在下述問題：

首先，拍攝獲得的圖像因存在背景冗余信息比較大，不僅使上傳存儲數(shù)據(jù)庫會占用較多網(wǎng)絡(luò)帶寬，而且存在浪費(fèi)數(shù)據(jù)存儲服務(wù)器空間的問題。其次，由于不同手機(jī)采集的圖像尺寸不固定，不利于進(jìn)一步OCR識別率。最后，由于拍攝角度問題，會使圖像存在形變問題，不利于對實(shí)物影像的進(jìn)一步查看和OCR識別。

技術(shù)實(shí)現(xiàn)要素：

針對上述部分問題，一方面，本公開揭示了一種基于矩形輔助標(biāo)定框的標(biāo)定方法，所述方法包括下述步驟：

S100、判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定；

所述待標(biāo)定區(qū)域?yàn)榫匦?，置于矩形輔助標(biāo)定框內(nèi)，且待標(biāo)定區(qū)域的各邊與輔助標(biāo)定框相應(yīng)的邊平行；

S200、在判定輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能被標(biāo)定時，對輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域進(jìn)行拍照或掃描，獲取相應(yīng)的待標(biāo)定區(qū)域圖像；

S300、對獲取的待標(biāo)定區(qū)域圖像進(jìn)行標(biāo)定。

該方法利用手機(jī)屏幕上顯示的輔助標(biāo)定框，提示拍攝人員將實(shí)物在影像上的位置對準(zhǔn)標(biāo)定框，再利用已知的標(biāo)定框在圖像上的位置，檢測實(shí)物，并進(jìn)行標(biāo)定，以節(jié)約網(wǎng)絡(luò)帶寬、數(shù)據(jù)服務(wù)器存儲空間和提高OCR識別成功率。

另一方面，根據(jù)所述方法，本公開還提供一種基于矩形輔助標(biāo)定框的標(biāo)定裝置，所述裝置包括下述模塊：

判斷模塊、圖像獲取模塊、標(biāo)定模塊，其中：

所述判斷模塊，被配置用于：判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定；其中，所述待標(biāo)定區(qū)域?yàn)榫匦危糜诰匦屋o助標(biāo)定框內(nèi)，且待標(biāo)定區(qū)域的各邊與輔助標(biāo)定框相應(yīng)的邊平行；

所述圖像獲取模塊，被配置用于：在判定輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能被標(biāo)定時，對輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域進(jìn)行拍照或掃描，獲取相應(yīng)的待標(biāo)定區(qū)域圖像；

所述標(biāo)定模塊，被配置用于：對獲取的待標(biāo)定區(qū)域圖像進(jìn)行標(biāo)定。

本公開裝置可借助軟件加必需的通用硬件的方式來實(shí)現(xiàn)，也可以通過專用硬件包括專用集成電路、專用CPU、專用存儲器、專用元器件等來實(shí)現(xiàn)，以提高方法的實(shí)用性。

附圖說明

圖1本公開一個實(shí)施例中關(guān)于方法的流程圖示意圖；

圖2本公開一個實(shí)施例中關(guān)于裝置的結(jié)構(gòu)圖示意圖。

具體實(shí)施方式

在一個基礎(chǔ)的實(shí)施例中，提供了一種基于矩形輔助標(biāo)定框的標(biāo)定方法，利用輔助標(biāo)定框可以減少一些背景信息的干擾。所述方法包括下述步驟：

S100、判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定；

所述待標(biāo)定區(qū)域?yàn)榫匦危糜诰匦屋o助標(biāo)定框內(nèi)，且待標(biāo)定區(qū)域的各邊與輔助標(biāo)定框相應(yīng)的邊平行；

S200、在判定輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能被標(biāo)定時，對輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域進(jìn)行拍照或掃描，獲取相應(yīng)的待標(biāo)定區(qū)域圖像；

S300、對獲取的待標(biāo)定區(qū)域圖像進(jìn)行標(biāo)定。

在本實(shí)施例中，所述待標(biāo)定區(qū)域?yàn)榫匦?，矩形的角可以是圓角，也可以方角，其具體到實(shí)物可以是下述情形：

情形1：物本身是矩形，比如書、紙張、卡片、票據(jù)等等。

情形2：實(shí)物有殘缺，比如出租車發(fā)票，超市小票，由于撕扯使得實(shí)物有角的殘缺，或者邊不為直線。

在情形(1)，待標(biāo)定區(qū)域可以和實(shí)物大小相同；在情形(2)，對于有殘缺的邊，只要該邊殘留的部分存在直線邊的一部分，是可以獲得該邊所在的直線的，待標(biāo)定區(qū)域?yàn)樗臈l直線邊所圍成的區(qū)域；對于完全缺失的邊，可以已有的邊結(jié)合殘缺邊上點(diǎn)的坐標(biāo)、矩形相鄰邊界垂直的關(guān)系獲取，在這種情況下，所述待標(biāo)定區(qū)域由已有的邊和殘缺的邊一起確定。

待標(biāo)定區(qū)域圖像可以通過拍照獲取，也可以通過掃描儀獲取。為方便標(biāo)定，優(yōu)選將待標(biāo)定區(qū)域水平放置，與輔助標(biāo)定框的邊呈0度或90度左右，上下偏差在正負(fù)5度內(nèi)。也可以將待標(biāo)定區(qū)域不水平放置，但是在標(biāo)定過程中時，會比較復(fù)雜。

本方法中的輔助標(biāo)定框的尺寸在應(yīng)用中是可以根據(jù)實(shí)際需要調(diào)整的。在這個實(shí)施例中，利用輔助標(biāo)定框判斷要獲取的實(shí)物圖像是否可以被標(biāo)定，可以獲取有利于后面標(biāo)定的圖像，提高圖像標(biāo)定后OCR識別的成功率。在確定能夠被標(biāo)定時，對實(shí)物進(jìn)行拍照或掃描，然后對獲取的實(shí)物圖像進(jìn)行標(biāo)定，通過標(biāo)定將實(shí)物圖像處理到統(tǒng)一大小，可以節(jié)約網(wǎng)絡(luò)帶寬、數(shù)據(jù)服務(wù)器存儲空間和提高OCR識別成功率。在判定輔助標(biāo)定框內(nèi)要獲得的實(shí)物圖像不能夠被標(biāo)定時，優(yōu)選給出提示以調(diào)整攝像頭與實(shí)物的距離或者光線等。

當(dāng)然，本方法也可以適用于庫存商品信息化，對于不為矩形的商品，可以將商品放置在矩形框內(nèi)，并調(diào)整輔助標(biāo)定框的尺寸，以使商品圖像清晰，獲取的圖像可以節(jié)約存儲空間。

在判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定的方法上，優(yōu)選采用下述步驟：

S101、獲取輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像；

S102、在所述待標(biāo)定區(qū)域圖像中，獲取構(gòu)成該待標(biāo)定區(qū)域矩形的直線邊；

S103、在能同時獲得四條直線時，判定所述輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能夠標(biāo)定。

上述步驟S102中，如果獲取直線邊時需要對圖像進(jìn)行灰度化處理，則獲取操作應(yīng)該包括需要對圖像進(jìn)行灰度化處理。

對于步驟S103，當(dāng)實(shí)物邊界屬于情形1，可以直接將實(shí)物邊界的四條直線作為待標(biāo)定區(qū)域的四條直線；對于情形2，對于實(shí)物有殘缺，不能獲取的實(shí)物直線邊界，比如出租車發(fā)票因撕扯時導(dǎo)致一邊為不規(guī)則的曲線，可以利用剩余三條直線邊結(jié)合被撕扯的不規(guī)則邊的最小或最大的點(diǎn)、以及矩形相鄰邊界垂直的關(guān)系修復(fù)缺失的那條邊。其中，當(dāng)不規(guī)則邊為矩形上面或左面的邊，則利用剩余三條直線邊結(jié)合被撕扯的不規(guī)則邊的最小的點(diǎn)；當(dāng)不規(guī)則邊為矩形下面或右面的邊時，則利用剩余三條直線邊結(jié)合被撕扯的不規(guī)則邊的最大的點(diǎn)。在這種情況下，也認(rèn)為是可以獲取該待標(biāo)定區(qū)域圖像中構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線。

在最終無法獲得四條直線時，或者退出當(dāng)前處理或者直接進(jìn)入下一幀圖像的處理等等，還可以給出提示，可以是當(dāng)前給出提示，也可以是處理完畢時給出提示。

在這里使用能否獲取構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線，是為了判斷能否獲取用于透視變換的四個角點(diǎn)坐標(biāo)，能夠進(jìn)行透視變換的圖像能夠被標(biāo)定。

在對獲取的待標(biāo)定區(qū)域圖像進(jìn)行標(biāo)定的具體方法步驟中，優(yōu)選采用下述方法進(jìn)行標(biāo)定：

S301、獲取待標(biāo)定區(qū)域圖像中構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線；

S302、在能同時獲得四條直線時，計(jì)算所述四條直線的四個角點(diǎn)坐標(biāo)；

S303、根據(jù)各個角點(diǎn)的坐標(biāo)，結(jié)合給定的標(biāo)定尺寸，利用透視變換對圖像進(jìn)行標(biāo)定。

上述步驟中，如果在獲取直線時需要進(jìn)行灰度化，則所述獲取操作中應(yīng)該包括進(jìn)行灰度化處理。為了提高尋找直線的處理速度，可以對要獲取直線的圖像進(jìn)行縮放操作。當(dāng)進(jìn)行縮放后，則在步驟S301中，為在縮放后的待標(biāo)定區(qū)域圖像中獲取構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線。相應(yīng)地，在步驟S302之后，還應(yīng)該包括下述步驟：將得到的各個角點(diǎn)坐標(biāo)轉(zhuǎn)換為在原圖中的坐標(biāo)。同時，在步驟S303中依據(jù)的角點(diǎn)坐標(biāo)為原圖中的坐標(biāo)，對原圖進(jìn)行標(biāo)定。

在判斷不能獲取四條直線時，可以退出處理，也可以繼續(xù)下一張實(shí)物圖像的標(biāo)定處理。

標(biāo)定尺寸是需要標(biāo)定到某一DPI標(biāo)定圖所對應(yīng)的尺寸。給定的標(biāo)定尺寸為根據(jù)存儲空間、圖像清晰度需要設(shè)置的DPI值，比如200DPI、250DPI、300DPI等等。

為了提高一次標(biāo)定的處理效率，可以在利用在判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定階段獲取的直線，這樣可以將所述步驟S102使用下述步驟替換：

S102’、對所述待標(biāo)定區(qū)域圖像進(jìn)行縮放處理，從縮放后的圖像中獲取構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線。

如果獲取直線的操作，需要進(jìn)行灰度化處理，則獲取這一操作中應(yīng)該包括進(jìn)行灰度化處理。

而即使不利用判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定階段獲取的直線，也可以通過在縮放圖像中獲取直線來提高圖像的處理效率。

在步驟S102中，搜索直線時優(yōu)選采用下述方法，該方法也適用于在步驟S102’縮放圖中進(jìn)行直線搜索：

S1021、根據(jù)輔助標(biāo)定框四個角點(diǎn)坐標(biāo)以及輔助標(biāo)定框區(qū)域大小，在被搜索圖像中，確定構(gòu)成待標(biāo)定區(qū)域矩形直線邊的四個邊界搜索區(qū)域；

S1022、在所述四個邊界搜索區(qū)域內(nèi)，分別搜索確定構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線邊。

在確定搜索區(qū)域時，可以通過設(shè)置閾值來確定搜索區(qū)域。在一個實(shí)施例中，該閾值被設(shè)置為0.1，即根據(jù)輔助標(biāo)定框提供的坐標(biāo)上下和左右分別偏移正負(fù)0.1倍的高或?qū)拋泶_定搜索區(qū)域。

上述提到的縮放處理以及灰度化處理為對圖像的預(yù)處理，可以提高圖像的處理效率。對圖像進(jìn)行灰度化處理可以在盡量保留圖像的有效信息的同時，提高圖像的處理效率?；叶然幚硪部梢栽诳s放處理之后。

在一個實(shí)施例中，步驟S302還可以采用下述步驟：

S3021、根據(jù)水平和垂直索貝爾(Sobel)算子，對灰度圖計(jì)算Canny邊緣圖；

S3022、對Canny邊緣圖計(jì)算霍夫變換；

S3023、過濾掉具有錯誤的梯度角的邊緣分量，獲得所述第一縮放圖像中實(shí)物外接矩形四條直線。

在一個實(shí)施例中，揭示了一種利用輔助標(biāo)定框?qū)D像進(jìn)行標(biāo)定裝置，所述裝置包括下述模塊：

判斷模塊、圖像獲取模塊、標(biāo)定模塊，其中：

所述判斷模塊，被配置用于：判斷輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能否被標(biāo)定；其中，所述待標(biāo)定區(qū)域?yàn)榫匦?，置于矩形輔助標(biāo)定框內(nèi)，且待標(biāo)定區(qū)域的各邊與輔助標(biāo)定框相應(yīng)的邊平行；

所述圖像獲取模塊，被配置用于：在判定輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能被標(biāo)定時，對輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域進(jìn)行拍照或掃描，獲取相應(yīng)的待標(biāo)定區(qū)域圖像；

所述標(biāo)定模塊，被配置用于：對獲取的待標(biāo)定區(qū)域圖像進(jìn)行標(biāo)定。

優(yōu)選地，所述判斷模塊包括下述單元：

第一圖像獲取單元、第一直線獲取單元、判定單元，其中：

所述第一圖像獲取單元，被配置用于：獲取輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像；

所述第一直線獲取單元，被配置用于：在所述待標(biāo)定區(qū)域圖像中，獲取構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線；

所述判定單元，被配置用于：在能同時獲得四條直線時，判定所述輔助標(biāo)定框內(nèi)的待標(biāo)定區(qū)域圖像能夠標(biāo)定。

優(yōu)選地，所述第一直線獲取單元包括下述組件：

區(qū)域搜索組件、直線搜索組件，其中：

所述區(qū)域搜索組件，被配置用于：根據(jù)輔助標(biāo)定框四個角點(diǎn)坐標(biāo)以及輔助標(biāo)定框區(qū)域大小，確定獲取的待標(biāo)定區(qū)域圖像中構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線邊的搜索區(qū)域；

所述直線搜索組件，被配置用于：在四個邊界搜索區(qū)域內(nèi)，搜索確定構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線邊。

優(yōu)選地，所述標(biāo)定模塊包括下述單元：

第二直線獲取單元、角點(diǎn)獲取單元、標(biāo)定單元，其中：

所述第二直線獲取單元，被配置用于：獲取待標(biāo)定區(qū)域圖像中構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線；

所述角點(diǎn)獲取單元，被配置用于：在能同時獲得四條直線時，計(jì)算所述四條直線的四個角點(diǎn)坐標(biāo)；

所述標(biāo)定單元，被配置用于：根據(jù)各個角點(diǎn)的坐標(biāo)，結(jié)合給定的標(biāo)定尺寸，利用透視變換對圖像進(jìn)行標(biāo)定。

優(yōu)選地，為了提高尋找直線的速度，在第二直線獲取單元獲取直線之前，可以使用第一縮放處理單元，對獲取的待標(biāo)定區(qū)域圖像進(jìn)行縮放處理。相應(yīng)地，第二直線獲取單元在縮放處理后的待標(biāo)定區(qū)域圖像中獲取構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線。同時，進(jìn)行縮放操作后，還需要坐標(biāo)轉(zhuǎn)換單元，將在縮放圖中得到的各個角點(diǎn)坐標(biāo)轉(zhuǎn)換為其在原圖中的坐標(biāo)。相應(yīng)地，在標(biāo)定單元中，依據(jù)的角點(diǎn)坐標(biāo)也為原圖中的坐標(biāo)，對原圖進(jìn)行標(biāo)定。

優(yōu)選地，所述第一直線獲取單元使用第三直線獲取單元代替；

所述第三直線獲取單元，被配置用于：對所述待標(biāo)定區(qū)域圖像進(jìn)行縮放處理，從縮放后的圖像中獲取構(gòu)成待標(biāo)定區(qū)域矩形的上、下、左、右四條直線。如果在獲取直線時需要進(jìn)行灰度化，則所述獲取操作中應(yīng)該包括進(jìn)行灰度化處理，并且灰度化處理也可以在縮放處理之后。

優(yōu)選地，第二直線獲取單元可以包括下述組件：

邊緣檢測組件、直線檢測組件、過濾組件，其中：

所述邊緣檢測組件，被配置用于：根據(jù)水平和垂直索貝爾(Sobel)算子，對灰度圖計(jì)算Canny邊緣圖；

所述直線檢測組件，被配置用于：對Canny邊緣圖計(jì)算霍夫變換；

所述過濾組件，被配置用于：過濾掉具有錯誤的梯度角的邊緣分量，獲得所述第二縮放圖像中實(shí)物外接矩形的四條直線。

通過以上的實(shí)施方式的描述，所述裝置根據(jù)方法進(jìn)行實(shí)現(xiàn)，所屬領(lǐng)域的技術(shù)人員可以清楚地將所述裝置借助軟件加必需的通用硬件的方式來實(shí)現(xiàn)，當(dāng)然也可以通過專用硬件包括專用集成電路、專用CPU、專用存儲器、專用元器件等來實(shí)現(xiàn)。一般情況下，凡由計(jì)算機(jī)程序完成的功能都可以很容易地用相應(yīng)的硬件來實(shí)現(xiàn)，而且，用來實(shí)現(xiàn)同一功能的具體硬件結(jié)構(gòu)也可以是多種多樣的，例如模擬電路、數(shù)字電路或?qū)Ｓ秒娐返?。但是，對本公開而言更多情況下，所述方法采用軟件程序?qū)崿F(xiàn)是更佳的實(shí)施方式?；谶@樣的理解，本公開的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲在可讀取的存儲介質(zhì)中，如計(jì)算機(jī)的軟盤，U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本公開各個實(shí)施例所述的方法。

以上對本公開進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個例對本公開的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本公開的方法及其核心思想；同時，對于本領(lǐng)域技術(shù)人員，依據(jù)本公開的思想，在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本公開的限制。