本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像對齊方法及裝置。

背景技術(shù)：

隨著科技的發(fā)展，具有拍照功能的設(shè)備越來越普及，使得拍照文檔識別迅速興起并蓬勃發(fā)展起來，尤其是在教育教學(xué)領(lǐng)域。例如，閱卷老師可通過相機(jī)或手機(jī)攝像頭拍下學(xué)生答卷，然后導(dǎo)入自動閱卷系統(tǒng)進(jìn)行相關(guān)處理，從而提高閱卷的效率。

不過發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，拍攝到的圖像經(jīng)常碰到變形問題。例如由于相機(jī)拍攝角度不同而引起的透視變形，或者由于被攝紙張彎曲而使拍攝圖像存在扭曲變形等。這些變形問題的存在帶來了較大的麻煩，尤其是在自動閱卷系統(tǒng)中，對學(xué)生試卷拍照時經(jīng)常不能保證試卷的平整或拍攝角度的統(tǒng)一，存在上述透視變形或扭曲變形等問題，故導(dǎo)致實(shí)際拍攝的圖像與理想圖像存在較大差異，給自動閱卷工作造成較大困難。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種圖像對齊方法及裝置，以提高含有文本的圖像之間的對齊效果。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種圖像對齊方法，所述方法包括：

獲取第一圖像，其中所述第一圖像為拍攝目標(biāo)文本所得圖像；

獲取所述第一圖像中的文本短行；

確定各文本短行之間的連接關(guān)系；

根據(jù)所述連接關(guān)系將所述各文本短行連接成第一字符串；

將所述第一字符串與第二字符串對齊，以實(shí)現(xiàn)所述第一圖像與模板圖像的對齊，其中所述第二字符串是所述模板圖像中的文本行或文本短行連接成的字符串。

可選的，將所述第一字符串與第二字符串對齊之后，所述方法還包括：

根據(jù)對齊的所述第一字符串和所述第二字符串，從所述第一圖像中識別出目標(biāo)局部區(qū)域。

可選的：

所述第一圖像為已作答的試卷的圖像，所述模板圖像為與所述第一圖像對應(yīng)的空白試卷的圖像，所述目標(biāo)局部區(qū)域?yàn)樗龅谝粓D像中的答題區(qū)域。

可選的，所述確定各文本短行之間的連接關(guān)系，包括：

根據(jù)各文本短行在所述第一圖像中的位置關(guān)系及預(yù)設(shè)的第一規(guī)則，構(gòu)建連接矩陣，其中所述連接矩陣中的元素用于指示各文本短行之間是否可連接；

根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹；

通過遍歷所述連接樹，獲取一條或多條候選連接路徑；

根據(jù)預(yù)設(shè)的第三規(guī)則，從所述候選連接路徑中選取一條候選連接路徑作為所述各文本短行之間的連接關(guān)系。

可選的，所述預(yù)設(shè)的第一規(guī)則，包括：

每個文本短行僅可與其附近的文本短行連接，所述附近的文本短行是指與當(dāng)前文本短行的縱坐標(biāo)距離低于第一閾值的當(dāng)前文本短行上下左右的文本短行；當(dāng)兩個文本短行為上下行關(guān)系且在橫坐標(biāo)上有重疊時不可連接，除非在上的文本短行為最右側(cè)文本短行且在下的文本短行為最左側(cè)文本短行；連接的兩個文本短行中間不可包含其它文本短行。

可選的，根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹，包括：

從第一個文本短行開始，從所述連接矩陣中找到當(dāng)前父節(jié)點(diǎn)可以連接的文本短行依次作為當(dāng)前父節(jié)點(diǎn)的子節(jié)點(diǎn)，以實(shí)現(xiàn)所述連接樹的生長；

在為父節(jié)點(diǎn)添加子節(jié)點(diǎn)時，判斷當(dāng)前子節(jié)點(diǎn)是否已在當(dāng)前父節(jié)點(diǎn)到根節(jié)點(diǎn)的路徑中出現(xiàn)過，如果已出現(xiàn)過，則取消為當(dāng)前父節(jié)點(diǎn)添加當(dāng)前子節(jié)點(diǎn)，以停止當(dāng)前父節(jié)點(diǎn)在當(dāng)前子節(jié)點(diǎn)方向上的路徑生長。

可選的，根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹，還包括：

在所述連接樹生長過程中，實(shí)時或定期計(jì)算所述連接樹中每條路徑對應(yīng)的文本短行組成的字符串的語言模型得分；

如果當(dāng)前路徑的語言模型得分低于預(yù)設(shè)的第二閾值，則停止在當(dāng)前路徑上的生長。

可選的，根據(jù)預(yù)設(shè)的第三規(guī)則，從所述候選連接路徑中選取一條候選連接路徑作為所述各文本短行之間的連接關(guān)系，包括：

對于一條候選連接路徑，將所述候選連接路徑內(nèi)的文本短行進(jìn)行連接，以得到所述候選連接路徑對應(yīng)的字符串；

計(jì)算每條候選連接路徑對應(yīng)的字符串與所述第二字符串之間的編輯距離；

通過比較所述編輯距離選取一條候選連接路徑作為所述連接關(guān)系。

可選的，將所述第一字符串與第二字符串對齊之前，所述方法還包括以下確定所述模板圖像的步驟：

獲取所述第一圖像中的頁碼信息；

根據(jù)所述頁碼信息從各候選模板圖像中確定所述模板圖像。

可選的，將所述第一字符串與第二字符串對齊之前，所述方法還包括以下確定所述模板圖像的步驟：

按照從左至右、從上到下的順序?qū)⑺龅谝粓D像中的文本短行連接，以得到臨時第一字符串；

計(jì)算所述臨時第一字符串與各候選模板圖像的第二字符串之間的編輯距離；

根據(jù)所述編輯距離從各候選模板圖像中確定所述模板圖像。

根據(jù)本發(fā)明實(shí)施例的第二面，提供一種圖像對齊裝置，所述裝置包括：

圖像獲取單元，用于獲取第一圖像，其中所述第一圖像為拍攝目標(biāo)文本所得圖像；

文本短行獲取單元，用于獲取所述第一圖像中的文本短行；

連接關(guān)系確定單元，用于確定各文本短行之間的連接關(guān)系；

連接單元，用于根據(jù)所述連接關(guān)系將所述各文本短行連接成第一字符串；

對齊單元，用于將所述第一字符串與第二字符串對齊，以實(shí)現(xiàn)所述第一圖像與模板圖像的對齊，其中所述第二字符串是所述模板圖像中的文本行或文本短行連接成的字符串。

可選的，所述裝置還包括：

局部區(qū)域識別單元，用于根據(jù)對齊的所述第一字符串和所述第二字符串，從所述第一圖像中識別出目標(biāo)局部區(qū)域。

可選的：

所述第一圖像為已作答的試卷的圖像，所述模板圖像為與所述第一圖像對應(yīng)的空白試卷的圖像，所述目標(biāo)局部區(qū)域?yàn)樗龅谝粓D像中的答題區(qū)域。

可選的，所述連接關(guān)系確定單元包括：

連接矩陣構(gòu)建子單元，用于根據(jù)各文本短行在所述第一圖像中的位置關(guān)系及預(yù)設(shè)的第一規(guī)則，構(gòu)建連接矩陣，其中所述連接矩陣中的元素用于指示各文本短行之間是否可連接；

連接樹生成子單元，用于根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹；

候選連接路徑獲取子單元，用于通過遍歷所述連接樹，獲取一條或多條候選連接路徑；

連接路徑確定子單元，用于根據(jù)預(yù)設(shè)的第三規(guī)則，從所述候選連接路徑中選取一條候選連接路徑作為所述各文本短行之間的連接關(guān)系。

可選的，所述預(yù)設(shè)的第一規(guī)則，包括：

每個文本短行僅可與其附近的文本短行連接，所述附近的文本短行是指與當(dāng)前文本短行的縱坐標(biāo)距離低于第一閾值的當(dāng)前文本短行上下左右的文本短行；當(dāng)兩個文本短行為上下行關(guān)系且在橫坐標(biāo)上有重疊時不可連接，除非在上的文本短行為最右側(cè)文本短行且在下的文本短行為最左側(cè)文本短行；連接的兩個文本短行中間不可包含其它文本短行。

可選的，所述連接樹生成子單元用于：

從第一個文本短行開始，從所述連接矩陣中找到當(dāng)前父節(jié)點(diǎn)可以連接的文本短行依次作為當(dāng)前父節(jié)點(diǎn)的子節(jié)點(diǎn)，以實(shí)現(xiàn)所述連接樹的生長；

在為父節(jié)點(diǎn)添加子節(jié)點(diǎn)時，判斷當(dāng)前子節(jié)點(diǎn)是否已在當(dāng)前父節(jié)點(diǎn)到根節(jié)點(diǎn)的路徑中出現(xiàn)過，如果已出現(xiàn)過，則取消為當(dāng)前父節(jié)點(diǎn)添加當(dāng)前子節(jié)點(diǎn)，以停止當(dāng)前父節(jié)點(diǎn)在當(dāng)前子節(jié)點(diǎn)方向上的路徑生長。

可選的，所述連接樹生成子單元還用于：

在所述連接樹生長過程中，實(shí)時或定期計(jì)算所述連接樹中每條路徑對應(yīng)的文本短行組成的字符串的語言模型得分；

如果當(dāng)前路徑的語言模型得分低于預(yù)設(shè)的第二閾值，則停止在當(dāng)前路徑上的生長。

可選的，所述連接路徑確定子單元用于：

對于一條候選連接路徑，將所述候選連接路徑內(nèi)的文本短行進(jìn)行連接，以得到所述候選連接路徑對應(yīng)的字符串；

計(jì)算每條候選連接路徑對應(yīng)的字符串與所述第二字符串之間的編輯距離；

通過比較所述編輯距離選取一條候選連接路徑作為所述連接關(guān)系。

可選的，所述裝置還包括：

第一模板圖像確定單元，用于獲取所述第一圖像中的頁碼信息，根據(jù)所述頁碼信息從各候選模板圖像中確定所述模板圖像。

可選的，所述裝置還包括：

第二模板圖像確定單元，用于：按照從左至右、從上到下的順序?qū)⑺龅谝粓D像中的文本短行連接，以得到臨時第一字符串；計(jì)算所述臨時第一字符串與各候選模板圖像的第二字符串之間的編輯距離；根據(jù)所述編輯距離從各候選模板圖像中確定所述模板圖像。

本發(fā)明的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：

在將第一圖像與模板圖像對齊時，本發(fā)明實(shí)施例并未使用現(xiàn)有技術(shù)中的圖像特征點(diǎn)匹配等算法，而是結(jié)合圖像中所含有的文本短行，根據(jù)文本短行連接后得到的字符串對圖像進(jìn)行對齊。這種基于內(nèi)容的對齊方法可以克服圖像變形等的影響，大大提高了圖像對齊的效果，進(jìn)而可以正確提取出答題區(qū)域，為自動閱卷打下了堅(jiān)實(shí)的基礎(chǔ)。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本發(fā)明。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，對于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。此外，這些介紹并不構(gòu)成對實(shí)施例的限定，附圖中具有相同參考數(shù)字標(biāo)號的元件表示為類似的元件，除非有特別申明，附圖中的圖不構(gòu)成比例限制。

圖1是根據(jù)本發(fā)明一示例性實(shí)施例示出的一種圖像對齊方法的流程圖；

圖2是根據(jù)本發(fā)明一示例性實(shí)施例示出的圖像對齊示意圖；

圖3是根據(jù)本發(fā)明一示例性實(shí)施例示出的文本短行連接示意圖；

圖4是根據(jù)本發(fā)明一示例性實(shí)施例示出的一種圖像對齊方法的流程圖；

圖5是根據(jù)本發(fā)明一示例性實(shí)施例示出的連接矩陣示意圖；

圖6是根據(jù)本發(fā)明一示例性實(shí)施例示出的連接樹示意圖；

圖7是根據(jù)本發(fā)明一示例性實(shí)施例示出的一種圖像對齊裝置的示意圖；

圖8是根據(jù)本發(fā)明一示例性實(shí)施例示出的一種圖像對齊裝置的示意圖。

具體實(shí)施方式

這里將詳細(xì)地對示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。

圖1是根據(jù)本發(fā)明一示例性實(shí)施例示出的一種圖像對齊方法的流程圖。作為示例該方法可用于手機(jī)、相機(jī)、平板電腦、個人電腦、服務(wù)器等設(shè)備。

參見圖1所示，該方法可以包括以下步驟：

步驟S101，獲取第一圖像，其中所述第一圖像為拍攝目標(biāo)文本所得圖像。

容易理解的是，在本發(fā)明中，所謂圖像對齊是指將兩幅圖像內(nèi)的細(xì)節(jié)建立起對應(yīng)關(guān)系。例如目標(biāo)文本可以為學(xué)生已作答的試卷，對該試卷拍照后得到第一圖像，而第一圖像需要與模板圖像對齊，其中模板圖像可以為一份空白試卷的圖像。這樣將第一圖像與模板圖像進(jìn)行圖像對齊后，就可以知道第一圖像中哪些具體的區(qū)域是學(xué)生所寫的答案(即答題區(qū)域)，進(jìn)而可以對答題區(qū)域進(jìn)行自動閱卷。因此圖像對齊可以說是自動閱卷的基礎(chǔ)。

對于如何獲取第一圖像本實(shí)施例并不進(jìn)行限制，例如可以使用手機(jī)進(jìn)行拍照，或者可以使用相機(jī)進(jìn)行拍照，等等。另外目標(biāo)文本也并不限于試卷，還可以是其他文本，對此本發(fā)明實(shí)施例也不進(jìn)行限制。

步驟S102，獲取所述第一圖像中的文本短行。

文本行即文本內(nèi)的一行文本，文本短行則為文本行中的部分文本，一個文本行可以包含一或多個文本短行，換句話說，文本短行是在文本行的基礎(chǔ)上進(jìn)行分割而得到的。對于一行文本(即一個文本行)，因?yàn)槠鋬?nèi)可能存在一些中斷，例如因?yàn)榕恼赵驅(qū)е乱粋€文本行出現(xiàn)扭曲、變形等，則發(fā)生扭曲、變形的位置可以作為中斷，又例如一行中可能存在空白區(qū)或手寫區(qū)域等，則這些區(qū)域也可以作為中斷，進(jìn)而可以根據(jù)這些中斷來分割文本行，得到文本短行。

在本發(fā)明實(shí)施例中，為了防止拍攝圖像由于存在形變而導(dǎo)致的文本行提取錯誤，以文本短行為單位對拍攝圖像中的文本進(jìn)行提取。文本行、文本短行等概念以及文本行、文本短行的具體獲取方式均可以使用現(xiàn)有技術(shù)，本實(shí)施例不再贅述。

在現(xiàn)有技術(shù)中，當(dāng)需要對兩幅圖像進(jìn)行對齊時，往往會采用基于特征點(diǎn)匹配的方法，例如先提取模板圖像和第一圖像上的較為穩(wěn)定的特征點(diǎn)，如角點(diǎn)、SIFT(Scale-invariant feature transform)、SURF(Speeded Up Robust Features)或ORB(oriented FAST and rotated BRIEF)等，然后匹配第一圖像和模板圖像之間的特征點(diǎn)，根據(jù)匹配結(jié)果，對模板圖像和第一圖像上的圖像細(xì)節(jié)進(jìn)行對齊。

然而發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，由于現(xiàn)場通常沒有掃描儀等專業(yè)設(shè)備，或者出于方便等原因，工作人員一般都是使用手機(jī)或相機(jī)等設(shè)備對試卷進(jìn)行拍照而得到試卷的圖像，這就導(dǎo)致試卷的圖像存在由于拍攝角度不同而引起的透視變形或者由于被攝紙張彎曲而存在扭曲變形等變形問題，這種變形問題使得現(xiàn)有技術(shù)中的特征點(diǎn)匹配算法很難奏效，故給自動閱卷系統(tǒng)帶來難題。

發(fā)明人進(jìn)一步發(fā)現(xiàn)，可以結(jié)合圖像中所含有的文本短行，使用文本短行對圖像進(jìn)行對齊，這種基于內(nèi)容的對齊方法可以克服圖像變形等的影響，可大大提高圖像對齊的效果，進(jìn)而可以正確提取出答題區(qū)域。

步驟S103，確定各文本短行之間的連接關(guān)系。

步驟S104，根據(jù)所述連接關(guān)系將所述各文本短行連接成第一字符串。

對于從圖像中提取出的一個個文本短行，需要將它們按照正確的順序再次連接起來。對于如何確定各文本短行之間的連接關(guān)系本實(shí)施例并不進(jìn)行限制，本領(lǐng)域技術(shù)人員可以根據(jù)不同需求\不同場景而自行選擇、設(shè)計(jì)，可以在此處使用的這些選擇和設(shè)計(jì)都沒有背離本發(fā)明的精神和保護(hù)范圍。

步驟S105，將所述第一字符串與第二字符串對齊，以實(shí)現(xiàn)所述第一圖像與模板圖像的對齊，其中所述第二字符串是所述模板圖像中的文本行或文本短行連接成的字符串。

例如，可以使用動態(tài)規(guī)劃方法將第一字符串與第二字符串進(jìn)行對齊，具體實(shí)現(xiàn)方式可以采用現(xiàn)有技術(shù)，對此本實(shí)施例不再贅述。

此外，將所述第一字符串與所述第二字符串對齊之后，所述方法還可以包括：

根據(jù)對齊的所述第一字符串和所述第二字符串，從所述第一圖像中識別出目標(biāo)局部區(qū)域。

例如，所述第一圖像可以為已作答的試卷的圖像，所述模板圖像可以為與所述第一圖像對應(yīng)的空白試卷的圖像，所述目標(biāo)局部區(qū)域可以為所述第一圖像中的答題區(qū)域。

又例如，目標(biāo)局部區(qū)域也可以為供簽名或填寫其他內(nèi)容的空白區(qū)域。再例如，目標(biāo)局部區(qū)域還可以是包含某些特定字符(如敏感詞)的區(qū)域，等等。對于目標(biāo)局部區(qū)域的具體內(nèi)容本實(shí)施例并不進(jìn)行限制，本領(lǐng)域技術(shù)人員可以根據(jù)不同需求\不同場景而自行選擇、設(shè)計(jì)，可以在此處使用的這些選擇和設(shè)計(jì)都沒有背離本發(fā)明的精神和保護(hù)范圍。

作為示例可參見圖2所示，在圖2中，201為模板圖像，模板圖像可以通過將空白試卷放入掃描儀后得到，故得到的模板圖像通常是較為規(guī)整的。202為對已作答的試卷拍照而得到的第一圖像，第一圖像通常存在一些變形等問題。通過字符串的對齊之后，可以確定模板圖像中“He”和第一圖像中“He”對齊，模板圖像中“his”和第一圖像中“his”對齊，進(jìn)而可以確定第一圖像中“He”和“his”之間的區(qū)域(即學(xué)生手寫的“took off”)為答題區(qū)域，然后進(jìn)行后續(xù)自動閱卷相關(guān)操作。

在將第一圖像與模板圖像對齊時，本發(fā)明實(shí)施例并未使用現(xiàn)有技術(shù)中的圖像特征點(diǎn)匹配等算法，而是結(jié)合圖像中所含有的文本短行，根據(jù)文本短行連接后得到的字符串對圖像進(jìn)行對齊。這種基于內(nèi)容的對齊方法可以克服圖像變形等的影響，大大提高了圖像對齊的效果，進(jìn)而可以正確提取出答題區(qū)域，為自動閱卷打下了堅(jiān)實(shí)的基礎(chǔ)。

下面再對步驟S103進(jìn)行進(jìn)一步舉例說明。

由第一圖像在拍攝時經(jīng)常存在透視、扭曲等變形問題，導(dǎo)致在拍攝后的圖像中，原本處于同一縱坐標(biāo)(或者說是處于同一水平線上)的文本行發(fā)生彎曲變形，使得文本行中字符的縱坐標(biāo)變化較大，文本行提取易發(fā)生錯誤，因此本發(fā)明實(shí)施例以文本短行為基本單位進(jìn)行處理。在一個文本短行內(nèi)，各字符的縱坐標(biāo)變化較小。

作為示例可參見圖3所示，在圖3中帶有0、1、2、3等編號的長條或短條均指代一個文本短行。需要說明的是，圖3僅為示意圖，故在圖3中未具體顯示每個文本短行內(nèi)的字符內(nèi)容，而只是用長條或短條顯示出了文本短行的大致輪廓。

參見圖4所示，所述確定各文本短行之間的連接關(guān)系，即步驟S103，可以包括以下子步驟：

步驟S401，根據(jù)各文本短行在所述第一圖像中的位置關(guān)系及預(yù)設(shè)的第一規(guī)則，構(gòu)建連接矩陣，其中所述連接矩陣中的元素用于指示各文本短行之間是否可連接。

對于第一規(guī)則的具體內(nèi)容本實(shí)施例并不進(jìn)行限制，本領(lǐng)域技術(shù)人員可以根據(jù)不同需求\不同場景而自行選擇、設(shè)計(jì)，可以在此處使用的這些選擇和設(shè)計(jì)都沒有背離本發(fā)明的精神和保護(hù)范圍。

作為示例，所述預(yù)設(shè)的第一規(guī)則，可以包括：

1)每個文本短行僅可與其附近的文本短行連接，所述附近的文本短行是指與當(dāng)前文本短行的縱坐標(biāo)距離低于第一閾值的當(dāng)前文本短行上下左右的文本短行。

上下左右也可以稱為四周，當(dāng)前文本短行的四周可能存在眾多文本短行，但本實(shí)施例中將“附近”限制在一定的縱坐標(biāo)區(qū)域內(nèi)，而對于縱坐標(biāo)超出該區(qū)域的那些文本短行，則認(rèn)為其與當(dāng)前文本短行不可能連接在一起。作為示例，第一閾值可以為第一圖像高度的10％，等等。

2)當(dāng)兩個文本短行為上下行關(guān)系且在橫坐標(biāo)上有重疊時不可連接，除非在上的文本短行為最右側(cè)文本短行且在下的文本短行為最左側(cè)文本短行。

例如圖3中，最右側(cè)文本短行1與最左側(cè)文本短行2之間的連接是正確的。

3)連接的兩個文本短行中間不可包含其它文本短行。

例如圖3中，文本短行4和文本短行5之間的連接是正確的，而文本短行1和文本短行3的連接則是錯誤的，文本短行4和文本短行6的連接也是錯誤的。

作為示例，連接矩陣可參見圖5所示?？梢韵葘γ總€文本短行按照在圖像中從左到右、從上到下的順序進(jìn)行從小到大的編號，并創(chuàng)建一個n×n的空矩陣，其中n為文本短行的數(shù)量。然后根據(jù)第一規(guī)則，在空連接矩陣中對各文本短行之間的連接關(guān)系進(jìn)行填寫，例如文本短行之間可以連接則使用1表示，不可以連接使用0表示，即(i,j)＝1表示第i個文本短行可以與每j個文本短行連接，從而最終得到連接矩陣。圖5即為圖4中各文本短行之間的連接矩陣，其中n＝10。

步驟S402，根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹。

對于具體如何生成連接樹，本實(shí)施例并不進(jìn)行限制，本領(lǐng)域技術(shù)人員可以根據(jù)不同需求\不同場景而自行選擇、設(shè)計(jì)，可以在此處使用的這些選擇和設(shè)計(jì)都沒有背離本發(fā)明的精神和保護(hù)范圍。

作為示例，生成的連接樹可參見圖6所示。

步驟S403，通過遍歷所述連接樹，獲取一條或多條候選連接路徑。

作為示例，遍歷時可以采用常用樹結(jié)構(gòu)遍歷方法，如前序遍歷、后序遍歷等，遍歷結(jié)束后可以得到一條或多條包含所有文本短行編號的路徑，每條路徑也即各文本短行連接時的候選連接路徑，如圖6中，可以找到兩條包含所有文本短行編號的路徑，即：

0→1→2→3→4→5→6→7→8→9，和，

0→1→2→4→5→6→7→8→9→3。

步驟S404，根據(jù)預(yù)設(shè)的第三規(guī)則，從所述候選連接路徑中選取一條候選連接路徑作為所述各文本短行之間的連接關(guān)系。

例如，對于一條候選連接路徑，可以將所述候選連接路徑內(nèi)的文本短行進(jìn)行連接，以得到所述候選連接路徑對應(yīng)的字符串；然后計(jì)算每條候選連接路徑對應(yīng)的字符串與所述第二字符串之間的編輯距離；再通過比較所述編輯距離選取一條候選連接路徑作為所述連接關(guān)系，例如選擇編輯距離最小的候選連接路徑作為最佳路徑，也即作為所述連接關(guān)系。對于編輯距離，由于其屬于現(xiàn)有技術(shù)，此處不再贅述。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹，也即步驟S402，可以包括：

i)從第一個文本短行開始，從所述連接矩陣中找到當(dāng)前父節(jié)點(diǎn)可以連接的文本短行依次作為當(dāng)前父節(jié)點(diǎn)的子節(jié)點(diǎn)，以實(shí)現(xiàn)所述連接樹的生長。

例如可以將第一個文本短行作為根節(jié)點(diǎn)(也即第一個父節(jié)點(diǎn))，從連接矩陣中找到父節(jié)點(diǎn)可以連接的文本短行的編號，按照編號從小到大順序，依次作為父節(jié)點(diǎn)從左到右的子節(jié)點(diǎn)。然后再分別將子節(jié)點(diǎn)分別作為父節(jié)點(diǎn)，重復(fù)上述添加子節(jié)點(diǎn)的過程，從而實(shí)現(xiàn)連接樹的生長。

ii)在為父節(jié)點(diǎn)添加子節(jié)點(diǎn)時，判斷當(dāng)前子節(jié)點(diǎn)是否已在當(dāng)前父節(jié)點(diǎn)到根節(jié)點(diǎn)的路徑中出現(xiàn)過，如果已出現(xiàn)過，則取消為當(dāng)前父節(jié)點(diǎn)添加當(dāng)前子節(jié)點(diǎn)，以停止當(dāng)前父節(jié)點(diǎn)在當(dāng)前子節(jié)點(diǎn)方向上的路徑生長。

例如可參見圖6所述，在圖6中虛線表示該路徑不通，無法再向下繼續(xù)生長。

另外，如果第一圖像中文本短行較多，則構(gòu)建的連接樹一般較大，為了提高效率，可以在構(gòu)建連接樹的同時對連接樹進(jìn)行裁剪。作為示例，具體裁剪的方式可以如下：

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹，還可以包括：

在所述連接樹生長過程中，實(shí)時或定期計(jì)算所述連接樹中每條路徑對應(yīng)的文本短行組成的字符串的語言模型得分；

如果當(dāng)前路徑的語言模型得分低于預(yù)設(shè)的第二閾值，則停止在當(dāng)前路徑上的生長。

對于語言模型得分，由于其屬于現(xiàn)有技術(shù)，本實(shí)施例不再贅述。

此外關(guān)于模板圖像，下面對其進(jìn)行進(jìn)一步的舉例說明。

以自動閱卷系統(tǒng)為例，由于試卷的版式、內(nèi)容、頁碼等不同，通常要準(zhǔn)備多個模板圖像，因此需要確定當(dāng)前拍攝的第一圖像對應(yīng)哪個模板圖像。

一種簡單的方式是可由操作人員直接指定，也即操作人員可以直接將模板圖像的標(biāo)識輸入處理系統(tǒng)，系統(tǒng)自動從數(shù)據(jù)庫中調(diào)取已存的該模板圖像的第二字符串。

對于如何從模板圖像中得到第二字符串本實(shí)施例并不進(jìn)行限制，例如，因?yàn)槟０鍒D像通常較為規(guī)整(如通過掃描得到)，不存在扭曲、變形等問題，所以可以直接識別出其內(nèi)的文本行或文本短行，然后將各文本行或文本短行按照從左到右從上到下的順序直接連接起來得到第二字符串。

另一種方式是：

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，將所述第一字符串與第二字符串對齊之前，所述方法還可以包括以下確定所述模板圖像的步驟：

獲取所述第一圖像中的頁碼信息；

根據(jù)所述頁碼信息從各候選模板圖像中確定所述模板圖像。

例如可以利用OCR(Optical Character Recognition，光學(xué)字符識別)技術(shù)識別第一圖像的頁碼位置處的頁碼信息，然后根據(jù)頁面信息直接找到該頁碼對應(yīng)的模板圖像。

此外，再一種方式是：

將所述第一字符串與第二字符串對齊之前，所述方法還包括以下確定所述模板圖像的步驟：

按照從左至右、從上到下的順序?qū)⑺龅谝粓D像中的文本短行連接，以得到臨時第一字符串；

計(jì)算所述臨時第一字符串與各候選模板圖像的第二字符串之間的編輯距離；

根據(jù)所述編輯距離從各候選模板圖像中確定所述模板圖像。

因?yàn)榇颂幹皇怯糜谔暨x模板圖像，所以對第一圖像中的各文本短行的連接關(guān)系的要求并不嚴(yán)格，所以只需粗略連接即可。例如可以直接根據(jù)文本短行的坐標(biāo)，按照從左至右、從上到下的順序?qū)⒏魑谋径绦写致赃B接起來，然后選擇編輯距離最小的候選模板圖像作為第一圖像對應(yīng)的模板圖像。

在將第一圖像與模板圖像對齊時，本發(fā)明實(shí)施例并未使用現(xiàn)有技術(shù)中的圖像特征點(diǎn)匹配等算法，而是結(jié)合圖像中所含有的文本短行，根據(jù)文本短行連接后得到的字符串對圖像進(jìn)行對齊。這種基于內(nèi)容的對齊方法可以克服圖像變形等的影響，大大提高了圖像對齊的效果，進(jìn)而可以正確提取出答題區(qū)域，為自動閱卷打下了堅(jiān)實(shí)的基礎(chǔ)。

下述為本發(fā)明裝置實(shí)施例，可以用于執(zhí)行本發(fā)明方法實(shí)施例。對于本發(fā)明裝置實(shí)施例中未披露的細(xì)節(jié)，請參照本發(fā)明方法實(shí)施例。

圖7是根據(jù)本發(fā)明一示例性實(shí)施例示出的一種圖像對齊裝置的示意圖。作為示例該裝置可用于手機(jī)、相機(jī)、平板電腦、個人電腦、服務(wù)器等設(shè)備。

參見圖7所示，該裝置可以包括：

圖像獲取單元701，用于獲取第一圖像，其中所述第一圖像為拍攝目標(biāo)文本所得圖像；

文本短行獲取單元702，用于獲取所述第一圖像中的文本短行；

連接關(guān)系確定單元703，用于確定各文本短行之間的連接關(guān)系；

連接單元704，用于根據(jù)所述連接關(guān)系將所述各文本短行連接成第一字符串；

對齊單元705，用于將所述第一字符串與第二字符串對齊，以實(shí)現(xiàn)所述第一圖像與模板圖像的對齊，其中所述第二字符串是所述模板圖像中的文本行或文本短行連接成的字符串。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述裝置還可以包括：

局部區(qū)域識別單元，用于根據(jù)對齊的所述第一字符串和所述第二字符串，從所述第一圖像中識別出目標(biāo)局部區(qū)域。

作為示例，所述第一圖像為已作答的試卷的圖像，所述模板圖像為與所述第一圖像對應(yīng)的空白試卷的圖像，所述目標(biāo)局部區(qū)域?yàn)樗龅谝粓D像中的答題區(qū)域。

參見圖8所示，在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述連接關(guān)系確定單元703可以包括：

連接矩陣構(gòu)建子單元7031，用于根據(jù)各文本短行在所述第一圖像中的位置關(guān)系及預(yù)設(shè)的第一規(guī)則，構(gòu)建連接矩陣，其中所述連接矩陣中的元素用于指示各文本短行之間是否可連接；

連接樹生成子單元7032，用于根據(jù)所述連接矩陣及預(yù)設(shè)的第二規(guī)則，以第一個文本短行為根節(jié)點(diǎn)生成連接樹；

候選連接路徑獲取子單元7033，用于通過遍歷所述連接樹，獲取一條或多條候選連接路徑；

連接路徑確定子單元7034，用于根據(jù)預(yù)設(shè)的第三規(guī)則，從所述候選連接路徑中選取一條候選連接路徑作為所述各文本短行之間的連接關(guān)系。

作為示例，所述預(yù)設(shè)的第一規(guī)則，可以包括：

每個文本短行僅可與其附近的文本短行連接，所述附近的文本短行是指與當(dāng)前文本短行的縱坐標(biāo)距離低于第一閾值的當(dāng)前文本短行上下左右的文本短行；當(dāng)兩個文本短行為上下行關(guān)系且在橫坐標(biāo)上有重疊時不可連接，除非在上的文本短行為最右側(cè)文本短行且在下的文本短行為最左側(cè)文本短行；連接的兩個文本短行中間不可包含其它文本短行。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述連接樹生成子單元可以用于：

從第一個文本短行開始，從所述連接矩陣中找到當(dāng)前父節(jié)點(diǎn)可以連接的文本短行依次作為當(dāng)前父節(jié)點(diǎn)的子節(jié)點(diǎn)，以實(shí)現(xiàn)所述連接樹的生長；

在為父節(jié)點(diǎn)添加子節(jié)點(diǎn)時，判斷當(dāng)前子節(jié)點(diǎn)是否已在當(dāng)前父節(jié)點(diǎn)到根節(jié)點(diǎn)的路徑中出現(xiàn)過，如果已出現(xiàn)過，則取消為當(dāng)前父節(jié)點(diǎn)添加當(dāng)前子節(jié)點(diǎn)，以停止當(dāng)前父節(jié)點(diǎn)在當(dāng)前子節(jié)點(diǎn)方向上的路徑生長。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述連接樹生成子單元還可以用于：

在所述連接樹生長過程中，實(shí)時或定期計(jì)算所述連接樹中每條路徑對應(yīng)的文本短行組成的字符串的語言模型得分；

如果當(dāng)前路徑的語言模型得分低于預(yù)設(shè)的第二閾值，則停止在當(dāng)前路徑上的生長。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述連接路徑確定子單元可以用于：

對于一條候選連接路徑，將所述候選連接路徑內(nèi)的文本短行進(jìn)行連接，以得到所述候選連接路徑對應(yīng)的字符串；

計(jì)算每條候選連接路徑對應(yīng)的字符串與所述第二字符串之間的編輯距離；

通過比較所述編輯距離選取一條候選連接路徑作為所述連接關(guān)系。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述裝置還可以包括：

第一模板圖像確定單元，用于獲取所述第一圖像中的頁碼信息，根據(jù)所述頁碼信息從各候選模板圖像中確定所述模板圖像。

在本實(shí)施例或本發(fā)明其他某些實(shí)施例中，所述裝置還可以包括：

第二模板圖像確定單元，用于：按照從左至右、從上到下的順序?qū)⑺龅谝粓D像中的文本短行連接，以得到臨時第一字符串；計(jì)算所述臨時第一字符串與各候選模板圖像的第二字符串之間的編輯距離；根據(jù)所述編輯距離從各候選模板圖像中確定所述模板圖像。

在將第一圖像與模板圖像對齊時，本實(shí)施例并未使用現(xiàn)有技術(shù)中的圖像特征點(diǎn)匹配等算法，而是結(jié)合圖像中所含有的文本短行，根據(jù)文本短行連接后得到的字符串對圖像進(jìn)行對齊。這種基于內(nèi)容的對齊方法可以克服圖像變形等的影響，大大提高了圖像對齊的效果，進(jìn)而可以正確提取出答題區(qū)域，為自動閱卷打下了堅(jiān)實(shí)的基礎(chǔ)。

關(guān)于上述實(shí)施例中的裝置，其中各個單元\模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述，此處將不做詳細(xì)闡述說明。

本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后，將容易想到本發(fā)明的其它實(shí)施方案。本申請旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本發(fā)明未公開的本技術(shù)領(lǐng)域中的公知常識或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的，本發(fā)明的真正范圍和精神由所附的權(quán)利要求指出。

應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來限制。