專利名稱：圖像失真校正方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及用于校正與利用數(shù)碼相機(jī)成像(攝像的)的文件或書籍有關(guān)的輸入圖像內(nèi)的失真的圖像失真校正方法和設(shè)備以及存儲介質(zhì)，更具體地說，本發(fā)明涉及通過估計相機(jī)的成像位置來校正輸入圖像中的失真的圖像失真校正方法、利用這種圖像失真校正方法校正輸入圖像中的失真的圖像失真校正設(shè)備以及用于存儲使計算機(jī)進(jìn)行這種圖像失真校正的計算機(jī)程序的計算機(jī)可讀存儲介質(zhì)。
背景技術(shù)：
最近，由于具有提高的分辨率和降低的成本，所以數(shù)碼相機(jī)越來越流行。因此，數(shù)碼相機(jī)被認(rèn)為是將紙件文件信息輸入到計算機(jī)內(nèi)的一種適當(dāng)工具。
與使用諸如圖像掃描儀的傳統(tǒng)接觸型圖像輸入設(shè)備的情況相比，利用數(shù)碼相機(jī)將紙件文件信息輸入到計算內(nèi)時，用戶具有更多靈活性，因為在檢查紙件或者在寫到紙件上的同時，用戶可以將紙件上的必要信息輸入到計算機(jī)內(nèi)。
另一方面，與利用掃描儀獲得的掃描圖像不同，利用數(shù)碼相機(jī)獲得的圖像包括圖像的三維失真。圖1是示出利用數(shù)碼相機(jī)從傾斜角度對平坦紙面進(jìn)行成像所獲得的圖像200的示意圖。在這種情況下，由于從上方以傾斜角度對紙面成像，所以在圖像200內(nèi)產(chǎn)生由透視變換引起的透視變換失真。
圖2是示出利用數(shù)碼相機(jī)從傾斜角度對打開的、諸如字典、百科全書以及手冊的較厚書籍進(jìn)行成像所獲得的圖像202的示意圖。在這種情況下，由于從上方以傾斜角度對該書籍成像，所以在圖像202內(nèi)產(chǎn)生由透視變換引起的透視變換失真。此外，在圖像202內(nèi)還產(chǎn)生由打開的書籍的彎曲紙面引起的失真。在此說明書中，以下將由后一種失真和透視變換失真形成的復(fù)合失真稱為“書籍失真”。
為了利用數(shù)碼相機(jī)將紙件文件信息輸入到計算機(jī)內(nèi)，需要對諸如圖1所示的透視變換失真和圖2所示的書籍失真的圖像失真進(jìn)行校正，以產(chǎn)生圖3所示沒有失真的紙面圖像204。圖3是示出利用數(shù)碼相機(jī)從傾斜角度對紙件文件進(jìn)行成像獲得的，但是沒有失真的紙面圖像204的示意圖。因此，需要開發(fā)一種可以產(chǎn)生沒有失真的紙面圖像204的失真校正技術(shù)。
例如，可能在一個角部裝訂或釘住紙件文件。對于這種在一個位置裝訂或釘住的紙件文件，為了校正圖像失真，第10-150532號日本未審查專利申請公開了一種圖像讀取設(shè)備。根據(jù)該建議的圖像讀取設(shè)備，利用輪廓線的三維形狀來測量紙面的三維失真。根據(jù)一個通過利用CCD陣列的行傳感器進(jìn)行掃描成像的圖像獲得該三維形狀。
此外，第10-150532號日本未審查專利申請公開了一種根據(jù)從上方成像的圖像，對格式圖表的三維失真進(jìn)行校正的方法。
然而，根據(jù)第10-150532號日本未審查專利申請建議的圖像讀取設(shè)備，存在的問題是，需要昂貴的設(shè)備專用于估計圖像內(nèi)的紙面輪廓的三維形狀。在將文件或者書籍放置在文件臺上的情況下，通過利用機(jī)械方法，在副掃描方向移動設(shè)置在文件臺上方的行傳感器，在多個位置對紙面的線像(line image)成像，同時在垂直于副掃描方向的主掃描方向進(jìn)行電掃描，該專用設(shè)備產(chǎn)生二維圖像。
此外，第10-150532號日本未審查專利申請建議的失真校正方法的優(yōu)點在于，可以根據(jù)單個圖像校正失真。然而，將一個區(qū)域CCD成像單元用作架空閱讀器(OHR)并固定到支柱上，以便成像位于下面的格式圖表。因此，前提條件是，事先確定相機(jī)的中心。第10-150532號日本未審查專利申請建議的圖像讀取設(shè)備的情況也如此。
因此，第10-150532號日本未審查專利申請建議的圖像讀取設(shè)備以及第10-150532號日本未審查專利申請建議的失真校正方法存在的問題是，不能處理不知道成像位置的情況，例如用戶利用數(shù)碼相機(jī)等從任意位置獲取紙件文件的圖像的情況。

發(fā)明內(nèi)容
因此，本發(fā)明的總體目的是提供一種可以克服以上描述的問題的、新穎、實用圖像失真校正方法和設(shè)備以及存儲介質(zhì)。
本發(fā)明的另一個更具體目的是提供一種圖像失真校正方法、圖像失真校正設(shè)備以及計算機(jī)可讀存儲介質(zhì)，即使不知道數(shù)碼相機(jī)的成像位置，它們?nèi)钥梢愿鶕?jù)被成像的輸入圖像內(nèi)的紙面，估計成像位置，并根據(jù)成像位置校正被成像的輸入圖像內(nèi)的失真。
本發(fā)明的又一個目的是提供一種圖像失真校正設(shè)備，該圖像失真校正設(shè)備包括圖像輸入部分，用于輸入由成像部分成像的平坦矩形紙面的圖像，作為輸入圖像；成像位置估計部分，用于根據(jù)輸入圖像內(nèi)矩形紙面的四個頂點，估計成像部分對于紙面的相對成像位置；矩形紙面估計部分，用于根據(jù)成像位置，估計矩形紙面在一個三維空間內(nèi)的四個頂點；以及圖像校正部分，用于根據(jù)成像位置和三維空間內(nèi)的四個頂點，校正輸入圖像內(nèi)紙面中的透視變換失真，以輸出一個輸出圖像。即使在不知道成像位置時，根據(jù)本發(fā)明的圖像失真校正設(shè)備，通過根據(jù)輸入圖像估計成像位置(或相機(jī)位置)，仍可以校正輸入圖像內(nèi)矩形紙面的透視變換失真。因此，可以不考慮成像位置，校正透視變換失真，從而使得用戶可以在極靈活的環(huán)境下，對文件，格式圖表等進(jìn)行成像(攝像)。
本發(fā)明的另一個目的是提供一種圖像失真校正設(shè)備，該圖像失真校正設(shè)備包括圖像輸入部分，用于輸入由成像部分成像的打開的書籍的彎曲紙面的圖像，作為輸入圖像；成像位置估計部分，用于根據(jù)輸入圖像內(nèi)紙面的四個頂點，估計成像部分對于紙面的相對成像位置；曲面估計部分，用于根據(jù)成像位置和輸入圖像內(nèi)紙面的輪廓信息，估計紙面的三維曲面模型；以及圖像校正部分，用于根據(jù)成像位置和紙面的三維曲面模型，校正輸入圖像內(nèi)紙面的書籍失真，以輸出一個輸出圖像。即使在不知道成像位置時，根據(jù)本發(fā)明的圖像失真校正設(shè)備，通過根據(jù)輸入圖像估計成像位置(或相機(jī)位置)，仍可以校正輸入圖像內(nèi)打開的書籍的彎曲紙面等的書籍失真。因此，可以不考慮成像位置，校正書籍失真，從而使得用戶可以在極靈活的環(huán)境下，對打開的書籍等的彎曲紙面成像(攝像)。
本發(fā)明的另一個目的是提供一種圖像失真校正方法，該圖像失真校正方法包括圖像輸入步驟，用于輸入成像步驟成像的平坦矩形紙面的圖像，作為輸入圖像；成像位置估計步驟，用于根據(jù)輸入圖像內(nèi)的矩形紙面的四個頂點，相對于紙面，估計成像步驟的相對成像位置；矩形紙面估計步驟，用于根據(jù)成像位置，估計矩形紙面在一個三維空間內(nèi)的四個頂點；以及圖像校正步驟，用于根據(jù)成像位置和三維空間內(nèi)的四個頂點，校正輸入圖像內(nèi)紙面的透視變換失真，以輸出一個輸出圖像。即使在不知道成像位置時，根據(jù)本發(fā)明的圖像失真校正方法，通過根據(jù)輸入圖像估計成像位置(或相機(jī)位置)，仍可以校正輸入圖像內(nèi)矩形紙面的透視變換失真。因此，可以不考慮成像位置，校正透視變換失真，從而使得用戶可以在極靈活的環(huán)境下，對文件，格式圖表等進(jìn)行成像(攝像)。
本發(fā)明的又一個目的是提供一種圖像失真校正方法，該圖像失真校正方法包括圖像輸入步驟，用于輸入由成像步驟成像的打開的書籍的彎曲紙面的圖像，作為輸入圖像；成像位置估計步驟，用于根據(jù)輸入圖像內(nèi)紙面的四個頂點，相對于紙面，估計成像步驟的相對成像位置；曲面估計步驟，用于根據(jù)成像位置和輸入圖像內(nèi)紙面的輪廓信息，估計紙面的三維曲面模型；以及圖像校正步驟，用于根據(jù)成像位置和紙面的三維曲面模型，校正輸入圖像內(nèi)紙面的書籍失真，以輸出一個輸出圖像。即使在不知道成像位置時，根據(jù)本發(fā)明的圖像失真校正方法，通過根據(jù)輸入圖像估計成像位置(或相機(jī)位置)，仍可以校正輸入圖像內(nèi)打開的書籍的彎曲紙面等的書籍失真。因此，可以不考慮成像位置地校正書籍失真，從而使得用戶可以在極靈活的環(huán)境下，對打開的書籍等的彎曲紙面成像(攝像)。
本發(fā)明的又一個目的是提供一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)存儲用于使計算機(jī)執(zhí)行圖像失真校正過程的程序，該程序包括圖像輸入過程，用于使計算機(jī)輸入由成像過程成像的平坦矩形紙面的圖像，作為輸入圖像；成像位置估計過程，用于使計算機(jī)根據(jù)輸入圖像內(nèi)的矩形紙面的四個頂點，相對于紙面，估計成像過程的相對成像位置；矩形紙面估計過程，用于使計算機(jī)根據(jù)成像位置，估計三維空間內(nèi)的矩形紙面的四個頂點；以及圖像校正過程，用于使計算機(jī)根據(jù)成像位置和三維空間內(nèi)的四個頂點，校正輸入圖像內(nèi)紙面的透視變換失真，以輸出一個輸出圖像。即使在不知道成像位置時，根據(jù)本發(fā)明的計算機(jī)可讀存儲介質(zhì)，通過根據(jù)輸入圖像估計成像位置(或相機(jī)位置)，仍可以校正輸入圖像內(nèi)矩形紙面的透視變換失真。因此，可以不考慮成像位置，校正透視變換失真，從而使得用戶可以在極靈活的環(huán)境下，對文件，格式圖表等成像(攝像)。
本發(fā)明的另一個目的是提供一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)存儲用于使計算機(jī)執(zhí)行圖像失真校正過程的程序，該程序包括圖像輸入過程，用于使計算機(jī)輸入由成像過程成像的一個打開的書籍的彎曲紙面的圖像，作為輸入圖像；成像位置估計過程，用于使計算機(jī)根據(jù)輸入圖像內(nèi)紙面的四個頂點，相對于紙面，估計成像過程的相對成像位置；曲面估計過程，用于使計算機(jī)根據(jù)成像位置和輸入圖像內(nèi)紙面的輪廓信息，估計紙面的三維曲面模型；以及圖像校正過程，用于使計算機(jī)根據(jù)成像位置和紙面的三維曲面模型，校正輸入圖像內(nèi)紙面的書籍失真，以輸出一個輸出圖像。即使在不知道成像位置時，根據(jù)本發(fā)明的計算機(jī)可讀存儲介質(zhì)，通過根據(jù)輸入圖像估計成像位置(或相機(jī)位置)，仍可以校正輸入圖像內(nèi)的打開的書籍等的彎曲紙面的書籍失真。因此，可以不考慮成像位置，校正書籍失真，從而使得用戶可以在極靈活的環(huán)境下，對打開的書籍等的彎曲紙面成像(攝像)。
通過結(jié)合附圖閱讀以下詳細(xì)說明，本發(fā)明的其他目的和進(jìn)一步特征將變得更加明顯。


圖1是示出利用數(shù)碼相機(jī)從傾斜角度對平坦紙面進(jìn)行成像獲得的圖像的示意圖；圖2是示出利用數(shù)碼相機(jī)從傾斜角度對打開的厚書籍進(jìn)行成像獲得的圖像的示意圖；
圖3是示出利用數(shù)碼相機(jī)從傾斜角度對紙件文件進(jìn)行成像獲得的，但是沒有失真的紙面圖像的示意圖；圖4是用于說明在對平坦紙面成像時本發(fā)明第一方面的工作原理的示意圖；圖5是用于說明在對打開的書籍的紙面成像時本發(fā)明第二方面的工作原理的示意圖；圖6是示出構(gòu)成圖像失真校正設(shè)備的計算機(jī)的系統(tǒng)框圖；圖7是用于說明圖4所示圖像失真校正設(shè)備的處理過程的流程圖；圖8是用于說明在圖4所示圖像失真校正設(shè)備10內(nèi)用于估計相機(jī)位置的透視變換失真機(jī)制的示意圖；圖9是用于說明輸入圖像中的紙面上的像素與校正圖像中的紙面上的像素之間的對應(yīng)關(guān)系的示意圖；圖10是用于說明圖5所示圖像失真校正設(shè)備的處理過程的流程圖；圖11是用于說明在圖5所示圖像失真校正設(shè)備40內(nèi)用于估計相機(jī)位置(成像位置)的透視變換失真機(jī)制的示意圖；圖12是用于說明具有待利用圖5所示三維曲面模型估計部分處理的書籍失真的紙面的三維曲面模型的示意圖；圖13是用于說明圖5所示紙面輪廓提取部分的處理過程的流程圖；圖14是用于說明作為紙面輪廓提取處理的目標(biāo)的書籍輸入圖像的示意圖；圖15是用于說明由圖14所示的輸入圖像獲得的邊緣圖像的示意圖；圖16是用于說明具有高空間頻率的區(qū)域的二級圖像(bi-levelimage)的示意圖；圖17是用于說明消除了字符串區(qū)域的邊緣圖像的示意圖；圖18是示出通過對圖17所示的邊緣圖像消除紙面內(nèi)的黑色像素連接分量獲得的邊緣圖像的示意圖；圖19是用于說明通過對圖18所示的邊緣圖像轉(zhuǎn)動半直線獲得的紙面輪廓圖像的示意圖；以及圖20是用于說明通過對直線分量進(jìn)行霍夫變換(Houghtransformation)獲得的輪廓線提取結(jié)果的示意圖。
具體實施例方式
首先，將參考圖4和5說明本發(fā)明的工作原理。
圖4是用于說明在對平坦紙面成像時本發(fā)明第一方面的工作原理的示意圖。圖4所示的圖像失真校正設(shè)備10包括圖像輸入部分15、相機(jī)位置估計部分16、三維矩形紙面估計部分18、圖像校正部分20、圖形用戶界面(GUI)22、顯示部分24以及操作部分26。
諸如數(shù)碼相機(jī)12的成像部分對平坦紙面14進(jìn)行成像以獲得輸入圖像，并將該輸入圖像輸入到圖像輸入部分15。相機(jī)位置估計部分16作為成像位置估計裝置，用于根據(jù)輸入圖像中紙面的四個頂點，估計數(shù)碼相機(jī)12相對于輸入圖像中的紙面的相對位置(取向)，即成像位置。根據(jù)成像位置，三維矩形紙面估計部分18估計三維空間內(nèi)的矩形紙面的四個頂點。
根據(jù)成像位置和三維空間內(nèi)紙面四個頂點的位置，圖像校正部分20校正輸入圖像中紙面的透視變換失真，并輸出一個校正圖像。利用把輪廓作為其坐標(biāo)軸的平面坐標(biāo)系，圖像校正部分20獲得校正圖像的每個像素在輸入圖像內(nèi)的對應(yīng)位置。通過將輸入圖像內(nèi)相應(yīng)像素的值設(shè)置為校正圖像的目標(biāo)像素值，可以產(chǎn)生其寬度為上、下輪廓的長度，而其高度為左、右輪廓的長度的校正圖像。
通過GUI 22，將輸入圖像等顯示在顯示部分24上。通過GUI 24，利用操作部分26輸入包括輸入圖像內(nèi)紙面的四個頂點在內(nèi)的各種信息。
因此，僅需要利用數(shù)碼相機(jī)12通過對紙面14成像獲得的單個輸入圖像，而且根據(jù)輸入圖像內(nèi)紙面的輪廓，利用四個頂點的位置估計數(shù)碼相機(jī)12的成像位置。換句話說，利用該紙是矩形的(長方形的)這個限制，估計一個三維曲面模型，然后，根據(jù)估計的數(shù)碼相機(jī)12的成像位置和估計的三維曲面模型，校正輸入圖像內(nèi)紙面的透視變換失真。
換句話說，本發(fā)明的特征在于，(a1)利用輸入圖像內(nèi)紙面的四個頂點，估計數(shù)碼相機(jī)12的成像位置，以及(b1)利用單個紙面上的失真圖像的四個頂點，估計三維矩形紙面的四個頂點。與成像位置被固定的傳統(tǒng)方法相比，本發(fā)明可以處理不知道數(shù)碼相機(jī)12的成像位置的情況，因此顯著放松了進(jìn)行成像的環(huán)境。
利用數(shù)碼相機(jī)12等獲得的輸入圖像以及從圖像校正部分20輸出的輸出圖像均可以是黑白二級圖像、多級圖像(multi-level image)(即灰度圖像)或彩色圖像。
相機(jī)位置估計部分15使用戶利用GUI 22，通過操作部分26規(guī)定輸入圖像內(nèi)紙面的四個頂點。
圖5是用于說明在對打開的書籍的紙面成像時本發(fā)明第二方面的工作原理的示意圖。圖5所示的圖像失真校正設(shè)備40包括圖像輸入部分44、相機(jī)位置估計部分48、三維矩形曲面模型估計部分50、圖像校正部分52、圖形用戶界面(GUI)54、顯示部分56以及操作部分58。
諸如數(shù)碼相機(jī)12的成像部分對打開的書籍的彎曲紙面42進(jìn)行成像以獲得輸入圖像，并將該輸入圖像輸入到圖像輸入部分44。相機(jī)位置估計部分48作為成像位置估計裝置，用于根據(jù)輸入圖像中紙面的四個頂點，估計數(shù)碼相機(jī)12相對于輸入圖像中的紙面的相對位置(或取向)，即成像位置。根據(jù)成像位置和輸入圖像內(nèi)紙面的輪廓信息，三維曲面模型估計部分50估計輸入圖像內(nèi)紙面的三維曲面模型。
根據(jù)成像位置和三維曲面空間內(nèi)四個頂點的位置，圖像校正部分52校正輸入圖像中紙面的書籍失真，并輸出校正圖像。利用把輪廓作為其坐標(biāo)軸的(曲)面坐標(biāo)系，圖像校正部分52獲得校正圖像的每個像素在輸入圖像內(nèi)的對應(yīng)位置。通過將輸入圖像內(nèi)相應(yīng)像素的值設(shè)置為校正圖像的目標(biāo)像素值，可以產(chǎn)生其寬度為上、下輪廓的長度，而其高度為左、右輪廓的長度的校正圖像。
通過GUI 54，將輸入圖像等顯示在顯示部分56上。通過GUI 24，利用操作部分58輸入包括輸入圖像內(nèi)紙面四個頂點在內(nèi)的各種信息。
因此，僅需要利用數(shù)碼相機(jī)12通過對書籍的紙面42成像獲得的單個輸入圖像，而且根據(jù)輸入圖像內(nèi)紙面的輪廓，利用四個頂點的位置估計數(shù)碼相機(jī)12的成像位置。換句話說，利用打開的書籍的(上部)紙面42是半柱面的這個限制，估計一個三維曲面模型，然后，根據(jù)估計的數(shù)碼相機(jī)12的成像位置和估計的三維曲面模型，校正輸入圖像內(nèi)紙面的書籍失真。
換句話說，本發(fā)明的特征在于，(a2)利用輸入圖像內(nèi)紙面的四個頂點，估計數(shù)碼相機(jī)12的成像位置，以及(b2)利用單個紙面上的失真圖像的紙面輪廓的失真，估計三維曲面模型。與成像位置被固定的傳統(tǒng)方法相比，本發(fā)明可以處理不知道數(shù)碼相機(jī)12的成像位置的情況，因此顯著放松了進(jìn)行成像的環(huán)境。
利用數(shù)碼相機(jī)12等獲得的輸入圖像以及從圖像校正部分52輸出的輸出圖像均可以是黑白二級圖像、多級圖像或彩色圖像。
相機(jī)位置估計部分48使用戶利用GUI 54，通過操作部分58規(guī)定輸入圖像內(nèi)紙面的四個頂點。
紙面輪廓提取部分46使用戶利用GUI 54規(guī)定紙面輪廓的采樣點。紙面輪廓提取部分46可以使用戶利用GUI 54規(guī)定輸入圖像內(nèi)紙面的四個頂點，因此利用圖像處理過程，可以自動提取紙面輪廓信息。此外，利用圖像處理過程，紙面輪廓提取部分46可以自動提取所有紙面輪廓信息。
紙面輪廓提取部分46提取具有包括樣條曲線和貝齊爾曲線的參數(shù)的曲線模型，該曲線模型作為紙面輪廓信息。此外，紙面輪廓提取部分46還可以提取作為紙面輪廓信息的折線模型。在這兩種情況下，通過進(jìn)行近似，都可以容易地獲得紙面的三維曲面模型，而且都可以容易地校正3 HYPERLINK mailtoD@維曲面模型。
利用預(yù)定能量函數(shù)，三維曲面模型估計部分50表示輸入圖像中紙面的三維曲面模型中，位于頂部和底部的一對三維輪廓的長度與位于右側(cè)和左側(cè)的一對三維輪廓的長度相同的限制，并估計具有使該能量函數(shù)最小的參數(shù)的三維曲面模型。對于不屬于輸入圖像中紙面的三維曲面模型中，頂部和底部的三維輪廓對的長度與位于右側(cè)和左側(cè)的三維輪廓對的長度相同的限制范圍內(nèi)的情況，估計的三維曲面模型的四個頂點使得可以自動調(diào)節(jié)用于確定成像位置的各參數(shù)。結(jié)果，可以估計一個精確的三維曲面模型，因此可以以高精度校正書籍失真。
接著，將參考圖4以及圖6至圖9，說明根據(jù)本發(fā)明的圖像失真校正設(shè)備的第一實施例。圖像失真校正設(shè)備的第一實施例采用根據(jù)本發(fā)明的圖像失真校正方法的第一實施例以及根據(jù)本發(fā)明的計算機(jī)可讀存儲介質(zhì)的第一實施例。在此實施例中，利用數(shù)碼相機(jī)12對平坦矩形紙面14成像以獲得輸入圖像，并通過校正輸入圖像的透視變換失真，輸出紙面的輸出圖像。
利用諸如圖6所示的計算機(jī)的硬件資源可以實現(xiàn)圖4所示的圖像失真校正設(shè)備10的各功能。
圖6所示的計算機(jī)包括CPU 110、1RAM 112、硬盤控制器(軟件)114、軟盤驅(qū)動程序(軟件)120、CD-ROM驅(qū)動程序(軟件)124、鼠標(biāo)控制器128、鍵盤控制器132、顯示控制器136以及通信板140，它們通過總線111連接在一起。
硬盤控制器114連接到硬盤驅(qū)動器(HDD，硬件)116，并將用于實現(xiàn)根據(jù)本發(fā)明的圖像失真校正方法的應(yīng)用程序裝載到HDD 116的一個或者多個硬盤。在起動計算機(jī)時，從HDD 116調(diào)用必要程序、在RAM 112內(nèi)展開，而在CPU 110內(nèi)執(zhí)行該程序。
軟盤驅(qū)動程序120連接到軟盤驅(qū)動器(FDD、硬件)122，并且可以對軟盤進(jìn)行讀寫。CD-ROM驅(qū)動程序124連接到CD-ROM驅(qū)動器(硬件)126，并讀取存儲在CD-ROM驅(qū)動器126的CD內(nèi)數(shù)據(jù)和程序。
鼠標(biāo)控制器128連接到鼠標(biāo)130，并將用戶對鼠標(biāo)130執(zhí)行輸入操作輸入的輸入信息傳送到CPU 110。鍵盤控制器132連接到鍵盤134，并將用戶對鍵盤134執(zhí)行輸入操作輸入的輸入信息傳送到CPU 110。顯示控制器136連接到顯示單元138，并將信息顯示到顯示單元138上。通信板140利用包括無線鏈路的通信線路142，通過一個或者多個諸如因特網(wǎng)的網(wǎng)絡(luò)與其他計算機(jī)和服務(wù)器通信。
現(xiàn)在，回頭說明圖4，圖像失真校正設(shè)備10的圖像輸入部分15輸入利用數(shù)碼相機(jī)12成像的平坦紙面14的輸入圖像。數(shù)碼相機(jī)12產(chǎn)生的輸入圖像可以是黑白二級圖像、多級圖像或彩色圖像。同樣，根據(jù)數(shù)碼相機(jī)12產(chǎn)生的輸入圖像，圖像校正部分20的輸出圖像，即校正圖像可以是黑白二級圖像、多級圖像或彩色圖像。
根據(jù)輸入到圖像輸入部分15的輸入圖像內(nèi)紙面的四個頂點的位置信息，相機(jī)位置估計部分16估計數(shù)碼相機(jī)12的位置(取向)。更具體地說，相機(jī)位置估計部分16估計數(shù)碼相機(jī)12的相機(jī)中心位置(成像中心位置)相對于紙面14的相對坐標(biāo)位置。
例如，通過利用GUI 22將輸入圖像顯示在顯示部分24上，用戶規(guī)定輸入圖像內(nèi)矩形紙面的四個頂點，使得用戶可以利用操作部分26在所顯示的輸入圖像上規(guī)定四個頂點。如下所述，還可以利用與輸入圖像內(nèi)的紙面有關(guān)的輪廓信息提取結(jié)果，規(guī)定輸入圖像內(nèi)矩形紙面的四個頂點。
根據(jù)輸入圖像內(nèi)矩形紙面的四個頂點和估計的相機(jī)位置，三維矩形紙面估計部分18估計三維空間內(nèi)矩形紙面四個頂點的位置。
根據(jù)估計的數(shù)碼相機(jī)12的位置以及在三維空間內(nèi)估計的矩形紙面的四個頂點，圖像校正部分20校正透視變換失真，并輸出校正了透視變換失真的輸出圖像。
圖7是用于說明圖4所示圖像失真校正設(shè)備10的處理過程的流程圖。圖7所示的流程圖示出在利用圖6所示的硬件資源實現(xiàn)圖4所示圖像失真校正設(shè)備10的功能時，將由CPU 110執(zhí)行的程序的處理過程。
在圖7中，通過利用數(shù)碼相機(jī)12對紙面14進(jìn)行成像，獲得輸入到圖像輸入部分15的輸入圖像，圖像輸入部分15在步驟S1執(zhí)行輸入過程。根據(jù)輸入圖像內(nèi)紙面的四個頂點，相機(jī)位置估計部分16在步驟S2估計相機(jī)位置(成像位置)，即相對相機(jī)中心坐標(biāo)。
然后，根據(jù)估計的成像位置和輸入圖像內(nèi)紙面的四個頂點，三維矩形紙面估計部分18在步驟S3執(zhí)行三維矩形紙面估計過程，以估計三維空間內(nèi)矩形紙面的四個頂點。最后，根據(jù)估計的成像位置和在三維空間內(nèi)估計的紙面的四個頂點，圖像校正部分20在步驟S4執(zhí)行透視變換失真校正過程，以輸出對在數(shù)碼相機(jī)12對紙面14進(jìn)行成像時在輸入圖像內(nèi)的紙面上產(chǎn)生的透視變換失真進(jìn)行了校正的輸出圖像。
接著，將更詳細(xì)說明圖4所示的圖像失真校正設(shè)備10的相機(jī)位置估計部分16、三維矩形紙面估計部分18以及圖像校正部分20執(zhí)行的處理過程。
圖8是用于說明在圖4所示圖像失真校正設(shè)備10內(nèi)用于估計相機(jī)位置(成像位置)的透視變換失真機(jī)制的示意圖。
在圖8中，相機(jī)中心30位于輸入圖像內(nèi)矩形紙面28(以下簡稱圖像紙面28)的上方。相機(jī)中心30具有坐標(biāo)xc，而圖像紙面28具有四個頂點坐標(biāo)X1、X2、X3和X4。利用光軸32將相機(jī)中心30與圖像紙面28連接在一起。光軸32垂直于圖像紙面28，并通過圖像紙面28的中心0。
設(shè)置一個三維坐標(biāo)系，以便xy平面覆蓋圖像紙面28，而且z軸對應(yīng)于光軸32。在這種三維坐標(biāo)系中，事實上可以假定在頂點x1、x2、x3和x4構(gòu)成一個矩形(長方形)的限制下，三維矩形紙面34存在于圖8所示的位置。
相機(jī)中心30的各坐標(biāo)、三維矩形紙面34的四個頂點以及圖像紙面28的四個頂點為相機(jī)位置xc＝(xc，yc，zc)紙面頂點xi＝(xi，yi，zi)圖像內(nèi)的頂點Xi＝(Xi，Yi，0)三維矩形紙面34的頂點x1、x2、x3和x4的高度對相機(jī)中心30的高度的內(nèi)分比(division ratio)分別被表示為t1、t2、t3和t4。獲得這些內(nèi)分比t1、t2、t3和t4相當(dāng)于估計相機(jī)位置。
根據(jù)內(nèi)分關(guān)系，下式(1)成立。
ti＝(Xc-xi)/(Xc-Xi) …(1)因此，下式(2)成立，其中i＝1至4。
xi＝(1-ti)xc+tiXi …(2)
此外，下式(3)成立，因為三維矩形紙面34具有矩形(長方形)形狀。
x1-x2＝x3-x4， (x1-x2)·(x1-x3)＝0…(3)根據(jù)以上說明的等式(2)和(3)的條件，可以獲得下式(4)至(6)。
k1＝{(X2-X4)(Y3-Y4)-(Y2-Y4)(X3-X4)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}k3＝{(X2-X4)(Y1-Y2)-(Y2-Y4)(X1-X2)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}…(4)H/W＝[{(k1X1-k3X3)2+(k1Y1-k3Y3)2+(k3-k1)2(zc)2}/{(k1X1-(k1+1)X2)2+(k1Y1-(k1+1)y2)2+(zc)2}]1/2…(5)(zc)2＝{1/(k1-k3)}[{k1X1-(k1+1)X2}(k1X2-k3X3)+{k1Y1-(k1+1)Y2}(k1Y1-k3Y3)]…(6)在等式(4)中，k1和k3代表根據(jù)圖像紙面28的頂點坐標(biāo)獲得的常數(shù)。在等式(5)中，H代表圖像紙面28的高度，而W代表圖像紙面28的水平寬度。因此，在給出圖像紙面28的四個頂點坐標(biāo)X1、X2、X3和X4時，可以使用根據(jù)等式(4)計算的常數(shù)k1和k3，并利用等式(5)獲得三維矩形紙面34的高寬比H/W。此外，利用等式(6)可以獲得圖像紙面28與相機(jī)中心30之間的距離zc。
在常數(shù)k1和k3與內(nèi)部分段比(internally segmenting ratio)t1、t2、t3和t4之間，下式(7)描述的關(guān)系成立。
t1＝k1Δtt2＝(k1+1)Δtt3＝k3Δt
t4＝(k3+1)Δt …(7)通過將內(nèi)分比t1、t2、t3和t4中的最大一個設(shè)置為“1”，獲得三維矩形紙面34的四個頂點之一被設(shè)置在圖像紙面28上的唯一狀態(tài)。因此，可以唯一地將每個內(nèi)分比t1、t2、t3和t4確定為一個值。
例如，如果在等式(7)內(nèi)，最大內(nèi)分比是t1，即，t1＝1，則根據(jù)等式(7)獲得Δt＝1/k1，并確定等式(7)中的剩余內(nèi)分比t2、t3和t4的值。此外，根據(jù)相機(jī)中心30與圖像紙面28之間的距離zc，獲得相機(jī)中心30的坐標(biāo)xc＝(xc，yc，zc)。
根據(jù)等式(4)至(6)，利用內(nèi)分比t1、t2、t3和t4，圖4所示的相機(jī)位置估計部分16獲得相機(jī)中心30的坐標(biāo)xc＝(xc，yc，zc)，并估計數(shù)碼相機(jī)的位置。
接著，根據(jù)因為圖8所示的內(nèi)分關(guān)系而成立的下式(8)，通過將內(nèi)分比t1、t2、t3和t4和圖像紙面28的頂點坐標(biāo)X1、X2、X3和X4代入等式(8)，圖4所示的三維矩形紙面估計部分18獲得三維矩形紙面34的四個頂點x1、x2、x3和x4的坐標(biāo)。因此，根據(jù)三維矩形紙面34的四個頂點的坐標(biāo)x1、x2、x3和x4，三維矩形紙面估計部分18估計三維空間內(nèi)的三維矩形紙面34的位置。
xi＝(1-ti)xc+tiXi …(8)圖9是用于說明輸入圖像內(nèi)的紙面上的像素與校正圖像內(nèi)的紙面上的像素之間的對應(yīng)關(guān)系的示意圖。如圖9所示，失真校正之后，在圖像紙面36內(nèi)由內(nèi)分比p和q確定的點y的像素色調(diào)與失真校正之前，圖像紙面28上的相應(yīng)點Y的像素色調(diào)一致?？梢岳孟率?9)和(10)描述圖像紙面36與28上的對應(yīng)像素的關(guān)系。Y＝(1/)[(1-p)(1-q)k1X1+p(1-q)(k1+1)X2+(1-p)qk3X3+pq(k3+1)X4...(9)
＝(1-q)k1+qk3+p ...(10)因此，利用等式(9)和(10)，圖4所示的圖像校正部分20可以立即從失真校正之前的圖像紙面28獲得校正了透視變換失真的圖像紙面36。
根據(jù)傳統(tǒng)的透視變換失真校正方法，通過變換為三維空間內(nèi)的三維矩形紙面34，對二維圖像紙面36進(jìn)行色調(diào)變換，這是因為一條連接相機(jī)中心30和圖5所示的失真校正之前的圖像紙面28上的點Y的直線與三維矩形紙面34的交點是失真校正之后的圖像紙面36上的相應(yīng)點y。
但是，根據(jù)本發(fā)明，通過從失真校正之前的二維圖像紙面28直接變換為失真校正之后的二維圖像紙面36，進(jìn)行透視變換失真校正，因為以上描述的等式(9)和(10)的關(guān)系成立。
接著，將參考圖5以及圖10至圖20，說明根據(jù)本發(fā)明的圖像失真校正設(shè)備的第二實施例。圖像失真校正設(shè)備的第二實施例采用根據(jù)本發(fā)明的圖像失真校正方法的第二實施例以及根據(jù)本發(fā)明的計算機(jī)可讀存儲介質(zhì)的第二實施例。在此實施例中，利用數(shù)碼相機(jī)12對打開的書籍的彎曲紙面42成像以獲得輸入圖像，并通過校正輸入圖像的透視變換失真，輸出該紙面的輸出圖像。例如，該書籍是較厚書籍，例如，字典、百科全書以及手冊。
利用諸如圖6所示的計算機(jī)的硬件資源也可以實現(xiàn)圖5所示的圖像失真校正設(shè)備40的各功能。
圖像失真校正設(shè)備40的圖像輸入部分44輸入利用數(shù)碼相機(jī)12成像的打開的書籍的彎曲紙面42的輸入圖像。數(shù)碼相機(jī)12產(chǎn)生的輸入圖像可以是黑白二級圖像、多級圖像或彩色圖像。紙面輪廓提取部分46從半柱面形的成像彎曲紙面提取紙面輪廓信息。可以完全自動，或者利用用戶規(guī)定的一部分信息，由操作部分58，對利用GUI 54顯示在顯示部分56上的圖像進(jìn)行提取紙面輪廓信息的過程。
根據(jù)由提取的紙面輪廓信息獲得的紙面圖像的四個頂點，相機(jī)位置估計部分48估計數(shù)碼相機(jī)12的相對相機(jī)中心坐標(biāo)作為相機(jī)位置(成像位置)。相機(jī)位置估計部分48執(zhí)行的該過程與圖4所示的相機(jī)位置估計部分16執(zhí)行的該過程基本相同。
在被成像的打開的書籍的紙面42具有半柱面形的限制下，三維曲面模型估計部分50估計三維空間內(nèi)的半柱面形作為三維曲面模型。
根據(jù)估計的數(shù)碼相機(jī)12的位置以及估計的、半柱面形的三維曲面模型，圖像校正部分52校正書籍失真，并輸出校正了書籍失真的輸出圖像。根據(jù)數(shù)碼相機(jī)12輸出的輸入圖像，圖像校正部分52輸出的輸出圖像，即校正圖像可以是黑白二級圖像、多級圖像或彩色圖像。
圖10是用于說明圖5所示圖像失真校正設(shè)備40的處理過程的流程圖。圖10所示的流程圖示出在利用圖6所示的硬件資源實現(xiàn)圖5所示圖像失真校正設(shè)備40的功能時，將由CPU 110執(zhí)行的程序的處理過程。
在圖10中，通過利用數(shù)碼相機(jī)12對紙面42進(jìn)行成像，獲得輸入到圖像輸入部分44的輸入圖像，圖像輸入部分44在步驟S11執(zhí)行輸入過程。針對輸入圖像內(nèi)半柱面形的彎曲紙面，紙面輪廓提取部分46在步驟S12執(zhí)行輪廓提取過程，以提取紙面輪廓信息。然后，根據(jù)由提取的紙面輪廓信息獲得的四個頂點，相機(jī)位置估計部分48在步驟S13估計相機(jī)(成像)位置，即相對相機(jī)中心坐標(biāo)。
接著，根據(jù)估計的數(shù)碼相機(jī)12的成像位置和提取的彎曲紙面的輪廓信息，三維曲面模型估計部分50在步驟S14執(zhí)行三維曲面模型估計過程，以估計三維空間內(nèi)的半柱面形的書籍彎曲紙面，作為三維曲面模型。最后，根據(jù)估計的成像位置和估計的三維曲面模型，圖像校正部分52在步驟S15執(zhí)行書籍失真校正過程，以輸出對在數(shù)碼相機(jī)12對紙面42進(jìn)行成像時在輸入圖像內(nèi)的紙面上產(chǎn)生的書籍失真進(jìn)行了校正的輸出圖像。
接著，將更詳細(xì)說明圖5所示的圖像失真校正設(shè)備40的相機(jī)位置估計部分48、三維曲面模型估計部分50以及圖像校正部分52執(zhí)行的處理過程。
圖11是用于說明在圖5所示圖像失真校正設(shè)備40內(nèi)用于估計相機(jī)位置(成像位置)的透視變換失真機(jī)制的示意圖。利用紙面輪廓提取部分46獲得的輪廓信息內(nèi)的圖像紙面的頂點坐標(biāo)，圖5所示的相機(jī)位置估計部分48估計數(shù)碼相機(jī)12的位置。
在圖11中，相機(jī)中心62位于輸入圖像內(nèi)矩形紙面60(以下簡稱圖像紙面60)的上方。相機(jī)中心62具有坐標(biāo)xc，而圖像紙面60具有紙面輪廓的四個頂點坐標(biāo)X1、X2、X3和X4。利用光軸64將相機(jī)中心62與圖像紙面60連接在一起。光軸64垂直于圖像紙面60，并通過圖像紙面60的中心O。
設(shè)置一個三維坐標(biāo)系，以便xy平面覆蓋圖像紙面60，而且z軸對應(yīng)于光軸64。在這種三維坐標(biāo)系中，事實上可以假定在半柱面形曲面的頂點x1、x2、x3和x4存在于三維空間內(nèi)并形成矩形(長方形)的限制下，三維曲面模型66存在于圖11所示的位置。
換句話說，如果由半柱面形的彎曲紙面的四個頂點構(gòu)成的三維空間內(nèi)的矩形的分辨率和大小被確定，則事實上可以假定三維曲面模型66存在于圖11所示位置，該三維曲面模型66是具有圖11所示頂點x1、x2、x3以及x4的矩形平面。
相機(jī)中心62的各坐標(biāo)、三維曲面模型66的四個頂點以及圖像紙面60的輪廓的四個頂點為相機(jī)位置xc＝(xc，yc，zc)紙面頂點xi＝(xi，yi，zi)圖像內(nèi)的輪廓頂點Xi＝(Xi，Yi，0)三維曲面模型66的頂點x1、x2、x3和x4的高度對相機(jī)中心62的高度的內(nèi)分比分別被表示為t1、t2、t3和t4。所獲得的這些內(nèi)分比t1、t2、t3和t4用于估計相機(jī)位置。
根據(jù)內(nèi)分關(guān)系，下式(11)成立。
ti＝(Xc-xi)/(Xc-Xi) …(11)因此，下式(12)成立，其中i＝1至4。
xi＝(1-ti)xc+tiXi …(12)
此外，下式(13)成立，因為三維曲面模型66具有矩形(長方形)形狀。
x1-x2＝x3-x4，(x1-x2)·(x1-x3)＝0 …(13)根據(jù)以上說明的等式(12)和(13)的條件，可以獲得下式(14)至(16)。
k1＝{(X2-X4)(Y3-Y4)-(Y2-Y4)(X3-X4)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}k3＝{(X2-X4)(Y1-Y2)-(Y2-Y4)(X1-X2)}/{(X1-X2)(Y3-Y4)-(Y1-Y2)(X3-X4)}…(14)H/W＝[{(k1X1-k3X3)2+(k1Y1-k3Y3)2+(k3-k1)2(zc)2}/{(k1X1-(k1+1)X2)2+(k1Y1-(k1+1)y2)2+(zc)2}]1/2…(15)(zc)2＝{1/(k1-k3)}[{k1X1-(k1+1)X2}(k1X2-k3X3)+{k1Y1-(k1+1)Y2}(k1Y1-k3Y3)]…(16)在等式(14)中，k1和k3代表根據(jù)圖像紙面60的頂點坐標(biāo)獲得的常數(shù)。在等式(15)中，H代表圖像紙面60的高度，而W代表圖像紙面60的水平寬度。因此，在給出圖像紙面60的四個頂點坐標(biāo)X1、X2、X3和X4時，可以使用根據(jù)等式(14)計算的常數(shù)k1和k3，并利用等式(15)獲得三維曲面模型66的高寬比H/W。此外，利用等式(16)可以獲得圖像紙面60與相機(jī)中心62之間的距離zc。
在常數(shù)k1和k3與內(nèi)部分段比t1、t2、t3和t4之間，下式(7)描述的關(guān)系成立。
t1＝k1Δt
t2＝(k1+1)Δtt3＝k3Δtt4＝(k3+1)Δt …(17)通過將內(nèi)分比t1、t2、t3和t4中的最大一個設(shè)置為“1”，獲得三維曲面模型66的四個頂點之一被設(shè)置在圖像紙面60上的唯一狀態(tài)。因此，可以唯一地將每個內(nèi)分比t1、t2、t3和t4確定為一個值。此外，根據(jù)相機(jī)中心62與圖像紙面62之間的距離zc，獲得相機(jī)中心62的坐標(biāo)xc＝(xc，yc，zc)。
利用內(nèi)分比t1、t2、t3和t4，根據(jù)等式(14)至(16)，圖5所示的相機(jī)位置估計部分48獲得相機(jī)中心62的坐標(biāo)xc＝(xc，yc，zc)，并估計數(shù)碼相機(jī)12的位置。
根據(jù)估計的相機(jī)位置和圖像紙面內(nèi)的紙面輪廓信息，圖5所示的三維曲面模型估計部分50估計具有半柱面形失真的失真紙面作為三維曲面模型。
圖12是用于說明具有待利用圖5所示三維曲面模型估計部分50處理的書籍失真的紙面的三維曲面模型的示意圖。
在圖12中，二維圖像紙面68的輪廓線信息包括二維上部輪廓線70、二維下部輪廓線72、左側(cè)輪廓線80以及右側(cè)輪廓線82。二維圖像紙面68上的左側(cè)和右側(cè)輪廓線80和82與三維曲面模型74的左側(cè)和右側(cè)輪廓線相同。
假定利用一組二維采樣輪廓點描述包括圖像紙面68的二維上部輪廓線70和二維下部輪廓線72的紙面輪廓信息，如下所述。
XUi＝(XUi，YUi) (i＝1，…，N)XDj＝(XDj，YDj) (j＝1，…，M)利用圖像紙面68的上述紙面輪廓信息，獲得包括書籍失真的半柱面形三維表面模型74的三維上部輪廓線76和三維下部輪廓線78內(nèi)的三維采樣輪廓點，以便估計半柱面形書籍的彎曲紙面的三維表面模型74。三維上部輪廓線76和三維下部輪廓線78內(nèi)的三維采樣輪廓點被描述為xUi＝(xUi，yUi) (i＝1，…，N)xDj＝(xDj，yDj) (j＝1，…，M)圖12示出三維采樣上部輪廓點xUi和三維采樣下部輪廓點xDi存在于將每個二維采樣上部輪廓點XUi和二維采樣輪廓點XDi連接到相機(jī)中心62的線段上的情況。
將三維上部輪廓點xDi的高度對相機(jī)中心62的高度的內(nèi)分比表示為si，而將三維下部輪廓點xDi的高度對相機(jī)中心62的高度的內(nèi)分比表示為ti，其中i＝1至N。
通過獲得這2N個參數(shù)，利用要滿足的條件，即紙面是由一組將上部輪廓線和下部輪廓線的各采樣點連接在一起的線構(gòu)成的折線面，而且連接輪廓頂點獲得的形狀是矩形(長方形)，來估計三維表面模型74的形狀。
首先，根據(jù)內(nèi)分等式，下式(18)成立。
xUi＝XUi+(xc-XUi)sixDi＝XDi+(xc-XDi)ti …(18)因為書籍的失真曲面具有半柱面形狀，所以其當(dāng)然的前提條件是，通過三維空間內(nèi)紙面的四個頂點x1、x2、x3和x4的平面垂直于包括三維采樣上部輪廓點xUi和上部輪廓線頂點x1和x2的平面。因此，利用此前提條件可以獲得下式(19)。
(xUi-x1)·(x1-x3)＝0 …(19)根據(jù)等式(19)，利用下式(20)可以獲得內(nèi)分比si。
si＝[x1(x3-x1)+y1(y3-y1)+(z1-zc)(z3-z1)]/[XUi(x3-x1)+yUi(y3-y1)-zc(z3-z1)] …(20)根據(jù)利用等式(14)獲得的內(nèi)分比si，根據(jù)等式(18)，其當(dāng)然條件是，包括三維上部輪廓點xUi的平面與包括下部輪廓線頂點x3和x4的平面互相垂直。因此，通過代入以上描述的前提條件，可以獲得下式(21)。
(xDi-x3)·(x1-x3)＝0 …(21)根據(jù)等式(21)，利用下式(22)可以獲得內(nèi)分比ti。
ti＝{x3(x1-x3)+y3(y1-y3)+(z3-zc)(z1-z3)}/{XDi(x1-x3)+YDi(y1-y3)-zc(z1-z3)} …(22)利用以上描述的等式(18)，根據(jù)利用等式(22)獲得的內(nèi)分比ti，可以確定三維下部輪廓點xDi的坐標(biāo)值。
因此，三維曲面模型估計部分50將通過連接三維采樣輪廓點獲得的折線(polygonal lines)看作三維上部輪廓線76和三維下部輪廓線78，如圖12所示，并進(jìn)一步將針對這些輪廓線進(jìn)行線性內(nèi)插近似獲得的曲面看作估計的、紙面的三維曲面模型74。
接著，將說明圖5所示的圖像校正部分52。利用把三維輪廓線作為其坐標(biāo)軸的曲面坐標(biāo)系，圖像校正部分52獲得輸入圖像內(nèi)對應(yīng)于校正后圖像紙面中每個像素的位置。此外，圖像校正部分52將輸入圖像中相應(yīng)像素的值，即黑白二級值、多級值或彩色值，設(shè)置為校正后紙面圖像的目標(biāo)像素值，以獲得其水平寬度W為上、下輪廓線的長度，而其高度H為左、右輪廓線的長度的校正圖像。
此外，在包括書籍失真的紙面變成半柱面形的情況下，左側(cè)輪廓線80和右側(cè)輪廓線82分別為連接紙面的輪廓頂點x1和x3以及輪廓頂點x2和x3的線段，如圖12所示。此外，三維上部輪廓線76和三維下部輪廓線78為通過估計三維曲面模型74獲得的、用于連接三維采樣輪廓點的折線。
將左、上部輪廓頂點x1設(shè)置為三維曲面坐標(biāo)系的原點，將三維上部輪廓線76設(shè)置為X軸，將左側(cè)輪廓線80設(shè)置為Y軸。此外，三維上部輪廓線76和三維下部輪廓線78的的長度的平均值用作校正后圖像(校正圖像)的水平寬度W。同樣，將右側(cè)輪廓線82和左側(cè)輪廓線80的長度的平均值用作校正后圖像(校正圖像)的高度H。
此外，為了在三維上部輪廓線上設(shè)置X坐標(biāo)的標(biāo)度，通過使三維上部輪廓線76上的點U(X)所對應(yīng)的X坐標(biāo)值取大于或者等于0并小于或者等于寬度W的整數(shù)值，獲得三維坐標(biāo)。
為了獲得點U(X)的三維坐標(biāo)，從連接沿著三維上部輪廓線76的三維采樣輪廓點的折線上的左上部輪廓頂點x1(即原點)出發(fā)劃曲線。
同樣，使三維下部輪廓線78上的點D(X)所對應(yīng)的X坐標(biāo)值取大于或者等于0并小于或者等于寬度W的整數(shù)值，以獲得三維坐標(biāo)。為了獲得點D(X)的三維坐標(biāo)，在連接沿著三維下部輪廓線78的三維采樣輪廓點的折線上從左下部輪廓頂點x3(即原點)開始跟蹤?？梢哉J(rèn)為，點U(X)和點D(X)描述了該曲面坐標(biāo)系。
如果利用G(X，Y)表示書籍失真校正后圖像上的二維坐標(biāo)為(X，Y)的像素的色調(diào)，則以下關(guān)系成立。
0≤X≤W，0≤Y≤H校正后二維坐標(biāo)為(X，Y)的點是三維曲面模型74上的該曲面坐標(biāo)系中具有二維坐標(biāo)(X，Y)的點P。利用下式(23)描述點P的三維坐標(biāo)xP。
xP＝(xP，yP，zP)…(23)作為通過對三維上部輪廓線76上的點U(X)和三維下部輪廓線78上的點D(X)進(jìn)行線性內(nèi)插獲得的點，根據(jù)下式(24)可以獲得點P的三維坐標(biāo)。
xP＝(xP，yP，zP)＝(1-Y/H)U(X)+(Y/H)D(X)…(24)接著，在根據(jù)透視變換條件獲得xy基準(zhǔn)平面與從相機(jī)中心62引出的、通過三維曲面模型74上的點P的直線之間的交叉點P~的二維坐標(biāo)(X~，Y~)時，下式(25)成立。
(X~，Y~)＝((xPzk-xKzP)/(zK-zP)，(yPzK-yKzP)/(zK-zP)) …(25)因此，根據(jù)下式(26)，可以獲得校正后圖像內(nèi)的色調(diào)G(X，Y)，其中G~(X~，Y~)代表校正前圖像中二維坐標(biāo)為(X~，Y~)的像素的色調(diào)值，而[x]代表不超過x的最大整數(shù)的高斯符號。
G(X，Y)＝G~([X~+1/2]，[Y~+1/2])＝G~([(xpzk-xkzp)/(zk-zp)+1/2]，[(ypzk-ykzp)/(zk-zp)+1/2])…(26)接著，將更詳細(xì)說明圖5所示紙面輪廓提取部分46。紙面輪廓提取部分46提取在相機(jī)位置估計部分48和三維曲面模型估計部分50內(nèi)進(jìn)行處理所需的、輸入圖像中書籍的半柱面形紙面的輪廓線信息。
圖13是用于說明圖5所示紙面輪廓提取部分46的處理過程的流程圖。圖13示出圖10所示步驟S12的紙面輪廓提取過程的詳細(xì)處理過程。
在圖13所示的紙面輪廓提取過程中，在步驟S21，對書籍圖像進(jìn)行邊緣提取過程，而在步驟S22，根據(jù)空間頻率，消除邊緣圖像中的字符串區(qū)域。然后，在步驟S23，對消除了字符串區(qū)域的邊緣圖像進(jìn)行噪聲消除處理，以消除小黑色像素連接分量。
在步驟S24，從消除了噪聲的邊緣圖像中提取在輪廓部分包括噪聲和不清楚部分(淡薄部分)的紙面輪廓圖像。此外，在步驟S25，執(zhí)行右側(cè)和左側(cè)輪廓線段提取過程，以提取右側(cè)和左側(cè)輪廓線，并使提取的輪廓線形成直線。最后，在步驟S26，例如，根據(jù)折線、樣條曲線、貝齊爾曲線等，執(zhí)行上部和下部輪廓線提取過程，以內(nèi)插輪廓線中的斷開部分(break)。
以下將詳細(xì)說明圖13所示的紙面輪廓提取過程。例如，假定將利用數(shù)碼相機(jī)12成像的、包括書籍失真的圖14所示圖像84輸入到圖像輸入部分44。圖14是用于說明作為紙面輪廓提取處理的目標(biāo)的書籍的輸入圖像的示意圖。
在圖13所示的步驟S21，利用諸如Zobel邊緣濾波器的邊緣提取濾波器，針對圖像84獲得包括書籍紙面輪廓的邊緣圖像時，獲得圖15所示的邊緣圖像85。圖15是用于說明由圖14所示的輸入圖像獲得的邊緣圖像的示意圖。
根據(jù)空間頻率，圖13所示的步驟S23消除邊緣圖像85的字符串區(qū)域。通過將具有高空間頻率的區(qū)域作為字符串區(qū)域進(jìn)行檢測，消除邊緣圖像85內(nèi)的字符串區(qū)域。
例如，以目標(biāo)像素為中心，在具有預(yù)定寬度(預(yù)定點數(shù))的線性區(qū)域內(nèi)，獲得像素間距為1點至S點的各像素之間的色調(diào)差值絕對值的平均，并且進(jìn)一步對于1點至S點的每個像素間距獲得平均值的平均。對于1點至S點的每個像素間距獲得的平均值的平均用作一個反映空間頻率的量值。
圖16和17分別是用于說明高空間頻率區(qū)域的二級圖像86和消除了字符串區(qū)域的邊緣圖像88的示意圖。
以下說明獲得圖16所示的二級圖像86的過程。對于圖15所示的邊緣圖像85，首先對用于反映在預(yù)定寬度為65點而像素間距為8點的情況下獲得的空間頻率的色調(diào)差圖像進(jìn)行二值化。將二值化后的黑色像素加深10點，并將邊緣圖像變更為白色像素，以獲得高空間頻率區(qū)域，即二級圖像86。
通過消除圖15所示的邊緣圖像85中具有高空間頻率的、圖16所示二級圖像86，獲得消除了字符串區(qū)域的、圖17所示邊緣圖像88。
接著，在圖13所示的步驟24，通過消除邊緣圖像88內(nèi)的小黑色像素連接分量，對消除了字符串區(qū)域的、圖17所示邊緣圖像88進(jìn)行噪聲消除，以從事實上擦除紙面內(nèi)的黑色像素，并獲得圖18所示的邊緣圖像90。圖18是示出通過對圖17所示的邊緣圖像消除紙面內(nèi)的黑色像素連接分量獲得的邊緣圖像90的示意圖。
此外，在圖13所示的步驟24，對圖18所示的邊緣圖像90進(jìn)行提取，以提取包括噪聲和不清楚部分(淡薄部分)的紙面輪廓圖像。也就是說，對于事實上消除了紙面內(nèi)的黑色像素分量的、圖18所示邊緣圖像90，沿圖18中箭頭所示方向轉(zhuǎn)動以紙面中心92作為轉(zhuǎn)軸92的半直線94，以提取首先被半直線94越過的黑色像素。因此，盡管如圖19所示，存在弱噪聲和不清楚部分，但是仍可以提取一個事實上其所有像素均是紙面輪廓像素的紙面輪廓圖像96。圖19是用于說明通過對圖18所示的邊緣圖像90轉(zhuǎn)動半直線94獲得的紙面輪廓圖像96的示意圖。紙面輪廓圖像96具有二維上部輪廓線70、二維下部輪廓線72、右側(cè)輪廓線82以及左側(cè)輪廓線80。
接著，在圖13所示的步驟S25，利用霍夫變換，進(jìn)行右側(cè)輪廓線段和左側(cè)輪廓線段的提取過程。換句話說，對于包括噪聲和不清楚部分(淡薄部分)的、圖19所示的紙面輪廓圖像96，通過對直線線段進(jìn)行霍夫變換，獲得包括左側(cè)輪廓線80和右側(cè)輪廓線82的、圖20所示的兩個直線分量102和104。通過對直線線段102和104進(jìn)行霍夫變換，獲得紙面輪廓的四個頂點X1、X2、X3和X4。
此外，在圖13所示的步驟26，進(jìn)行上部輪廓線和下部輪廓線的提取過程，以內(nèi)插該輪廓線內(nèi)的斷開部分。換句話說，在圖20所示的紙面輪廓圖像100上，例如，以10至50點的預(yù)定點間距提取二維采樣上部輪廓點和二維采樣下部輪廓點。圖20是用于說明通過對直線分量進(jìn)行霍夫變換獲得的輪廓線提取結(jié)果的示意圖。
XUi＝(XUi，YUi) (i＝1，…，N)XDj＝(XDj，YDj) (j＝1，…，M)二維采樣上部輪廓點和二維采樣下部輪廓點用作用于估計圖12所示三維曲面模型74和用于根據(jù)三維曲面模型74校正書籍失真的輪廓線信息。
在圖13所示的紙面輪廓提取過程中，用戶可以利用圖5所示的GUI54的功能，通過操作部分58，使用諸如鼠標(biāo)的定位設(shè)備，對圖14所示書籍的圖像84規(guī)定半柱面形三維曲面模型的采樣點。在這種情況下，規(guī)定的三維曲面模型的采樣點可以用作輪廓信息。
此外，在圖14所示的圖像84中，用戶可以規(guī)定紙面的四個頂點。在這種情況下，可以根據(jù)用戶規(guī)定的紙面的四個頂點，自動進(jìn)行圖13所示的紙面輪廓提取過程。
在圖5所示的三維曲面模型估計部分50，三維曲面模型估計過程采用的技術(shù)是，獲得三維采樣輪廓點，進(jìn)行折線近似以連接各采樣點。當(dāng)然，還可以采用其他技術(shù)，例如，采用具有包括樣條曲線和貝齊爾曲線等的參數(shù)的曲線模型。
此外，在圖5所示的紙面輪廓提取過程獲得的、圖20所示的紙面輪廓圖像100內(nèi)，四個頂點X1、X2、X3和X4可能明顯偏離被假定為三維曲面模型的半柱面形。在這種情況下，對于具有半柱面形紙面的三維曲面模型，利用預(yù)定能量函數(shù)E描述一個限制，該限制是指三維輪廓的長度在上部輪廓與下部輪廓對之間，以及在右側(cè)輪廓與左側(cè)輪廓對之間是相同的。此外，正確估計具有使能量函數(shù)E最小的參數(shù)(例如內(nèi)分比常數(shù)k1和k3)的三維曲面模型。
可以將能量函數(shù)E定義為圖12所示三維曲面模型74的三維上部輪廓線76與三維下部輪廓線78之間長度差值的平方與右側(cè)輪廓線82與左側(cè)輪廓線80之間長度差值的平方的線性和。該能量函數(shù)E是由內(nèi)分比常數(shù)k1和k3唯一確定的。
利用最陡下降法，可以獲得作為使能量函數(shù)E最小的模型參數(shù)的常數(shù)k1和k3。換句話說，通過適當(dāng)設(shè)置常數(shù)k1和k3的初始值，并利用最陡下降法反復(fù)改變常數(shù)k1和k3，可以獲得使能量函數(shù)E最小的常數(shù)k1和k3。
如果三維曲面模型74的四個頂點x1、x2、x3和x4偏離具有書籍的假定半柱面形的三維曲面模型74，則通過四個頂點x1、x2、x3和x4的平面可能不是預(yù)期的三維坐標(biāo)的xy平面。因此，在估計的相機(jī)中心62本身中可能存在大的誤差。如果使用錯誤的相機(jī)中心62和估計的三維曲面模型74，則不能正確校正書籍失真。但是通過自動獲得使預(yù)定能量函數(shù)最小的常數(shù)k1和k3，可以準(zhǔn)確估計具有書籍的假定半柱面形的三維曲面模型74，因此可以正確校正書籍失真。
計算機(jī)可讀存儲介質(zhì)的第一實施例和第二實施例均存儲計算機(jī)程序，該程序用于使計算機(jī)執(zhí)行采用根據(jù)本發(fā)明的圖像失真校正方法的圖像失真校正過程。構(gòu)成計算機(jī)可讀存儲介質(zhì)的記錄介質(zhì)可以是能夠存儲一個或者多個計算機(jī)程序的任何一種介質(zhì)，例如，磁性記錄介質(zhì)、光記錄介質(zhì)、磁光記錄介質(zhì)以及半導(dǎo)體存儲裝置。當(dāng)然，可以通過諸如因特網(wǎng)那樣的一個或者多個網(wǎng)絡(luò)，從另一個計算機(jī)下載將由該計算機(jī)執(zhí)行的計算機(jī)程序。
此外，本發(fā)明并不局限于這些實施例，而且在本發(fā)明范圍內(nèi)，可以對它們進(jìn)行各種變更和修改。
權(quán)利要求
1.一種圖像失真校正設(shè)備，該圖像失真校正設(shè)備包括圖像輸入部分，用于輸入由成像部分成像的平坦矩形紙面的圖像以作為輸入圖像；成像位置估計部分，用于根據(jù)輸入圖像內(nèi)的矩形紙面的四個頂點，估計成像部分對于紙面的相對成像位置；矩形紙面估計部分，用于根據(jù)成像位置，估計矩形紙面在一個三維空間內(nèi)的四個頂點；以及圖像校正部分，用于根據(jù)成像位置和三維空間內(nèi)的四個頂點，校正輸入圖像內(nèi)紙面的透視變換失真，以輸出一個輸出圖像。
2.根據(jù)權(quán)利要求1所述的圖像失真校正設(shè)備，其中從由黑白二級圖像、灰度圖像以及彩色圖像構(gòu)成的組中選擇輸入到圖像輸入部分的輸入圖像和從圖像校正部分輸出的輸出圖像。
3.根據(jù)權(quán)利要求1所述的圖像失真校正設(shè)備，其中成像位置估計部分利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定輸入圖像內(nèi)紙面的四個頂點。
4.根據(jù)權(quán)利要求1所述的圖像失真校正設(shè)備，其中圖像校正部分利用一個把輪廓作為其坐標(biāo)軸的平面坐標(biāo)系，獲得校正后輸出圖像內(nèi)的每個像素在輸入圖像內(nèi)的相應(yīng)位置，并將輸入圖像內(nèi)相應(yīng)像素的值設(shè)置為輸出圖像的目標(biāo)像素值，以輸出具有由上部輪廓和下部輪廓的長度確定的寬度、由右側(cè)輪廓和左側(cè)輪廓的長度確定的高度的輸出圖像。
5.一種圖像失真校正設(shè)備，該圖像失真校正設(shè)備包括圖像輸入部分，用于輸入由成像部分成像的一個打開的書籍的彎曲紙面的圖像以作為輸入圖像；成像位置估計部分，用于根據(jù)輸入圖像內(nèi)紙面的四個頂點，估計成像部分對于紙面的相對成像位置；曲面估計部分，用于根據(jù)成像位置和輸入圖像內(nèi)紙面的輪廓信息，估計紙面的三維曲面模型；以及圖像校正部分，用于根據(jù)成像位置和紙面的三維曲面模型，校正輸入圖像內(nèi)紙面的書籍失真，以輸出一個輸出圖像。
6.根據(jù)權(quán)利要求5所述的圖像失真校正設(shè)備，其中從由黑白二級圖像、灰度圖像以及彩色圖像構(gòu)成的組中選擇輸入到圖像輸入部分的輸入圖像和從圖像校正部分輸出的輸出圖像。
7.根據(jù)權(quán)利要求5所述的圖像失真校正設(shè)備，其中成像位置估計部分利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定輸入圖像內(nèi)紙面的四個頂點。
8.根據(jù)權(quán)利要求5所述的圖像失真校正設(shè)備，其中根據(jù)成像位置和輸入圖像內(nèi)紙面輪廓的失真，曲面估計部分估計一個三維空間內(nèi)的半柱面形，該半柱面形具有作為紙面的上表面。
9.根據(jù)權(quán)利要求5所述的圖像失真校正設(shè)備，該圖像失真校正設(shè)備進(jìn)一步包括紙面輪廓提取部分，用于提取表示輸入圖像內(nèi)的紙面輪廓的紙面輪廓信息。
10.根據(jù)權(quán)利要求9所述的圖像失真校正設(shè)備，其中紙面輪廓提取部分利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定紙面輪廓的采樣點。
11.根據(jù)權(quán)利要求9所述的圖像失真校正設(shè)備，其中紙面輪廓提取部分利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定輸入圖像內(nèi)紙面的四個頂點，以通過圖像處理自動地提取紙面輪廓信息。
12.根據(jù)權(quán)利要求9所述的圖像失真校正設(shè)備，其中紙面輪廓提取部分通過圖像處理自動地提取所有紙面輪廓信息。
13.根據(jù)權(quán)利要求9所述的圖像失真校正設(shè)備，其中紙面輪廓提取部分將具有包括樣條曲線和貝齊爾曲線的參數(shù)的曲線模型用作要提取的紙面輪廓信息。
14.根據(jù)權(quán)利要求9所述的圖像失真校正設(shè)備，其中紙面輪廓提取部分將折線模型用作要提取的紙面輪廓信息。
15.根據(jù)權(quán)利要求5所述的圖像失真校正設(shè)備，其中對于紙面的三維曲面模型，曲面估計部分利用預(yù)定能量函數(shù)描述一個限制，并估計具有使該預(yù)定能量函數(shù)最小的參數(shù)的三維曲面模型，其中該限制是指三維輪廓的長度在三維曲面模型的上部輪廓與下部輪廓對之間，以及在右側(cè)輪廓與左側(cè)輪廓對之間是相同的。
16.根據(jù)權(quán)利要求5所述的圖像失真校正設(shè)備，其中圖像校正部分利用一個把輪廓作為其坐標(biāo)軸的曲面坐標(biāo)系，獲得校正后輸出圖像內(nèi)的每個像素在輸入圖像內(nèi)的相應(yīng)位置，并將輸入圖像內(nèi)相應(yīng)像素的值設(shè)置為輸出圖像的目標(biāo)像素值，以輸出具有由上部輪廓和下部輪廓的長度確定的寬度，和由右側(cè)輪廓和左側(cè)輪廓的長度確定的高度的輸出圖像。
17.一種圖像失真校正方法，該圖像失真校正方法包括圖像輸入步驟，用于輸入由成像步驟成像的平坦矩形紙面的圖像以作為輸入圖像；成像位置估計步驟，用于根據(jù)輸入圖像內(nèi)的矩形紙面的四個頂點，相對于紙面，估計成像步驟的相對成像位置；矩形紙面估計步驟，用于根據(jù)成像位置，估計矩形紙面在一個三維空間內(nèi)的四個頂點；以及圖像校正步驟，用于根據(jù)成像位置和三維空間內(nèi)的四個頂點，校正輸入圖像內(nèi)紙面的透視變換失真，以輸出一個輸出圖像。
18.根據(jù)權(quán)利要求17所述的圖像失真校正方法，其中從由黑白二級圖像、灰度圖像以及彩色圖像構(gòu)成的組中選擇輸入到圖像輸入步驟的輸入圖像和由圖像校正步驟輸出的輸出圖像。
19.根據(jù)權(quán)利要求17所述的圖像失真校正方法，其中成像位置估計步驟利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定輸入圖像內(nèi)紙面的四個頂點。
20.根據(jù)權(quán)利要求17所述的圖像失真校正方法，其中圖像校正步驟利用一個把輪廓作為其坐標(biāo)軸的平面坐標(biāo)系，獲得校正后輸出圖像內(nèi)的每個像素在輸入圖像內(nèi)的相應(yīng)位置，并將輸入圖像內(nèi)相應(yīng)像素的值設(shè)置為輸出圖像的目標(biāo)像素值，以輸出具有由上部輪廓和下部輪廓的長度確定的寬度，和由右側(cè)輪廓和左側(cè)輪廓的長度確定的高度的輸出圖像。
21.一種圖像失真校正方法，該圖像失真校正方法包括圖像輸入步驟，用于輸入由成像步驟成像的一個打開的書籍的彎曲紙面的圖像以作為輸入圖像；成像位置估計步驟，用于根據(jù)輸入圖像內(nèi)紙面的四個頂點，相對于紙面，估計成像步驟的相對成像位置；曲面估計步驟，用于根據(jù)成像位置和輸入圖像內(nèi)紙面的輪廓信息，估計紙面的三維曲面模型；以及圖像校正步驟，用于根據(jù)成像位置和紙面的三維曲面模型，校正輸入圖像內(nèi)紙面的書籍失真，以輸出一個輸出圖像。
22.根據(jù)權(quán)利要求21所述的圖像失真校正方法，其中從由黑白二級圖像、灰度圖像以及彩色圖像構(gòu)成的組中選擇輸入到圖像輸入步驟的輸入圖像和由圖像校正步驟輸出的輸出圖像。
23.根據(jù)權(quán)利要求21所述的圖像失真校正方法，其中成像位置估計步驟利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定輸入圖像內(nèi)紙面的四個頂點。
24.根據(jù)權(quán)利要求21所述的圖像失真校正方法，其中曲面估計步驟根據(jù)成像位置和輸入圖像內(nèi)紙面輪廓的失真，估計一個三維空間內(nèi)的半柱面形，該半柱面形具有作為紙面的上表面。
25.根據(jù)權(quán)利要求21所述的圖像失真校正方法，該圖像失真校正方法進(jìn)一步包括紙面輪廓提取步驟，用于提取表示輸入圖像內(nèi)的紙面輪廓的紙面輪廓信息。
26.根據(jù)權(quán)利要求25所述的圖像失真校正方法，其中紙面輪廓提取步驟利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定紙面輪廓的采樣點。
27.根據(jù)權(quán)利要求25所述的圖像失真校正方法，其中紙面輪廓提取步驟利用圖形用戶界面(GUI)提示用戶進(jìn)行輸入以規(guī)定輸入圖像內(nèi)紙面的四個頂點，以通過圖像處理自動地提取紙面輪廓信息。
28.根據(jù)權(quán)利要求25所述的圖像失真校正方法，其中紙面輪廓提取步驟通過圖像處理自動地提取所有紙面輪廓信息。
29.根據(jù)權(quán)利要求25所述的圖像失真校正方法，其中紙面輪廓提取步驟將具有包括樣條曲線和貝齊爾曲線的參數(shù)的曲線模型用作要提取的紙面輪廓信息。
30.根據(jù)權(quán)利要求25所述的圖像失真校正方法，其中紙面輪廓提取步驟將折線模型用作要提取的紙面輪廓信息。
31.根據(jù)權(quán)利要求21所述的圖像失真校正方法，其中對于紙面的三維曲面模型，曲面估計步驟利用預(yù)定能量函數(shù)描述一個限制，并估計具有使預(yù)定能量函數(shù)最小的參數(shù)的三維曲面模型，其中該限制是指三維輪廓的長度在三維曲面模型的上部輪廓與下部輪廓對之間，以及在右側(cè)輪廓與左側(cè)輪廓對之間是相同的。
32.根據(jù)權(quán)利要求21所述的圖像失真校正方法，其中圖像校正步驟利用一個把輪廓作為其坐標(biāo)軸的曲面坐標(biāo)系，獲得校正后輸出圖像內(nèi)的每個像素在輸入圖像內(nèi)的相應(yīng)位置，并將輸入圖像內(nèi)相應(yīng)像素的值設(shè)置為輸出圖像的目標(biāo)像素值，以輸出具有由上部輪廓和下部輪廓的長度確定的寬度，和由右側(cè)輪廓和左側(cè)輪廓的長度確定的高度的輸出圖像。
全文摘要
圖像失真校正方法和設(shè)備。本發(fā)明公開了一種圖像失真校正設(shè)備，該圖像失真校正設(shè)備包括圖像輸入部分，用于輸入由成像部分成像的平坦矩形紙面的圖像以作為輸入圖像；成像位置估計部分，用于根據(jù)輸入圖像內(nèi)的矩形紙面的四個頂點，估計成像部分對于紙面的相對成像位置；矩形紙面估計部分，用于根據(jù)成像位置，估計矩形紙面在一個三維空間內(nèi)的四個頂點；以及圖像校正部分，用于根據(jù)成像位置和三維空間內(nèi)的四個頂點，校正輸入圖像內(nèi)紙面的透視變換失真，以輸出一個輸出圖像。
文檔編號H04N1/195GK1471055SQ0314574
公開日2004年1月28日 申請日期2003年7月2日 優(yōu)先權(quán)日2002年7月2日
發(fā)明者藤本克仁, 小原敦子, 直井聰, 子 申請人:富士通株式會社