本發(fā)明的實(shí)施方式涉及圖像處理領(lǐng)域,更具體地,本發(fā)明的實(shí)施方式涉及一種筆尖位置求解方法、設(shè)備。
背景技術(shù):
本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實(shí)施方式提供背景或上下文。此處的描述不因?yàn)榘ㄔ诒静糠种芯统姓J(rèn)是現(xiàn)有技術(shù)。
智能筆是一種內(nèi)置攝像頭的電子筆,能夠在書寫時(shí)連續(xù)拍攝紙張上的碼點(diǎn),進(jìn)而計(jì)算出筆跡。使用這類智能筆時(shí),用戶可以依照傳統(tǒng)書寫習(xí)慣在印有碼點(diǎn)的紙張上進(jìn)行書寫,用戶的書寫筆跡和書寫過程都將被記錄下來,可以即時(shí)同步到其他設(shè)備上,以供不同類型的設(shè)備應(yīng)用。
目前,已經(jīng)出現(xiàn)一些智能筆,對(duì)于智能筆的書寫筆跡和書面過程中,智能筆的筆尖的圖像坐標(biāo)是整個(gè)智能筆運(yùn)行的關(guān)鍵,由于智能筆硬件的限制,該筆尖的圖像坐標(biāo)無法顯示在書寫過程中拍攝的圖像上,所以筆尖的圖像坐標(biāo)的求解成為智能筆能夠還原筆跡的基礎(chǔ),通常將筆尖的圖像坐標(biāo)的計(jì)算校正、或筆尖軌跡的計(jì)算稱為智能筆筆尖位置的求解,目前的筆尖位置求解往往采用遞歸計(jì)算、角度旋轉(zhuǎn)變換校正等操作,用戶操作難度大、計(jì)算量大。
技術(shù)實(shí)現(xiàn)要素:
但是,出于目前技術(shù)以及操作的原因,現(xiàn)有筆尖位置求解方法的操作難度大,計(jì)算復(fù)雜。
因此在現(xiàn)有技術(shù)中,操作難度大,計(jì)算復(fù)雜這是非常令人煩惱的過程。
為此,非常需要一種改進(jìn)的筆尖位置求解方法,以使操作簡單、計(jì)算量小。
在本上下文中,本發(fā)明的實(shí)施方式期望提供一種筆尖位置求解方法。
在本發(fā)明實(shí)施方式的第一方面中,提供了一種筆尖位置求解方法,包括:獲取用戶通過筆尖點(diǎn)擊紙面中的第一點(diǎn)時(shí)拍攝的第一圖像,所述第一點(diǎn)的紙面坐標(biāo)已知;依據(jù)所述第一圖像上的圖像信息獲取第一變換函數(shù);依據(jù)所述第一點(diǎn)的紙面坐標(biāo)和第一變換函數(shù)計(jì)算所述第一點(diǎn)的圖像坐標(biāo),依據(jù)所述第一點(diǎn)的圖像坐標(biāo)獲取筆尖圖像坐標(biāo)。
在本發(fā)明第一方面的一實(shí)施例中,依據(jù)所述第一圖像上的圖像信息獲取第一變換函數(shù)包括:對(duì)所述第一圖像進(jìn)行圖像分析得到圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)、紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的第一變換函數(shù)。
在本發(fā)明第一方面的一實(shí)施例中,其中獲取第一變換函數(shù)包括獲取3*3的第一透視變換矩陣;依據(jù)所述第一點(diǎn)的紙面坐標(biāo)和第一變換函數(shù)計(jì)算所述第一點(diǎn)的圖像坐標(biāo)包括:對(duì)所述透視變換矩陣求逆得到所述透視變換逆矩陣;所述第一點(diǎn)的圖像坐標(biāo)等于所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)乘以第一比例系數(shù),所述第一比例系數(shù)為所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù)。
在本發(fā)明第一方面一實(shí)施例中,上述方法還包括:通過點(diǎn)擊紙面上其他的紙面坐標(biāo)已知的預(yù)設(shè)點(diǎn),對(duì)所述筆尖圖像坐標(biāo)進(jìn)行校正。
在本發(fā)明第一方面的一實(shí)施例中,所述對(duì)所述筆尖圖像坐標(biāo)進(jìn)行校正具體包括:步驟一:當(dāng)用戶通過筆尖點(diǎn)擊紙面中的第n點(diǎn)時(shí),獲取拍攝的第n圖像,所述第n點(diǎn)的紙面坐標(biāo)已知;步驟二:依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù);步驟三:依據(jù)所述第n點(diǎn)的紙面坐標(biāo)以及第n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo),其中n為大于等于2的整數(shù);在筆尖位置移動(dòng)時(shí),重復(fù)所述步驟一至步驟三計(jì)算出筆尖位置的m個(gè)圖像坐標(biāo),其中m為正整數(shù);依據(jù)第一點(diǎn)的圖像坐標(biāo)及所述m個(gè)圖像坐標(biāo)校正筆尖圖像坐標(biāo)。
在本發(fā)明第一方面的一實(shí)施例中,依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù)包括:對(duì)所述第n圖像進(jìn)行圖像分析得到圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)、紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的第n變換函數(shù)。
在本發(fā)明第一方面的一個(gè)實(shí)施例中,其中獲取第n變換函數(shù)包括獲取3*3的第n透視變換矩陣;依據(jù)所述第n點(diǎn)的紙面坐n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo)包括:對(duì)所述第n透視變換矩陣求逆得到n透視變換逆矩陣;所述第n點(diǎn)的圖像坐標(biāo)等于所述第n透視變換逆矩陣乘以第n點(diǎn)的紙面坐標(biāo)乘以第n比例系數(shù),所述第n比例系數(shù)為所述第n透視變換逆矩陣乘以第n點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù)。
在本發(fā)明第一方面的一個(gè)實(shí)施例中,依據(jù)第一點(diǎn)的圖像坐標(biāo)及所述m個(gè)圖像坐標(biāo)校正筆尖圖像坐標(biāo)包括:刪除所述m個(gè)圖像坐標(biāo)和第一點(diǎn)的圖像坐標(biāo)中的異常值后得到x個(gè)圖像坐標(biāo),將所述x個(gè)圖像坐標(biāo)的平均值作為筆尖圖像坐標(biāo);或?qū)⒌谝稽c(diǎn)的圖像坐標(biāo)和所述m個(gè)圖像坐標(biāo)的平均值作為筆尖圖像坐標(biāo)。
在本發(fā)明第一方面的一個(gè)實(shí)施例中,上述任一方法還包括:獲取用戶書寫時(shí)的多個(gè)實(shí)測圖像;依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù);依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo),依據(jù)所述多個(gè)筆尖紙面坐標(biāo)得到用戶筆跡。
在本發(fā)明第一方面的一個(gè)實(shí)施例中,依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括:對(duì)多個(gè)實(shí)測圖像的每個(gè)圖像信息分析得到每個(gè)圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)。
在本發(fā)明第一方面的一個(gè)實(shí)施例中,獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣;依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo)包括:所述多個(gè)筆尖紙面坐標(biāo)等于所述筆尖圖像坐標(biāo)乘以所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣乘以對(duì)應(yīng)的比例系數(shù),所述比例系數(shù)為所述筆尖圖像坐標(biāo)乘以對(duì)應(yīng)的透視變換矩陣所得結(jié)果的齊次項(xiàng)的倒數(shù)。
在本發(fā)明實(shí)施方式的第二方面中,提供了一種筆尖位置求解裝置,包括:獲取單元,用于獲取用戶通過筆尖點(diǎn)擊紙面中的第一點(diǎn)時(shí)拍攝的第一圖像,所述第一點(diǎn)的紙面坐標(biāo)已知;處理單元,用于依據(jù)所述第一圖像上的圖像信息獲取第一變換函數(shù);計(jì)算單元,用于依據(jù)所述第一點(diǎn)的紙面坐標(biāo)和第一變換函數(shù)計(jì)算所述第一點(diǎn)的圖像坐標(biāo),依據(jù)所述第一點(diǎn)的圖像坐標(biāo)獲取筆尖圖像坐標(biāo)。
在本發(fā)明第二方面的一實(shí)施例中,處理單元具體用于對(duì)所述第一圖像進(jìn)行圖像分析得到圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)、紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的第一變換函數(shù)。
在本發(fā)明第二方面的一實(shí)施例中,處理單元具體用于獲取3*3的第一透視變換矩陣;所述計(jì)算單元具體,用于對(duì)所述透視變換矩陣求逆得到所述透視變換逆矩陣;所述第一點(diǎn)的圖像坐標(biāo)等于所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)乘以第一比例系數(shù),所述第一比例系數(shù)為所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù)。
在本發(fā)明第二方面的一實(shí)施例中,上述裝置還包括:校正單元,用于通過點(diǎn)擊紙面上其他的紙面坐標(biāo)已知的預(yù)設(shè)點(diǎn),對(duì)所述筆尖圖像坐標(biāo)進(jìn)行校正。
在本發(fā)明第二方面的一實(shí)施例中,所述校正單元對(duì)所述筆尖圖像坐標(biāo)進(jìn)行校正,具體包括:步驟一:當(dāng)用戶通過筆尖點(diǎn)擊紙面中的第n點(diǎn)時(shí),獲取拍攝的第n圖像,所述第n點(diǎn)的紙面坐標(biāo)已知;步驟二:依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù);步驟三:依據(jù)所述第n點(diǎn)的紙面坐標(biāo)n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo),其中n為大于等于2的整數(shù);在筆尖位置移動(dòng)時(shí),重復(fù)所述步驟一至步驟三計(jì)算出筆尖位置的m個(gè)圖像坐標(biāo),其中m為正整數(shù);依據(jù)第一點(diǎn)及所述m個(gè)圖像坐標(biāo)校正筆尖圖像坐標(biāo)。
在本發(fā)明第二方面的一實(shí)施例中,依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù)包括:對(duì)所述第n圖像進(jìn)行圖像分析得到圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)、紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的第一變換函數(shù)。
在本發(fā)明第二方面的一個(gè)實(shí)施例中,獲取第n變換函數(shù)包括獲取3*3的第n透視變換矩陣;依據(jù)所述第n點(diǎn)的紙面坐n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo)包括:對(duì)所述第n透視變換矩陣求逆得到n透視變換逆矩陣;所述第n點(diǎn)的圖像坐標(biāo)等于所述第n透視變換逆矩陣乘以第n點(diǎn)的紙面坐標(biāo)乘以第n比例系數(shù),所述第n比例系數(shù)為所述第n透視變換逆矩陣乘以第n點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù)。
在本發(fā)明第二方面的一個(gè)實(shí)施例中,依據(jù)第一點(diǎn)的圖像坐標(biāo)及所述m個(gè)圖像坐標(biāo)校正筆尖圖像坐標(biāo)包括:刪除所述m個(gè)圖像坐標(biāo)和第一點(diǎn)的圖像坐標(biāo)中的異常值后得到x個(gè)圖像坐標(biāo),將x個(gè)圖像坐標(biāo)的平均值作為筆尖圖像坐標(biāo);或?qū)⒌谝稽c(diǎn)的圖像坐標(biāo)和所述m個(gè)圖像坐標(biāo)的平均值作為筆尖圖像坐標(biāo)。
在本發(fā)明第二方面的一個(gè)實(shí)施例中,上述任一裝置還包括:筆跡單元,用于獲取用戶書寫時(shí)的多個(gè)實(shí)測圖像;依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù);依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo),依據(jù)所述多個(gè)筆尖紙面坐標(biāo)得到用戶筆跡。
在本發(fā)明第二方面的一個(gè)實(shí)施例中,依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括:對(duì)多個(gè)實(shí)測圖像的每個(gè)圖像信息分析得到每個(gè)圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)。
在本發(fā)明第二方面的一個(gè)實(shí)施例中,獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣;依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo)包括:所述多個(gè)筆尖紙面坐標(biāo)等于所述筆尖圖像坐標(biāo)乘以所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣乘以對(duì)應(yīng)的比例系數(shù),所述比例系數(shù)為所述筆尖圖像坐標(biāo)乘以對(duì)應(yīng)的透視變換矩陣所得結(jié)果的齊次項(xiàng)的倒數(shù)。
在本發(fā)明實(shí)施方式的第三方面中,提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面提供的任一筆尖位置求解方法。
根據(jù)本發(fā)明實(shí)施方式僅需用戶點(diǎn)擊一個(gè)點(diǎn)即能夠?qū)P尖圖像坐標(biāo)進(jìn)行計(jì)算得到,所以其操作簡單,另外,本次計(jì)算需要進(jìn)行透視變換以及透視逆變換,其計(jì)算量小,所以其具有操作簡單,計(jì)算量小的優(yōu)點(diǎn)。
附圖說明
通過參考附圖閱讀下文的詳細(xì)描述,本發(fā)明示例性實(shí)施方式的上述以及其他目的、特征和優(yōu)點(diǎn)將變得易于理解。在附圖中,以示例性而非限制性的方式示出了本發(fā)明的若干實(shí)施方式,其中:
圖1示意性地示出了智能筆的結(jié)構(gòu)以及拍攝示意圖;
圖2a示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的筆尖位置求解方法的流程圖;
圖2b示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的第一圖像示意圖;
圖2c示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的透視變換后的圖像示意圖;
圖3示意性地示出了根據(jù)本發(fā)明另一實(shí)施例的筆尖位置求解方法的流程圖;
圖4示意性地示出了根據(jù)本發(fā)明又一實(shí)施例的筆尖位置求解裝置的結(jié)構(gòu)示意圖;
圖5示意性地示出了根據(jù)本發(fā)明再一實(shí)施例的智能筆設(shè)備的硬件結(jié)構(gòu)示意圖;
圖6示意性地示出了根據(jù)本發(fā)明后一實(shí)施例的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的結(jié)構(gòu)示意圖;
在附圖中,相同或?qū)?yīng)的標(biāo)號(hào)表示相同或?qū)?yīng)的部分。
具體實(shí)施方式
下面將參考若干示例性實(shí)施方式來描述本發(fā)明的原理和精神。應(yīng)當(dāng)理解,給出這些實(shí)施方式僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實(shí)現(xiàn)本發(fā)明,而并非以任何方式限制本發(fā)明的范圍。相反,提供這些實(shí)施方式是為了使本公開更加透徹和完整,并且能夠?qū)⒈竟_的范圍完整地傳達(dá)給本領(lǐng)域的技術(shù)人員。
本領(lǐng)域技術(shù)技術(shù)人員知道,本發(fā)明的實(shí)施方式可以實(shí)現(xiàn)為一種系統(tǒng)、裝置、設(shè)備、方法或計(jì)算機(jī)程序產(chǎn)品。因此,本公開可以具體實(shí)現(xiàn)為以下形式,即:完全的硬件、完全的軟件(包括固件、駐留軟件、微代碼等),或者硬件和軟件結(jié)合的形式。
根據(jù)本發(fā)明的實(shí)施方式,提出了一種的方法和設(shè)備。
在本文中,需要理解的是,所涉及的術(shù)語表示。此外,附圖中的任何元素?cái)?shù)量均用于示例而非限制,以及任何命名都僅用于區(qū)分,而不具有任何限制含義。
下面參考本發(fā)明的若干代表性實(shí)施方式,詳細(xì)闡釋本發(fā)明的原理和精神。
發(fā)明概述
本發(fā)明人發(fā)現(xiàn),由于每個(gè)智能筆的硬件結(jié)構(gòu)都是固定的,對(duì)于每個(gè)智能筆來說,其攝像頭和筆尖的位置相對(duì)固定,所以對(duì)于攝像頭拍攝的圖像來說,其筆尖在圖像的位置也相對(duì)固定,但是對(duì)于不同的智能筆來說,由于攝像頭與筆尖的位置不相同,所以需要對(duì)筆尖的圖像坐標(biāo)進(jìn)行計(jì)算。本發(fā)明也是基于單個(gè)智能筆的筆尖的圖像坐標(biāo)在攝像頭拍攝的多個(gè)圖片中的坐標(biāo)一致的特點(diǎn)來對(duì)智能筆的筆尖位置進(jìn)行求解。
在介紹了本發(fā)明的基本原理之后,下面具體介紹本發(fā)明的各種非限制性實(shí)施方式。
應(yīng)用場景總覽
首先參考圖1,圖1為一種智能筆的結(jié)構(gòu)以及拍攝示意圖,如圖1所示,該智能筆包括攝像頭1和筆尖2,其筆尖2在運(yùn)動(dòng)時(shí),攝像頭1拍攝圖片,如圖1中的陰影部分所示,本發(fā)明的技術(shù)方案即為求解筆尖的圖像坐標(biāo),進(jìn)而可根據(jù)該固定的圖像坐標(biāo)求解筆尖的紙面坐標(biāo)。
示例性方法
下面結(jié)合圖的應(yīng)用場景,參考圖來描述根據(jù)本發(fā)明示例性實(shí)施方式的用于的方法。需要注意的是,上述應(yīng)用場景僅是為了便于理解本發(fā)明的精神和原理而示出,本發(fā)明的實(shí)施方式在此方面不受任何限制。相反,本發(fā)明的實(shí)施方式可以應(yīng)用于適用的任何場景。
參閱圖2a,如圖2a為本發(fā)明一個(gè)示例性的方法,如圖2a所示,該方法通過如圖1所示的智能筆執(zhí)行,該方法如圖2a所示,包括如下步驟:
步驟s201、智能筆獲取用戶通過筆尖點(diǎn)擊紙面中的第一點(diǎn)時(shí)拍攝的第一圖像,其中該第一點(diǎn)的紙面坐標(biāo)已知。
上述步驟s201中的第一圖像如圖2b所示,為了方便描述,這里將第一點(diǎn)的紙面坐標(biāo)記為(x,y)。照片中的小方塊(碼點(diǎn)圖案)因?yàn)殓R頭的角度不同而產(chǎn)生不同的形變,而此時(shí)筆尖圖像并不在第一圖像視野中,其圖像坐標(biāo)對(duì)應(yīng)(x0,y0)。
步驟s202、智能筆依據(jù)第一圖像上的圖像信息獲取第一變換函數(shù)。
步驟s202中的第一變換函數(shù)可以包括3*3的第一透視變換矩陣,該3*3的第一透視變換矩陣和第一比例系數(shù)的獲取方式具體可以為:
通過對(duì)如圖2b所示的第一圖像分析得到至少4個(gè)點(diǎn)的紙面坐標(biāo)和4個(gè)點(diǎn)的圖像坐標(biāo),該紙面可以為碼紙,當(dāng)然該紙面也可以為其他性質(zhì)的紙,例如坐標(biāo)紙等等紙面。該4個(gè)點(diǎn)可為從圖像平面上任意選取的連線構(gòu)成四邊形的點(diǎn),以計(jì)算便利為準(zhǔn)?!凹埫妗辈幌抻趥鹘y(tǒng)的紙張平面,可以為塑料、顯示屏等任意平面。上述4個(gè)點(diǎn)的圖像坐標(biāo)可以通過對(duì)第一圖像分析或測量直接得到。在一個(gè)實(shí)施方式中,上述4個(gè)點(diǎn)的紙面坐標(biāo)可通過首先獲取拍攝到的圖像上的編碼圖案,根據(jù)編碼圖案的預(yù)設(shè)規(guī)則計(jì)算獲取相應(yīng)點(diǎn)的紙面坐標(biāo)。依據(jù)至少4個(gè)點(diǎn)的紙面坐標(biāo)和4個(gè)點(diǎn)的圖像坐標(biāo)計(jì)算得到第一透視變換函數(shù)h0,該透視變換函數(shù)h0為一個(gè)3*3的矩陣,可由至少4個(gè)點(diǎn)的紙面坐標(biāo)和4個(gè)點(diǎn)的圖像坐標(biāo)直接代入求得,具體的求得方法可以參見透視算法中的獲得透視變換(英文:getperspectivetransform)函數(shù),上述透視變換的數(shù)學(xué)表達(dá)式具體可以為:
t·ppaper=h0×pimage;
其中t為第一比例系數(shù),第一比例系數(shù)可以為所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù),h0位第一透視變換函數(shù),pimage為圖像平面3×1的齊次圖像坐標(biāo),齊次項(xiàng)(第三項(xiàng))為1;ppaper為紙平面3×1的齊次紙面坐標(biāo),齊次項(xiàng)(第三項(xiàng))為1;t為第一比例系數(shù),目的是使ppaper的齊次項(xiàng)為1。對(duì)于圖像平面的任一點(diǎn)的圖像坐標(biāo)pimage,乘上h0之后可以得到t·ppaper,對(duì)這個(gè)結(jié)果除以t使得最終結(jié)果的齊次項(xiàng)為1,得到的就是該點(diǎn)在紙平面上的對(duì)應(yīng)紙面坐標(biāo)ppaper,其中紙面坐標(biāo)ppaper的前兩項(xiàng)對(duì)應(yīng)紙面二維坐標(biāo)。
將圖2b經(jīng)過透視變換以后得到的紙面坐標(biāo)圖片為圖2c所示,其中,筆尖坐標(biāo)(x,y)為筆尖的紙面坐標(biāo)。
在另一個(gè)實(shí)施例中,也可依據(jù)圖像上多個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo)根據(jù)下面的關(guān)系式計(jì)算變換函數(shù):ppaper=h×pimage,其中h為變換函數(shù)。
步驟s203、智能筆依據(jù)第一點(diǎn)的紙面坐標(biāo)(x,y)和第一變換函數(shù)計(jì)算得到第一點(diǎn)的圖像坐標(biāo),依據(jù)第一點(diǎn)的圖像坐標(biāo)獲取筆尖圖像坐標(biāo)。
上述步驟s203的實(shí)現(xiàn)方法具體可以為:對(duì)透視變換函數(shù)h0進(jìn)行求逆得到透視逆變換函數(shù)h0-1,第一點(diǎn)的圖像坐標(biāo)(x0,y0)可以等于h0-1*(x,y)*t。
如圖2a所示的技術(shù)方案僅需用戶點(diǎn)擊一個(gè)點(diǎn)即能夠?qū)P尖圖像坐標(biāo)進(jìn)行計(jì)算得到,所以其操作簡單,另外,本次計(jì)算進(jìn)行透視變換以及透視逆變換,其計(jì)算量較小,所以其具有操作簡單,計(jì)算量小的優(yōu)點(diǎn)。
參閱圖3,如圖3為本發(fā)明另一個(gè)示例性的方法,如圖3所示,該方法通過如圖1所示的智能筆執(zhí)行,該方法進(jìn)一步包括通過點(diǎn)擊紙面上其他的紙面坐標(biāo)已知的預(yù)設(shè)點(diǎn),對(duì)筆尖的圖像坐標(biāo)進(jìn)行校正。如圖3所示,在如圖2a所示的方法之后還可以包括如下對(duì)筆尖的圖像坐標(biāo)進(jìn)行校正的步驟:
步驟s301、當(dāng)用戶通過筆尖點(diǎn)擊紙面中的第n點(diǎn)時(shí),智能筆獲取拍攝的第n圖像,所述第n點(diǎn)的紙面坐標(biāo)已知。
步驟s302、智能筆依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù)。
上述步驟s302中的獲取第n變換函數(shù)的方式可以參見上述步驟s202的方法,這里不在贅述。
步驟s303、智能筆依據(jù)所述第n點(diǎn)的紙面標(biāo)以及第n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo),其中n為大于等于2的整數(shù)。
上述步驟303中的智能筆依據(jù)所述第n點(diǎn)的紙面標(biāo)以及第n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo)的具體方式可以參見步驟s203的實(shí)現(xiàn)方法,這里不在贅述。
步驟s304、在筆尖位置移動(dòng)時(shí),重復(fù)所述步驟s301至步驟s303計(jì)算出筆尖位置的m個(gè)圖像坐標(biāo),該m為正整數(shù)。
步驟s305、智能筆依據(jù)第一點(diǎn)及所述m個(gè)圖像坐標(biāo)校正筆尖圖像坐標(biāo)。
上述步驟s305的實(shí)現(xiàn)方法具體可以為:將第一點(diǎn)的圖像坐標(biāo)和所述m個(gè)圖像坐標(biāo)的平均值作為更新筆尖圖像坐標(biāo)。當(dāng)然在上述步驟s305的實(shí)現(xiàn)方法具體還可以為:刪除所述m個(gè)圖像坐標(biāo)和第一點(diǎn)的圖像坐標(biāo)中的異常值后得到x個(gè)圖像坐標(biāo),將x個(gè)圖像坐標(biāo)的平均值作為更新筆尖圖像坐標(biāo)。上述異常值的判斷可以有多種,例如,可以通過將m個(gè)圖像坐標(biāo)和第一點(diǎn)的圖像坐標(biāo)分別與上述平均值對(duì)比得到偏差,如該偏差超過偏差閾值,則確定為異常值,當(dāng)然還可以有其他的判斷方式,例如通過方差來判斷等等,本發(fā)明并不局限上述判斷方式的具體實(shí)現(xiàn)方法。
可選的,上述方法在步驟s305之后還可以包括:獲取用戶書寫時(shí)的多個(gè)實(shí)測圖像;依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù);依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo),依據(jù)所述多個(gè)筆尖紙面坐標(biāo)得到用戶筆跡。
可選地,其中依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括:對(duì)多個(gè)實(shí)測圖像的每個(gè)圖像信息分析得到每個(gè)圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)。
可選地,其中獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣;依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo)包括:所述多個(gè)筆尖紙面坐標(biāo)等于所述筆尖圖像坐標(biāo)乘以所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣乘以對(duì)應(yīng)的比例系數(shù),該比例系數(shù)為所述筆尖圖像坐標(biāo)乘以對(duì)應(yīng)的透視變換矩陣所得結(jié)果的齊次項(xiàng)的倒數(shù)。
如圖3所示的技術(shù)方案僅需用戶點(diǎn)擊一個(gè)點(diǎn)即能夠?qū)P尖圖像坐標(biāo)進(jìn)行計(jì)算得到,所以其操作簡單,另外,本次計(jì)算進(jìn)行的透視變換以及透視逆變換,其計(jì)算量小,所以其具有操作簡單,計(jì)算量小的優(yōu)點(diǎn)。
示例性設(shè)備
在介紹了本發(fā)明示例性實(shí)施方式的方法之后,接下來,參考圖4對(duì)本發(fā)明示例性實(shí)施方式的筆尖位置求解裝置、用于實(shí)現(xiàn)上述筆尖位置求解方法,如圖4所示的設(shè)備的技術(shù)術(shù)語、具體的實(shí)現(xiàn)方式以及技術(shù)效果均可以參見如圖2或圖3所示實(shí)施例的描述。該智能筆如圖4所示,包括:
獲取單元401,用于獲取用戶通過筆尖點(diǎn)擊紙面中的第一點(diǎn)時(shí)拍攝的第一圖像,所述第一點(diǎn)的紙面坐標(biāo)已知;
處理單元402,用于依據(jù)所述第一圖像上的圖像信息獲取第一變換函數(shù);
計(jì)算單元403,用于依據(jù)所述第一點(diǎn)的紙面坐標(biāo)和第一變換函數(shù)計(jì)算所述第一點(diǎn)的圖像坐標(biāo),依據(jù)所述第一點(diǎn)的圖像坐標(biāo)獲取筆尖圖像坐標(biāo)。
可選的,處理單元402具體用于對(duì)所述第一圖像進(jìn)行圖像分析得到圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)、紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的第一變換函數(shù)。
可選的,其中處理單元402具體用于獲取3*3的第一透視變換矩陣;
計(jì)算單元403具體,用于對(duì)所述透視變換矩陣求逆得到所述透視變換逆矩陣;所述第一點(diǎn)的圖像坐標(biāo)等于所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)乘以第一比例系數(shù),該第一比例系數(shù)為所述第一透視變換逆矩陣乘以第一點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù)。
可選的,其中所述裝置還包括:
校正單元404,用于對(duì)所述筆尖圖像坐標(biāo)校正,所述對(duì)所述筆尖圖像坐標(biāo)進(jìn)行校正具體,包括:
步驟一:當(dāng)用戶通過筆尖點(diǎn)擊紙面中的第n點(diǎn)時(shí),獲取拍攝的第n圖像,所述第n點(diǎn)的紙面坐標(biāo)已知;
步驟二:依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù);
步驟三:依據(jù)所述第n點(diǎn)的紙面坐標(biāo)n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo),其中n為大于等于2的整數(shù);
在筆尖位置移動(dòng)時(shí),重復(fù)所述步驟一至步驟三計(jì)算出筆尖位置的m個(gè)圖像坐標(biāo);
依據(jù)第一點(diǎn)及所述m個(gè)圖像坐標(biāo)校正筆尖圖像坐標(biāo)。
可選的,其中依據(jù)所述第n圖像上的圖像信息獲取第n變換函數(shù)包括:對(duì)所述第n圖像進(jìn)行圖像分析得到圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)、紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的第一變換函數(shù)。
可選的,其中獲取第n變換函數(shù)包括獲取3*3的第n透視變換矩陣;依據(jù)所述第n點(diǎn)的紙面坐n變換函數(shù)計(jì)算所述第n點(diǎn)的圖像坐標(biāo)包括:對(duì)所述第n透視變換矩陣求逆得到n透視變換逆矩陣;所述第n點(diǎn)的圖像坐標(biāo)等于所述第n透視變換逆矩陣乘以第n點(diǎn)的紙面坐標(biāo)乘以第n比例系數(shù),該第n比例系數(shù)為所述第n透視變換逆矩陣乘以第n點(diǎn)的紙面坐標(biāo)所得結(jié)果的齊次項(xiàng)的倒數(shù)。
可選的,其中依據(jù)第一點(diǎn)及所述m個(gè)圖像坐標(biāo)更新筆尖圖像坐標(biāo)包括::刪除所述m個(gè)圖像坐標(biāo)和第一點(diǎn)的圖像坐標(biāo)中的異常值后得到x個(gè)圖像坐標(biāo),將x個(gè)圖像坐標(biāo)的平均值作為筆尖圖像坐標(biāo);或?qū)⒌谝稽c(diǎn)的圖像坐標(biāo)和所述m個(gè)圖像坐標(biāo)的平均值作為筆尖圖像坐標(biāo)。
可選的,其中,所述裝置還包括:
筆跡單元405,用于獲取用戶書寫時(shí)的多個(gè)實(shí)測圖像;依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù);依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo),依據(jù)所述多個(gè)筆尖紙面坐標(biāo)得到用戶筆跡。
可選的,其中依據(jù)所述多個(gè)實(shí)測圖像的圖像信息獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括:對(duì)多個(gè)實(shí)測圖像的每個(gè)圖像信息分析得到每個(gè)圖像中至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo);依據(jù)所述至少4個(gè)點(diǎn)的圖像坐標(biāo)和紙面坐標(biāo)計(jì)算出從圖像坐標(biāo)變換到紙面坐標(biāo)的所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)。
可選的,其中獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的多個(gè)實(shí)測變換函數(shù)包括獲取所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣;依據(jù)所述多個(gè)實(shí)測變換函數(shù)和所述筆尖圖像坐標(biāo),獲取多個(gè)筆尖紙面坐標(biāo)包括:所述多個(gè)筆尖紙面坐標(biāo)等于所述筆尖所述多個(gè)實(shí)測圖像對(duì)應(yīng)的3*3的透視變換矩陣乘以對(duì)應(yīng)的比例系數(shù),該比例系數(shù)為所述筆尖圖像坐標(biāo)乘以對(duì)應(yīng)的透視變換矩陣所得結(jié)果的齊次項(xiàng)的倒數(shù)。
參閱圖5,圖5為本發(fā)明提供的一種智能筆設(shè)備,包括:處理器501、存儲(chǔ)器502、外部接口505、總線504和攝像頭506。外部接口505用于與外部設(shè)備504交互以收發(fā)數(shù)據(jù)。智能筆設(shè)備50中的處理器501的數(shù)量可以是一個(gè)或多個(gè)。本申請的一些實(shí)施例中,處理器501、存儲(chǔ)器502和外部接口505可通過總線或其他方式連接。存儲(chǔ)器502用于存儲(chǔ)程序代碼5024,處理器501用于調(diào)用存儲(chǔ)器502中存儲(chǔ)的程序代碼5024,以實(shí)現(xiàn)圖2或圖3中智能筆的功能。關(guān)于本實(shí)施例涉及的術(shù)語的含義以及舉例,可以參考圖2或圖3對(duì)應(yīng)的實(shí)施例。此處不再贅述。需要說明的是,這里的處理器501可以是一個(gè)處理元件,也可以是多個(gè)處理元件的統(tǒng)稱。例如,該處理元件可以是中央處理器(英文:centralprocessingunit,簡稱:cpu),也可以是特定集成電路(英文:application-specificintegratedcircuit,簡稱:asic),或者是被配置成實(shí)施本申請實(shí)施例的一個(gè)或多個(gè)集成電路,例如:一個(gè)或多個(gè)數(shù)字信號(hào)處理器(英文:digitalsignalprocessor,簡稱:dsp),或,一個(gè)或者多個(gè)現(xiàn)場可編程門陣列(英文:field-programmablegatearray,簡稱:fpga)。
存儲(chǔ)器502可以是一個(gè)存儲(chǔ)裝置,也可以是多個(gè)存儲(chǔ)元件的統(tǒng)稱,且用于存儲(chǔ)可執(zhí)行程序代碼或應(yīng)用程序運(yùn)行裝置運(yùn)行所需要參數(shù)、數(shù)據(jù)等。且存儲(chǔ)器503可以包括隨機(jī)存儲(chǔ)器5021(英文:random-accessmemory,簡稱:ram),也可以包括非易失性存儲(chǔ)器(non-volatilememory),例如磁盤存儲(chǔ)器,閃存(flash)等,當(dāng)然還可以包括高速緩存存儲(chǔ)器5022或只讀存儲(chǔ)器(英文:read-onlymemory,rom)。
總線503可以是工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(英文:industrystandardarchitecture,簡稱:isa)總線、外部設(shè)備互連(英文:peripheralcomponentinterconnect,簡稱:pci)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(英文:extendedindustrystandardarchitecture,簡稱:eisa)總線等。該總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示,圖5中僅用一條線表示,但并不表示僅有一根總線或一種類型的總線。
參閱圖6,圖6為本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)60,其上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如圖2或圖3所示實(shí)施例中的方法。
應(yīng)當(dāng)注意,盡管在上文詳細(xì)描述中提及了設(shè)備的若干裝置或子裝置,但是這種劃分僅僅并非強(qiáng)制性的。實(shí)際上,根據(jù)本發(fā)明的實(shí)施方式,上文描述的兩個(gè)或更多裝置的特征和功能可以在一個(gè)裝置中具體化。反之,上文描述的一個(gè)裝置的特征和功能可以進(jìn)一步劃分為由多個(gè)裝置來具體化。
此外,盡管在附圖中以特定順序描述了本發(fā)明方法的操作,但是,這并非要求或者暗示必須按照該特定順序來執(zhí)行這些操作,或是必須執(zhí)行全部所示的操作才能實(shí)現(xiàn)期望的結(jié)果。附加地或備選地,可以省略某些步驟,將多個(gè)步驟合并為一個(gè)步驟執(zhí)行,和/或?qū)⒁粋€(gè)步驟分解為多個(gè)步驟執(zhí)行。
雖然已經(jīng)參考若干具體實(shí)施方式描述了本發(fā)明的精神和原理,但是應(yīng)該理解,本發(fā)明并不限于所公開的具體實(shí)施方式,對(duì)各方面的劃分也不意味著這些方面中的特征不能組合以進(jìn)行受益,這種劃分僅是為了表述的方便。本發(fā)明旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)所包括的各種修改和等同布置。