專利名稱：路牌識別系統(tǒng)及路牌識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及路牌信息再顯示技術(shù)領(lǐng)域，特別涉及一種路牌識別系統(tǒng)及路牌識別方
法。
背景技術(shù)：
隨著我國的經(jīng)濟(jì)發(fā)展以及開放度的提高，近年來越來越多的外籍人士來到中國學(xué)習(xí)、工作、旅游及參加大型活動。但是，道路上的路牌和公共場所的標(biāo)識一般都只有中文標(biāo)注，少數(shù)場合會用中英文進(jìn)行標(biāo)注，對于不懂英語和漢語的外國人來說，辨識路牌無疑是一件極為困難的事情。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種路牌識別系統(tǒng)及路牌識別方法，能將路牌以用戶設(shè)定的語言進(jìn)行顯示，方便用戶辨認(rèn)。本發(fā)明的技術(shù)方案如下一種路牌識別系統(tǒng)，包括路牌識別裝置和服務(wù)器，路牌識別裝置包括控制模塊、顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、圖像融合模塊、通信模塊；顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、圖像融合模塊、通信模塊分別與控制模塊連接，通信模塊通過無線網(wǎng)絡(luò)與服務(wù)器連接；服務(wù)器用于存儲全景圖像和進(jìn)行文字翻譯； 控制模塊用于協(xié)調(diào)、控制各模塊工作；人機(jī)交互模塊用于接收用戶的輸入指令；計算機(jī)模式識別模塊用于對路牌圖像上的文字信息進(jìn)行自動識別和提??；圖像融合模塊用于將翻譯后的文字與路牌圖像進(jìn)行融合，并將該路牌圖像融合到全景圖中；存儲模塊用于存儲地圖數(shù)據(jù)、原始圖像及融合后的圖像；顯示模塊用于顯示路牌圖像或全景圖像。所述的路牌識別系統(tǒng)，其中，還包括圖像輸入模塊和文字翻譯模塊，圖像輸入模塊和文字翻譯模塊分別與控制模塊連接，圖像輸入模塊用于獲取路牌圖像，文字翻譯模塊用于將提取出的文字信息翻譯成用戶指定的語言。所述的路牌識別系統(tǒng)，其中，無線網(wǎng)絡(luò)是3G網(wǎng)絡(luò)。所述的路牌識別系統(tǒng)，其中，路牌識別裝置中集成有GPS接收芯片。一種路牌識別裝置，包括圖像輸入模塊、控制模塊、顯示模塊、計算機(jī)模式識別模塊、文字翻譯模塊、存儲模塊、圖像融合模塊，圖像輸入模塊、顯示模塊、文字翻譯模塊、存儲模塊、計算機(jī)模式識別模塊、圖像融合模塊分別與控制模塊連接；圖像輸入模塊用于獲取路牌圖像；控制模塊用于協(xié)調(diào)、控制各模塊工作；計算機(jī)模式識別模塊用于對路牌圖像中的字符信息進(jìn)行自動識別和提??；文字翻譯模塊用于將提取出的文字信息翻譯成用戶指定的語言；圖像融合模塊用于將翻譯后的文字與原路牌圖像進(jìn)行融合；存儲模塊用于存儲原始圖像及融合后的圖像；顯示模塊用于顯示融合后的圖像。所述的路牌識別系統(tǒng)，其中，還包括人機(jī)交互模塊，人機(jī)交互模塊與控制模塊連接，用于接收用戶的輸入指令。
所述的路牌識別系統(tǒng)，其中，人機(jī)交互模塊采用便攜式設(shè)備上的觸摸屏實現(xiàn)，圖像輸入模塊采用便攜式設(shè)備內(nèi)置的攝像頭實現(xiàn)。一種路牌識別方法，包括獲取用戶選擇的二維地圖中的地點；調(diào)用與該二維地圖中的地點最為接近的一幀全景圖像；獲取用戶圈選出的圖像范圍；對圖像范圍內(nèi)的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合，并將融合后的圖像融合到全景圖像中；存儲全景圖像；顯示全景圖像。一種路牌識別方法，包括獲取用戶拍攝的路牌圖像；將路牌圖像與最接近的一幀全景圖像進(jìn)行匹配；調(diào)用該幀全景圖像；獲取用戶圈選出的圖像范圍；對圖像范圍內(nèi)的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合，并將融合后的圖像融合到全景圖像中；存儲全景圖像；顯示全景圖像。一種路牌識別方法，包括獲取用戶拍攝的路牌圖像；對路牌圖像中的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合；存儲融合后的圖像；顯示融合后的圖像。本發(fā)明的有益效果是本發(fā)明的路牌識別系統(tǒng)及路牌識別方法可以將實景路牌中的文字按用戶設(shè)定的語言進(jìn)行翻譯，并將翻譯后的文字融合到路牌圖像中進(jìn)行顯示，從而彌補(bǔ)了路牌標(biāo)注信息因語言障礙造成的不足。


圖1是離線模式下的路牌識別裝置的示意圖；圖2是在線模式下的路牌識別系統(tǒng)的示意圖。
具體實施例方式以下將結(jié)合附圖，對本發(fā)明的具體實施方式
和實施例加以詳細(xì)說明，所描述的具體實施例僅用以解釋本發(fā)明，并非用于限定本發(fā)明的具體實施方式
。本發(fā)明路牌識別裝置具有離線模式和在線模式兩種工作模式。如圖1所示，離線模式為單機(jī)模式，離線模式下的路牌識別裝置包括圖像輸入模塊、控制模塊、顯示模塊、人機(jī)交互模塊(可選)、計算機(jī)模式識別模塊、文字翻譯模塊、圖像融合模塊、存儲模塊。圖像輸入模塊、顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、文字翻譯模塊、圖像融合模塊、存儲模塊分別與控制模塊連接。圖像輸入模塊采用便攜設(shè)備內(nèi)置的攝像頭實現(xiàn)。用戶可以通過內(nèi)置的攝像頭對路牌進(jìn)行拍攝，圖像輸入模塊將拍攝的路牌圖像傳送至控制模塊?？刂颇K用于協(xié)調(diào)、控制各模塊工作?？刂颇K將路牌圖像傳送至計算機(jī)模式識別模塊，計算機(jī)模式識別模塊用于對路牌圖像中的字符信息進(jìn)行自動識別和提取。具體實現(xiàn)方法為通過成熟模式識別技術(shù)(如 OCR技術(shù))提取出圖像中的文字信息。文字翻譯模塊用于將提取出的文字信息翻譯成用戶指定的語言。在離線模式下， 文字翻譯模塊采用便攜設(shè)備內(nèi)置的翻譯詞典實現(xiàn)。圖像融合模塊用于將翻譯后的文字通過成熟的圖像融合技術(shù)與原路牌圖像進(jìn)行融合(即將原路牌圖像中的文字替換為翻譯后的文字)，然后將融合后的圖像發(fā)送至控制模塊。 控制模塊控制顯示模塊顯示融合后的圖像。顯示模塊可以采用便攜設(shè)備(如手機(jī)、PDA等)上的液晶顯示設(shè)備實現(xiàn)。存儲模塊用于存儲原始圖像及融合后的圖像。人機(jī)交互模塊不是必須的，主要是為了更便于用戶使用。人機(jī)交互模塊用于提供人為參與捕獲路牌信息的功能，可以更加快速便捷的提取出用戶自定義選擇的路牌信息。 人機(jī)交互模塊可以采用便攜設(shè)備上的觸摸屏實現(xiàn)。當(dāng)啟用此功能時，控制模塊首先將圖像輸入模塊獲取的路牌圖像傳送至顯示模塊進(jìn)行顯示，用戶通過觸摸屏圈選出自己感興趣的路牌所在范圍，控制模塊將此區(qū)域范圍導(dǎo)入至計算機(jī)模式識別模塊。之后重復(fù)以上的工作流程，直至顯示模塊顯示出融合后的圖像。此外，人機(jī)交互模塊還可以采用便攜設(shè)備上的鍵盤實現(xiàn)，通過鍵盤上的方向鍵移動圖像，通過鍵盤上的確認(rèn)鍵進(jìn)行選定操作。請參閱圖2，在線模式為服務(wù)器_客戶端模式，在線模式下的路牌識別系統(tǒng)包括路牌識別裝置(即客戶端)和服務(wù)器。在線模式下的路牌識別裝置包括圖像輸入模塊(可選)、控制模塊、顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、文字翻譯模塊(可選)、存儲模塊、圖像融合模塊、通信模塊。圖像輸入模塊、顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、文字翻譯模塊、圖像融合模塊、通信模塊分別與控制模塊連接。通信模塊通過無線網(wǎng)絡(luò)與服務(wù)器連接。圖像輸入模塊不是必須的，用戶除了可以采用內(nèi)置攝像頭獲取路牌圖像外，還可以通過無線網(wǎng)絡(luò)(如手機(jī)3G網(wǎng)絡(luò))從服務(wù)器調(diào)用360°全景圖來獲取圖像。360°全景圖來自服務(wù)器的數(shù)據(jù)庫，這些高清的全景圖像采用專業(yè)攝影測量設(shè)備進(jìn)行數(shù)據(jù)采集，用戶在獲得許可的前提下便可調(diào)用這些全景圖像。具體實現(xiàn)方法是用戶通過路牌識別裝置內(nèi)置的二維地圖(存儲在存儲模塊中)選擇自己感興趣的地點，路牌識別裝置將該地點坐標(biāo)通過無線網(wǎng)絡(luò)發(fā)送至服務(wù)器，服務(wù)器通過搜索調(diào)出與該地點最為接近的一幀全景圖像，并將此圖像傳至路牌識別裝置。用戶通過觸摸屏圈選出自己感興趣的路牌所在范圍并發(fā)出處理該范圍內(nèi)圖像的指令，此區(qū)域范圍隨即導(dǎo)入至計算機(jī)模式識別模塊。計算機(jī)模式識別模塊對路牌圖像上的文字信息進(jìn)行自動識別和提取?？刂颇K將提取出的文字通過無線網(wǎng)絡(luò)上傳至服務(wù)器，借助互聯(lián)網(wǎng)進(jìn)行文字翻譯(即在線翻譯)。在線翻譯的好處在于由于網(wǎng)絡(luò)字典的單詞量更大，所以翻譯后的內(nèi)容將更為準(zhǔn)確。當(dāng)然，這個翻譯工作也可以采用文字翻譯模塊實現(xiàn)(即本地翻譯)?；蛘卟捎帽镜胤g與在線翻譯相結(jié)合的方式?？刂颇K將翻譯后的文字傳送至圖像融合模塊，圖像融合模塊將翻譯后的文字與路牌圖像進(jìn)行融合，并將融合后的路牌圖像融合到360°全景圖中?？刂颇K控制顯示模塊顯示全景圖像，此時的全景圖像還可以調(diào)用服務(wù)器里已有的建筑物和道路等興趣點(Ρ0Ι， Point Of Interest)的名稱信息，一并顯示給用戶。如果用戶是采用內(nèi)置攝像頭來完成路牌圖像的輸入功能，則在調(diào)用全景圖像時， 服務(wù)器將自動匹配攝像頭拍攝的路牌圖像至與其最接近的一幀全景圖像，并調(diào)用此全景圖像，此時需要有圖像獲取處的地理坐標(biāo)信息(可以由用戶自定義輸入，或在路牌識別裝置中集成GPS接收芯片進(jìn)行自身定位，或者通過手機(jī)信號基站GPRS定位)，該地理坐標(biāo)信息將使得服務(wù)器的匹配更加快速準(zhǔn)確。存儲模塊用于存儲二維地圖、原始圖像及融合后的圖像。在圖1和圖2中，路牌識別裝置可以采用便攜式設(shè)備(如手機(jī)、PDA、便攜式筆記本電腦)實現(xiàn)。下面通過一個應(yīng)用實例對上述路牌識別系統(tǒng)進(jìn)行更清楚的說明，在此應(yīng)用實例中，用戶采用離線模式進(jìn)行圖像輸入，采用在線模式進(jìn)行翻譯，采用離線和在線兩種模式進(jìn)行圖像再顯示，用戶的使用語言為德語。步驟一，拍攝照片此用戶處于深圳某地，并拍攝了一張包含文字地標(biāo)路牌信息的照片。步驟二，選定區(qū)域用戶通過觸摸屏選出包含文字信息的區(qū)域。步驟三，文字翻譯路牌識別裝置將選定區(qū)域內(nèi)的中文“深圳世界之窗”提取出來，上傳至服務(wù)器，服務(wù)器將文字翻譯成德文“funster der Welt，Shenzhen”。步驟四，圖像再顯示路牌識別裝置將文字“!^enster der Welt, Sienzhen”融合在拍攝的路牌圖像中， 替換原有文字“深圳世界之窗”，并在顯示模塊中顯示出融合后的圖像。步驟五，在線全景顯示路牌識別裝置向服務(wù)器發(fā)送該裝置的位置，服務(wù)器調(diào)用與該裝置位置最接近的全景圖像進(jìn)行匹配，匹配出包含該路牌信息的一幀全景圖像之后，融合翻譯過的路牌圖像以及一些POI信息顯示給用戶。此外，本發(fā)明還提供了三種圖像融合的方法，分別如下第一種圖像融合的方法包括獲取用戶拍攝的路牌圖像；對路牌圖像中的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合； 存儲融合后的圖像；顯示融合后的圖像。第二種圖像融合的方法包括獲取用戶選擇的二維地圖中的地點；調(diào)用與該二維地圖中的地點最為接近的一幀全景圖像；獲取用戶圈選出的圖像范圍；對圖像范圍內(nèi)的文字信息進(jìn)行自動識別和提?。粚μ崛〕龅奈淖诌M(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合，并將融合后的圖像融合到全景圖像中；存儲全景圖像；顯示全景圖像。第三種圖像融合的方法包括獲取用戶拍攝的路牌圖像；將路牌圖像與最接近的一幀全景圖像進(jìn)行匹配；調(diào)用該幀全景圖像；獲取用戶圈選出的圖像范圍；對圖像范圍內(nèi)的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合，并將融合后的圖像融合到全景圖像中；存儲全景圖像；顯示全景圖像。應(yīng)當(dāng)理解的是，本發(fā)明的應(yīng)用不限于上述的舉例，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進(jìn)或變換，所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種路牌識別系統(tǒng)，其特征在于包括路牌識別裝置和服務(wù)器，路牌識別裝置包括控制模塊、顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、圖像融合模塊、通信模塊；顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、圖像融合模塊、通信模塊分別與控制模塊連接，通信模塊通過無線網(wǎng)絡(luò)與服務(wù)器連接；服務(wù)器用于存儲全景圖像和進(jìn)行文字翻譯； 控制模塊用于協(xié)調(diào)、控制各模塊工作； 人機(jī)交互模塊用于接收用戶的輸入指令；計算機(jī)模式識別模塊用于對路牌圖像上的文字信息進(jìn)行自動識別和提取； 圖像融合模塊用于將翻譯后的文字與路牌圖像進(jìn)行融合，并將該路牌圖像融合到全景圖中；存儲模塊用于存儲地圖數(shù)據(jù)、原始圖像及融合后的圖像； 顯示模塊用于顯示路牌圖像或全景圖像。
2.根據(jù)權(quán)利要求1所述的路牌識別系統(tǒng)，其特征在于，還包括圖像輸入模塊和文字翻譯模塊，圖像輸入模塊和文字翻譯模塊分別與控制模塊連接，圖像輸入模塊用于獲取路牌圖像，文字翻譯模塊用于將提取出的文字信息翻譯成用戶指定的語言。
3.根據(jù)權(quán)利要求1所述的路牌識別系統(tǒng)，其特征在于，無線網(wǎng)絡(luò)是3G網(wǎng)絡(luò)。
4.根據(jù)權(quán)利要求1所述的路牌識別系統(tǒng)，其特征在于，路牌識別裝置中集成有GPS接收芯片。
5.一種路牌識別裝置，其特征在于包括圖像輸入模塊、控制模塊、顯示模塊、計算機(jī)模式識別模塊、文字翻譯模塊、存儲模塊、圖像融合模塊，圖像輸入模塊、顯示模塊、文字翻譯模塊、存儲模塊、計算機(jī)模式識別模塊、圖像融合模塊分別與控制模塊連接；圖像輸入模塊用于獲取路牌圖像； 控制模塊用于協(xié)調(diào)、控制各模塊工作；計算機(jī)模式識別模塊用于對路牌圖像中的字符信息進(jìn)行自動識別和提?。?文字翻譯模塊用于將提取出的文字信息翻譯成用戶指定的語言； 圖像融合模塊用于將翻譯后的文字與原路牌圖像進(jìn)行融合； 存儲模塊用于存儲原始圖像及融合后的圖像； 顯示模塊用于顯示融合后的圖像。
6.根據(jù)權(quán)利要求5所述的路牌識別裝置，其特征在于，還包括人機(jī)交互模塊，人機(jī)交互模塊與控制模塊連接，用于接收用戶的輸入指令。
7.根據(jù)權(quán)利要求6所述的路牌識別裝置，其特征在于，人機(jī)交互模塊采用便攜式設(shè)備上的觸摸屏實現(xiàn)，圖像輸入模塊采用便攜式設(shè)備內(nèi)置的攝像頭實現(xiàn)。
8.一種路牌識別方法，其特征在于，包括 獲取用戶選擇的二維地圖中的地點；調(diào)用與該二維地圖中的地點最為接近的一幀全景圖像； 獲取用戶圈選出的圖像范圍； 對圖像范圍內(nèi)的文字信息進(jìn)行自動識別和提取； 對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合，并將融合后的圖像融合到全景圖像中；存儲全景圖像； 顯示全景圖像。
9.一種路牌識別方法，其特征在于，包括 獲取用戶拍攝的路牌圖像；將路牌圖像與最接近的一幀全景圖像進(jìn)行匹配；調(diào)用該幀全景圖像；獲取用戶圈選出的圖像范圍；對圖像范圍內(nèi)的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合，并將融合后的圖像融合到全景圖像中； 存儲全景圖像； 顯示全景圖像。
10.一種路牌識別方法，其特征在于，包括 獲取用戶拍攝的路牌圖像；對路牌圖像中的文字信息進(jìn)行自動識別和提??；對提取出的文字進(jìn)行翻譯；將翻譯后的文字與原圖像進(jìn)行融合；存儲融合后的圖像；顯示融合后的圖像。
全文摘要
本發(fā)明公開了一種路牌識別系統(tǒng)及路牌識別方法，路牌識別系統(tǒng)包括路牌識別裝置和服務(wù)器，路牌識別裝置包括控制模塊、顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、圖像融合模塊、通信模塊；顯示模塊、人機(jī)交互模塊、計算機(jī)模式識別模塊、存儲模塊、圖像融合模塊、通信模塊分別與控制模塊連接，通信模塊通過無線網(wǎng)絡(luò)與服務(wù)器連接。本發(fā)明的路牌識別系統(tǒng)及路牌識別方法可以將實景路牌中的文字按用戶設(shè)定的語言進(jìn)行翻譯，并將翻譯后的文字融合到路牌圖像中進(jìn)行顯示，從而彌補(bǔ)了路牌標(biāo)注信息因語言障礙造成的不足。
文檔編號G06K9/20GK102156866SQ20111005660
公開日2011年8月17日 申請日期2011年3月9日 優(yōu)先權(quán)日2011年3月9日
發(fā)明者張小星, 徐兵, 潘長松, 石璕, 羅澤剛, 鄭爽, 陳寶權(quán) 申請人:深圳百維達(dá)科技有限公司