專(zhuān)利名稱(chēng)：綜合信息的投影的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于將綜合信息投影到現(xiàn)實(shí)環(huán)境中的方法、以及一種為此構(gòu)造的移動(dòng)終端設(shè)備。
綜合信息或附加信息的投影導(dǎo)致了現(xiàn)實(shí)世界的擴(kuò)展。該行為一般稱(chēng)為“增強(qiáng)現(xiàn)實(shí)”。通過(guò)這種方法可以告知用戶(hù)用于完成一定的任務(wù)必需的有益的信息。
這樣例如在維修任務(wù)中可以由此來(lái)輔助裝配工人，即在維修設(shè)備的攝像機(jī)圖像中在攝像機(jī)圖像中的該設(shè)備的相應(yīng)位置上人工插入下一個(gè)指令步驟。在準(zhǔn)確了解維修設(shè)備的三維模型中的攝像機(jī)位置的條件下，這通過(guò)投影綜合信息來(lái)實(shí)現(xiàn)。
這種方法也在醫(yī)學(xué)領(lǐng)域中用于例如在手術(shù)期間輔助觀察X光圖像和超聲波圖像。
在用于主題為“增強(qiáng)現(xiàn)實(shí)”的所有公知的應(yīng)用中，將通常是修改過(guò)的攝像機(jī)圖像的結(jié)果圖像在顯示器上示出。用戶(hù)因此必須自己在現(xiàn)實(shí)世界或環(huán)境中持續(xù)地重新識(shí)別修改過(guò)的圖像內(nèi)的所顯示的位置。如果在十分復(fù)雜的設(shè)備中例如在該設(shè)備的攝像機(jī)圖像中的一定位置上畫(huà)入箭頭，則也許十分困難在現(xiàn)實(shí)設(shè)備中找到相應(yīng)的、一致的位置。
本發(fā)明所基于的任務(wù)在于，避免這些缺點(diǎn)。
根據(jù)本發(fā)明，針對(duì)方法通過(guò)權(quán)利要求1中給出的特征而針對(duì)移動(dòng)終端設(shè)備則通過(guò)權(quán)利要求3中給出的特征來(lái)解決該任務(wù)。
根據(jù)本發(fā)明將綜合信息直接投影到現(xiàn)實(shí)環(huán)境中，以致該綜合信息在相應(yīng)的圖像位置上示出。由此在應(yīng)用顯示器時(shí)避免了所述的缺點(diǎn)。
本發(fā)明的基本思想是，通過(guò)應(yīng)用與投影單元相結(jié)合的攝像機(jī)將綜合信息或附加信息投影到現(xiàn)實(shí)環(huán)境中。通過(guò)實(shí)現(xiàn)攝像機(jī)圖像和投影單元之間的反饋來(lái)完成投影位置的修正。
在本發(fā)明的一種擴(kuò)展方案中，為了補(bǔ)償成像缺陷，完成攝像機(jī)圖像和投影單元之間的反饋的實(shí)現(xiàn)。
以下借助附圖中示出的實(shí)施例來(lái)進(jìn)一步闡述本發(fā)明。
例如將

圖1中示出的移動(dòng)電話(huà)MT用于將綜合信息投影到現(xiàn)實(shí)環(huán)境中。移動(dòng)電話(huà)MT為此在背面上具有用于從環(huán)境中繪制圖像的攝像機(jī)模塊K、用于處理圖像信息的處理器、以及例如可旋轉(zhuǎn)地布置在手機(jī)的上面的投影單元P。顯示設(shè)備AE位于移動(dòng)電話(huà)的正面上。
利用數(shù)字圖像處理的方法來(lái)分析處理攝像機(jī)圖像。在這下面一般也應(yīng)理解圖形識(shí)別的方法，以致例如可以識(shí)別和鑒別所成像的對(duì)象，由此分配給一種模型是可能的。這樣例如通過(guò)以設(shè)備的三維模型的信息為基礎(chǔ)來(lái)計(jì)算位置，在該位置之下借助投影單元P例如將(附圖中未詳細(xì)示出的)箭頭投影到現(xiàn)實(shí)環(huán)境中。
緊接著在攝像機(jī)圖像中分析處理投影結(jié)果，并且必要時(shí)通過(guò)反饋來(lái)修正箭頭的位置。如已經(jīng)實(shí)施的那樣，在本發(fā)明的一種擴(kuò)展方案中也可以例如從其大小方面來(lái)修正成像本身。
本發(fā)明方法使用投影單元和攝像機(jī)或攝像機(jī)模塊。通過(guò)分析處理攝像機(jī)圖像并且以3D對(duì)象模型為基礎(chǔ)來(lái)計(jì)算坐標(biāo)，在該坐標(biāo)上通過(guò)投影儀P將綜合信息投影到現(xiàn)實(shí)環(huán)境中。用戶(hù)因此直接在對(duì)象上看見(jiàn)附加的綜合信息。該信息于是確定了用戶(hù)的其它活動(dòng)。
在維修任務(wù)的實(shí)例中，因此可以將箭頭直接投影到例如應(yīng)更換的部分上。用戶(hù)在這種情況下不必注視在顯示器或顯示設(shè)備AE上，并且他也不必在現(xiàn)實(shí)環(huán)境中識(shí)別所示出的部分。與增強(qiáng)現(xiàn)實(shí)的交往由此實(shí)質(zhì)上變得更簡(jiǎn)單而且也更可靠。
除此之外，持續(xù)地將攝像機(jī)圖像用于，利用數(shù)字圖像處理的方法來(lái)監(jiān)控投影結(jié)果?？梢圆杉托拚队拔恢?，以及在一種擴(kuò)展方案中也可采集和修正由對(duì)象的三維特性引起的成像缺陷。例如在將箭頭成像到傾斜的平面上時(shí)形成成像缺陷。通過(guò)修正消除可能的失真。
權(quán)利要求
1.用于將綜合信息投影到現(xiàn)實(shí)環(huán)境中的方法，其中利用圖像處理和/或圖形識(shí)別的裝置來(lái)這樣完成所述信息的位置及其投影之間的反饋，使得所述信息被定位在所述現(xiàn)實(shí)環(huán)境中的可預(yù)先確定的位置上。
2.如權(quán)利要求1所述的方法，其中利用所述圖像處理的裝置來(lái)這樣完成所述信息的示圖及其投影之間的反饋，使得所述投影時(shí)的成像缺陷被修正。
3.移動(dòng)終端設(shè)備、尤其是通信終端設(shè)備，其具有用于將綜合信息投影到現(xiàn)實(shí)環(huán)境中的攝像機(jī)和投影單元，其中針對(duì)所述信息的位置及其投影之間的反饋來(lái)這樣安排用于圖像處理和/或圖形識(shí)別的裝置，使得可以將所述信息定位在所述現(xiàn)實(shí)環(huán)境中的可預(yù)先確定的位置上。
4.如權(quán)利要求3所述的終端設(shè)備，其中利用用于圖像處理的裝置來(lái)這樣引起所述信息的示圖及其投影之間的反饋，使得可以修正所述投影時(shí)的成像缺陷。
全文摘要
本發(fā)明涉及一種用于將綜合信息投影到現(xiàn)實(shí)環(huán)境中的方法，其中利用圖像處理和/或圖形識(shí)別的裝置來(lái)這樣完成信息的位置及其投影之間的反饋，使得信息被定位在現(xiàn)實(shí)環(huán)境中的可預(yù)先確定的位置上。
文檔編號(hào)G05B19/418GK1745350SQ200380109483
公開(kāi)日2006年3月8日 申請(qǐng)日期2003年11月21日 優(yōu)先權(quán)日2003年2月3日
發(fā)明者M·西蒙 申請(qǐng)人:西門(mén)子公司