專利名稱：全方位成像和傳遞的方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明提供了一系列全方位成像和傳遞的方法，以及實(shí)現(xiàn)這一方法的裝置系統(tǒng)。所謂“全方位成像系統(tǒng)”，是指能捕捉涵蓋整個(gè)半球(也就是180度空間角度)視場(chǎng)圖像的系統(tǒng)，同時(shí)沒(méi)有機(jī)械移動(dòng)部件。這種系統(tǒng)與傳遞網(wǎng)絡(luò)連接并增加適應(yīng)信息傳遞需要的相關(guān)設(shè)備，即形成全方位成像和傳遞系統(tǒng)。
在傳統(tǒng)的光學(xué)領(lǐng)域，技術(shù)人員曾經(jīng)嘗試過(guò)許多方法要獲取寬視場(chǎng)，包括常規(guī)照相機(jī)、魚(yú)眼鏡、多相機(jī)系統(tǒng)或旋轉(zhuǎn)成像系統(tǒng)等多種寬視場(chǎng)成像系統(tǒng)，但幾乎都不能產(chǎn)生三維全方位圖像?，F(xiàn)有的數(shù)字成像系統(tǒng)使用電子傳感芯片，模擬成像系統(tǒng)使用靜態(tài)攝影膠片，但兩者都是由光學(xué)鏡頭系統(tǒng)記錄圖像。大多數(shù)照相機(jī)鏡頭圖像投影可以看作單一中心投影的針孔，由于照相機(jī)鏡頭的尺寸和所用的傳感器本身都有局限，他們收集到的光線一般形成角度非常小的圓錐，常規(guī)照相機(jī)的視場(chǎng)在5-50度范圍。比如，裝在1/2英寸電荷耦合芯片上，一個(gè)8.5mm，焦距1.3的鏡頭視場(chǎng)只有41.2度。光學(xué)工程師們?cè)O(shè)計(jì)過(guò)幾種版本的大廣角透鏡系統(tǒng)，叫魚(yú)眼鏡(見(jiàn)

圖1，2)。魚(yú)眼鏡的特征在于焦距非常短，用它代替普通照相機(jī)鏡頭，能使照相機(jī)捕捉到大角度幾乎180度半球內(nèi)的物體。一般來(lái)說(shuō)，視場(chǎng)越大，魚(yú)眼鏡的設(shè)計(jì)越復(fù)雜。為獲得半球?qū)挼囊晥?chǎng)，魚(yú)眼鏡的直徑必須很大，結(jié)構(gòu)復(fù)雜，因此價(jià)格昂貴。同時(shí)，設(shè)計(jì)一個(gè)能符合單一視點(diǎn)約束的魚(yú)眼鏡也很困難。單一視點(diǎn)是指所有入射光交于一點(diǎn)形成固定的視點(diǎn)。這對(duì)于市場(chǎng)所售的魚(yú)眼鏡來(lái)講，的確是個(gè)問(wèn)題，包括Nikon 8mm，f/2.8鏡頭。盡管魚(yú)眼鏡獲得的圖像對(duì)于某些應(yīng)用已足夠，但它的失真補(bǔ)償沒(méi)得到解決，另外昂貴的價(jià)格仍是廣泛運(yùn)用的障礙。魚(yú)眼鏡技術(shù)的優(yōu)點(diǎn)在于采用確定位置不變的照相機(jī)獲取大視角。其缺點(diǎn)是視場(chǎng)圖像的圓形邊界通常是在地面附近，對(duì)于大多數(shù)圖象系統(tǒng)來(lái)說(shuō)，這正是需要高分辨率的地方；但是，半球型光學(xué)鏡頭的球面像差的非線性特征卻使圖像的圓形邊界附近的分辨率很差，因此無(wú)法滿足實(shí)際工作的需要。多相機(jī)系統(tǒng)是使用多部相機(jī)同時(shí)捕捉寬視場(chǎng)內(nèi)的物體，每一點(diǎn)指向不同方向，可以用多個(gè)圖象合成出一個(gè)完整的全方位圖象。但合成無(wú)縫的圖像依然相當(dāng)復(fù)雜，因?yàn)槊總€(gè)相機(jī)有不同的投影中心。這樣一個(gè)系統(tǒng)通?；ㄙM(fèi)很高。另外一種增大視場(chǎng)的簡(jiǎn)單方法是圍繞投影中心旋轉(zhuǎn)整個(gè)攝像系統(tǒng)(圖1)，即旋轉(zhuǎn)成像系統(tǒng)，相機(jī)在不同位置攝到的圖像按次序縫合，以獲取全景圖像。最近有多位研究者提出這種方法。旋轉(zhuǎn)成像系統(tǒng)的缺點(diǎn)首先在于需要使用可移動(dòng)部件和精確的定位裝置。更突出的缺點(diǎn)是該系統(tǒng)獲取整個(gè)圖象需要一個(gè)時(shí)間跨度，盡管系統(tǒng)能得到在全方位視場(chǎng)精確的方位信息，但處理過(guò)程很花時(shí)間，即該系統(tǒng)沒(méi)有在瞬間同時(shí)獲取整個(gè)寬視場(chǎng)圖像的能力，因此不適合實(shí)時(shí)實(shí)地解決諸如避免移動(dòng)障礙物的碰撞等問(wèn)題。這些不足限制了旋轉(zhuǎn)成像系統(tǒng)只能用于靜態(tài)，非實(shí)時(shí)的應(yīng)用。圖2所示為全方位照相機(jī)、全景照相機(jī)和常規(guī)照相機(jī)的視場(chǎng)比較。我們可以看到，全景照相機(jī)仍然不是全方位的，它只提供在某一時(shí)間瞬間一個(gè)寬角度的視場(chǎng)，而不是在所有方向。所謂“全方位圖像”，是指同時(shí)涵蓋整個(gè)半球(180度空間)視場(chǎng)的圖像。在現(xiàn)有技術(shù)中尚沒(méi)有能滿足這種要求的技術(shù)方案或裝置。
本發(fā)明主要目的在于提供一個(gè)有效的全方位圖像處理方法和裝置，根據(jù)由全方位圖像傳感器得到的實(shí)時(shí)全方位圖像，獲取實(shí)時(shí)不變形的透視和全景圖像及錄像。本發(fā)明的全方位照相機(jī)，能實(shí)時(shí)捕捉全方位圖像而不需可移動(dòng)部件。在此運(yùn)用映射矩陣定義用戶定義的透視或全景視窗上的象素和原始的全方位圖源象素位置之間一一對(duì)應(yīng)的關(guān)系，取代了以前解復(fù)雜的高次非線性方程的運(yùn)算，不變形圖像的計(jì)算以視頻速率(比如每秒30幅)實(shí)時(shí)進(jìn)行。映射矩陣方案便利了全方位圖像運(yùn)算的硬件執(zhí)行。另外，我們還將討論一個(gè)使用全方位系列圖像實(shí)現(xiàn)變化/運(yùn)動(dòng)檢測(cè)的方法，取代常規(guī)需要不變形圖源變化/運(yùn)動(dòng)檢測(cè)的方法，我們提出直接使用變形的全方位圖源。一旦在全方位圖像上檢測(cè)到變化，透視視窗的方向和配置參數(shù)如變焦(Zoom)，平場(chǎng)(Pan)及傾斜角(Tilt)，可自動(dòng)檢測(cè)到變化，并報(bào)警提醒操作人員注意。將本發(fā)明用于電話會(huì)議時(shí)，為了滿足電話會(huì)議的需要，有必要確定會(huì)議中的講話人并將照相機(jī)焦點(diǎn)對(duì)準(zhǔn)講話人。將麥克風(fēng)排列與全方位圖像傳感器結(jié)合，由聲音定向的視窗根據(jù)由麥克風(fēng)排列檢測(cè)到的聲音信號(hào)自動(dòng)調(diào)節(jié)透視視窗對(duì)準(zhǔn)會(huì)議中的講話人。另一個(gè)呈現(xiàn)于此的重要技術(shù)是根據(jù)遙控監(jiān)測(cè)和監(jiān)視實(shí)現(xiàn)全方位圖像傳遞方法。在此呈現(xiàn)的全方位成像方法和裝置，可以解決許多需要360度視角和三維測(cè)量才能解決的實(shí)際問(wèn)題。呈現(xiàn)于此的是實(shí)時(shí)全方位圖像處理系統(tǒng)，以及用聲音定向的自動(dòng)視窗選擇方法，同時(shí)介紹通過(guò)Internet和全方位傳感器實(shí)現(xiàn)遠(yuǎn)程監(jiān)控和監(jiān)視的系統(tǒng)結(jié)構(gòu)。在此呈現(xiàn)的全方位成像方法和裝置為需要同時(shí)在360度范圍監(jiān)視的很多實(shí)際問(wèn)題提供了獨(dú)特的解決辦法。
圖1.展示常規(guī)照相機(jī)、全景照相機(jī)和全方位照相機(jī)視場(chǎng)比較。
圖2.所示為全方位成像系統(tǒng)和基于Internet的圖像傳輸方案。
圖3.舉例說(shuō)明全方位成像的反射凸鏡。注意這些凸鏡不滿足單一視點(diǎn)的約束條件，即反射光線的延長(zhǎng)線不相交于同一點(diǎn)，也就是說(shuō)，實(shí)際視點(diǎn)應(yīng)光線撞擊鏡面的位置而不同。
圖4.由OMNI鏡獲得的全方位圖像放置在C位置上的視頻照相機(jī)能從虛擬的單一視點(diǎn)，反射鏡焦心O“看到”整個(gè)半球的視場(chǎng)。
圖5.建立映射矩陣MAP，將用戶定義的透視視窗上每個(gè)象素點(diǎn)W(p，q)與全方位圖像的象素值I(i，j)聯(lián)系起來(lái)，W的設(shè)置由Zoom，Pan和Tilt參數(shù)(d，..)定義。
圖6.透視視窗配置參數(shù)的定義Zoom定義為從OMNI鏡焦點(diǎn)d至W平面的距離；Pan定義為x軸和X-Y平面上法線的投影的夾角；Tilt為X-Y平面與W平面法線向量的夾角。
圖7.方框圖所示為建立映射矩陣，將變形的全方位圖像轉(zhuǎn)變?yōu)椴蛔冃瓮敢曇暣斑^(guò)程。
圖8.方框圖所示為使用映射矩陣顯示透視視窗，實(shí)時(shí)圖像處理的過(guò)程。
圖9.建立映射矩陣MAP，將用戶定義的全景視窗上每個(gè)象素點(diǎn)W(p，q)與相應(yīng)的全方位圖像的象素值I(i，j)聯(lián)系起來(lái)。W的配置由Zoom和Tilt參數(shù)(d，β)決定。
圖10.線性象素插值法圖解。
圖11.通過(guò)下線或上線處理，建立映射矩陣。
圖12.使用全方位圖像，變化/運(yùn)動(dòng)檢測(cè)方案的方框圖。
圖13.可疑區(qū)域方向計(jì)算，并代入到透視視窗參數(shù)里，使視窗自動(dòng)聚焦到可疑區(qū)域。
圖14.聲音定向的OmniEye照相機(jī)圖解。
圖15.計(jì)算向量和，以確定講話人方位。
圖16.在全方位成像系統(tǒng)中以聲音方向定透視視窗的方框圖。
圖17.連接Omni網(wǎng)與Internet通訊服務(wù)器的結(jié)構(gòu)圖。
圖18.Omni網(wǎng)服務(wù)器布局。
圖19.服務(wù)器程序流程圖。
圖20.數(shù)據(jù)包格式定義。
圖21.圖示本發(fā)明雙向傳送的特點(diǎn)。
本發(fā)明提供的技術(shù)方案是基于以下光學(xué)原理在常規(guī)照相機(jī)前面的某一位置放置凸面反射鏡，可以大幅度地增加它的視場(chǎng)。視頻照相機(jī)由于使用設(shè)計(jì)完美的表面形狀，反射表面的視場(chǎng)大大增加。本發(fā)明為進(jìn)一步增加其視場(chǎng)，在成像系統(tǒng)的前方增加了反射表面(如凸面反射鏡)。汽車的后視鏡是日常生活中加大駕駛員視場(chǎng)的普通一例。用于產(chǎn)生全方位視場(chǎng)的凸面鏡有幾種表面外形。圖3列出三種圓錐鏡、球鏡和拋物面鏡。這些凸面鏡的光學(xué)幾何學(xué)提供了一個(gè)簡(jiǎn)單有效的方法，在不使用任何移動(dòng)部件的情況下，改變視頻照相機(jī)的平面視圖，使其成為在這些反射鏡的垂直軸線周圍的全方位視圖。乍眼一看，似乎所有凸鏡都能得到全方位圖像。事實(shí)并非如此。回顧圖像形成的基本原理，我們知道圖像是亮度(或顏色)的兩維形式。一幅令人滿意的圖像必須滿足以下兩個(gè)基本特征(1)幾何對(duì)應(yīng)性圖像中的象素和物體上的點(diǎn)一一對(duì)應(yīng)。
(2)單一視點(diǎn)約束圖像中每個(gè)象素對(duì)應(yīng)來(lái)自成像平面上的那個(gè)象素通過(guò)針孔(單一視點(diǎn))特定方向的視線。
請(qǐng)注意到這點(diǎn)，盡管圖3中所列的凸面鏡能大大增加視場(chǎng)，并證實(shí)用于某些監(jiān)視場(chǎng)合已足夠，但他們并不是理想的攝像裝置。這些反射表面不能滿足單一視點(diǎn)(SVC)的約束。對(duì)于高質(zhì)量的全方位成像系統(tǒng)，進(jìn)入全方位成像鏡頭的所有光線應(yīng)有單一視點(diǎn)。本發(fā)明提供以下符合單一視點(diǎn)凸面反射鏡的設(shè)計(jì)，我們將討論滿足單一視點(diǎn)約束的理想凸面鏡表面形狀由鏡面反射的光線的延長(zhǎng)線必須通過(guò)單一視點(diǎn)(虛點(diǎn))。我們將此反射鏡命名為全視鏡，或稱為OMNI鏡。首先我們要定義一些必要的符號(hào)和術(shù)語(yǔ)。如圖4所示，我們使用最新上市的視頻照相機(jī)，帶一個(gè)普通鏡頭，其視場(chǎng)覆蓋整個(gè)OMNI鏡表面。因?yàn)檎障鄼C(jī)和鏡頭沿旋轉(zhuǎn)軸對(duì)稱，我們只需決定截面函數(shù)z(r)，該函數(shù)定義鏡面的截面形狀。OMNI鏡的作用是反射所有來(lái)自視頻照相機(jī)視覺(jué)中心(焦點(diǎn)，標(biāo)注C)至視場(chǎng)內(nèi)物體表面的視線。反射關(guān)鍵的特征在所有反射光線朝虛擬的單一視點(diǎn)，在鏡子的焦心(標(biāo)注O)必須有投影面。用另一句話說(shuō)，反射鏡應(yīng)有效控制視線使照相機(jī)從單一視點(diǎn)O等效地看到物體。我們選擇雙曲面作為理想的OMNI鏡外形(其中的優(yōu)化方案為拋物面鏡)。眾所周知，雙曲線的一個(gè)特征是來(lái)自一個(gè)焦點(diǎn)的光線由雙曲線反射，其延長(zhǎng)線通過(guò)另一個(gè)焦點(diǎn)。如果我們選雙曲面作為OMNI鏡，如圖4所示，把一個(gè)視頻照相機(jī)放在焦點(diǎn)C，攝像系統(tǒng)在另一個(gè)焦點(diǎn)O形成單一視點(diǎn)，就如將照相機(jī)放在虛擬的O點(diǎn)。描述雙曲面形狀OMNI鏡的數(shù)學(xué)方程是(z+c)2b2-r2a2=1,--------------(1)]]>式中c=a2+b2,f=2c,]]>OMNI鏡與眾不同的特征是不管投影點(diǎn)M落在鏡面何處，CCD相機(jī)接收到的入射光的延長(zhǎng)線總是通過(guò)單一視點(diǎn)O。為便于實(shí)時(shí)處理全方位圖像，本發(fā)明使用了實(shí)時(shí)全方位圖像處理的運(yùn)算法則一旦透視或全景視窗配置決定，從變形的全方位圖像象素直接映射成透視視窗。透視視窗如圖5所示，一個(gè)假想的透視視窗可由用戶在三維空間使用三個(gè)參數(shù)Zoom，Pan和Tilt(d，..)任意定義，這些參數(shù)的定義和圖解見(jiàn)圖6。除了Zoom，Pan和Tilt(d，..)這幾個(gè)參數(shù)外，用戶還可調(diào)整在透視視窗顯示的象素?cái)?shù)組(如象素?cái)?shù))的維數(shù)。一旦透視視窗W確定，我們就可以把在不變形透視視窗內(nèi)的象素點(diǎn)W(p，q)與在變形全方位圖像上相應(yīng)的象素位置I(i，j)建立一個(gè)映射矩陣。由于這種一一對(duì)應(yīng)的關(guān)系，把變形的全方位圖像轉(zhuǎn)變?yōu)椴蛔冃螆D像，這種方法有其獨(dú)到之處。圖7所示為建立映射矩陣的方框圖。用戶在三維空間任意定義一個(gè)透視視窗，表示為W，只要滿足視窗平面的法線應(yīng)指向反射鏡的焦心這一約束，如圖5所示。定義為Zoom，Pan和Tilt(d，..)的三個(gè)參數(shù)用于指定透視視窗的配置。這些參數(shù)便于滿足用戶需要理想視圖的寬范圍選擇。一旦這些參數(shù)確定，根據(jù)成像系統(tǒng)固定的幾何關(guān)系，生成映射矩陣。首先，在OMNI鏡之上W平面里每個(gè)象素的投影可以使用直接的光線追蹤法從W平面象素位置W(p，q)到OMNI鏡焦心O的直線，交于鏡面一點(diǎn)，記為M(p，q)(見(jiàn)圖5)，點(diǎn)M(p，q)再投影至圖像傳感器焦點(diǎn)。使用“針孔”模型，從M(p，q)到點(diǎn)C的投影線截圖像平面I于象素位置I(i，j)。于是，一一對(duì)應(yīng)的關(guān)系就此建立W(p，q)←I(i，j)，這樣，對(duì)透視視窗W上每個(gè)象素，在全方位圖像相應(yīng)于W(p，q)有唯一的象素位置，它的象素值(如RGB)可用于視窗中對(duì)應(yīng)的象素。表示為MAP的映射矩陣建立起來(lái)，它的維數(shù)與在W視窗象素的維數(shù)相同。MAP每個(gè)單元存儲(chǔ)在全方位圖像I上對(duì)應(yīng)象素的2個(gè)指數(shù)值(i，j)。建立映射矩陣MAP后，實(shí)時(shí)圖像處理的任務(wù)就大大簡(jiǎn)化了。圖8為實(shí)時(shí)全方位圖像的獲得和處理的流程圖。每次獲得全方位圖像，完成查找圖表運(yùn)算，生成不變形圖像顯示在透視視窗上。全景視窗圖像處理過(guò)程與我們前面討論的透視視窗圖像處理非常相似。如圖9所示，全景視窗由用戶使用三個(gè)參數(shù)在三維空間任意定義，這三個(gè)參數(shù)是Zoom、Pan和Tilt(d，..)，視窗平面的法線指向反射鏡的焦心。除了Zoom、Pan和Tilt(d，..)，用戶還能調(diào)節(jié)顯示在透視視窗上象素?cái)?shù)組的維數(shù)。一旦這些參數(shù)確定，根據(jù)成像系統(tǒng)固定的幾何關(guān)系，可以生成一個(gè)映射矩陣。首先，在OMNI鏡表面上的W平面每個(gè)象素的投影，使用直接的光線追蹤法則從W面上象素位置記作點(diǎn)W(p，q)至OMNI鏡焦心的直線，該直線交OMNI鏡面于點(diǎn)M(p，q)(見(jiàn)圖9)。點(diǎn)M(p，q)在投影到圖像傳感器的焦點(diǎn)。使用“針孔”模型，從M(p，q)到C的投影線交圖像平面I于象素位置I(i，j)。于是，一一對(duì)應(yīng)的關(guān)系就此建立
W(p，q)←I(i，j)，這樣，對(duì)透視視窗W上每個(gè)象素，在全方位圖像相應(yīng)于W(p，q)有唯一的象素位置，它的象素值(如RGB)可用于視窗中對(duì)應(yīng)的象素。表示為MAP的映射矩陣建立起來(lái)，它的維數(shù)與在W視窗象素的維數(shù)相同。MAP每個(gè)單元儲(chǔ)存在全方位圖像I上對(duì)應(yīng)象素的2個(gè)指數(shù)值(i，j)。建立映射矩陣MAP后，實(shí)時(shí)圖像處理的任務(wù)就大大簡(jiǎn)化了。每次獲得全方位圖像，完成查找圖表運(yùn)算，生成不變形圖像顯示在透視視窗上。象素值的插入由于OmniEye系統(tǒng)W(p，q)和I(i，j)之間非線性的幾何關(guān)系，反射點(diǎn)M(p，q)后投影的交點(diǎn)可能不是正好在圖像平面的任何象素位置。在這種情況下，我們有幾種方法獲得W(p，q)的象素值(1)使用在圖像平面I最鄰近點(diǎn)的象素值而不需任何插入法。例如，計(jì)算出的坐標(biāo)值為(12.315，26.876)，那么，將坐標(biāo)值整數(shù)化INT(12.315，26.876)＝(12，27)象素值I(12，27)即作為W(p，q)的象素值。這種方法是獲得象素值最快捷的方法，但它存在內(nèi)在的取整時(shí)出現(xiàn)的誤差。
(2)使用插入法解決小數(shù)坐標(biāo)的象素值。假定(i0，j0)落在(i，j)，(i，j＋1)，(i＋1，j)，和(i＋1，j＋1)格子里，相應(yīng)的W(p，q)象素值可從以下公式(見(jiàn)圖10)得到W(p，q)＝(j0－j)·[(i0－i)·I(i，j)＋(i＋1－i0)·I(i＋1，j)]＋(j＋1－j0)·[(i0－i)·I(i，j＋1)＋(i＋1－i0)·I(i＋1，j＋1)](3)使用另外幾種插入法，如平均法、二次插入法、樣條法等，保證轉(zhuǎn)變后圖像的精度。使用IC芯片實(shí)現(xiàn)運(yùn)算法則我們簡(jiǎn)化全方位圖像處理的運(yùn)算法則，減少了解高次非線性方程的復(fù)雜運(yùn)算，以查找圖表函數(shù)取而代之。使用IC芯片可以很方便實(shí)現(xiàn)這種運(yùn)算。圖11展示了在電子硬件上實(shí)現(xiàn)運(yùn)算的方框圖。首先，參數(shù)空間需要分成有限數(shù)的組態(tài)。在透視視窗情況下，參數(shù)空間是三維的。在全景視窗，參數(shù)空間是二維的。對(duì)在參數(shù)空間每一可能組態(tài)，預(yù)計(jì)算出映射矩陣。映射矩陣可用以下格式儲(chǔ)存 所有可能的映射矩陣預(yù)先儲(chǔ)存在一系列存儲(chǔ)芯片(如圖2中“顯示/記憶/本地控制邏輯模塊”)，可以很容易獲取并調(diào)用。一旦用戶選擇了視窗配置，即找到儲(chǔ)存中的MAP矩陣，用于計(jì)算視窗的圖像 式中I是全方位圖像。“顯示/記憶/本地控制邏輯模塊”設(shè)計(jì)有內(nèi)置存儲(chǔ)器、圖像顯示、用戶界面和自含操作結(jié)構(gòu)，無(wú)需依賴其他的計(jì)算機(jī)。使用全方位圖像檢測(cè)運(yùn)動(dòng)本發(fā)明同時(shí)還根據(jù)幀減檢測(cè)物體的改變/運(yùn)動(dòng)。這個(gè)特點(diǎn)在安全系統(tǒng)中尤其有意義。方案的創(chuàng)新在于直接在幀減時(shí)使用連續(xù)的全方位圖像，而不是使用轉(zhuǎn)化后的透視圖像。我們把連續(xù)的全方位圖像記作I1，I2，…，In。在發(fā)揮安全監(jiān)測(cè)或區(qū)域監(jiān)督的功能時(shí)，我們定義最先得到的一幅為參照幀，記作I0，儲(chǔ)存起來(lái)。對(duì)每一幅連續(xù)的圖像Ii，作幀減運(yùn)算DIFF＝I0－Ii這里使用過(guò)濾器運(yùn)算排除可能會(huì)造成錯(cuò)誤報(bào)警的峰值，如果余量圖像任一元素“DIFF”都大于預(yù)先設(shè)定的下限值，比如，探測(cè)到侵入者，引發(fā)報(bào)警信號(hào)，把小范圍鄰近的可疑象素點(diǎn)轉(zhuǎn)變?yōu)椴蛔冃蔚耐敢晥D像，從圖像表面上檢查狀況。圖12展示使用全方位圖像檢測(cè)變化/運(yùn)動(dòng)方案的方框圖。在變化/運(yùn)動(dòng)檢測(cè)中，使用全方位圖像非常有效，因?yàn)樗鈱W(xué)上壓縮的環(huán)境圖像，監(jiān)控下的整個(gè)區(qū)域在一次操作里就可以檢查到。
自動(dòng)ZPT(Zoom，Pan，Tilt)可疑區(qū)域的方向可由計(jì)算得出，供給透視視窗的參數(shù)，這樣，視窗自動(dòng)聚焦到可疑區(qū)域。自動(dòng)聚焦的過(guò)程可描述如下(見(jiàn)圖13)(1)在全方位圖像中確定可疑區(qū)域的中心，可通過(guò)計(jì)算可疑象素的重心確定i0=Σi=1NiiN,j0=Σi=1NjiN,]]>(2)使用照相機(jī)傳感器“針孔”模型追蹤源自照相機(jī)焦點(diǎn)的投影光線在OMNI鏡上撞擊點(diǎn)，通過(guò)中心象素(i0，j0)，鏡面上的撞擊點(diǎn)記為M0。(3)使用源自O(shè)MNI鏡焦心并通過(guò)撞擊點(diǎn)M0的投影光確定透視視窗的法線，法線向量定義透視視窗的Pan和Tilt參數(shù)。(4)使用同樣的光線追蹤法，根據(jù)可疑象素組的邊界確定縮放因子。
聲音定向的透視視窗根據(jù)檢測(cè)到的講話人，結(jié)合定向的麥克風(fēng)，從而調(diào)節(jié)透視視窗的視窗方向。此項(xiàng)功能在電話會(huì)議上有其獨(dú)到的應(yīng)用。簡(jiǎn)單地說(shuō)，定向的麥克風(fēng)是在空間分布的麥克風(fēng)組，聲源傳到每個(gè)麥克風(fēng)強(qiáng)度和所化的時(shí)間不同。根據(jù)麥克風(fēng)接收到聲音信號(hào)的不同，聲源的空間方向就可以估算出來(lái)，估算出來(lái)的聲音方向用于控制任一透視視窗的視窗方向。圖14為在OmniEye傳感器上連接的麥克風(fēng)組，數(shù)個(gè)麥克風(fēng)放置在圖像單元的外圍。我們把第kth麥克風(fēng)檢測(cè)到的音響信號(hào)記作sk，k＝1，2，…n，講話人的方向根據(jù)所有探測(cè)到的音響信號(hào)的矢量和確定V=s1vω1+s2vω2+s3vω3+Λ+snvωn]]>圖15為計(jì)算矢量和過(guò)程的示意。聲音傳感器可裝在全方位照相機(jī)內(nèi)，也可分開(kāi)。方向估測(cè)信號(hào)需輸送到主計(jì)算機(jī)，使全方位照相機(jī)的軟件可在實(shí)際操作中運(yùn)用。Internet傳輸全方位圖像我們開(kāi)發(fā)了一個(gè)基于Internet傳輸全方位圖像系統(tǒng)的版本。我們稱之為Omni網(wǎng)。系統(tǒng)結(jié)構(gòu)本發(fā)明使用一個(gè)服務(wù)器為Omni網(wǎng)用戶提供信息傳輸服務(wù)。服務(wù)器的使用簡(jiǎn)化了交通控制，減少整個(gè)網(wǎng)絡(luò)的負(fù)荷。盡管網(wǎng)橋或路由器等器件可提供自動(dòng)數(shù)據(jù)傳遞但它因?yàn)椴荒軠p少交通負(fù)荷，不能和傳輸服務(wù)器起同樣的作用。Omni網(wǎng)在醫(yī)學(xué)運(yùn)用方面作用尤其明顯。病人傳輸圖像或數(shù)據(jù)給醫(yī)生或在Internet上的其他醫(yī)務(wù)機(jī)構(gòu)。沒(méi)有服務(wù)器，每個(gè)病人必須明白把他/她的數(shù)據(jù)送到哪里，而且要分別送到幾位專家手中。借助于服務(wù)器，病人只需把數(shù)據(jù)包及地址簿傳遞到服務(wù)器，服務(wù)器會(huì)幫病人分發(fā)。這樣，不僅網(wǎng)絡(luò)的交通負(fù)荷減少了，操作也更簡(jiǎn)便。系統(tǒng)圖示請(qǐng)見(jiàn)圖17。主機(jī)和本地/遙控監(jiān)視站都是低成本可上Internet網(wǎng)的計(jì)算機(jī)。某些監(jiān)視中心同時(shí)也連接在本地網(wǎng)(LAN)上。服務(wù)器是帶Windows 2000或NT操作系統(tǒng)的PIII計(jì)算機(jī)，上網(wǎng)速度很快，也可兼作監(jiān)視中心。圖18示意Omni網(wǎng)服務(wù)器的布局。服務(wù)器用戶機(jī)包括病人、遠(yuǎn)距離醫(yī)學(xué)使用者和開(kāi)業(yè)者、醫(yī)學(xué)信息視覺(jué)系統(tǒng)、數(shù)據(jù)庫(kù)、檔案和檢索系統(tǒng)。服務(wù)器基本功能是在用戶之間管理通訊，如接收、傳送、分發(fā)醫(yī)學(xué)信號(hào)和記錄、控制信息交流的方向、優(yōu)先權(quán)、流速等。從用戶的眼光看，他/她只需傳送到服務(wù)器和/或從服務(wù)器接收數(shù)據(jù)，就能與指定的人或機(jī)構(gòu)聯(lián)系。Socket程序根據(jù)Omni網(wǎng)服務(wù)器結(jié)構(gòu)，服務(wù)器傳送協(xié)議應(yīng)包括界面連接和數(shù)據(jù)包。我們建議采用的服務(wù)器連接協(xié)議是連接Internet應(yīng)用層的socket界面，網(wǎng)絡(luò)設(shè)計(jì)是星型布局的服務(wù)器/客戶機(jī)結(jié)構(gòu)?？蛻魴C(jī)/服務(wù)器通訊應(yīng)用程序任務(wù)應(yīng)包括兩個(gè)組成部分服務(wù)器程序和客戶機(jī)程序。遠(yuǎn)距離監(jiān)測(cè)應(yīng)用需要服務(wù)器程序能為不同的客戶提供服務(wù)，如病人、醫(yī)學(xué)專家、急癥和存儲(chǔ)裝置。為有效使用服務(wù)器，客戶機(jī)程序應(yīng)提供合適的界面與服務(wù)器協(xié)同工作?？紤]到這些要求，服務(wù)器程序的結(jié)構(gòu)和客戶機(jī)程序的界面功能在這里解密。使用面向?qū)ο缶幊谈拍?，服?wù)器程序由監(jiān)聽(tīng)-socket類的對(duì)象和客戶-socket類的許多對(duì)象組成。圖19是服務(wù)器程序的流程圖。不管何時(shí)，用戶打電話給服務(wù)器，監(jiān)聽(tīng)-socket類對(duì)象接電話，創(chuàng)立一個(gè)客戶-socket類對(duì)象，保持與客戶的連接并應(yīng)客戶需要提供服務(wù)。當(dāng)客戶-socket類從客戶機(jī)那里接到數(shù)據(jù)包，它會(huì)編譯并應(yīng)客戶要求，重新設(shè)置通信狀態(tài)，將數(shù)據(jù)包傳遞到別的客戶。除了面向?qū)ο蟮墓δ埽?wù)器也在客戶機(jī)中間管理通信量。服務(wù)器編制表格，儲(chǔ)存所有客戶socket程序的通信信息，包括連接狀態(tài)、客戶名、組名、接收居住位、網(wǎng)橋狀態(tài)和網(wǎng)橋擁有者。服務(wù)器也能提供簡(jiǎn)單的數(shù)據(jù)庫(kù)處理。如果有客戶提供的數(shù)據(jù)庫(kù)，服務(wù)器會(huì)傳送客戶的需求，并把數(shù)據(jù)傳送回客戶。為服務(wù)器傳送或分發(fā)信息給正確的客戶，需定義一個(gè)特殊的數(shù)據(jù)包格式，如圖20所示。這個(gè)格式包括客戶地址、方向信息，數(shù)據(jù)長(zhǎng)度和傳送的數(shù)據(jù)。軟件用C++和JAVA編寫。操作系統(tǒng)是Windows 98 or NT。Internet圖像傳輸視頻信號(hào)和圖像通過(guò)Internet傳輸。遠(yuǎn)距離監(jiān)測(cè)的某些應(yīng)用不需要圖像傳輸?shù)囊曨l速度。事實(shí)上，在幾秒中傳輸一幀圖像的速度在大多數(shù)情況下，是可以接受的。因此，高分辨率的圖像(某些有損和無(wú)損的壓縮方式，如zip，tiff，mpeg，或jpg)可以直接用于傳輸。雙向通訊本發(fā)明另一方面的特征是在全方位成像系統(tǒng)和遙控觀測(cè)者之間提供雙向通訊。這一特征對(duì)于如保安應(yīng)用尤其實(shí)用。全方位成像系統(tǒng)將講話人和麥克風(fēng)如同照相機(jī)和凸透鏡至于相同位置。音頻信號(hào)通過(guò)無(wú)線或有線系統(tǒng)如網(wǎng)絡(luò)傳輸，用戶能在看到全方位圖像的同時(shí)聽(tīng)到拍攝圖像地點(diǎn)發(fā)出的聲音。圖21示意在遠(yuǎn)程監(jiān)測(cè)地和全方位照相機(jī)之間攜帶音頻信號(hào)的傳輸電纜的配備。在遠(yuǎn)程顯示設(shè)備上的麥克風(fēng)在從用戶到在全方位照相機(jī)系統(tǒng)當(dāng)?shù)氐闹v話人之間傳送音頻信號(hào)。這樣，用戶在遠(yuǎn)程監(jiān)測(cè)地講話，照相系統(tǒng)能聽(tīng)到講話聲音。如果遠(yuǎn)程用戶通過(guò)Internet監(jiān)測(cè)全方位照相機(jī)系統(tǒng)的輸出，提供雙向音頻傳輸?shù)木W(wǎng)絡(luò)可以是Internet。換句話說(shuō)，照相機(jī)系統(tǒng)和遠(yuǎn)程監(jiān)測(cè)地之間的音頻通訊可以是單向傳輸，包括由某些應(yīng)用規(guī)定。如用戶只希望聽(tīng)到照相機(jī)系統(tǒng)當(dāng)?shù)氐穆曇?又不能被聽(tīng)到)，照相機(jī)系統(tǒng)可能與麥克風(fēng)結(jié)合而不是與講話人。麥克風(fēng)的輸出傳輸?shù)竭h(yuǎn)程監(jiān)測(cè)地，使用戶聽(tīng)到聲音。
實(shí)施例1在帶有一個(gè)普通鏡頭的視頻照相機(jī)前設(shè)置有雙曲面的OMNI反射鏡，照相機(jī)視場(chǎng)覆蓋整個(gè)OMNI鏡表面，照相機(jī)和OMNI鏡頭沿旋轉(zhuǎn)軸對(duì)稱。OMNI鏡的作用是反射所有來(lái)自視頻照相機(jī)視覺(jué)中心(焦點(diǎn)，標(biāo)注C)至視場(chǎng)內(nèi)物體表面的視線。反射關(guān)鍵的特征在所有反射光線朝虛擬的單一視點(diǎn)，在鏡子的焦心(標(biāo)注O)必須有投影面。即反射鏡應(yīng)有效控制視線使照相機(jī)從單一視點(diǎn)O等效地看到物體。照相機(jī)的輸出接計(jì)算機(jī)，定向的麥克風(fēng)(在空間分布的麥克風(fēng)組)同時(shí)接計(jì)算機(jī)。計(jì)算機(jī)根據(jù)麥克風(fēng)接收到聲音信號(hào)的不同，估算出聲源的空間方向，并將其用于控制任一透視視窗的視窗方向。服務(wù)器是帶Windows 2000或NT操作系統(tǒng)的P III計(jì)算機(jī)，連接Internet網(wǎng)，并兼作監(jiān)視中心。視頻信號(hào)和圖像通過(guò)Internet傳輸。其工作包括以下步驟利用滿足單一視點(diǎn)約束的反射鏡照明圖象傳感器，獲取廣視角圖像，包括用戶所需的透視視窗，通過(guò)確定笛卡爾坐標(biāo)系配置參數(shù)，定義用戶可選擇視窗，配置參數(shù)包括zoom，縮放距離定義為從所說(shuō)的反射鏡焦點(diǎn)到視窗的距離，pan，搖鏡頭角定義為x軸與通過(guò)反射鏡焦點(diǎn)的直線垂直于X-Y平面，和tilt，傾斜角為X-Y平面與視窗法線矢量的夾角，定義反射鏡和圖像傳感器組的預(yù)先確定的幾何關(guān)系，利用上述所描述的參數(shù)，映射透視視窗每個(gè)象素與相應(yīng)的在圖像傳感器平面象素值。
實(shí)施例2采用兩個(gè)全方位照相機(jī)組成一個(gè)全方位立體照相機(jī)，兩個(gè)OMNI鏡對(duì)面放置，其光軸成一線。虛擬成像中心O1和O2相距B，B形成立體視覺(jué)的基線。
權(quán)利要求
1.一種全方位成像和傳遞的方法，包括以下步驟利用滿足單一視點(diǎn)約束的反射鏡照明圖象傳感器，獲取廣視角圖像，包括用戶所需的透視視窗，通過(guò)確定笛卡爾坐標(biāo)系配置參數(shù)，定義用戶可選擇視窗，配置參數(shù)包括zoom，縮放距離定義為從所說(shuō)的反射鏡焦點(diǎn)到視窗的距離，pan，搖鏡頭角定義為x軸與通過(guò)反射鏡焦點(diǎn)的直線垂直于X-Y平面，和tilt，傾斜角為X-Y平面與視窗法線矢量的夾角，定義反射鏡和圖像傳感器組的預(yù)先確定的幾何關(guān)系，利用上述所描述的參數(shù)，映射透視視窗每個(gè)象素與相應(yīng)的在圖像傳感器平面象素值。
2.按照權(quán)利要求1所述的全方位成像和傳遞的方法，其特征是還包括以下步驟獲取初始狀態(tài)半球狀圖像，存儲(chǔ)該圖像，獲取第二幅圖像，通過(guò)幀減，檢測(cè)初始圖像與第二幀圖像變化，如果檢測(cè)到變化，確定預(yù)先設(shè)定的下限值，檢測(cè)到的運(yùn)動(dòng)變化值超過(guò)預(yù)先設(shè)定的下限值，按變化值分類。
3.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是還包括以下步驟從位于半球狀視場(chǎng)內(nèi)音頻傳感器組獲取音頻信號(hào)，根據(jù)檢測(cè)到的音頻信號(hào)之間空間和時(shí)間不同，估算出圖像聲源的方向，根據(jù)估算的聲源方向定義用戶視窗，確定視窗參數(shù)，調(diào)整系統(tǒng)用戶透視視窗以面對(duì)音頻信號(hào)聲源方向。
4.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是更遠(yuǎn)意義上，包括在Internet上傳輸圖像。
5.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是更遠(yuǎn)意義上，包括從獲得半球狀圖像位置的聲音生成音頻信號(hào)并傳輸至遠(yuǎn)地用戶。
6.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是更遠(yuǎn)意義上，還包括把遠(yuǎn)地用戶產(chǎn)生的音頻信號(hào)傳輸?shù)教幱讷@得圖像位置的講話人。
7.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是更遠(yuǎn)意義上，包括通過(guò)Internet傳輸圖像的傳輸方法。
8.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是更遠(yuǎn)意義上，包括從圖像生成地的聲音生成音頻信號(hào)，并傳輸?shù)竭h(yuǎn)地用戶。
9.按照權(quán)利要求1或2所述的全方位成像和傳遞的方法，其特征是更遠(yuǎn)意義上，包括傳輸由遠(yuǎn)地用戶生成的音頻信號(hào)，到位于反射鏡與平面?zhèn)鞲衅髦g的講話人。
10.一種全方位成像和傳遞的裝置，其組成為圖象傳感器或普通鏡頭的視頻照相機(jī)映射從平面?zhèn)鞲衅髅總€(gè)象素至用戶選擇的視窗上相應(yīng)的象素之間的光學(xué)值，建立的映射矩陣，其特征是設(shè)有滿足單一視點(diǎn)約束，反射廣視角圖像的凸面反射鏡，圖象傳感器或照相機(jī)與反射鏡沿旋轉(zhuǎn)軸對(duì)稱。
11.按照權(quán)利要求10所述的全方位成像和傳遞的裝置，其特征是凸面反射鏡是指拋物面反射鏡或者是指雙曲面反射鏡。
12.按照權(quán)利要求10或11所述的全方位成像和傳遞的裝置，其特征是以上裝置與計(jì)算機(jī)連接，或進(jìn)一步與Internet網(wǎng)連接，軟件用C++和JAVA編寫，操作系統(tǒng)是Windows 98 or NT，視頻信號(hào)和圖像通過(guò)Internet傳輸。
13.按照權(quán)利要求10或11述的全方位成像和傳遞的裝置，其特征是還包括有聲音傳感器，聲音傳感器可以是定向的麥克風(fēng)或在空間分布的麥克風(fēng)組，該聲音傳感器同時(shí)接計(jì)算機(jī)。
14.按照權(quán)利要求13所述的全方位成像和傳遞的裝置，其特征是聲音傳感器可裝在全方位照相機(jī)內(nèi)，也可分開(kāi)。
15.按照權(quán)利要求12所述的全方位成像和傳遞的裝置，其特征是本系統(tǒng)與Internet網(wǎng)的連接是通過(guò)一個(gè)基于Internet傳輸全方位圖像系統(tǒng)的版本Omni網(wǎng)，即使用一個(gè)服務(wù)器為Omni網(wǎng)用戶提供信息傳輸服務(wù)。
16.按照權(quán)利要求13所述的全方位成像和傳遞的裝置，其特征是本系統(tǒng)與Internet網(wǎng)的連接是通過(guò)一個(gè)基于Internet傳輸全方位圖像系統(tǒng)的版本Omni網(wǎng)，即使用一個(gè)服務(wù)器為Omni網(wǎng)用戶提供信息傳輸服務(wù)。
全文摘要
全方位成像和傳遞的方法及其裝置,在普通鏡頭的視頻照相機(jī)前方設(shè)置有滿足單一視點(diǎn)約束,反射廣視角(如半球范圍)圖像的凸反射鏡,即可獲取實(shí)時(shí)不變形的透視和全景圖像及錄像。不變形圖像的計(jì)算以視頻速率實(shí)時(shí)進(jìn)行。本系統(tǒng)使用全方位系列圖像實(shí)現(xiàn)變化/運(yùn)動(dòng)檢測(cè)的方法。系統(tǒng)與Internet網(wǎng)的連接是通過(guò)一個(gè)基于Internet傳輸全方位圖像系統(tǒng)的版本:Omni網(wǎng),即使用一個(gè)服務(wù)器為Omni網(wǎng)用戶提供信息傳輸服務(wù)。
文檔編號(hào)G03B15/08GK1332564SQ0110806
公開(kāi)日2002年1月23日 申請(qǐng)日期2001年1月22日 優(yōu)先權(quán)日2001年1月22日
發(fā)明者耿剛, 耿忠 申請(qǐng)人:耿剛, 耿忠