本發(fā)明總體上涉及表面形狀成像領(lǐng)域,更具體而言涉及使用圖案化照明的口腔內(nèi)表面成像和測量。
發(fā)明背景
在醫(yī)學(xué)、工業(yè)和其它應(yīng)用中,已經(jīng)研發(fā)了許多種技術(shù)來從各種類型的物體獲得表面輪廓信息。光學(xué)3維(3D)測量方法使用從定向到表面上的光圖案獲得的圖像提供形狀和深度信息。各種類型的成像方法生成一系列光圖案,并且使用焦點(diǎn)或三角測量來檢測照明區(qū)域上的表面形狀的變化。
條紋投影成像使用圖案化的或結(jié)構(gòu)化的光和三角定位獲得各種類型的結(jié)構(gòu)的表面輪廓信息。在條紋投影成像中,將干涉條紋或光柵的線圖案從給定角度朝物體表面投影。然后從另一個(gè)角度作為輪廓圖像查看從該表面投影的圖案,從而利用三角定位以便基于輪廓線的外觀來分析表面信息。一般作為條紋投影成像的一部分應(yīng)用相移,其中將投影的圖案遞增地空間位移,以便在新的位置獲得另外的測量值,這用于完成表面的輪廓映射并增加輪廓圖像中的整體分辨率。
條紋投影成像已經(jīng)有效地用于實(shí)心的、非常不透明的物體的表面輪廓成像,并且已經(jīng)用于給人體的一些部位的表面輪廓成像和獲得關(guān)于皮膚結(jié)構(gòu)的詳細(xì)數(shù)據(jù)。然而,因?yàn)槎喾N技術(shù)障礙的存在,讓牙齒的條紋投影成像無法有效使用。牙齒表面成像的一個(gè)具體的難題涉及牙齒的半透明性??傮w上,已知半透明的或部分半透明的材料對于條紋投影成像特別麻煩。半透明結(jié)構(gòu)中的次表面散射可能會(huì)降低整體信號-噪聲(S/N)比率并改變光強(qiáng)度,從而導(dǎo)致高度數(shù)據(jù)不準(zhǔn)確。另一個(gè)問題涉及各種牙齒表面的高反射水平。高反射材料,尤其是中空反射結(jié)構(gòu),可能會(huì)有效地減小這類成像的動(dòng)態(tài)范圍。
從光學(xué)視角看,牙齒本身的結(jié)構(gòu)對于條紋投影成像也造成了幾個(gè)另外的難題。牙齒可能在不同時(shí)間并且沿著不同的表面和表面部分是濕的或者干的。牙齒形狀往往是不規(guī)則的,具有鋒利的邊緣。如上所述,牙齒與光以復(fù)雜的方式相互作用。穿透到牙齒表面下面的光往往會(huì)在半透明的牙齒材料內(nèi)發(fā)生很大的散射。而且,從牙齒表面下面的不透明特征也有可能發(fā)生反射,從而增加了噪聲,這樣會(huì)使感測信號降級并因此使牙齒表面分析任務(wù)變得更加復(fù)雜。
已嘗試過的讓條紋投影能用于牙齒輪廓成像的一個(gè)校正措施是施加涂層,該涂層改變牙齒表面本身的反射特性。為了補(bǔ)償牙齒的相對半透明性導(dǎo)致的問題,多個(gè)常規(guī)的牙齒輪廓成像系統(tǒng)在表面輪廓成像之前先向牙齒表面施加涂料或反射粉末。為了條紋投影成像目的,這個(gè)增加的步驟增強(qiáng)牙齒的不透明度并且消除或減輕前述散射光效。然而,這類方法有一些缺點(diǎn)。施加涂層粉末或液體的步驟會(huì)增加牙齒輪廓成像處理的成本和時(shí)間。因?yàn)橥繉拥暮穸仍谡麄€(gè)牙齒表面上往往是不均勻的,所以容易發(fā)生測量誤差。更重要的是,施加的涂層雖然有利于輪廓成像,但是可能往往會(huì)掩蓋牙齒的其它問題,并且因此可能減少可獲得的有用信息的總體數(shù)量。
然而,即使是在使用涂層或牙齒的其它類型的表面調(diào)節(jié)的情況下,也可能因?yàn)檠例X表面的明顯輪廓而導(dǎo)致結(jié)果令人失望??赡茈y以向所有牙齒表面上提供充足量的光和感測從所有牙齒表面反射回來的光。牙齒的不同表面可能相對于彼此成90度定向,這使得難以引導(dǎo)足夠的光給牙齒的所有部分精確地成像。
多個(gè)問題使得為了精確的表面輪廓測量向傳感器電路映射照明陣列變得復(fù)雜。因?yàn)楸仨氃谘例X處于相同位置的情況下捕獲多個(gè)圖像,所以相機(jī)或患者的任何類型的移動(dòng)都可能使測量任務(wù)變復(fù)雜或者要求重新成像和額外的測量時(shí)間。因此,減少為了精確映射而需要獲得的圖像數(shù)量是有利的。然而,同時(shí),當(dāng)可以獲得多個(gè)圖像并且這些圖像的相應(yīng)數(shù)據(jù)能相關(guān)起來時(shí),測量會(huì)得到改善。鑒于這些相互沖突的考慮因素,可以看出,能從少量圖像中獲得大量數(shù)據(jù)的更高效的像素映射技術(shù)存在優(yōu)點(diǎn)。
發(fā)明概要
本申請的一方面是要全部或部分地解決相關(guān)領(lǐng)域中的至少前述缺點(diǎn)和其它缺點(diǎn)。
本申請的另一個(gè)方面是要全部或部分地提供至少本文中描述的優(yōu)點(diǎn)。
本申請的另一個(gè)方面是要改善牙齒成像領(lǐng)域。
本發(fā)明的一個(gè)目標(biāo)是改進(jìn)牙齒和相關(guān)口腔內(nèi)結(jié)構(gòu)的表面輪廓檢測領(lǐng)域。本發(fā)明的實(shí)施例通過用光圖案布置照明牙齒表面,借此提供關(guān)于牙齒的3-D表面信息,該光圖案有助于將數(shù)字成像陣列上的像素位置與來自照明裝置的像素位置更緊密地匹配。有利地,本發(fā)明可以用于已知的照明和成像組件布置,并且適配成與常規(guī)的輪廓檢測方法相比時(shí)減少感測圖案的模糊度。
這些目標(biāo)只是作為說明性示例提供的,并且這樣的目標(biāo)可以示例說明本發(fā)明的一個(gè)或更多個(gè)實(shí)施例。通過本發(fā)明內(nèi)在實(shí)現(xiàn)的其它期望目標(biāo)和優(yōu)點(diǎn)可以由本領(lǐng)域的技術(shù)人員想到,或者對于本領(lǐng)域的技術(shù)人員變得顯而易見。隨附權(quán)利要求書限定本發(fā)明。
根據(jù)本發(fā)明的一個(gè)方面,提供一種用于根據(jù)表面將傳感器像素陣列映射到照明像素陣列的方法,所述方法至少部分地在計(jì)算機(jī)上執(zhí)行,并且可以包含通過將傳感器陣列上的多個(gè)像素中的每個(gè)像素分配給群組的有序集合中的對應(yīng)群組而形成群組映射,其中每個(gè)群組具有由照明像素陣列上的p個(gè)鄰近像素的集合限定的群組寬度,并且有序集合具有k個(gè)群組,這是通過如下方式來實(shí)現(xiàn):投影和記錄具有第一線圖案的第一多群組索引圖像和具有第二線圖案的第二多群組索引圖像,其中存在出現(xiàn)在所述第一和第二圖案兩者中的線,并且其中在第一和第二圖案中都出現(xiàn)的線相互均勻地隔開第一距離,所述第一距離是群組寬度p的第一倍數(shù),其中,所述第一倍數(shù)是大于1的整數(shù),并且僅僅出現(xiàn)在所述第一圖案或所述第二圖案中的線相互均勻地隔開第二距離,所述第二距離是群組大小的第二倍數(shù),并且超過所述第一距離;將p個(gè)多線圖像的集合的子集投影和記錄到所述表面上,其中每個(gè)多線圖像在每個(gè)群組內(nèi)投影一條線,并且其中所述p個(gè)多線圖像的子集中的每一個(gè)中的所述投影的線均勻地間隔開p個(gè)像素的群組寬度;以及使所述記錄的多線圖像中的一個(gè)中的線與來自所述第一和第二多群組索引圖像的線相關(guān)聯(lián),以便生成所有k個(gè)群組的群組映射,并且在計(jì)算機(jī)可存取存儲器中存儲所述關(guān)聯(lián)性。
附圖簡要說明
通過下文對附圖中示出的本發(fā)明的實(shí)施例的更具體的說明,將容易理解本發(fā)明的前述及其它目標(biāo)、特征和優(yōu)點(diǎn)。圖中的元件不一定相對于彼此按比例繪制。
圖1是示出了根據(jù)表面向照明陣列映射傳感器像素陣列的示意圖。
圖2A示出了用單線光照明牙齒表面。
圖2B示出了用多線光照明牙齒表面。
圖3是示出根據(jù)本發(fā)明的實(shí)施例的用于獲得表面輪廓圖像數(shù)據(jù)的序列的邏輯流程圖。
圖4是示出成像設(shè)備的示意圖。
圖5是示出成像傳感器陣列上的一行像素的一部分的示意圖。
圖6示出了根據(jù)本公開的實(shí)施例的用于群組映射的兩個(gè)群組索引圖像。
圖7A示出了用于形成多線圖像的照明陣列的一部分。
圖7B示出了用于形成多線圖像的照明陣列的另一個(gè)部分。
圖8是示例性多線圖像的平面圖。
圖9是在牙齒上投影的多線圖像的平面圖。
圖10是在牙齒上投影的多線圖像的另一個(gè)平面圖。
圖11A示出了在群組索引圖像中投影的照明圖案的一部分。
圖11B示出了使用圖11A的照明圖案獲得的牙齒圖像。
圖12A示出了在多線圖像中投影的照明圖案。
圖12B示出了使用圖12A的照明圖案獲得的牙齒圖像。
具體實(shí)施方式
下面是示例性實(shí)施例的詳細(xì)說明,其中參照附圖,附圖中用相同的參考標(biāo)號表示幾張圖中的每張圖中的相同結(jié)構(gòu)元件。
在使用“第一”、“第二”等等術(shù)語的情況下,這些術(shù)語不一定是表示任何順序、次序或優(yōu)先關(guān)系,而是簡單地用于更清楚地區(qū)分一個(gè)元件或一組元件與另一個(gè)元件或另一組元件。
在本公開的上下文中,“查看者”、“操作者”和“使用者”這些術(shù)語被視為是等效的,并且是指在顯示監(jiān)視器上查看和處理諸如牙齒圖像之類圖像的看圖專業(yè)人士或技術(shù)人員或其它人。
本文中使用的術(shù)語“集合”是指非空的集合,正如基礎(chǔ)數(shù)學(xué)中普遍理解元素或成員的集合的概念。本文中除非另有明確聲明,否則“子集”這個(gè)術(shù)語在本文中用于指代非空的子集,也即指代更大集合的具有一個(gè)或更多個(gè)成員的子集。對于集合S,子集可以包括完整集合S,其包含所有成員。集合S的“真子集”嚴(yán)格地包含在集合S中,并且不包括集合S的至少一個(gè)成員。然而,除非特別指定為真子集,否則本公開的上下文中的子集具有非空的更寬泛的定義,并且包含集合的至少一個(gè)或更多個(gè)或所有的成員。
圖1的示意圖用單線光L的示例示出了如何使用圖案化的光獲得表面輪廓信息。當(dāng)照明陣列10將光圖案投影或引導(dǎo)到表面20上時(shí)獲得映射,并且在成像傳感器陣列30上形成反射線L’的對應(yīng)圖像。成像傳感器陣列30上的每個(gè)像素32根據(jù)表面20的調(diào)制而映射到照明陣列10上的對應(yīng)像素12。圖1中表示的像素位置的位移得到關(guān)于表面20的輪廓的有用信息??梢岳斫獾氖?,圖1中示出的基本圖案可以用多種方式實(shí)施,其中使用多種照明源和序列來投影圖像,并且使用一個(gè)或更多個(gè)不同類型的傳感器陣列30獲得或采集圖像數(shù)據(jù)。照明陣列10可以利用用于光調(diào)制的多種類型的陣列中的任一種,諸如液晶陣列或數(shù)字微鏡陣列,諸如使用德克薩斯州達(dá)拉斯市的德州儀器公司出品的數(shù)字光處理器(Digital Light Processor)或DLP裝置提供的液晶陣列或數(shù)字微鏡陣列。在照明路徑中使用這種類型的空間光調(diào)制器來改變映射序列所需要的投影光圖案。
圖2A和圖2B示出了使用圖案化的光從人的牙齒獲得表面結(jié)構(gòu)信息的常規(guī)方法的一個(gè)問題的一些方面。圖2A示出了用單線光14向牙齒上照明,其中牙齒邊緣處的照明明顯位移。用這種方式投影單個(gè)線(在整個(gè)牙齒上掃描并且在掃描過程中在許多點(diǎn)成像),能夠提供關(guān)于表面區(qū)域的一些部分的精確信息;然而,甚至用這種方法也會(huì)丟失一些信息,諸如在線段彼此分開的情況下。圖2B示出了使用具有多線光的圖案的表面成像。在沿著表面存在突然轉(zhuǎn)變的情況下,可能難以肯定地識別對應(yīng)于每個(gè)投影線的區(qū)段,并且可能容易發(fā)生錯(cuò)配,從而導(dǎo)致關(guān)于表面特性的結(jié)論不準(zhǔn)確。例如,可能難以確定線段16是否來自與線段18或鄰近線段24相同的照明線。
本發(fā)明的實(shí)施例能使用投影圖像序列解決表面輪廓映射的問題,這些投影圖像有助于將成像傳感器陣列上的像素與從照明陣列投影的線更好地相關(guān)。為此目的,本發(fā)明的實(shí)施例使用二元圖像布置以便將成像傳感器陣列上的像素與照明像素陣列上的對應(yīng)像素分組在一起。通過將傳感器陣列上的像素分配給有序群組集合,每個(gè)群組具有固定數(shù)目個(gè)像素(例如,相同數(shù)目的像素),借此形成群組映射??梢詫⑷航M映射存儲為特定數(shù)據(jù)結(jié)構(gòu),或者可以否則使用數(shù)據(jù)表示領(lǐng)域的技術(shù)人員眾所周知的映射技術(shù),用將每個(gè)像素與特定群組結(jié)構(gòu)相關(guān)的數(shù)據(jù)表示群組映射。在本公開的上下文中,“群組圖”(group map)和“群組映射”(group mapping)這些術(shù)語被視為是等效的,因?yàn)橄袼睾腿航M的關(guān)系可以用多種方式中的任一種來表示和存儲。
參照圖3的流程圖,圖中示出了根據(jù)本公開的實(shí)施例的用于表面輪廓檢測并且至少部分地在計(jì)算機(jī)上執(zhí)行的圖像投影、檢測和處理步驟的序列。在圖像捕獲步驟40中,操作者定位成像設(shè)備并且捕獲一系列圖案化的照明圖像。所述圖像可以包含兩個(gè)群組索引圖像52a和52b、任選地分別是暗和扁平(亮)圖像36和38、和數(shù)目為p的多線圖像54或者由其組成,并且可以用任何順序捕獲這些圖像。在替代實(shí)施例中,可以使用多于兩個(gè)群組索引圖像。在替代實(shí)施例中,可以捕獲或使用p個(gè)多線圖像54的子集。一旦捕獲了圖像,就執(zhí)行像素分配步驟44,其中將圖像傳感器陣列上的像素分配給對應(yīng)于照明陣列上的像素的群組圖或映射。還可以獲得另外的沒有照明的任選的暗圖像36和具有全幀照明的扁平圖像38以幫助信號處理,如下所述。
繼續(xù)圖3的用于形成輪廓圖像的序列,還獲得p個(gè)多線圖像54的集合,在位置檢測步驟50中可以從這個(gè)集合中檢測峰位置,也即指示表面輪廓的最高強(qiáng)度的位置。替代地,可以獲得p個(gè)多線圖像的集合的真子集以在位置檢測步驟50中使用,其中峰位置檢測結(jié)果的分辨率相應(yīng)地降低;在這種情況下,可以應(yīng)用內(nèi)插法填入每個(gè)群組內(nèi)的未投影的線峰的數(shù)據(jù)。映射步驟60然后形成、顯示輪廓圖像并例如在諸如與顯示監(jiān)視器相關(guān)聯(lián)的臨時(shí)顯示存儲器的存儲器中存儲輪廓圖像。任選地,還可以顯示群組索引圖像或多線圖像中的一個(gè)或更多個(gè)。
關(guān)于圖1,每個(gè)群組索引圖像52a、52b具有照明陣列10上的一個(gè)像素寬的線布置。多線圖像還具有照明陣列10上的一個(gè)或更多個(gè)一個(gè)像素寬的亮帶。多線圖像具有每個(gè)像素群組內(nèi)的至少一個(gè)明到暗或暗到明轉(zhuǎn)變。
圖4的示意圖示出了用于投影和捕捉至少群組索引圖像52a和52b和一個(gè)或更多個(gè)多線圖像54的成像設(shè)備70??刂七壿嬏幚砥?0或其它類型的計(jì)算機(jī)能夠控制照明陣列10和成像傳感器陣列30的操作。從成像傳感器陣列30獲得來自表面20(諸如來自牙齒22)的圖像數(shù)據(jù)并且將該圖像數(shù)據(jù)存儲在存儲器72中??刂七壿嬏幚砥?0處理接收到的圖像數(shù)據(jù)并將映射存儲在存儲器72中。然后任選地在顯示器74上顯示來自存儲器72的所得圖像。存儲器72還可以包含顯示緩沖器。
為了解釋下面的群組和像素映射:
(1)假設(shè)照明物線的數(shù)字標(biāo)號在成像傳感器陣列上從右向左增加;單調(diào)規(guī)則表明群組編號必須沿著一行從右向左增加;并且
(2)假設(shè)對于每個(gè)照明物陣列像素存在多個(gè)(至少2個(gè)或3個(gè))成像傳感器陣列,但是可以使用單個(gè)像素。
應(yīng)當(dāng)強(qiáng)調(diào)的是,數(shù)字標(biāo)號的順序可以替代地從左向右增加,說明也相應(yīng)改變。
形成群組映射
圖5到圖8的示意圖示出了根據(jù)本發(fā)明的實(shí)施例的用于形成群組圖的處理的各種方面。圖5示出了成像傳感器陣列30上的一行像素32,對應(yīng)于表面20上的一些位置。每個(gè)群組具有預(yù)定數(shù)目p個(gè)鄰近像素32,其中在所示出的示例映射中,每個(gè)群組有八個(gè)像素32。數(shù)目p也可以是構(gòu)成群組的某個(gè)其它數(shù)目的像素,諸如10個(gè)或12個(gè)像素。圖5中的垂直虛線表示群組邊界。在群組邊界處,其中,每個(gè)群組具有p個(gè)像素,從0,1,2,…(p-1)開始編號,一個(gè)群組的第(p–1)個(gè)像素鄰近于該行中的下一個(gè)或鄰近群組的第0個(gè)像素;這兩個(gè)鄰近像素之間的空間(兩個(gè)鄰近群組中的每一個(gè)群組中有一個(gè)像素)限定群組邊界。群組邊界被視為由兩個(gè)鄰近群組“共用”。每個(gè)群組還具有中心像素34,圖5中用陰影示出。中心像素34是編號為(p/2)的像素。因此,在像圖5的示例中一樣群組具有8個(gè)像素(p=8)的情況下,中心像素是編號為4的像素。參照本公開,圖5中示出的布置(其中每個(gè)群組內(nèi)照明p/2像素)被稱為居中的多線圖像76。因此,在一個(gè)實(shí)施例中,居中的多線圖像76是多線圖像中僅有的一個(gè)用于像素映射和群組映射兩者的多線圖像,如圖3中所表示并且如后面更具體地描述的。
在幾何上,對于某些示例性實(shí)施例,當(dāng)從圖像的一側(cè)沿著一行像素移動(dòng)到另一側(cè)時(shí),群組編號必須單調(diào)地改變。(不同行上的編號可能并不對準(zhǔn),但是在每一行內(nèi),編號是單調(diào)的。)這樣使得有可能“校對”每一行上的群組編號,舍棄噪聲干擾了群組編號的預(yù)期單調(diào)增加的位置。
使用照明并且投影從一個(gè)或更多個(gè)群組中所選擇的像素(例如,中心像素)的圖像生成群組圖。當(dāng)對于一個(gè)或更多個(gè)群組使用中心像素時(shí),這些圖像可以稱為“中線”圖像。在一個(gè)實(shí)施例中,往回參考圖3的邏輯流程圖,這可以包含群組索引圖像52a和52b中的每一個(gè)和p個(gè)多線圖像中的對應(yīng)一個(gè),具體而言是居中的多線圖像76。
群組索引圖像
群組索引圖像52a和52b中的每一個(gè)優(yōu)選地是投影對應(yīng)于照明陣列中的一些中心像素的線圖案的中線圖像。圖6中示出使用兩個(gè)群組索引圖像52a和52b的示例性布置。圖像52a和52b左對準(zhǔn)。對于這個(gè)示例,總共有40個(gè)群組,編號從0到39。這里,僅對于奇數(shù)群組(1、3、5、7、...)投影中線;不在群組索引圖像52a和52b中投影偶數(shù)群組(0、2、4、6、8、...)的中線,而是通過多線圖像中的一個(gè)提供其中線,如下所述。
在圖6的示例中,群組索引圖像52a對于奇數(shù)群組1、5、7、9、...37、39投影中線。群組索引圖像52b對于奇數(shù)群組1、3、5、9…35、37投影中線。虛線在群組索引圖像52a和52b兩者中的相同群組的中線之間延伸。因此,例如,這兩個(gè)圖像對于群組1、5、9…37在相同的位置具有中線。這些共同投影的中線之間的距離D1的寬度是4個(gè)群組。可以看出,共同中線相互等距隔開第一距離D1,這是群組大小的第一倍數(shù)。
在圖6的布置中,點(diǎn)線表示僅在群組索引圖像52a中不在群組索引圖像52b中具有中線的群組。在這個(gè)示例中,這些是用于群組7、15、23、31和39的中線。類似地,點(diǎn)線從僅在群組索引圖像52b中但不在群組索引圖像52a中具有中線的群組向外延伸。在這個(gè)示例中,這些是用于群組3、11、19、27和35的中線。在投影的群組索引圖像52a和52b中的每一個(gè)內(nèi),不共用的這些中線相互間隔開第二距離D2,第二距離D2是群組大小的第二倍數(shù)。如圖6所示,第二距離D2是寬度為8個(gè)群組的距離。
在圖6中示出的布置將中線間隔開(其中一些中線是共用的,一些中線不是共用的),具有可能不容易發(fā)現(xiàn)的優(yōu)點(diǎn)。8個(gè)群組的更寬間隔是群組大小的第二倍數(shù),其大于共用中線之間使用的群組大小的第一倍數(shù)。非共用中線之間的這個(gè)更寬的間距有助于減少群組識別中的模糊性。例如,對于某個(gè)p,當(dāng)中線圖像序列大小l足夠大時(shí),任何一個(gè)中線圖像(例如,具有p×l個(gè)照明像素)上的任何鄰近2個(gè)中線的距離將足夠大,足以將每個(gè)記錄的中線圖像中的檢測到的中線峰明確地分配給對應(yīng)群組,并且假設(shè)表面深度相對于焦點(diǎn)位置在預(yù)設(shè)范圍內(nèi)。因此,可以檢驗(yàn)這些非共用線的中線峰在圖像52a和52b中的一個(gè)圖像中的存在和在另一個(gè)圖像中的不存在。
根據(jù)結(jié)構(gòu)化光系統(tǒng)設(shè)計(jì)和對象牙齒表面,來自群組索引圖像52a和52b的每個(gè)記錄的中線定位于2個(gè)鄰近者之間。例如,對于給定其中1<m<40的示例,第m個(gè)中線位于第(m-1)個(gè)中線的左側(cè),并且在第(m+1)個(gè)中線的右側(cè)。一旦成功地分配了非共用的第3個(gè)、第7個(gè)、第11個(gè)、第15個(gè)、第19個(gè)、第23個(gè)、第27個(gè)、第31個(gè)、第35個(gè)和第39個(gè)中線,就有可能通過雙重相鄰者參考來分配共用的第1個(gè)、第5個(gè)、第9個(gè)、第13個(gè)、第17個(gè)、第21個(gè)、第25個(gè)、第29個(gè)、第33個(gè)、第37個(gè)群組的中線峰。例如,可以容易并且明確地將位于第15個(gè)分配的中線與第19個(gè)分配的中線之間的未分配的中線峰分配給群組17。
從第一群組索引圖像與第二群組索引圖像獲得的群組映射形成映射群組的第一集合。對于圖6中給出的示例,映射群組的第一集合全部由奇數(shù)群組組成。在映射了奇數(shù)群組之后,然后使用多線圖像中的一個(gè)(具體而言是居中的多線圖像76)映射偶數(shù)群組。如上所述,這是p多線圖像中具有與用于群組索引圖像相同的中線布置的一個(gè)多線圖像,例如,如上文參照圖5所述,每個(gè)群組中有像素p/2被照明。這個(gè)圖像是下文描述的p個(gè)多線圖像的子集中的一個(gè)。
根據(jù)本公開的替代實(shí)施例,使用群組索引圖像52a和52b將偶數(shù)群組映射成映射群組的第一集合,其中對應(yīng)的間距遵照圖6中描述的基本圖案。然后,使用多線圖像映射奇數(shù)群組。
多線圖像
如相對于圖3中示出的序列所述,除了群組索引圖像52a和52b之外,還將p個(gè)多線圖像的集合投影到所述表面上。使用多線圖像中的至少一個(gè)來生成群組映射和像素水平分辨率;其它多線圖像僅提供像素水平的分辨率以獲得表面輪廓信息。群組映射所需要的單個(gè)多線圖像可以是居中的多線圖像76,如圖3的邏輯流程圖中所表示的。
在多線圖像中,一次照明每個(gè)群組的一個(gè)像素。圖7A的示意圖對于以擴(kuò)大部分E示出的具有群組G5、G6、G7和G8的單行照明陣列10示出了第一多線圖像54a的一部分,在這個(gè)部分中,每個(gè)群組中的最左邊的像素被照明以形成線。圖7B示出了另一個(gè)多線圖像54b,其中每個(gè)群組中的下一個(gè)像素被照明。如本文中示出的示例中,在每個(gè)群組具有8個(gè)像素的情況下,這個(gè)序列重復(fù),使得至少存在8個(gè)多線圖像,每個(gè)群組中的每個(gè)像素各一個(gè)多線圖像。從暗到亮或從亮到暗的轉(zhuǎn)變只是相對于多線圖像中的單個(gè)像素寬度;每個(gè)形成線的光的亮帶的寬度是單個(gè)像素。每個(gè)多線圖像在每個(gè)群組內(nèi)投影單個(gè)線??偟膩碚f,在每個(gè)群組具有p數(shù)目個(gè)鄰近像素的情況下,至少p/2個(gè)多線圖像的子集被投影到表面上并且被記錄以用于表面輪廓成像。另外,可以用循環(huán)或其它順序布置來投影和記錄多于8個(gè)多線圖像。每個(gè)多線圖像54中的照明像素之間的群組寬度距離D3在p個(gè)像素上延伸。
在替代實(shí)施例中,投影p個(gè)多線圖像的集合的子集以獲得表面輪廓測量值以在每個(gè)群組內(nèi)投影減少的數(shù)目的線??梢詰?yīng)用數(shù)據(jù)內(nèi)插以填入每個(gè)群組中的未投影的各個(gè)線的數(shù)據(jù)。例如,在一個(gè)實(shí)施例中,使用群組索引圖像52a和52b和多線圖像中的一個(gè)生成群組映射;剩余的p-1個(gè)多線圖像僅僅提供像素水平的分辨率以獲得表面輪廓信息。
圖8示出了從照明陣列10投影的具有每個(gè)群組內(nèi)的一條線84的多線圖像54。圖9和圖10分別示出了投影到表面20上并且通過成像傳感器陣列30記錄的示例性多線圖像54。圖9中的虛線Q表示成像傳感器陣列30上的一行像素。
根據(jù)本公開的實(shí)施例,作為獨(dú)立行的集合分析多線圖像中的每一個(gè)以定位該行中的每個(gè)強(qiáng)度峰。這在兩個(gè)步驟中執(zhí)行。首先,平滑濾波器與區(qū)分濾波器的組合定位存在峰信號的像素。然后,將拋物線與識別的像素周圍的觀察點(diǎn)擬合,以便以子像素精度定位峰。還估計(jì)峰周圍的背景以提供關(guān)于相對峰高度的另外的信息。如果一個(gè)候選峰太弱或者離另一個(gè)峰太近,則可以從峰的列表中丟棄這個(gè)候選峰。分析結(jié)果是觀察到強(qiáng)度峰的精確位置的長的峰列表(對于典型的成像傳感器陣列是30,000到100,000)。
對于群組映射,具有每個(gè)群組(其中p/2像素被照明)的中線的特定多線圖像54形成居中的多線圖像76。居中的多線圖像76提供映射并非從群組索引圖像52a和52b獲得的剩余群組中線所需要的信息。對于前述示例性實(shí)施例,這意味著可以使用具有每個(gè)群組的中線(其中p/2像素被照明)的多線圖像54映射剩余偶數(shù)群組。使用這種技術(shù),在群組索引圖像52a和52b識別每個(gè)奇數(shù)群組的情況下,居中的多線圖像76識別交錯(cuò)的偶數(shù)群組。在替代實(shí)施例中,使用類似的邏輯,在群組索引圖像52a和52b識別每個(gè)偶數(shù)群組的情況下,居中的多線圖像76識別剩余交錯(cuò)奇數(shù)群組。為了幫助解析模糊性,用于群組識別的處理可以使用雙重相鄰者參考,其隨著群組識別的繼續(xù)而具有更精細(xì)的分辨率。
在替代實(shí)施例中,可以對于群組的第一集合(例如,奇數(shù)群組)使用第一群組索引圖像52a和52b,并且可以對于群組的第二集合(例如,偶數(shù)群組)使用另外的或第二群組索引圖像,以便生成群組映射。然后,可以使用多線圖像54提供像素水平的分辨率以便獲得表面輪廓信息。
在扁平圖像38(圖3)中存在某個(gè)水平的信號(“截?cái)帱c(diǎn)”),其可能對于精確的比較而言過低了。這個(gè)水平可以簡單地設(shè)置成處理軟件的參數(shù)。也可以通過找到多線圖像中的所有峰(如下所述)并標(biāo)注那些峰位置的“扁平”值,借此自適應(yīng)地計(jì)算這個(gè)水平。水平在這個(gè)截?cái)帱c(diǎn)以下的像素簡單地被宣布為不確定的,具有未知的狀態(tài),并且不做進(jìn)一步處理。
組合群組圖與峰列表
在沒有噪聲或誤差的情況下,通過峰列表驅(qū)動(dòng)群組與峰數(shù)據(jù)的組合,峰列表中包含用x和y表示的峰位置(例如,沿著行的像素位置和行號)、峰高度、峰寬度和其起源圖像(多線圖像1到p)。對于每個(gè)峰,檢索來自群組映射中的最接近像素的群組編號。組合群組編號與圖像編號以計(jì)算480線圖像中的照明體上的線1到480。這樣就得到了峰的三個(gè)基本“像素位置”:成像器上的x和y位置,以及照明體上的x位置,就像從單個(gè)投影點(diǎn)獲得的一樣。
然后可以使用三個(gè)像素位置和校準(zhǔn)參數(shù)計(jì)算牙齒或其它表面上的點(diǎn)的近似位置。使用通過校準(zhǔn)已知的信息處理這些近似位置,以確定牙齒或其它物體表面上的精確位置(x,y,z)??梢允褂盟羞@些位置形成點(diǎn)云,這是組合算法的最終輸出。
任選的暗圖像和扁平圖像
如圖3的序列中所述,任選地獲得暗場圖像和扁平場圖像36和38。可以為這些圖像求平均值,以提供強(qiáng)度量度,該強(qiáng)度量度用作閾值以區(qū)分亮強(qiáng)度與暗強(qiáng)度,從而幫助在像素分配步驟44(圖3)中改善信號映射。
應(yīng)當(dāng)注意,對于本發(fā)明的方法,可以用任何合適的順序執(zhí)行圖像投影和記錄序列。而且,多線圖像和群組索引圖案可以散置,而不是用任何固定的順序獲得。
形成群組映射有助于解析深度測量中的潛在模糊性。本發(fā)明的實(shí)施例有助于提供群組映射的穩(wěn)固的方法,并且無需過多數(shù)目的二元圖像的投影、檢測和處理。
圖11A示出了在群組索引圖像52中的一個(gè)中投影的照明圖案。舉例而言,圖11B示出了從群組索引圖像102的投影獲得的對應(yīng)牙齒圖像112的一部分。
圖12A示出了在多線圖像54中的一個(gè)中投影的照明圖案。舉例而言,圖12B示出了從多線圖像54的投影獲得的對應(yīng)牙齒圖像116。
本發(fā)明的實(shí)施例可以使用不同的群組大小和布置,包含關(guān)于在任何一個(gè)時(shí)間哪些群組集合有像素被照明的規(guī)定。為了簡單起見,在下面對于圖像圖案的說明中,使用8個(gè)像素的任意群組大小。描述16個(gè)群組中的128個(gè)像素的表現(xiàn),其中每個(gè)群組8個(gè)像素。用本文中使用的術(shù)語表達(dá),16個(gè)群組形成有序集合??梢岳斫獾氖牵诒景l(fā)明的范圍內(nèi),可以對有序集合中的成員的群組大小或群組數(shù)目進(jìn)行改變。本文中提出的說明使用這些示例性值來區(qū)分群組索引圖像與多線圖像。
每個(gè)圖像的光強(qiáng)度可以是相同的;然而,針對不同的圖像類型改變強(qiáng)度可能是有利的。合適的強(qiáng)度調(diào)整例如可能有助于減小散射光的影響。
根據(jù)本發(fā)明的實(shí)施例,計(jì)算機(jī)用存儲的指令執(zhí)行程序,存儲指令對從電子存儲器存取的圖像數(shù)據(jù)執(zhí)行。圖像處理領(lǐng)域的技術(shù)人員可以理解,本發(fā)明的實(shí)施例的計(jì)算機(jī)程序可以由合適的通用計(jì)算機(jī)系統(tǒng)(諸如個(gè)人計(jì)算機(jī)或工作臺)以及微處理器或其它專用處理器或可編程邏輯裝置利用。然而,許多其它類型的計(jì)算機(jī)系統(tǒng)可以用于執(zhí)行本發(fā)明的計(jì)算機(jī)程序,包含聯(lián)網(wǎng)處理器。用于執(zhí)行本發(fā)明的方法的計(jì)算機(jī)程序可以存儲在計(jì)算機(jī)可讀存儲介質(zhì)中。這個(gè)介質(zhì)可以包括例如:磁性存儲介質(zhì),諸如磁盤(諸如硬驅(qū)動(dòng)器)或磁帶或其它便攜型磁盤;光學(xué)存儲介質(zhì),諸如光盤、光帶或機(jī)器可讀條形碼;固態(tài)電子存儲裝置,諸如隨機(jī)存取存儲器(RAM)或只讀存儲器(ROM);或者任何其它用于存儲計(jì)算機(jī)程序的物理裝置或介質(zhì)。用于執(zhí)行本發(fā)明的方法的計(jì)算機(jī)程序也可以存儲在計(jì)算機(jī)可讀存儲介質(zhì)上,該計(jì)算機(jī)可讀存儲介質(zhì)通過因特網(wǎng)或其它通信介質(zhì)連接至圖像處理器。本領(lǐng)域的技術(shù)人員將容易認(rèn)識到,也可以在硬件中構(gòu)造這樣的計(jì)算機(jī)程序產(chǎn)品的等效物。
將理解的是,本發(fā)明的計(jì)算機(jī)程序產(chǎn)品可以利用眾所周知的各種圖像處理算法和進(jìn)程。將進(jìn)一步理解,本發(fā)明的計(jì)算機(jī)程序產(chǎn)品實(shí)施例可以具體實(shí)施本文中未具體示出或描述的對于實(shí)施方案有用的算法和進(jìn)程。這樣的算法和進(jìn)程可以包含屬于圖像處理領(lǐng)域的一般技能內(nèi)的常規(guī)工具。這樣的算法和系統(tǒng)的另外的方面和用于產(chǎn)生和以其它方式處理圖像或與本發(fā)明的計(jì)算機(jī)程序產(chǎn)品協(xié)同操作的硬件和/或軟件未在本文中具體示出或描述,并且可以從本領(lǐng)域已知的這樣的算法、系統(tǒng)、硬件、組件和元件中選擇。
在本公開的上下文中,“記錄圖像”的動(dòng)作是指在某種類型的存儲器電路中存儲圖像數(shù)據(jù)以便使用這個(gè)圖像數(shù)據(jù)進(jìn)行后續(xù)處理。記錄的圖像數(shù)據(jù)本身可以更永久地存儲,或者一旦進(jìn)一步處理時(shí)不再需要就被丟棄?!坝行蚣稀本哂兴诩侠碚撝惺褂玫某R?guī)意義,是涉及元素具有非模糊排序的集合,諸如例如以升序排序的自然數(shù)字的集合。
應(yīng)當(dāng)指出,“存儲器”這個(gè)術(shù)語在本公開的上下文中等效于“計(jì)算機(jī)可存取存儲器”,可以指代用于存儲圖像數(shù)據(jù)和對圖像數(shù)據(jù)執(zhí)行操作并且可由計(jì)算機(jī)系統(tǒng)存取的任何類型的臨時(shí)或更持久的數(shù)據(jù)存儲工作空間。存儲器可以是非易失性的,例如使用諸如磁性或光學(xué)存儲裝置的長期存儲介質(zhì)。替代地,存儲器可以具有更加易失的性質(zhì),使用電子電路,諸如隨機(jī)存取存儲器(RAM),其被微處理器或其它控制邏輯處理器裝置用作臨時(shí)緩沖區(qū)或工作空間。顯示數(shù)據(jù)例如典型地存儲在臨時(shí)存儲緩沖區(qū)中,臨時(shí)存儲緩沖區(qū)與顯示裝置直接相關(guān)聯(lián),并且按需要周期性地刷新,以便提供所顯示的數(shù)據(jù)。這個(gè)臨時(shí)存儲緩沖區(qū)也可以視為是存儲器,按照該術(shù)語在本公開中使用的定義。存儲器也用作數(shù)據(jù)工作空間,用于執(zhí)行和存儲計(jì)算和其它處理的中間和最終結(jié)果。計(jì)算機(jī)可存取存儲器可以是易失性、非易失性或易失性與非易失性類型的混合組合。各種類型的計(jì)算機(jī)可存取存儲器提供在系統(tǒng)各處的不同的組件上,以用于存儲、處理、傳遞和顯示數(shù)據(jù)和用于其它功能。
在一個(gè)實(shí)施例中,圖4中示出的設(shè)備70,口腔內(nèi)相機(jī)等等,可以在硬件或控制邏輯中實(shí)施相對于圖3示出或描述的功能性和/或操作。雖然本文中描述為寬度為1個(gè)像素,但是在某些示例性實(shí)施例中群組索引圖像52a和52b可以使用寬度為兩個(gè)或更多個(gè)像素的線。
在一個(gè)實(shí)施例中,提供一種用于根據(jù)表面將傳感器像素陣列映射成照明像素陣列的方法和/或設(shè)備,其至少部分地在計(jì)算機(jī)上執(zhí)行,并且可以包含通過將傳感器陣列上的多個(gè)像素中的每個(gè)像素分配給照明像素陣列上的群組的有序集合中的對應(yīng)群組而形成群組映射,其中,每個(gè)群組具有由照明像素陣列上的p個(gè)鄰近像素的集合限定的群組寬度,并且有序集合具有k個(gè)群組,這是通過如下方式來實(shí)現(xiàn):將具有第一線圖案的第一多群組索引圖像和具有第二線圖案的第二多群組索引圖像投影到所述表面上,并且記錄所述第一多群組索引圖像和所述第二多群組索引圖像,其中,在第一線圖案和第二線圖案中出現(xiàn)在相同位置的線相互均勻地隔開第一距離,所述第一距離是群組寬度p的第一倍數(shù),其中,所述第一倍數(shù)是大于1的整數(shù),并且僅僅出現(xiàn)在第一線圖案或第二線圖案中的線相互均勻地隔開第二距離,所述第二距離是群組大小的第二倍數(shù),并且超過第一距離;將具有第三線圖案的第三多群組索引圖像和具有第四線圖案的第四多群組索引圖像投影到所述表面上,并且記錄所述第三多群組索引圖像和所述第四多群組索引圖像,其中在第三線圖案和第四線圖案中出現(xiàn)在相同位置的線相互均勻地隔開第一距離,并且僅僅出現(xiàn)在第三線圖案或第四線圖案中的線相互均勻地隔開第二距離,所述第二距離超過第三距離;以及使第一多群組索引圖像和第二多群組索引圖像中的線與第三多群組索引圖像和第四多群組索引圖像中的線相關(guān)聯(lián),以生成用于所有的k個(gè)群組的群組映射,并且將所述關(guān)聯(lián)性存儲在計(jì)算機(jī)可存取存儲器中。
本申請與共同轉(zhuǎn)讓的授予James Milch的美國第13/293,308號,名稱為3-D INTRAORAL MEASUREMENTS USING OPTICAL MULTILINE METHOD(使用光學(xué)多線法的3D口腔內(nèi)測量)相關(guān),該專利的全文通過引用結(jié)合在此。
雖然相對于一個(gè)或更多個(gè)實(shí)施方案說明了本發(fā)明,但是可以對所說明的示例進(jìn)行更改和/或修改,而并不偏離隨附權(quán)利要求書的精神和范圍。另外,雖然本發(fā)明的特定特征可能是相對于幾個(gè)實(shí)施方案中的一個(gè)公開的,但是這樣的特征可以與可能對于任何給定或特定功能期望的和有利的其它實(shí)施方案的一個(gè)或更多個(gè)其它特征組合?!爸械闹辽僖粋€(gè)”這個(gè)術(shù)語是用于表示可以選擇列出的項(xiàng)目中的一個(gè)或更多個(gè)?!按蠹s”這個(gè)術(shù)語是指列出的值可以在一定程度上更改,只要該更改不會(huì)導(dǎo)致所述處理或結(jié)構(gòu)不符合所說明的實(shí)施例即可。最后,“示例性”是指該說明是用作一個(gè)示例,而不是暗示它是理想的。本領(lǐng)域的技術(shù)人員通過考慮說明書和實(shí)踐本文中公開的本發(fā)明,將容易明白本發(fā)明的其它實(shí)施例。因此,這里公開的實(shí)施例在所有方面視為說明性而不是限制性的。本發(fā)明的范圍通過隨附權(quán)利要求書指示,并且屬于隨附權(quán)利要求書的等效物的含義和范圍內(nèi)的所有改變都意在包含于其中。