本發(fā)明涉及3d內(nèi)窺膠囊鏡檢測(cè)，特別是涉及一種拍攝圖片連續(xù)、易于觀察待檢測(cè)位置的3d內(nèi)窺膠囊鏡檢測(cè)方法和系統(tǒng)。

背景技術(shù)：

膠囊內(nèi)窺鏡實(shí)際是把攝像機(jī)縮小，植入醫(yī)用膠囊，幫助醫(yī)生對(duì)病人進(jìn)行診斷。一粒小膠囊卻是探秘人體的攝像工作室，從外表看，它與普通膠囊藥區(qū)別不大，但它是一臺(tái)微型攝像機(jī)，用于窺探人體腸胃和食道部位的健康狀況?；颊咄谭螅z囊隨胃腸肌肉運(yùn)動(dòng)沿消化方向運(yùn)行，拍攝圖像，再把圖像傳至患者系于腰間的數(shù)據(jù)傳輸裝置。幾小時(shí)后，醫(yī)生把膠囊拍攝的圖像下載于電腦，膠囊在24小時(shí)內(nèi)自動(dòng)排出體外。使用膠囊內(nèi)窺鏡，患者可保持正?；顒?dòng)和生活。

傳統(tǒng)的膠囊內(nèi)窺鏡，用2d和短焦距光學(xué)攝像頭，不能獲得被攝物體的深度信息，故只能看消化道的2d圖像并且圖像失焦很容易，醫(yī)生看到的只是二維圖像，從而影響醫(yī)生對(duì)病灶的診斷。由于拍攝的圖片的不連貫性，以及圖片存在的畸變等問(wèn)題，導(dǎo)致一些病變節(jié)點(diǎn)并不能看清楚。

技術(shù)實(shí)現(xiàn)要素：

基于此，有必要提供一種拍攝圖片連續(xù)、易于觀察待檢測(cè)位置的3d內(nèi)窺膠囊鏡檢測(cè)方法。

一種3d內(nèi)窺膠囊鏡檢測(cè)方法，包括以下步驟：

采用光場(chǎng)獲取技術(shù)采集待檢測(cè)位置場(chǎng)景的光場(chǎng)信號(hào)；

將所述光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻并輸出給無(wú)線發(fā)射模塊；

通過(guò)所述無(wú)線發(fā)射模塊將所述連續(xù)的圖片或視頻發(fā)送給體外的無(wú)線接收模塊；

對(duì)所述連續(xù)的圖片或視頻依次進(jìn)行深度圖像預(yù)處理、3d圖像轉(zhuǎn)換、利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

在其中一個(gè)實(shí)施例中，所述對(duì)所述連續(xù)的圖片或視頻進(jìn)行深度圖像處理的步驟包括：

提取所述連續(xù)的圖片或視頻的深度信息；

對(duì)提取了深度信息的連續(xù)的圖片或視頻進(jìn)行平滑/方向?yàn)V波。

在其中一個(gè)實(shí)施例中，所述對(duì)所述連續(xù)的圖片或視頻進(jìn)行3d圖像轉(zhuǎn)換的步驟包括；

利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

在其中一個(gè)實(shí)施例中，還包括步驟：

對(duì)所述新視點(diǎn)圖像進(jìn)行融合、插值處理來(lái)填補(bǔ)空洞。

在其中一個(gè)實(shí)施例中，還包括：

對(duì)于待檢測(cè)位置內(nèi)的任意一個(gè)點(diǎn)m，設(shè)其坐標(biāo)是(x，y，z)，c1(x1，y)是m在光場(chǎng)成像技術(shù)中的成像，c2(x2，y)是m的正面成像；c1，c2是處于同一個(gè)圖像平面的投影，其中，深度信息z已知，c1與圖像平面的夾角為ɑ；

計(jì)算得出c1與c2之間的距離；

從已知圖像中繪制出所需要的相對(duì)于任意點(diǎn)的正面視點(diǎn)圖像。

此外，還提供一種拍攝圖片連續(xù)、易于觀察待檢測(cè)位置的3d內(nèi)窺檢測(cè)系統(tǒng)

一種3d內(nèi)窺膠囊鏡檢測(cè)系統(tǒng)，包括光場(chǎng)成像元件、傳感器模塊、無(wú)線發(fā)射模塊、無(wú)線接收模塊及圖像處理模塊；

所述光場(chǎng)成像元件用于采用光場(chǎng)獲取技術(shù)采集待檢測(cè)位置場(chǎng)景的光場(chǎng)信號(hào)；

所述傳感器模塊用于將所述光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻并輸出給無(wú)線發(fā)射模塊；

所述無(wú)線發(fā)射模塊用于將所述連續(xù)的圖片或視頻發(fā)送給體外的無(wú)線接收模塊；

所述圖像處理模塊用于對(duì)所述連續(xù)圖片依次進(jìn)行深度圖像預(yù)處理、3d圖像轉(zhuǎn)換、利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

在其中一個(gè)實(shí)施例中，所述圖像處理模塊包括提取單元和濾波單元；

所述提取單元用于提取所述連續(xù)的圖片或視頻的深度信息；

所述濾波單元用于對(duì)提取了深度信息的連續(xù)的圖片或視頻進(jìn)行平滑/方向?yàn)V波。

在其中一個(gè)實(shí)施例中，所述圖像處理模塊還用于利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

在其中一個(gè)實(shí)施例中，所述圖像處理模塊還用于對(duì)所述新視點(diǎn)圖像進(jìn)行融合、插值處理來(lái)填補(bǔ)空洞。

在其中一個(gè)實(shí)施例中，對(duì)于待檢測(cè)位置內(nèi)的任意一個(gè)點(diǎn)m，設(shè)其坐標(biāo)是(x，y，z)，c1(x1，y)是m在光場(chǎng)成像技術(shù)中的成像，c2(x2，y)是m的正面成像；c1，c2是處于同一個(gè)圖像平面的投影，其中，深度信息z已知，c1與圖像平面的夾角為ɑ；

所述圖像處理模塊用于計(jì)算得出c1與c2之間的距離；

所述圖像處理模塊還用于從已知圖像中繪制出所需要的相對(duì)于任意點(diǎn)的正面視點(diǎn)圖像。

上述3d內(nèi)窺膠囊鏡檢測(cè)方法和系統(tǒng)通過(guò)光場(chǎng)獲取技術(shù)采集待檢測(cè)位置場(chǎng)景的光場(chǎng)信號(hào)，將接收的光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻后輸出給無(wú)線發(fā)射模塊。因此，待檢測(cè)位置被拍攝的圖像均為連續(xù)的圖片或視頻，能夠?qū)⒋龣z測(cè)位置完整的記錄下來(lái)。而無(wú)線發(fā)射模塊則將連續(xù)的圖片或視頻發(fā)送給體外的無(wú)線接收模塊，將所述連續(xù)的圖片或視頻進(jìn)行深度圖像預(yù)處理、3d圖像轉(zhuǎn)換、利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。因而便于用戶獲取連續(xù)的待檢測(cè)位置的3d圖像，使得用戶對(duì)待檢測(cè)位置的觀察更為簡(jiǎn)便精確。

附圖說(shuō)明

圖1為3d內(nèi)窺膠囊鏡檢測(cè)方法的流程圖；

圖2為光場(chǎng)成像的結(jié)構(gòu)示意圖；

圖3為3d圖像處理框圖；

圖4為3d圖像變換原理圖；

圖5為3d內(nèi)窺鏡膠囊檢測(cè)系統(tǒng)的模塊圖。

具體實(shí)施方式

為了便于理解本發(fā)明，下面將參照相關(guān)附圖對(duì)本發(fā)明進(jìn)行更全面的描述。附圖中給出了本發(fā)明的較佳的實(shí)施例。但是，本發(fā)明可以以許多不同的形式來(lái)實(shí)現(xiàn)，并不限于本文所描述的實(shí)施例。相反地，提供這些實(shí)施例的目的是使對(duì)本發(fā)明的公開(kāi)內(nèi)容的理解更加透徹全面。

需要說(shuō)明的是，當(dāng)元件被稱為“固定于”另一個(gè)元件，它可以直接在另一個(gè)元件上或者也可以存在居中的元件。當(dāng)一個(gè)元件被認(rèn)為是“連接”另一個(gè)元件，它可以是直接連接到另一個(gè)元件或者可能同時(shí)存在居中元件。本文所使用的術(shù)語(yǔ)“垂直的”、“水平的”、“左”、“右”以及類(lèi)似的表述只是為了說(shuō)明的目的。

除非另有定義，本文所使用的所有的技術(shù)和科學(xué)術(shù)語(yǔ)與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本文中在本發(fā)明的說(shuō)明書(shū)中所使用的術(shù)語(yǔ)只是為了描述具體的實(shí)施例的目的，不是旨在于限制本發(fā)明。本文所使用的術(shù)語(yǔ)“及/或”包括一個(gè)或多個(gè)相關(guān)的所列項(xiàng)目的任意的和所有的組合。

如圖1所示，為3d內(nèi)窺檢測(cè)方法的流程圖。

一種3d內(nèi)窺膠囊鏡檢測(cè)方法，包括以下步驟：

步驟s110，采用光場(chǎng)獲取技術(shù)采集待檢測(cè)位置場(chǎng)景的光場(chǎng)信號(hào)。

光場(chǎng)成像的原理：光場(chǎng)是指光在空間中任一點(diǎn)通過(guò)任一方向的光量。光作為載體，在3d空間中一被觀測(cè)物體發(fā)出的光場(chǎng)可以用空間中同時(shí)包含位置與方向的光輻射四維參數(shù)表示。記錄光在傳播過(guò)程中的四維信息可以重構(gòu)出被觀測(cè)物體的3d狀態(tài)。

光場(chǎng)相機(jī)(lightfieldcamera)，又被成為全光相機(jī)(plenopticcamera)，就是一種可以用來(lái)記錄光場(chǎng)信息的相機(jī)。與普通相機(jī)相比，光場(chǎng)相機(jī)除了可以記錄場(chǎng)景中的光線強(qiáng)度和顏色，還能記錄光線在空間中的傳播方向。因此，利用光場(chǎng)相機(jī)拍攝的圖像可以用來(lái)還原出被拍場(chǎng)景的3d圖像，或者，可以在拍攝完成后進(jìn)行再次對(duì)焦，得到不同焦距的2d照片。光場(chǎng)相機(jī)主要由主透鏡組、微透鏡 陣列和感光元件組成。

請(qǐng)結(jié)合圖2。

本發(fā)明中運(yùn)用光場(chǎng)相機(jī)的原理，在光學(xué)部分采用光場(chǎng)成像技術(shù)替代普通的2d鏡頭，工作原理如圖2所示，與普通鏡頭相比，光場(chǎng)成像透鏡在主透鏡組2和感光元件5之間增加了一個(gè)微透鏡陣列3，微透鏡陣列3由n個(gè)微透鏡4組成。這里，主透鏡組2的焦距為f,微透鏡4的焦距為f1。在光場(chǎng)相機(jī)中，感光元件5位于微透鏡陣列3的焦平面上，而微透鏡陣列3距離主透鏡組2的距離為zl，一般可以，這里拍攝物體1距離主透鏡組2的距離為za。主透鏡組2出射的光線通過(guò)每一個(gè)微透鏡4投影到該微透鏡4對(duì)應(yīng)的成像單元上，這些成像單元上形成的單個(gè)圖像共同組成了相片，每一個(gè)單個(gè)圖像都可以視為從不同視角觀測(cè)物體所得的圖像。

步驟s120，將所述光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻并輸出給無(wú)線發(fā)射模塊。

在獲取光場(chǎng)信號(hào)后，需要將光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻，一般采用圖像傳感器對(duì)視頻信號(hào)進(jìn)行處理，以獲取連續(xù)的圖片或視頻。而避免直接處理視頻信號(hào)，減小圖像數(shù)據(jù)處理量。

步驟s130，通過(guò)所述無(wú)線發(fā)射模塊將所述連續(xù)的圖片或視頻發(fā)送給體外的無(wú)線接收模塊。

待檢測(cè)位置一般處于活體內(nèi)部，因此需要采用無(wú)線發(fā)射模塊將連續(xù)的圖片或視頻發(fā)送到體外的無(wú)線接收模塊。

步驟s140，對(duì)所述連續(xù)的圖片或視頻依次進(jìn)行深度圖像預(yù)處理、3d圖像轉(zhuǎn)換、利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

具體的，所述對(duì)所述連續(xù)的圖片或視頻進(jìn)行深度圖像處理的步驟包括：

提取所述連續(xù)的圖片或視頻的深度信息；

對(duì)提取了深度信息的連續(xù)的圖片或視頻進(jìn)行平滑/方向?yàn)V波。

所述對(duì)所述連續(xù)的圖片或視頻進(jìn)行3d圖像轉(zhuǎn)換的步驟包括；

利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

3d內(nèi)窺膠囊鏡檢測(cè)方法還包括步驟：對(duì)所述新視點(diǎn)圖像進(jìn)行融合、插值處 理來(lái)填補(bǔ)空洞。

3d內(nèi)窺鏡檢測(cè)方法還包括：對(duì)于待檢測(cè)位置內(nèi)的任意一個(gè)點(diǎn)m，設(shè)其坐標(biāo)是(x，y，z)，c1(x1，y)是m在光場(chǎng)成像技術(shù)中的成像，c2(x2，y)是m的正面成像；c1，c2是處于同一個(gè)圖像平面的投影，其中，深度信息z已知，c1與圖像平面的夾角為ɑ；

計(jì)算得出c1與c2之間的距離；

從已知圖像中繪制出所需要的相對(duì)于任意點(diǎn)的正面視點(diǎn)圖像。

基于上述實(shí)施例，3d圖像處理系統(tǒng)根據(jù)得到的3d圖像，提取出其中的深度信息，然后利用dibr技術(shù)，計(jì)算出相對(duì)應(yīng)的新視點(diǎn)圖。如圖3所示，dibr分為三部分組成：1、深度圖像預(yù)處理：對(duì)深度圖像進(jìn)行平滑/方向?yàn)V波；2、3d圖像轉(zhuǎn)換：利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像；3、生成圖后處理：對(duì)生成的新視點(diǎn)圖像，用融合、插值等方法填補(bǔ)空洞。在深度圖像中，對(duì)象邊緣等區(qū)域的深度值發(fā)生較大變化后，在3d圖像變換后可能會(huì)形成空洞，所以需要先對(duì)深度圖像進(jìn)行預(yù)處理，對(duì)邊緣等區(qū)域進(jìn)行濾波以減少3d圖像變換后可能出現(xiàn)的空洞。另外還需要對(duì)彩色圖像進(jìn)行圖像校正，減少彩色圖像與深度圖像融合后產(chǎn)生邊緣虛假。

3d圖像轉(zhuǎn)換原理如圖4所示，對(duì)于待檢測(cè)位置內(nèi)的任意一個(gè)點(diǎn)m，設(shè)其坐標(biāo)是(x，y，z)，c1(x1，y)是m在光場(chǎng)成像技術(shù)中的成像，c2(x2，y)是m的正面成像；c1，c2是處于同一個(gè)圖像平面的投影，其中，深度信息z已知，c1與圖像平面的夾角為ɑ；

采用公式x2＝x1+z/tanɑ計(jì)算得出c1與c2之間的距離；

從已知圖像中繪制出所需要的相對(duì)于任意點(diǎn)的正面視點(diǎn)圖像。

上述3d內(nèi)窺膠囊鏡檢測(cè)方法中拍攝的圖片或視頻可以很好的解決清晰度方面的問(wèn)題，并且能夠保證圖像的連貫性，不會(huì)出現(xiàn)丟失或者拍攝不到等情況，而且三維信息能夠極大的方便確定變化的位置以及變化程度，提高工作效率。

如圖5所示，為3d內(nèi)窺膠囊鏡檢測(cè)系統(tǒng)的模塊圖。

一種3d內(nèi)窺膠囊鏡檢測(cè)系統(tǒng)，包括光場(chǎng)成像元件201、傳感器模塊202、無(wú)線發(fā)射模塊203、無(wú)線接收模塊204及圖像處理模塊205。

所述光場(chǎng)成像元件201用于采用光場(chǎng)獲取技術(shù)采集待檢測(cè)位置場(chǎng)景的光場(chǎng)信號(hào)。

所述傳感器模塊202用于將所述光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻并輸出給無(wú)線發(fā)射模塊203。

所述無(wú)線發(fā)射模塊203用于將所述連續(xù)的圖片或視頻發(fā)送給體外的無(wú)線接收模塊204。

所述圖像處理模塊205用于對(duì)所述連續(xù)的圖片或視頻依次進(jìn)行深度圖像預(yù)處理、3d圖像轉(zhuǎn)換、利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

圖像處理模塊205包括提取單元和濾波單元。

所述提取單元用于提取所述連續(xù)的圖片或視頻的深度信息。

所述濾波單元用于對(duì)提取了深度信息的連續(xù)的圖片或視頻進(jìn)行平滑/方向?yàn)V波。

圖像處理模塊205還用于利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。

圖像處理模塊205還用于對(duì)所述新視點(diǎn)圖像進(jìn)行融合、插值處理來(lái)填補(bǔ)空洞。

對(duì)于待檢測(cè)位置內(nèi)的任意一個(gè)點(diǎn)m，設(shè)其坐標(biāo)是(x，y，z)，c1(x1，y)是m在光場(chǎng)成像技術(shù)中的成像，c2(x2，y)是m的正面成像；c1，c2是處于同一個(gè)圖像平面的投影，其中，深度信息z已知，c1與圖像平面的夾角為ɑ；

圖像處理模塊205用于計(jì)算得出c1與c2之間的距離；

圖像處理模塊205還用于從已知圖像中繪制出所需要的相對(duì)于任意點(diǎn)的正面視點(diǎn)圖像。

上述3d內(nèi)窺膠囊鏡檢測(cè)方法和系統(tǒng)通過(guò)光場(chǎng)獲取技術(shù)采集待檢測(cè)位置場(chǎng)景的光場(chǎng)信號(hào)，將接收的光場(chǎng)信號(hào)轉(zhuǎn)換為連續(xù)的圖片或視頻后輸出給無(wú)線發(fā)射模塊203。因此，待檢測(cè)位置被拍攝的圖像均為連續(xù)的圖片或視頻，能夠?qū)⒋龣z測(cè)位置完整的記錄下來(lái)。而無(wú)線發(fā)射模塊203則將連續(xù)的圖片或視頻發(fā)送給體外的無(wú)線接收模塊204，將所述連續(xù)的圖片或視頻進(jìn)行深度圖像預(yù)處理、3d圖 像轉(zhuǎn)換、利用3d圖像映射方程將原始圖像與深度圖像結(jié)合，產(chǎn)生新視點(diǎn)圖像。因而便于用戶獲取連續(xù)的待檢測(cè)位置的最佳觀察角度的3d圖像，使得用戶對(duì)待檢測(cè)位置的觀察更為簡(jiǎn)便精確。

以上所述光場(chǎng)相機(jī)可以用其它類(lèi)型的3d相機(jī)、攝像機(jī)代替，3d圖片也可以是3d視頻信息。

以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡(jiǎn)潔，未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說(shuō)明書(shū)記載的范圍。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)發(fā)明專(zhuān)利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專(zhuān)利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。