本發(fā)明涉及紋理力觸覺再現(xiàn)方法，特別是基于圖像灰度恢復(fù)形狀技術(shù)的紋理力觸覺再現(xiàn)方法。

背景技術(shù)：

隨著虛擬現(xiàn)實技術(shù)在外科手術(shù)仿真、遙操作機器人控制、虛擬制造等領(lǐng)域的應(yīng)用,力觸覺信息反饋對于虛擬操作的重要性日益顯著。在虛擬現(xiàn)實系統(tǒng)中,通過力觸覺再現(xiàn)裝置,將物體表面紋理特性反饋給操作者,能增強操作者的沉浸感,有助于提高對虛擬對象的感知和操縱能力。

虛擬現(xiàn)實中,紋理力觸覺表達通常需要提取紋理表面的高度輪廓特征,即要獲取紋理表面凹凸高度信息,而圖像紋理則反映的是紋理表面的二維灰度特征。物體表面的三維幾何形狀對紋理力觸覺再現(xiàn)非常重要。盡管現(xiàn)實場景都是彩色，但目前有關(guān)紋理的研究大部分都集中在灰度紋理領(lǐng)域，圖像紋理的力觸覺再現(xiàn)技術(shù)大多先把彩色圖像轉(zhuǎn)化為灰度圖像，再用灰度變化表征紋理信息。吳涓和宋愛國等提出將灰度紋理圖像進行g(shù)auss濾波，并將反映紋理信息的高頻頻譜作為高度圖，分別應(yīng)用胡克定律和摩擦力公式計算虛擬探針對紋理表面作用的法向力和摩擦力。lemercier等提出了4種像素灰度與對應(yīng)點三維高度的映射方法，并重建紋理圖像所反映表面的微觀三維幾何形狀，進而完成力觸覺的渲染。vasudevan等提出了一種基于灰度圖像處理的紋理力觸覺再現(xiàn)模型，并提出力渲染掩膜的概念，通過子圖像與力渲染掩膜相乘，直接向操作者反饋該區(qū)域紋理力，有效地對圖像邊緣和紋理進行力觸覺渲染。單純基于灰度處理的彩色圖像紋理力觸覺再現(xiàn)方法使得虛擬紋理觸覺屬性僅與物體表面輪廓變化在光照下形成的明暗分布有關(guān)，這些方法對于彩色圖像的色調(diào)、亮度要求都很高，一旦出現(xiàn)較大色差，就會導(dǎo)致彩色紋理圖像無法提取紋理特征，導(dǎo)致力觸覺再現(xiàn)失真甚至失效，目前對彩色紋理分析還處于探索階段。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種基于圖像灰度恢復(fù)形狀技術(shù)的紋理力觸覺再現(xiàn)方法。

為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是：

基于圖像灰度恢復(fù)形狀技術(shù)的紋理力觸覺再現(xiàn)方法，其特征在于包含以下步驟：

步驟一：從單幅圖像中恢復(fù)三維輪廓；

1.1對采集設(shè)備進行色彩校正利用采集設(shè)備從不同角度采集彩色圖像；

1.2對彩色圖像進行融合；

1.3采取基于多項式回歸的色彩還原方法對拍攝圖像進行還原；

1.4把不同角度圖像處理成灰度圖像,并對灰度圖像進行融合；

1.5建立光反射模型；

1.6依據(jù)灰度和光反射模型建立方程,求出表面各點的高度；

1.7建立虛擬表面三角網(wǎng)格模型；

步驟二：用紋理力觸覺模型對虛擬表面進行力觸覺渲染。

進一步地，所述步驟二包含，

2.1應(yīng)用aabb碰撞檢測算法檢測虛擬探針是否與虛擬表面碰撞；

2.2依據(jù)紋理力觸覺模型計算微觀法向力和摩擦力,用通用手控器輸出。

進一步地，所述步驟一中1.1，在全封閉的采集環(huán)境下采集，光源采用高亮度和穩(wěn)定的標(biāo)準(zhǔn)顏色色溫，采用柔光燈箱進行散射達到均勻照明，采用雙向光源進行極短時間內(nèi)正交照明，連續(xù)獲取同一對象的兩幅不同圖像，采用高分辨率鏡頭進行聯(lián)機拍攝。

進一步地，所述步驟一中1.2圖像融合采用基于小波變換的圖像融合方法，具體包含，

1.2.1對每一幅圖像分別進行小波變換，建立小波塔形分解；

1.2.2對各層分解子圖進行融合處理，各分解層的不同頻率分量采用不同的融合算子進行融合處理和一致性檢驗，最終得到融合后的小波金字塔；

1.2.3對融合后所得到的小波金字塔序列進行小波逆變換，所得到的重構(gòu)圖像即為融合圖像。

進一步地，所述1.2.1具體為，

用一對fir濾波器實現(xiàn)多分辨率分解，不同層次濾波帶由如下關(guān)系迭代產(chǎn)生：

ha+1(k)、ga+1(k)分別表示整個無限頻帶第a+1次分解后高一級、低一級的低頻帶部分，k表示整個無限頻帶，h1、g1代表一種特定的小波，分別表示h1、g1的2^a級升采樣濾波器。

ha(k)和ga(k)是一對fir濾波器分解整個無限頻帶得到的fir序列的高一級、低一級的低頻帶部分，該序列可以用來構(gòu)造用于分解一個信號的小波，定義一個離散縮放函數(shù)一個離散小波函數(shù)ψi,j(k)，i為縮放因子，j為平移量，公式如下：

由公式(2)和(3)得到一個小波標(biāo)準(zhǔn)正交基s^dwt：

s^dwt＝{φn,j,ψ1,j,ψ2,j,...,ψn,j}(4)

以下j為整數(shù)，φn,j是以n為縮放因子，j為平移量的縮放函數(shù)，ψ1,j,ψ2,j,...,ψn,j分別是以1,2，…n為縮放因子，b為平移量的一組離散小波函數(shù)。

離散信號m(k)可用尺度函數(shù)和小波函數(shù)來描述，其中s(n)(j)是縮放因子為n，j為平移量的小波系數(shù),d(i)(j)是縮放因子為i，j為平移量的小波系數(shù)：

每進行一次二維小波變換，會產(chǎn)生四個頻帶，即ll，lh，hl和hh；一個n層的離散小波變換最終產(chǎn)生3n+1個不同的頻帶，包括3n個高頻帶和

一個低頻帶ll，形成一個金字塔形的層次分解結(jié)構(gòu)。

進一步地，所述步驟一1.3具體為，

多項式回歸模型如下所示：

其中，x0、y0、z0表示回歸的目標(biāo)數(shù)值，x、y、z表示實際的輸入值，通過實際獲得的目標(biāo)值和輸入值，利用最小二乘法求出方程式中的系數(shù)，這些系數(shù)代表著從輸入值到目標(biāo)值的映射；

每一種顏色作為一個三維向量，還原模型即是輸入一個三維向量，輸出也是一個三維向量；則“x”表示輸入向量的三維分量{x,y,z}；

“xy”表示輸入向量分量的交叉組合{xy,yz,zx}；

“x²”表示輸入向量分量的平方{x²,y²,z²}；

“x³”表示輸入向量分量的立方{x³,y³,z³}；

“x³y”表示輸入向量的分量平方和一次項組合{x²y,x²z,y²x,y²z,z²y}；

設(shè)蒙塞爾標(biāo)準(zhǔn)色板第i個色塊的顏色三刺激值為x0i,y0i,z0i，在我們定義的標(biāo)準(zhǔn)采集環(huán)境下采集的色塊的顏色三刺激值為xi,yi,zi(1≤i≤24)則：

多項式回歸矩陣的元素vki(k＝1,2,3,...,u)由xi,yi,zi的多項式組成，共十項(u＝10)

如下：{1,x,y,z,xy,xz,yz,x²,y²,z²}

矩陣形式為m＝a^t·v其中m是維數(shù)為3×n色標(biāo)在標(biāo)準(zhǔn)環(huán)境下采集的顏色三刺激值矩陣

a是維數(shù)為3×j的轉(zhuǎn)換系數(shù)矩陣：

v是維數(shù)為n×j的多項式回歸矩陣：

矩陣a可利用最小二乘法優(yōu)化得到，即使下式達到最小，

qx、qy、qz為中間計算結(jié)果，對于qx，取qx分別關(guān)于a11,a12,...,a1j的偏導(dǎo)數(shù)，令它們?yōu)榱?，為計算方便，引入存放蒙塞爾?biāo)準(zhǔn)色板第i(imax＝n)個色塊顏色三刺激值之一x0i的矩陣x，轉(zhuǎn)換系數(shù)矩陣ax，得到：

由于

v^t是維數(shù)為j×n的多項式回歸矩陣v的轉(zhuǎn)置矩陣；

于是

v·v^t·ax＝v·x(14)

同理可以推導(dǎo)出

得回歸后圖像各象素顏色三刺激值，實現(xiàn)圖像色彩還原；

在公式(15)兩邊左乘v.v^t的逆矩陣，(v·v^t)^-1·v·m^t，a即為所求的模型參數(shù)，a^t為所求的模型參數(shù)的轉(zhuǎn)置；

將a代入式mstd＝a^t·voth；其中，mstd是還原后圖像的顏色三刺激值矩陣；voth是由其他采集環(huán)境下采集圖像的顏色三刺激值對應(yīng)的多項式的項所構(gòu)成的矩陣；選擇不同多項式的項的組合，然后針對色板提取的色塊進行色彩還原，得到每個組合的色差均值，通過比較得到組合回歸效果最好的多項式組合。

進一步地，所述步驟一1.4灰度圖像處理方法為，將灰度紋理圖像進行g(shù)auss濾波，并將反映紋理信息的高頻頻譜作為高度圖，分別應(yīng)用胡克定律和摩擦力公式計算虛擬探針對紋理表面作用的法向力和摩擦力。

fi,j為像素pi和pj之間的像素交互力，計算如下：

fi,j＝k(qi,qj)·d(ti,tj)ri,j(16)

qi和qj為像素pi和pj的顏色向量；ti和tj為像素pi和pj的位置坐標(biāo)，k(qi,qj)是表征2個像素顏色差異的函數(shù),d(ti,tj)是表征2個像素空間關(guān)系的函數(shù),ri,j是由pi指向pj的單位向量；

像素pi處切向力fh為：

fh＝ke·fi,j(17)

ke是根據(jù)冷暖色調(diào)的脹縮感的不同，定義的脹縮感系數(shù)；

約束空間h計算方式如下：

h＝hhue+hvalue(18)

hhue是色調(diào)決定的約束空間、hvalue是由亮度決定的約束空間；

法向力fv計算方式如下：

fv＝w·(h-z),(z≤h)(19)

w是碰撞的剛度系數(shù)，z表示小球(虛擬探針)的z坐標(biāo)；

合力f計算方式如下：

f＝fh+fv(z≤h)(20)

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點和效果：本發(fā)明的方法在對紋理圖像進行灰度處理之前，進行彩色圖像的顏色還原，盡量減少彩色圖像色差，增加力觸覺再現(xiàn)的真實感，使虛擬圖像更真實逼真，做到高仿真還原。

附圖說明

圖1是本發(fā)明的基于圖像灰度恢復(fù)形狀技術(shù)的紋理力觸覺再現(xiàn)方法的流程圖。

圖2是本發(fā)明的把一個信號用濾波帶的方式分解的方法流程圖(濾波帶分解樹)。

圖3是本發(fā)明的三層二維離散小波變換的結(jié)構(gòu)。

圖4是本發(fā)明的基于小波融合的基本步驟示意圖。

圖5是本發(fā)明的各種多項式還原色差的均值表。

圖6是本發(fā)明的各種多項式還原后的色差和方差圖。

具體實施方式

下面結(jié)合附圖并通過實施例對本發(fā)明作進一步的詳細說明，以下實施例是對本發(fā)明的解釋而本發(fā)明并不局限于以下實施例。

如圖1所示，本發(fā)明的基于圖像灰度恢復(fù)形狀技術(shù)的紋理力觸覺再現(xiàn)方法，包含以下步驟：

步驟一：從單幅圖像中恢復(fù)三維輪廓；

1.1對采集設(shè)備進行色彩校正利用采集設(shè)備從不同角度采集彩色圖像；

首先，我們需要對采集設(shè)備進行色彩校正。校正的一個簡便易行的辦法就是在采集掌紋圖像樣本的同一空間位置中，通過拍攝標(biāo)準(zhǔn)色板，再通過比較拍攝前后色板顏色誤差的方法來校正。蒙塞爾(munsell)色板是依據(jù)蒙塞爾最初創(chuàng)立的一套色彩校正的色塊，符合cie關(guān)于d65照明的要求，其中包含了日常所見的各種顏色，并用cie-xyz色彩空間定量表示顏色和亮度值。

圖像采集包含：

采集設(shè)備模型，設(shè)計采集系統(tǒng)的目的是為了在整個信息處理過程中，在現(xiàn)有條件下，前期采集的數(shù)據(jù)盡可能的滿足后期的處理要求，或者最大化信息的獲取。采樣設(shè)備的設(shè)計必須從整個采集環(huán)境進行考慮。顯而易見，這個系統(tǒng)模型由三個模塊組成：光源、目標(biāo)被攝體、采集設(shè)備三部分。這三部分中，光源為信息媒介發(fā)射模塊，能夠攜帶信息的光線通過其發(fā)出；被攝體則為信息提供模塊，其生物特征信息的傳達通過對入射光線的反射來實現(xiàn)；采集設(shè)備則是光學(xué)信號的獲取裝置，攜帶了信息的光信號被其接收，轉(zhuǎn)化成可處理的電信號。

目標(biāo)被攝體，目標(biāo)被攝體是指所要采集信息的對象。目標(biāo)被攝體的特征經(jīng)過光的照射后，光線被反射形成了攜帶有信息的光信號。

照明光源，光源是采集模型系統(tǒng)的初始化部分。光源的屬性有很多，我們只從能夠影響實驗結(jié)果的角度考慮。其中，固有屬性包括時間連續(xù)性、亮度、色溫、和顯色性。作為一種發(fā)射——反射系統(tǒng)而言，光源的附加屬性還應(yīng)當(dāng)有光源面積、光照強度和對于被攝體而言的等效光照角度等。附加屬性相對于固有屬性來說，是一種可調(diào)節(jié)的屬性，可以在一定范圍內(nèi)進行精細的參數(shù)調(diào)節(jié)。由于我們一旦選定一個光源，其固有屬性便已經(jīng)確定，因此我們在這里只著重討論附加屬性的改變對于采集系統(tǒng)模型的影響。

采集器件，采集器件是用于接收載有信息的光線的設(shè)備，光信號通過這個模塊量化、離散化而轉(zhuǎn)化成計算機可以處理的信息。一般來講，常見的光信號采集器件有以下幾種：攝像機、ccd攝像頭、數(shù)碼相機、平板掃描儀。其中，攝像機和ccd攝像頭是對光信號進行連續(xù)采集的設(shè)備，采集結(jié)果是一系列動態(tài)視頻或者圖像序列；數(shù)碼相機和掃描儀則是進行靜態(tài)圖像采集的設(shè)備。不同的是，在形成圖像的過程中，數(shù)碼相機的圖像生成方式是并行的，也即所有的像素是同時形成的，而掃描儀則是通過采集機構(gòu)的機械移動來進行串行采集。

光源，國際照明委員會(cie)推薦用d55(相關(guān)色溫5503k)，d65(相關(guān)色溫6504k)，d75(相關(guān)色溫7504k)的相對光譜功率分布作為代表日光的標(biāo)準(zhǔn)照明體。同時為了促進色度學(xué)的標(biāo)準(zhǔn)化，cie建議在可能的情況下盡量應(yīng)用d65代表日光，在不能應(yīng)用d65時則盡量應(yīng)用d55和d75。d65光源具有良好得顯色性，其光譜能量分布代表300－830納米光譜范圍內(nèi)的天然日光。因此，圖像采集設(shè)備應(yīng)盡量選擇光譜分布曲線與日光相似，顯色指數(shù)較大(顯色指數(shù)越大，顯色性越好，其最大值為100)，具有較好顯色性的光源，作為圖像采集的照明光源。

采集環(huán)境，最終的拍攝環(huán)境是一個封閉環(huán)境，隔絕外界環(huán)境光線，同時使用黑色絨布做吸收光線處理，避免對拍攝造成雜光干擾。圖1是這一實現(xiàn)過程的示意圖，a和b為兩只規(guī)格完全相同的電子閃光燈，并且使用了燈箱作為柔光罩。水平方向上它們?yōu)橄嗷ゴ怪标P(guān)系，在豎直方向上，它們則與被拍攝對象所在平面成45度角度，確保能夠使紋理細節(jié)更加強烈。大量的實驗結(jié)果分析可以證明正交方向的光照方向能夠互補的加強紋理兩個方向上的細節(jié)。為了使獲取的圖像提供給后續(xù)章節(jié)進行圖像融合操作，應(yīng)使每一次拍攝的兩幅圖像具備嚴(yán)格的配準(zhǔn)。也即，兩幅圖像在同一位置對應(yīng)的物理部分應(yīng)該相一致。

綜上所述，采集設(shè)備特點如下：

全封閉的采集環(huán)境，杜絕了外界光線的干擾；光源具有高亮度和穩(wěn)定的標(biāo)準(zhǔn)顏色色溫；采用柔光燈箱進行散射達到均勻照明，并有利于反映細節(jié)紋理；雙方向光源進行極短時間內(nèi)正交照明，連續(xù)獲取同一對象的兩幅不同圖像；使用高分辨率的鏡頭，能夠進行細致觀察采樣；使用高成像像素的數(shù)字相機機身進行聯(lián)機拍攝，達到很高的實時性。

本發(fā)明的采集設(shè)備精度很高，可以高質(zhì)量的采集和保存細節(jié)紋理。在這樣的環(huán)境下采集的彩色圖像，將作為后面模塊中色彩還原的基礎(chǔ)圖像，在去掉與設(shè)備相關(guān)的顏色及亮度偏差后，在色彩和亮度上統(tǒng)一到國際照明委員會規(guī)定的標(biāo)準(zhǔn)空間，同時在最后的圖像融合模塊中，高質(zhì)量的雙方向照明圖像又是融合的基礎(chǔ)前提。對采集來的樣本進行色彩還原，使得最終的樣本圖像除去與設(shè)備相關(guān)的顏色及亮度偏差。

1.2對彩色圖像進行融合；

從兩個或多個輸入的源圖像合成一個單獨的圖像，那么這個圖像應(yīng)該含有更多的信息，因此對人或者機器的感覺來說更為有用。一般來說，圖像融合的各個輸入圖片為同一場景的不同描繪。圖像融合的兩大好處：提高了可靠性，同時增加了可用性。融合后的圖像對于后續(xù)的圖像處理如圖像分割，特征提取和物體識別應(yīng)該更有幫助。用一句話來說，圖像融合要解決的問題就把來自不同圖像的信息結(jié)合在一起，結(jié)合的圖像包含了更多有用的信息，同時在質(zhì)量上應(yīng)該比源圖像優(yōu)秀。

通過前面的采集模塊的工作，我們獲得了彩色圖像，在顏色和亮度上都回歸到國際照明組織規(guī)定的色彩和亮度空間。同時，每一組圖像都是兩幅，分別為沿紋理的水平和豎直方向照明得到的照片。本發(fā)明引入圖像融合技術(shù)，把兩幅描述同一紋理的角度的圖像融合到一起，得到一幅包含更多信息，更為可靠的圖片，為后續(xù)操作提供高質(zhì)量的分析對象。在發(fā)明中，我們主要使用基于小波變換的圖像融合方法。

基于小波的融合方法在對圖像紋理的保存上要有明顯的優(yōu)勢，比較適合于進行圖像融合研究。因為它是一種多尺度多分辨率的方式，能夠適合處理不同的圖像分辨率；同時對圖像的操作在變換域進行；基于小波變換圖像融合關(guān)鍵的一步是系數(shù)結(jié)合，即找到一個合適的方式融合系數(shù)，以獲得最好的融合圖像質(zhì)量。系數(shù)融合有很多策略，最簡單的就是直接對來自不同圖像的小波系數(shù)進行平均加權(quán)。

a、小波的基本原理：小波變換是多尺度分析的一個有力工具。多尺度分析需要一系列多尺度的子空間，初始的空間v0能夠被分解為低一級分辨率的子空間v1，同時v0和v1之間的差別可以用v1相對于v0的補空間w1來代表；同樣地，我們可以對v1繼續(xù)進行分解，結(jié)果為v2和v3，從原理上講，如果初始空間v0足夠光滑，可以一直分解下去。對于一個n級分解的情況，我們將得到包括一個很低分辨率的子空間v0，和n個不同的w1(i＝1,2,3,...,n)子空間，總共為n+1個子空間。每一個在v0空間的信號都可以被分解為若干個分布在各個子空間中的成分。在很多情況下，分析這些子成分要比分析初始容易得多。因此，多尺度的分析成為小波變換的優(yōu)勢，能夠通過對分解后的一系列規(guī)模較小的子圖像進行分析。

我們應(yīng)用一對濾波器來把整個無限的頻帶分為兩個子帶，然后把同樣的過程應(yīng)用到其中的低頻帶部分，這樣，就可以用一對fir濾波器實現(xiàn)上面所述的多分辨率分解。如圖2所示，是把一個信號用濾波帶的方式分解的方法流程圖。

不同層次的濾波帶可以由如下的關(guān)系迭代產(chǎn)生：

我們首先要做的就是找到h1和g1，來代表一種特定的小波。

b、離散小波變換：hi和gi構(gòu)成的fir序列可以用來構(gòu)造用于分解一個信號的小波。為了這個目的，我們定義一個離散的縮放函數(shù)和一個離散的小波函數(shù)如下(以下i，j都為整數(shù))：

由公式(2)和(3)得到一個小波標(biāo)準(zhǔn)正交基s^dwt：

s^dwt＝{φn,j,ψ1,j,ψ2,j,...,ψn,j}(4)

離散信號m(k)可用尺度函數(shù)和小波函數(shù)來描述，其中s(n)(j)是縮放因子為n，j為平移量的小波系數(shù),d(i)(j)是縮放因子為i，j為平移量的小波系數(shù)：

c、二維離散小波變換：因為圖像是一個二維信號，我們著重研究二維小波變換。如圖3所示，是三層二維離散小波變換的結(jié)構(gòu)。

每進行一次二維小波變換之后，會產(chǎn)生四個頻帶，即ll,lh,hl和hh。下一層次分解僅僅是針對ll頻帶進行進一步小波變換，這樣就形成了一個遞歸的分解過程。于是，一個n層的離散小波變換最終將產(chǎn)生3n+1個不同的頻帶，包括3n個高頻帶和一個的低頻帶ll，形成一個金字塔形的層次分解結(jié)構(gòu)。由于每次分解產(chǎn)生的低頻帶尺度都是下一級的一半，因此處于越高分解層次的頻帶在尺度上就越小。

d、基于小波的圖像融合：根據(jù)s.mallat給出的圖像的多分辨率小波分解和重構(gòu)理論，運用mallat算法可以將圖像進行多層分解，每一層分解產(chǎn)生4幅子圖像ihh，ihl，ilh，ill。ill集中了原始圖像中的主要低頻成分,ilh對應(yīng)著水平方向的高頻信息,ihl對應(yīng)著垂直方向的高頻信息，ihh對應(yīng)著圖像對角線方向的高頻信息。由于小波分解的正交特性，分解后的各部分子圖像之間相互獨立，沒有相關(guān)性，這樣，圖像經(jīng)過小波分解后其頻率特性得到有效分離。對輸入的源圖像ia和ib實施小波分解，得到各自的低頻圖像和高頻細節(jié)圖像；它們各自的低頻圖像iall和ibll還可以進一步分解，可以得到更多層次的細節(jié)分量。一般來說，經(jīng)過n級小波分解的圖像，一般得到3n+1個不同的子圖，其中高頻子圖有3n個，低頻子圖只有第n級的一個。原理上來說，一幅圖像可以進行n級分解，直到第n級低頻子圖尺度為一個像素；但實際操作上來說，分解層次越多，頂層的損失量就會增加，而且為小波逆變換所不能恢復(fù)的損失，同時恢復(fù)出的圖像會有副效應(yīng)如邊緣方塊化，細節(jié)丟失等?；谛〔ㄗ儞Q圖像融合方法的基本結(jié)構(gòu)如圖4所示。以兩幅圖像融合為例，對于多幅圖像融合的方法可以由此類推。設(shè)ia和ib為兩幅原始圖像，if為融合后的圖像。融合的基本步驟如下：對每一幅圖像分別進行小波變換，建立小波塔形分解；對各層分解子圖進行融合處理，各分解層的不同頻率分量采用不同的融合算子進行融合處理和一致性檢驗，最終得到融合后的小波金字塔；對融合后所得到的小波金字塔序列進行小波逆變換，所得到的重構(gòu)圖像即為融合圖像。

如圖4所示，在整個融合過程中，核心部分就是對系數(shù)的融合規(guī)則。圖像融合一般由低到高可分為三個層次：數(shù)據(jù)級融合、特征級融合和決策級融合。基于像素的融合規(guī)則在融合處理時對邊緣很敏感，在預(yù)處理階段對圖像對準(zhǔn)要求十分嚴(yán)格，否則處理結(jié)果不理想。基于特征級別的融合方法考慮了與鄰近像素間的相關(guān)性，降低了對邊緣的敏感性。通過比較源圖像和融合并提取后的紋線圖像可以看到，融合后的圖像不僅在視覺效果上質(zhì)量很高，在紋理的提取的結(jié)果上也要優(yōu)于任何一幅源圖像，可以認為基于小波的融合達到了盡可能最大化紋理信息融合的目標(biāo)。

1.3采取基于多項式回歸的色彩還原方法對拍攝圖像進行還原；

經(jīng)過提取色塊、色彩空間轉(zhuǎn)換等預(yù)處理，得到各色塊在標(biāo)準(zhǔn)環(huán)境下的顏色值，以此作為訓(xùn)練數(shù)據(jù)來訓(xùn)練色彩還原模型。選擇使用最小二乘法的多項式回歸方法來處理圖像色彩的還原。(之所以使用基于多項式的回歸方式，是因為對比其他色彩還原方式，其計算復(fù)雜度較低，又能提供一個相對滿意的回歸精度，適合進行大規(guī)模的樣本處理)在實際問題中，隨機變量y往往與多個自變量x0,x1,x2,...,xp(p>1)相關(guān)。對于自變量x0,x1,x2,...,xp的一組確定的值，y有它的分布。若y的數(shù)學(xué)期望存在，則它是x0,x1,x2,...,xp的函數(shù)，它是y關(guān)于x的回歸。

a、多項式模型的選擇

多項式回歸的原理就是利用一組方程組，對輸入的x0,x1,x2,...,xp個自變量通過選擇項組合，生成更高的d維的輸入數(shù)據(jù)，這些數(shù)據(jù)通過線性組合，對目標(biāo)數(shù)據(jù)進行擬合，同時在這個過程中求出方程組的系數(shù)。最簡單的多項式回歸模型如下式所示：

這里x0,y0,z0表示回歸的目標(biāo)數(shù)值，x,y,z表示實際的輸入值，通過實際獲得的目標(biāo)值和輸入值，利用最小二乘法求出方程式中的系數(shù)。這些系數(shù)就代表著從輸入值到目標(biāo)值的映射，是還原中的關(guān)鍵步驟。

本發(fā)明為顏色的還原，每一種顏色作為一個三維的向量，還原模型即是輸入一個三維向量，輸出也是一個三維向量；則“x”表示輸入向量的三維分量{x,y,z}；

“xy”表示輸入向量分量的交叉組合{xy,yz,zx}；

“x²”表示輸入向量分量的平方{x²,y²,z²}；

“x³”表示輸入向量分量的立方{x³,y³,z³}；

“x³y”表示輸入向量的分量平方和一次項組合{x²y,x²z,y²x,y²z,z²y}；

從實際的還原圖效果，和基于計算復(fù)雜性考慮，可以不必考慮四次以上的項。實際實驗表明，當(dāng)出現(xiàn)三次及以上項的時候，運算速度非常慢。

b、多項式回歸的實現(xiàn)：

設(shè)蒙塞爾標(biāo)準(zhǔn)色板第i個色塊的顏色三刺激值為x0i,y0i,z0i，在我們定義的標(biāo)準(zhǔn)采集環(huán)境下采集的色塊的顏色三刺激值為xi,yi,zi(1≤i≤24)則：

多項式回歸矩陣的元素vki(k＝1,2,3,...,u)由xi,yi,zi的多項式組成，共十項(u＝10)

如下：{1,x,y,z,xy,xz,yz,x²,y²,z²}

矩陣形式為m＝a^t·v其中m是維數(shù)為3×n色標(biāo)在標(biāo)準(zhǔn)環(huán)境下采集的顏色三刺激值矩陣

a是維數(shù)為3×j的轉(zhuǎn)換系數(shù)矩陣：

v是維數(shù)為n×j的多項式回歸矩陣：

矩陣a可利用最小二乘法優(yōu)化得到，即使下式達到最小，

qx、qy、qz為中間計算結(jié)果，對于qx，取qx分別關(guān)于a11,a12,...,a1j的偏導(dǎo)數(shù)，令它們?yōu)榱?，為計算方便，引入存放蒙塞爾?biāo)準(zhǔn)色板第i(imax＝n)個色塊顏色三刺激值之一x0i的矩陣x，轉(zhuǎn)換系數(shù)矩陣ax，得到：

由于

v^t是維數(shù)為j×n的多項式回歸矩陣v的轉(zhuǎn)置矩陣；

于是

v·v^t·ax＝v·x(14)

同理可以推導(dǎo)出

得回歸后圖像各象素顏色三刺激值，實現(xiàn)圖像色彩還原；

在公式(15)兩邊左乘v.v^t的逆矩陣，(v·v^t)^-1·v·m^t，a即為所求的模型參數(shù)，a^t為所求的模型參數(shù)的轉(zhuǎn)置；

將a代入式mstd＝a^t·voth；其中，mstd是還原后圖像的顏色三刺激值矩陣；voth是由其他采集環(huán)境下采集圖像的顏色三刺激值對應(yīng)的多項式的項所構(gòu)成的矩陣；如圖5所示，選擇不同多項式的項的組合，然后針對色板提取的色塊進行色彩還原，如圖6所示，得到每個組合的色差均值，通過比較得到組合回歸效果最好的多項式組合。

在實際色彩還原過程中，關(guān)鍵是利用蒙塞爾(munsell)標(biāo)準(zhǔn)色板中色塊顏色的三刺激值，以及對應(yīng)色塊在我們定義的采集環(huán)境下采集顏色的三刺激值，來確定回歸模型的參數(shù)。在這里，轉(zhuǎn)換進行的空間為cie-rgb空間，這樣做的好處是計算量較小，且我們后續(xù)所有處理過程都在rgb空間中進行，同時避免了過多的轉(zhuǎn)換造成數(shù)據(jù)精確度的損失。這樣，經(jīng)過多項式回歸算法還原之后的圖像，顏色和亮度已經(jīng)在一定精度上回歸到cie標(biāo)準(zhǔn)照明下的色彩空間。這樣做的好處是，在設(shè)定了標(biāo)準(zhǔn)采集環(huán)境之后，所有的采集圖像都可以通過關(guān)系式mstd＝a^t·voth進行色彩還原，在一定精度上色彩和亮度上回歸到標(biāo)準(zhǔn)色彩空間。

1.4把不同角度圖像處理成灰度圖像,并對灰度圖像進行融合；

經(jīng)過前面幾個步驟，對彩色圖像進行灰度處理時，本專利運用了吳涓和宋愛國等提出的將灰度紋理圖像進行g(shù)auss濾波，并將反映紋理信息的高頻頻譜作為高度圖，分別應(yīng)用胡克定律和摩擦力公式計算虛擬探針對紋理表面作用的法向力和摩擦力的方法。

1.5建立光反射模型；

1.6依據(jù)灰度和光反射模型建立方程,求出表面各點的高度；

1.7建立虛擬表面三角網(wǎng)格模型；

步驟二：用紋理力觸覺模型對虛擬表面進行力觸覺渲染：

2.1應(yīng)用aabb碰撞檢測算法檢測虛擬探針是否與虛擬表面碰撞；

2.2依據(jù)紋理力觸覺模型計算微觀法向力和摩擦力,用通用手控器輸出。

本發(fā)明采集設(shè)備模塊通過采用多方向照明的方式，取得紋理在不同光照下的圖像，在功能上負責(zé)獲取多方向照明的紋理圖像；圖像還原模塊在選擇灰度模式工作時，對采集來的圖像進行灰度轉(zhuǎn)換，獲得細節(jié)和紋理清晰的灰度圖像；選用彩色模式工作時，則對彩色圖像進行色彩還原，使采集的樣本在色彩和亮度回歸到cie標(biāo)準(zhǔn)照明空間。圖像融合模塊部分則是對圖像還原模塊處理后的灰度圖像和彩色圖像進行圖像融合，得到融合了多幅圖像信息的、包含了大量細節(jié)的紋理圖像。得到的灰度圖像再運用吳涓和宋愛國等提出的將灰度紋理圖像進行g(shù)auss濾波，并將反映紋理信息的高頻頻譜作為高度圖，分別應(yīng)用胡克定律和摩擦力公式計算虛擬探針對紋理表面作用的法向力和摩擦力的方法。

fi,j為像素pi和pj之間的像素交互力，計算如下：

fi,j＝k(qi,qj)·d(ti,tj).ri,j(16)

qi和qj為像素pi和pj的顏色向量；ti和tj為像素pi和pj的位置坐標(biāo)，k(qi,qj)是表征2個像素顏色差異的函數(shù),d(ti,tj)是表征2個像素空間關(guān)系的函數(shù),ri,j是由pi指向pj的單位向量；

像素pi處切向力fh為：

fh＝ke·fi,j(17)

ke是根據(jù)冷暖色調(diào)的脹縮感的不同，定義的脹縮感系數(shù)；

約束空間h為：

h＝hhue+hvalue(18)

hhue是色調(diào)決定的約束空間、hvalue是由亮度決定的約束空間；

法向力fv計算方式如下：

fv＝w·(h-z),(z≤h)(19)

w是碰撞的剛度系數(shù)，z表示小球(虛擬探針)的z坐標(biāo)；

合力f為：

f＝fh+fv(z≤h)(20)。

本說明書中所描述的以上內(nèi)容僅僅是對本發(fā)明所作的舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實施例做各種修改或補充或采用類似的方式替代，只要不偏離本發(fā)明說明書的內(nèi)容或者超越本權(quán)利要求書所定義的范圍，均應(yīng)屬于本發(fā)明的保護范圍。