內(nèi)容感知顯示適應(yīng)方法
【專(zhuān)利摘要】本發(fā)明提供一種適用于立體圖像的內(nèi)容感知顯示適應(yīng)方法。首先，估計(jì)立體圖像的特征地圖。每一立體圖像以一格網(wǎng)表示，并可根據(jù)特征地圖測(cè)量四元重要性。然后，檢測(cè)并匹配立體圖像之間的特性。根據(jù)特征地圖、匹配特性、格網(wǎng)的數(shù)據(jù)，以及目標(biāo)顯影的規(guī)格，可定義一能量函數(shù)。能量函數(shù)包括至少一視差一致能量或(且)至少一對(duì)齊能量。再最小化能量函數(shù)，以取得立體圖像的變形頂點(diǎn)位置的二集合?？刂浦笜?biāo)是顯示于一操作界面上，并藉由一觸控顯示界面進(jìn)行調(diào)整，使得能量函數(shù)可據(jù)以進(jìn)行修正，而對(duì)應(yīng)的變形立體圖像能進(jìn)行顯示。
【專(zhuān)利說(shuō)明】?jī)?nèi)容感知顯示適應(yīng)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像顯示適應(yīng)（Image Display Adaptation)技術(shù)，特別涉及一種 內(nèi)容感知（Content-aware)顯示適應(yīng)方法、相關(guān)的編輯界面，以及相關(guān)的立體圖像方法。

【背景技術(shù)】
[0002] 立體設(shè)備的快速配置，例如：顯示器和相機(jī)，將迅速地引領(lǐng)出使用者需求，使其能 藉由與操控2D媒體（2D Media)相似的方式來(lái)操控立體媒體（Stereoscopic Media)。立 體媒體所帶來(lái)的不僅是多出的軸，還有額外的娛樂(lè)效果，然而，為了創(chuàng)造出舒適且愉快的 3D (Three Dimensional)體驗(yàn)，立體媒體也面臨更多挑戰(zhàn)及限制。由于這些限制并未被特別 重視，若僅單純地將現(xiàn)有的2D媒體操控算法進(jìn)行延伸，則往往無(wú)法提供令人舒適的3D觀賞 經(jīng)驗(yàn)。因此，通常會(huì)需要不一樣的調(diào)整方式來(lái)容納這些新的限制，以及利用此新的機(jī)會(huì)。
[0003] 大部分立體顯示依照立體視覺(jué)的規(guī)則，其中，人類(lèi)的眼睛水平地分離，而當(dāng)一圖像 投影在左右視網(wǎng)膜上時(shí)，此分離會(huì)導(dǎo)致視差（Interocular Difference)產(chǎn)生。當(dāng)適合的 一圖像展示在每一眼睛前時(shí)，人類(lèi)藉由融合左右圖像來(lái)感測(cè)出其深淺。立體圖像的融合不 僅依賴(lài)適當(dāng)?shù)娘@示校正，也更需倚靠左右圖像之間的完美匹配才能達(dá)成。圖像對(duì)不匹配， 或是雙目不對(duì)稱(chēng)，都可能引起嚴(yán)重的視覺(jué)不舒適感。在情形嚴(yán)重時(shí)，使用者會(huì)感受到"復(fù)視 (Diplopia) "（雙重圖像），其3D圖像的感知力將被完全破壞，且出現(xiàn)高度錯(cuò)誤。即使使用 者可以感受到一致的3D視野，仍須努力解決由于雙目不夠理想所衍生的沖突問(wèn)題，例如 ： 疲倦感、視覺(jué)疲勞、頭痛，同時(shí)須減少其現(xiàn)實(shí)感（Realism)。如此不匹配的情況通常是由于不 對(duì)稱(chēng)的光學(xué)幾何，或是光度特性（Photometric Characteristics)所引起。例如，若左右圖 像在水平方向未對(duì)齊，則使用者會(huì)體驗(yàn)到觀賞時(shí)的不舒適感。
[0004] 由于顯示解析度和長(zhǎng)寬比充滿多樣性，與2D媒體相似的是，雙眼視覺(jué)圖像在不同 裝置上仍須經(jīng)調(diào)整才能適當(dāng)?shù)仫@示。除了調(diào)整裝置解晰度和長(zhǎng)寬比（在屏幕平面上重新沿 著X和y方向進(jìn)行定位），對(duì)于立體顯示而言，我們通常必須使圖像適應(yīng)其舒適區(qū)域（亦即， 沿著z方向進(jìn)行深淺調(diào)整，而z方向與顯示器垂直）。除了適應(yīng)不同顯示器，具有超深度范 圍的雙眼視覺(jué)圖像通常也需要深淺調(diào)整（Depth Adaptation)。
[0005] 近年來(lái)，2D圖像和影片重新定位的問(wèn)題已經(jīng)得到關(guān)注。亦即，其是指使得圖像 或影片能適應(yīng)不同尺寸和長(zhǎng)寬比的顯示器。由于傳統(tǒng)的縮放和修裁的方式容易引起嚴(yán) 重失真和信息遺失的問(wèn)題，現(xiàn)代的內(nèi)容感知方法已更考慮圖像的特征分布（Saliency Distribution)，并嘗試維持其特征不受影響。此種方法可以大致劃分為離散方法或連續(xù)方 法。接縫雕刻（Seam Carving)方法為已知的一種離散方法，其使用動(dòng)態(tài)程序以找出最佳接 縫，并將此最佳接縫由一圖像中移除，此方法是根據(jù)該圖像的一特征地圖（Saliency Map) 來(lái)完成。一接縫是指像素（Pixels)的一路徑，其可由上至下或邊緣至邊緣。然而，由于其 離散特性，這些方法無(wú)法完整地保存結(jié)構(gòu)物件，而容易造成擾人的偽影（Artifacts)。對(duì)于 連續(xù)方法而言，幾種翅曲基礎(chǔ)（Warping-based)方法已被提出。這些方法將重新定位視為 一種網(wǎng)格（Mesh)形變或翅曲的問(wèn)題，其中，突出區(qū)域（Prominent Region)受到壓抑，使得 其形狀被盡可能地保存，但是較少特征的區(qū)域?qū)⒖赡芨邮д?。最佳翹曲場(chǎng)通常藉由最小 化特定能量函數(shù)來(lái)取得。然而，直接應(yīng)用這些2D內(nèi)容感知重新定位算法至雙眼視覺(jué)圖像， 往往又會(huì)引起視覺(jué)不適感，這是由于輸入端的雙眼視差線索（Binocular Disparity Cue) 無(wú)法被適當(dāng)?shù)乇４嫦聛?lái)。另外，立體內(nèi)容會(huì)沿著深度軸引入額外的一重新定位軸。
[0006] 對(duì)于沿著深度軸作重新定位，或是在3D內(nèi)容中控制深淺感知，立體顯示技術(shù) 的研究者已提出各種技術(shù)，例如：假眼分離（False Eye Separation)、α-假眼分離 (Alpha-False Eye Separation)、圖像縮放、圖像平移，以及檢視縮放等等。不幸的是，這些 方法中沒(méi)有一項(xiàng)屬于內(nèi)容感知，因此它們可能引起圖像平面上的大量失真。因?yàn)榇蟛糠址?法是使用全球圖像轉(zhuǎn)換（Global Image Transformation),它們對(duì)于深淺和視差的控制將 受到局限。例如，使用均勻適應(yīng)（Uniform Adaptation)的方法將均勻地對(duì)于一圖像進(jìn)行縮 放。然而，若水平和垂直縮放系數(shù)不同，則此方法將引起物件形狀失真。另外，感知的深度 范圍亦將隨著縮放系數(shù)而變化。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明提供一種內(nèi)容感知顯示適應(yīng)方法。本發(fā)明首先檢測(cè)多個(gè)耐用對(duì)應(yīng)點(diǎn) (Robust Correspondence Points)的一稀疏集合（Sparse Set)，然后根據(jù)復(fù)數(shù)目標(biāo)顯示 參數(shù)、對(duì)應(yīng)限制條件、以及其他用于防止結(jié)果扭曲的限制條件，來(lái)最佳化一圖像對(duì)（Image Pair)的多個(gè)翅曲場(chǎng)（Warping Field)。本發(fā)明的方法可達(dá)成各種重新定位（Retargeting) 方案，其包括：改變顯示尺寸、長(zhǎng)寬比、可接受深度范圍，以及觀賞組態(tài)。本發(fā)明也可達(dá)成傳 統(tǒng)深度適應(yīng)方法所不支持的效果，例如：改變場(chǎng)景深度，但不影響其比例。另外，藉由模擬使 用者互動(dòng)情況作為限制條件，本發(fā)明的系統(tǒng)可延伸為一互動(dòng)立體圖像編輯系統(tǒng)。使用者可 說(shuō)明視差值（Disparity Value)或深度值（Depth Value)的轉(zhuǎn)換過(guò)程（Transformation), 而系統(tǒng)再據(jù)以彎曲（Warp) -輸入信號(hào)以產(chǎn)生一全新立體圖像。使用者也可選擇單一物件， 并說(shuō)明其位置、深度，或甚至明確的3D位置，而系統(tǒng)可自動(dòng)地辨識(shí)出其他區(qū)域的深度，并彎 曲該輸入信號(hào)以符合使用者的意圖。本發(fā)明的系統(tǒng)是第一個(gè)出現(xiàn)的內(nèi)容感知系統(tǒng)，其可以 同時(shí)支持重新定位、深度適應(yīng)，以及立體圖像的互動(dòng)式編輯功能。
[0008] 在一優(yōu)選實(shí)施例中，本發(fā)明提供一種內(nèi)容感知顯示適應(yīng)方法，適用于立體圖像，并 使用于一電子裝置中，且包括下列步驟：提供多個(gè)立體圖像，其中該等立體圖像包括至少一 圖像對(duì)，而該圖像對(duì)包括一左圖像和一右圖像；藉由一特征檢測(cè)算法（Saliency Detection Algorithm),估計(jì)該圖像對(duì)的多個(gè)特征地圖（Saliency Map);根據(jù)該等特征地圖，將每一 該等立體圖像表示為一格網(wǎng)（Grid Mesh),并測(cè)量其每四元（Each Quad)的一四元重要 性（Per-quad Importance);檢測(cè)該左圖像和該右圖像的多個(gè)特性，并在該左圖像和該右 圖像之間去匹配所檢測(cè)的該等特性；根據(jù)該等特征地圖、多個(gè)匹配特性、該等格網(wǎng)的數(shù)據(jù)， 以及一目標(biāo)顯影的規(guī)格，定義出一能量函數(shù)，其中該能量函數(shù)包括至少一視差一致能量 (Disparity Consistency Energy)，而該視差一致能量用于確保該等匹配特性的多個(gè)視差 以一致方式進(jìn)行操縱；以及最小化該能量函數(shù)，以取得該左圖像和該右圖像的多個(gè)變形頂 點(diǎn)位置（Deformed Vertex Position)的二集合。
[0009] 在一優(yōu)選實(shí)施例中，本發(fā)明提供一種內(nèi)容感知顯示適應(yīng)方法，適用于立體圖像，并 使用在一電子裝置中，且包括下列步驟：提供多個(gè)立體圖像，其中該等立體圖像包括至少一 圖像對(duì)，而該圖像對(duì)包括一左圖像和一右圖像；藉由一特征檢測(cè)算法（Saliency Detection Algorithm),估計(jì)該圖像對(duì)的多個(gè)特征地圖（Saliency Map);根據(jù)該等特征地圖，將每一 該等立體圖像表示為一格網(wǎng)（Grid Mesh),并測(cè)量其每四元（Each Quad)的一四元重要性 (Per-quad Importance);檢測(cè)該左圖像和該右圖像的多個(gè)特性，并在該左圖像和該右圖像 之間去匹配所檢測(cè)的該等特性；根據(jù)該等特征地圖、多個(gè)匹配特性、該等格網(wǎng)的數(shù)據(jù)，以及 一目標(biāo)顯影的規(guī)格，定義出一能量函數(shù)，其中該能量函數(shù)包括至少一對(duì)齊能量（Alignment Energy)，而該對(duì)齊能量用于確保該等特性在變形之后仍水平對(duì)齊于同一掃描線；以及最 小化該能量函數(shù)，以取得該左圖像和該右圖像的多個(gè)變形頂點(diǎn)位置（Deformed Vertex Position)的二集合。
[0010] 在一些實(shí)施例中，多個(gè)比例不變特性轉(zhuǎn)換（Scale Invariant Feature Transformation, SIFT)特性由該左圖像和該右圖像兩者中所檢測(cè)出來(lái)，而該等匹配特性 藉由一基礎(chǔ)矩陣來(lái)進(jìn)行發(fā)現(xiàn)和驗(yàn)證，其中該基礎(chǔ)矩陣藉由一隨機(jī)取樣共識(shí)（RANdom SAmple Consensus, RANSAC)來(lái)估計(jì)得出。在一些實(shí)施例中，該內(nèi)容感知顯示適應(yīng)方法，還包括：使 用一非最大抑制法（Non-maximum Suppression)，以由所檢測(cè)的該等特性中移除掉多個(gè)雜 波特性（Cluttered Feature)。
[0011] 在一些實(shí)施例中，該視差一致能量包括視差的一整體縮放系數(shù)（Global Scaling Factor of Disparity)和一平移系數(shù)（Shift Factor),而該整體縮放系數(shù)和平移系數(shù)用于 維持該等特性的相對(duì)深度。
[0012] 在一些實(shí)施例中，該能量函數(shù)還包括至少一對(duì)齊能量（Alignment Energy)，而該 對(duì)齊能量用于確保該等特性在變形之后仍水平對(duì)齊于同一掃描線。
[0013] 在一些實(shí)施例中，該能量函數(shù)還包括至少一扭曲能量（Distortion Energy)和 至少一線彎曲能量（Line Bending Energy),該扭曲能量用于防止每一該等格網(wǎng)內(nèi)的多個(gè) 重要四元（Important Quads)被不均勻地縮放，該線彎曲能量用于使得一原始邊緣和一 變形邊緣之間的一夾角維持盡可能地小，而該原始邊緣和該變形邊緣對(duì)應(yīng)于每四元（Each Quad)。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0014] 圖1是顯示立體圖像顯示的典型配置；
[0015] 圖2是顯示根據(jù)本發(fā)明一實(shí)施例所述的內(nèi)容感知顯示適應(yīng)方法的流程圖；
[0016] 圖3A是顯示根據(jù)本發(fā)明一實(shí)施例所述的雙眼圖像對(duì)的示意圖；
[0017] 圖3B是顯示根據(jù)本發(fā)明一實(shí)施例所述的適用于圖3A的圖像對(duì)的特征地圖的示意 圖；
[0018] 圖3C是顯示根據(jù)本發(fā)明一實(shí)施例所述的適用于圖3A的圖像對(duì)的四元重要性地圖 的不意圖；
[0019] 圖3D是顯示根據(jù)本發(fā)明一實(shí)施例所述的適用于圖3A的圖像對(duì)其具有格網(wǎng)和特征 點(diǎn)的示意圖；
[0020] 圖3E是顯示根據(jù)本發(fā)明一實(shí)施例所述的重新定位圖像對(duì)其具有變形格網(wǎng)和重置 特征點(diǎn)的示意圖；
[0021] 圖3F是顯示根據(jù)本發(fā)明一實(shí)施例所述的適用于圖3A的圖像對(duì)的重新定位圖像對(duì) 的不意圖；
[0022] 圖4是顯示根據(jù)本發(fā)明一實(shí)施例所述的編輯方法的流程圖；
[0023] 圖5A至圖?是顯示根據(jù)本發(fā)明一實(shí)施例所述的用于編輯立體圖像的操作界面的 示意圖，其中此操作界面對(duì)應(yīng)于本發(fā)明的立體圖像編輯方法。
[0024] 【符號(hào)說(shuō)明】
[0025] 5〇OL?左圖像；
[0026] 5〇OR?右圖像；
[0027] 510?操作界面；
[0028] d?圖像間距；
[0029] D?眼睛至屏幕的距離；
[0030] e?雙眼距離；
[0031] F?手指；
[0032] II、12?控制指標(biāo)；
[0033] L?左眼；
[0034] R?右眼；
[0035] S2100、S2200、S2300、S2400、S2500、S2600、S4100、S4200、S4300、S4400、S4500 ? 步驟；
[0036] X ?X 軸；
[0037] y ?y 軸；
[0038] z ?z 軸；
[0039] (xL，y)、（xK，y)、（X，Y，Z)?坐標(biāo)點(diǎn)。

【具體實(shí)施方式】
[0040] 內(nèi)容感知顯不適應(yīng)方法（Content-aware Display Adaptation Method)、相關(guān)的 編輯界面，以及相關(guān)用于立體圖像的方法將在此作介紹。
[0041] 在解釋本發(fā)明之前，立體視覺(jué)的基本模型，特別是感知深度（Perceived Depth)與 圖像視差（Image Disparity)之間的關(guān)系，將會(huì)在此作介紹，而立體圖像重新定位的問(wèn)題也 可加以公式化。
[0042] 圖1是顯示立體圖像顯示的典型配置。此處L和R分別代表一觀察者的左眼和右 目艮，e代表雙眼之間的一雙眼距離（對(duì)于成人而言，通常是6. 5cm)，而D代表至一屏幕的一 觀察距離。在不失一般性的情況下，此處假設(shè)雙眼對(duì)齊于整體坐標(biāo)的X軸，而原點(diǎn)為雙眼的 中點(diǎn)。必須注意的是，在目前的應(yīng)用中，是為了改變觀察者的視深度（Apparent Depth)(感 知深度）而作設(shè)計(jì)（必須注意的是，在一些實(shí)施例中，本說(shuō)明書(shū)中所稱(chēng)的"深度"一詞可以 是指一觀察者所觀察的"視深度"）。
[0043] 一立體顯示器傳遞不同的二個(gè)圖像至雙眼，而一觀察者的大腦融合這些圖像以達(dá) 成3D感知。因此，為了在3D空間中感知在[X P，YP，ZP]T的一點(diǎn)P，其在左圖像（Left Image) 上的投影為，

【權(quán)利要求】
1. 一種內(nèi)容感知顯示適應(yīng)方法，適用于立體圖像，并使用在電子裝置中，且包括下列步 驟： 提供多個(gè)立體圖像，其中所述立體圖像包括至少一圖像對(duì)，而該圖像對(duì)包括左圖像和 右圖像； 藉由特征檢測(cè)算法（Saliency Detection Algorithm),估計(jì)該圖像對(duì)的多個(gè)特征地圖 (Saliency Map)； 根據(jù)所述特征地圖，將每一所述立體圖像表示為格網(wǎng)（Grid Mesh)，并測(cè)量其每四元 (Each Quad)的一四兀重要性（Per-quad Importance); 檢測(cè)該左圖像和該右圖像的多個(gè)特性，并在該左圖像和該右圖像之間去匹配所檢測(cè)的 所述特性； 根據(jù)所述特征地圖、多個(gè)匹配特性、所述格網(wǎng)的數(shù)據(jù)，以及目標(biāo)顯影的規(guī)格，定義出能 量函數(shù)，其中該能量函數(shù)包括至少一視差一致能量（Disparity Consistency Energy),而 該視差一致能量用于確保所述匹配特性的多個(gè)視差以一致方式進(jìn)行操縱；以及 最小化該能量函數(shù)，以取得該左圖像和該右圖像的多個(gè)變形頂點(diǎn)位置（Deformed Vertex Position)的二集合。
2. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中該特征檢測(cè)算法包括一圖形基礎(chǔ) 視覺(jué)特征算法。
3. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中每四元的該四元重要性的測(cè)量步 驟藉由根據(jù)所述特征地圖來(lái)平均及標(biāo)準(zhǔn)化一前像素特征（Pre-pixel Saliency)而執(zhí)行。
4. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中多個(gè)比例不變特性轉(zhuǎn)換（Scale Invariant Feature Transformation，SIFT)特性由該左圖像和該右圖像兩者中所檢測(cè)出 來(lái)，而所述匹配特性藉由基礎(chǔ)矩陣來(lái)進(jìn)行發(fā)現(xiàn)和驗(yàn)證，其中該基礎(chǔ)矩陣藉由隨機(jī)取樣共識(shí) (RANdom SAmple Consensus，RANSAC)來(lái)估計(jì)得出。
5. 如權(quán)利要求4所述的內(nèi)容感知顯示適應(yīng)方法，還包括： 使用非最大抑制法（Non-maximum Suppression)，以由所檢測(cè)的所述特性中移除掉多 個(gè)雜波特性（Cluttered Feature)。
6. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中最小化該能量函數(shù)的步驟藉由解 出該能量函數(shù)之一最小平方法（Least-square)問(wèn)題而執(zhí)行。
7. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中該視差一致能量包括視差的一整 體縮放系數(shù)（Global Scaling Factor of Disparity)和一平移系數(shù)（Shift Factor)，而該 整體縮放系數(shù)和和平移系數(shù)用于維持所述特性的相對(duì)深度。
8. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中該能量函數(shù)還包括至少一對(duì)齊能 量（Alignment Energy),而該對(duì)齊能量用于確保所述特性在變形之后仍水平對(duì)齊于同一掃 描線。
9. 如權(quán)利要求1所述的內(nèi)容感知顯示適應(yīng)方法，其中該能量函數(shù)還包括至少一扭曲能 量（Distortion Energy)和至少一線彎曲能量（Line Bending Energy)，該扭曲能量用于防 止每一所述格網(wǎng)內(nèi)的多個(gè)重要四元（Important Quads)被不均勻地縮放，該線彎曲能量用 于使得一原始邊緣和一變形邊緣之間的一夾角維持盡可能地小，而該原始邊緣和該變形邊 緣對(duì)應(yīng)于每四元（Bach Quad)。
10. -種內(nèi)容感知顯示適應(yīng)方法，適用于立體圖像，并使用于一電子裝置中，且包括下 列步驟： 提供多個(gè)立體圖像，其中所述立體圖像包括至少一圖像對(duì)，而該圖像對(duì)包括一左圖像 和一右圖像； 藉由一特征檢測(cè)算法（Saliency Detection Algorithm),估計(jì)該圖像對(duì)的多個(gè)特征地 圖（Saliency Map); 根據(jù)所述特征地圖，將每一所述立體圖像表示為一格網(wǎng)（Grid Mesh)，并測(cè)量其每四元 (Each Quad)的一四兀重要性（Per-quad Importance); 檢測(cè)該左圖像和該右圖像的多個(gè)特性，并在該左圖像和該右圖像之間去匹配所檢測(cè)的 所述特性； 根據(jù)所述特征地圖、多個(gè)匹配特性、所述格網(wǎng)的數(shù)據(jù)，以及一目標(biāo)顯影的規(guī)格，定義出 一能量函數(shù)，其中該能量函數(shù)包括至少一對(duì)齊能量（Alignment Energy),而該對(duì)齊能量用 于確保所述特性在變形之后仍水平對(duì)齊于同一掃描線；以及 最小化該能量函數(shù)，以取得該左圖像和該右圖像的多個(gè)變形頂點(diǎn)位置（Deformed Vertex Position)的二集合。
【文檔編號(hào)】H04N13/00GK104301704SQ201410341100
【公開(kāi)日】2015年1月21日 申請(qǐng)日期:2014年7月17日 優(yōu)先權(quán)日:2013年7月17日
【發(fā)明者】張哲瀚, 莊永裕, 梁家愷 申請(qǐng)人:宏達(dá)國(guó)際電子股份有限公司