圖像處理裝置、圖像處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本公開內(nèi)容涉及圖像處理裝置、圖像處理方法和程序。
【背景技術(shù)】
[0002]被稱為增強現(xiàn)實(下文中稱為“AR”)的技術(shù)近年來引起了關(guān)注，該技術(shù)例如將諸如圖像、字符等(下文中稱為“虛擬對象”)的虛擬對象與示出真實對象的圖像進行合成，并且在顯示屏上顯示與虛擬對象合成后的圖像。使用將虛擬對象與圖像合成的AR技術(shù)的裝置檢測包含在由例如成像裝置捕獲的圖像(下文中稱為“捕獲圖像”)中的、與虛擬對象的顯示相關(guān)的標(biāo)記，并且將對應(yīng)于所檢測到的標(biāo)記的虛擬對象與捕獲圖像合成。因此，AR技術(shù)的使用使得能夠在顯示屏上顯示虛擬對象疊加在示出真實對象的圖像上的圖像。
[0003]在這樣的狀況下，開發(fā)了 AR中對虛擬對象進行合成時所涉及的技術(shù)。在AR中對虛擬對象進行合成時所涉及的技術(shù)當(dāng)中，一種技術(shù)是在以下的專利文獻I中描述的技術(shù)。
[0004]引用列表
[0005]專利文獻
[0006]專利文獻I JP 2012-221250A

【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]在檢測捕獲圖像中的標(biāo)記期間，隨著產(chǎn)生捕獲圖像的成像裝置更加正對圖像被捕獲的標(biāo)記，對于成像裝置的拍攝方向相對于標(biāo)記的傾斜，視圖的變化變得較小。因此，隨著成像裝置更加正對標(biāo)記，在捕獲圖像中檢測到的標(biāo)記的相對姿勢(orientat1n)更顯著地受到外部干擾的影響。因此，當(dāng)通過將虛擬對象與捕獲圖像合成而獲得的圖像顯示在顯示屏上時，可干擾虛擬對象的顯示，諸如使得所顯示的與所檢測到的標(biāo)記對應(yīng)的虛擬對象模糊等。
[0009]這里，例如，在專利文獻I中所述的技術(shù)中，根據(jù)從捕獲圖像識別的標(biāo)記的識別穩(wěn)定度來改變虛擬對象的顯示。因此，例如，當(dāng)使用在專利文獻I中所述的技術(shù)時，可在一定程度上防止虛擬對象的顯示的干擾。但是，例如，在專利文獻I中所述的技術(shù)中，沒有特別考慮由于成像裝置面對標(biāo)記引起的對虛擬對象的顯示的干擾。因此，例如，即使當(dāng)使用在專利文獻I中所述的技術(shù)時，也無法總是防止由于成像裝置正對標(biāo)記而引起的對虛擬對象的顯示的干擾，這當(dāng)在顯示屏上顯示通過將虛擬對象與捕獲圖像合成而獲得的圖像時可能發(fā)生。
[0010]本公開內(nèi)容提出了可以防止對虛擬對象的顯示的干擾的、新穎且改進的圖像處理裝置、圖像處理方法和程序。
[0011]針對問題的解決方案
[0012]根據(jù)本公開內(nèi)容，提供了一種圖像處理裝置，包括:設(shè)置單元，被配置為基于成像裝置與標(biāo)記正對的程度來設(shè)置濾波器強度，其中成像裝置產(chǎn)生包含與虛擬對象的顯示相關(guān)的標(biāo)記的捕獲圖像，程度是基于捕獲圖像而檢測到的；以及圖像處理單元，被配置為通過使用具有所設(shè)置的濾波器強度的濾波器來將對應(yīng)于標(biāo)記的虛擬對象與捕獲圖像合成。
[0013]根據(jù)本公開內(nèi)容，提供了一種圖像處理方法，其包括以下步驟:基于成像裝置與標(biāo)記正對的程度來設(shè)置濾波器強度，其中成像裝置產(chǎn)生包含與虛擬對象的顯示相關(guān)的標(biāo)記的捕獲圖像，程度是基于捕獲圖像而檢測到的；以及通過使用具有所設(shè)置的濾波器強度的濾波器來將對應(yīng)于標(biāo)記的虛擬對象與捕獲圖像合成。
[0014]根據(jù)本公開內(nèi)容，提供了一種程序，其用于使得計算機執(zhí)行以下步驟:基于成像裝置與標(biāo)記正對的程度來設(shè)置濾波器強度的步驟，其中成像裝置產(chǎn)生包含與虛擬對象的顯示相關(guān)的標(biāo)記的捕獲圖像，程度是基于捕獲圖像而檢測到的；以及通過使用具有所設(shè)置的濾波器強度的濾波器來將對應(yīng)于標(biāo)記的虛擬對象與捕獲圖像合成的步驟。
[0015]發(fā)明的有益效果
[0016]根據(jù)本公開內(nèi)容，可以防止對虛擬對象的顯示的干擾。
【附圖說明】
[0017]圖1是示出在對虛擬對象進行合成時所涉及的示例基本處理的說明圖。
[0018]圖2是示出取決于成像裝置與標(biāo)記之間的相對位置關(guān)系的虛擬對象的示例模糊的說明圖。
[0019]圖3是示出對應(yīng)于標(biāo)記形狀的根據(jù)本實施例的示例基準(zhǔn)的說明圖。
[0020]圖4是用于描述根據(jù)本實施例的圖像處理方法中所涉及的示例處理的說明圖。
[0021]圖5是示出根據(jù)本實施例的由濾波器強度設(shè)置信息表示的、基準(zhǔn)值與濾波器系數(shù)(確定濾波器強度的值)之間的示例關(guān)系的說明圖。
[0022]圖6是示出根據(jù)本實施例的由濾波器強度設(shè)置信息表示的、基準(zhǔn)值與濾波器系數(shù)(確定濾波器強度的值)之間的另一示例關(guān)系的說明圖。
[0023]圖7是用于描述根據(jù)本實施例的通過圖像處理對標(biāo)記的位置的示例校正的說明圖。
[0024]圖8是示出根據(jù)本實施例的圖像處理方法中所涉及的示例處理的說明圖。
[0025]圖9是示出根據(jù)本實施例的圖像處理方法中所涉及的另一示例處理的說明圖。
[0026]圖10是示出根據(jù)本實施例的圖像處理裝置的示例配置的框圖。
[0027]圖11是示出根據(jù)本實施例的圖像處理裝置的示例硬件配置的說明圖。
【具體實施方式】
[0028]下文中，將參照附圖詳細(xì)描述本公開內(nèi)容的優(yōu)選實施例。應(yīng)注意，在本說明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的元件用相同的附圖標(biāo)記表示，并且省略了重復(fù)說明。
[0029]此外，將按以下順序提供如下的描述。
[0030]1.根據(jù)本實施例的圖像處理方法
[0031]2.根據(jù)本實施例的圖像處理裝置
[0032]3.根據(jù)本實施例的程序
[0033](根據(jù)本實施例的圖像處理方法)
[0034]在描述根據(jù)本實施例的圖像處理裝置的配置之前，將首先描述根據(jù)本實施例的圖像處理方法。在以下的描述中，將通過說明根據(jù)本實施例的圖像處理裝置執(zhí)行根據(jù)本實施例的圖像處理方法中所涉及的處理的示例情況來描述根據(jù)本實施例的圖像處理方法。
[0035][I]在基于捕獲圖像來對虛擬對象進行合成時涉及的基本處理以及當(dāng)執(zhí)行該基本處理時可能發(fā)生的問題
[0036]在概述根據(jù)本實施例的圖像處理方法之前，將描述在基于捕獲圖像來對虛擬對象進行合成時所涉及的示例基本處理以及當(dāng)執(zhí)行基本處理時可能發(fā)生的示例問題。根據(jù)本實施例的捕獲圖像例如是運動圖像(對應(yīng)于多個相應(yīng)幀的靜止圖像)。
[0037]圖1是示出在對虛擬對象進行合成時所涉及的示例基本處理的說明圖。在以下描述中，假設(shè)圖1所示的處理由對捕獲圖像進行處理的裝置(下文中稱為“圖像處理裝置”)來執(zhí)行。
[0038]為了基于捕獲圖像對虛擬對象進行合成，圖像處理裝置檢測捕獲圖像中的標(biāo)記的拐角的位置(SlO)。圖像處理裝置例如通過參考表示存儲在記錄介質(zhì)中的標(biāo)記的模型數(shù)據(jù)來檢測捕獲圖像中的標(biāo)記。此后，圖像處理裝置指定例如所檢測到的捕獲圖像中的標(biāo)記的拐角的位置(例如，四個拐角的位置等)的坐標(biāo)(二維坐標(biāo))。捕獲圖像中的坐標(biāo)由例如原點是捕獲圖像中的任意點(例如，左下角點、中心點等)的坐標(biāo)系表示。
[0039]如果在步驟SlO中檢測到標(biāo)記的拐角的位置，則圖像處理裝置檢測成像裝置與標(biāo)記之間的相對位置關(guān)系(S12)。這里，成像裝置與標(biāo)記之間的相對位置關(guān)系由例如三維坐標(biāo)表不。
[0040]如果在步驟S12中檢測到成像裝置與標(biāo)記的相對位置，則圖像處理裝置基于表示相對位置的三維坐標(biāo)來將對應(yīng)于標(biāo)記的虛擬對象與捕獲圖像合成(S14)。這里，在步驟S14中，例如，圖像處理裝置可執(zhí)行在前一幀中的圖像與當(dāng)前幀中的圖像之間進行內(nèi)插的內(nèi)插處理。
[0041]例如，執(zhí)行圖1中所示的處理，以使得對應(yīng)于標(biāo)記的虛擬對象與捕獲圖像被合成。
[0042]然而，如上所述，在檢測捕獲圖像中的標(biāo)記期間，隨著成像裝置更加正對圖像被捕獲的標(biāo)記，對于成像裝置的拍攝方向相對于標(biāo)記的傾斜，視圖的變化變得更小。因此，隨著成像裝置更加正對標(biāo)記，在捕獲圖像中檢測到的標(biāo)記的相對姿勢更顯著地受到外部干擾影響。因此，當(dāng)通過將虛擬對象與捕獲圖像合成而獲得的圖像顯示在顯示屏上時，虛擬對象的顯示可能被干擾，諸如顯示的與所檢測到的標(biāo)記相對應(yīng)的虛擬對象模糊等。
[0043]圖2是示出取決于成像裝置與標(biāo)記之間的相對位置關(guān)系的虛擬對象的示例模糊的說明圖。圖2中所示的“A”表示當(dāng)成像裝置正對標(biāo)記時的虛擬對象的示例模糊。此外，與在圖2的“A”中相比，圖2中所示的“B”表示當(dāng)成像裝置不太正對標(biāo)記時的虛擬對象的示例模糊。圖2中所示的“M”表示示例標(biāo)記。圖2中所示的“O”表示示例虛擬對象。
[0044]例如，如圖2所示，隨著成像裝置更加正對標(biāo)記，虛擬對象的模糊增加。此外，例如，當(dāng)尺寸比包含在捕獲圖像中的標(biāo)記的尺寸大的虛擬對象與捕獲圖像合成時，圖2所示的模糊隨著變得更大而可被用戶識別。
[0045]因此，即使執(zhí)行在對虛擬對象進行合成時所涉及的基本處理(諸如，圖1所示的基本處理)，也無法期望防止對虛擬對象的顯示的干擾。
[0046][2]根據(jù)本實施例的圖像處理方法中所涉及的處理
[0047]因此，根據(jù)本實施例的圖像處理裝置基于產(chǎn)生捕獲圖像的成像裝置正對其圖像被捕獲的標(biāo)記的程度，將對應(yīng)于與虛擬對象的顯示相關(guān)的標(biāo)記的虛擬對象與包含標(biāo)記的捕獲圖像合成。
[0048]這里，根據(jù)本實施例的標(biāo)記的示例包括二維碼(諸如，矩陣型二維碼等)、三維碼、具有預(yù)定圖案的圖形對象(諸如，黑白圖形對象等)等。根據(jù)本實施例的標(biāo)記可以是具有扁平形狀的立體標(biāo)記等。
[0049]更具體地，根據(jù)本實施例的圖像處理裝置執(zhí)行例如以下所述的(I)設(shè)置處理和
(2)圖像處理，以基于產(chǎn)生捕獲圖像的成像裝置正對標(biāo)記的程度來將對應(yīng)于標(biāo)記的虛擬對象與捕獲圖像合成。
[0050](I)設(shè)置處理
[0051]根據(jù)本實施例的圖像處理裝置基于例如產(chǎn)生包含標(biāo)記的捕獲圖像的成像裝置正對標(biāo)記的程度來設(shè)置濾波器強度，該程度是基于捕獲圖像來檢測的。
[0052]這里，根據(jù)本實施例的產(chǎn)生捕獲圖像的成像裝置正對標(biāo)記的程度(下文中稱為“根據(jù)本實施例的程度”)是成像裝置與標(biāo)記之間的相對位置關(guān)系的度量。根據(jù)該實施例的程度由例如基于與在捕獲圖像中檢測到的標(biāo)記對應(yīng)的拐角的坐標(biāo)和與標(biāo)記的形狀對應(yīng)的基準(zhǔn)而計算的基準(zhǔn)值來表示。
[0053]現(xiàn)在，將描述在設(shè)置根據(jù)本實施例的基準(zhǔn)時所涉及的示例處理、在計算根據(jù)本實施例的基準(zhǔn)值時所涉及的示例處理以及在設(shè)置基于基準(zhǔn)值設(shè)置的濾波器強度時所涉及的示例處理。
[0054](1-1)在設(shè)置根據(jù)本實施例的基準(zhǔn)時所涉及的處理
[0055]首先，將描述在設(shè)置根據(jù)本實施例的基準(zhǔn)時所涉及的示例處理。根據(jù)本實施例的基準(zhǔn)(下文中稱為“基準(zhǔn)”)是對應(yīng)于由基于捕獲圖像所指定的標(biāo)記的拐角的坐標(biāo)表示的標(biāo)記形狀來設(shè)置的。
[0056]圖3是示出對應(yīng)于標(biāo)記形狀的根據(jù)本實施例的基準(zhǔn)的示例的說明圖。在圖3中，作為根據(jù)本實施例的基準(zhǔn)，示出了對應(yīng)于正方形標(biāo)記的示例基準(zhǔn)(圖3中所示的“A”)以及對應(yīng)于矩形標(biāo)記的示例基準(zhǔn)(圖3中所示的“B”)。圖3還示出了至少一個基準(zhǔn)(圖3中所示的“至少一個”)和可選地設(shè)置的基準(zhǔn)(圖3中所示的“可選”)包含在對應(yīng)于每個標(biāo)記形狀的基準(zhǔn)中的示例。
[0057]根據(jù)本實施例的圖像處理裝置基于對應(yīng)于標(biāo)記的拐角的坐標(biāo)，指定在捕獲圖像中檢測到的標(biāo)記的形狀。例如，根據(jù)本實施例的圖像處理裝置基于