專利名稱：使用幀選擇來構(gòu)造圖像全景的制作方法
技術(shù)領(lǐng)域：
本發(fā)明 一般涉及電子成像，并且更具體地涉及根據(jù)多個圖像構(gòu) 造圖像全景。
背景技術(shù)：
圖像全景(或者圖像鑲嵌)普遍用來通過將數(shù)個圖像粘貼在一 起而增大相機的視場。已經(jīng)提出用于根據(jù) 一 連串重疊圖像幀創(chuàng)建圖 像全景的許多方式。 一般而言，將圖像幀組合成圖像全景的過程包 括(i)針對所有可用圖像幀中稱為參考幀的一個圖像幀的坐標(biāo)來 配準(zhǔn)(register)所有可用圖像幀；以及(ii)調(diào)整位于一個或者多個 幀的重疊區(qū)域中的圖像像素的顏色以在不同幀中捕獲的圖像區(qū)域之 間具有平滑過渡。
多數(shù)現(xiàn)有技術(shù)的方法包括將所有可用圖像幀簡單地粘貼在一 起，即使用從場景中捕獲的所有可用圖像幀以便創(chuàng)建圖像全景而沒 有針對這一目的僅選擇最佳視覺質(zhì)量幀。這些方法假設(shè)用于圖像全 景的源圖像在創(chuàng)建圖像全景過程中質(zhì)量良好。實際上并非如此，因 為照片經(jīng)常是經(jīng)徒手拍攝的，這在許多場合中造成圖像模糊。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面， 一種方法用于通過電子設(shè)備根據(jù)多個 圖像構(gòu)造圖像全景，該方法包括使用預(yù)定標(biāo)準(zhǔn)來評估多個圖像之中K個連續(xù)幀的圖像質(zhì)量，其中K是值至少為二的整數(shù)；使用預(yù)定 規(guī)則從被評估幀之中選擇具有最佳圖像質(zhì)量的一個幀；以及將該一 個幀附加到其它被選擇幀以構(gòu)造圖像全景。
另外根據(jù)本發(fā)明的第一方面，K可以是具有恒定值的預(yù)定數(shù)目。 另外根據(jù)本發(fā)明的第一方面，K可以是變量。另外，可以使用 預(yù)選標(biāo)準(zhǔn)響應(yīng)于捕獲K個連續(xù)幀的傳感器在捕獲過程中的運動量來 選擇K。另外，可以向K賦以初始值，然后使用預(yù)選規(guī)則通過監(jiān)視 相鄰幀中特征的相對運動速度在評估過程中迭代K。另外，使用預(yù) 選規(guī)則，當(dāng)相對運動速度小于閾值時可以將K增加預(yù)選值或者當(dāng)相 對運動速度大于又 一 閾值時可以將K減少又 一 預(yù)選值。
另外根據(jù)本發(fā)明的第一方面，電子設(shè)備可以包括存儲器，其用
于存儲用以執(zhí)行評估、選擇和附加步驟的多個圖像。
另外根據(jù)本發(fā)明的第一方面，電子設(shè)備可以被配置用以通過網(wǎng) 絡(luò)通信來存取多個圖像。
另外根據(jù)本發(fā)明的第一方面，在評估K個連續(xù)幀的圖像質(zhì)量過 程中可以在電子設(shè)備的存儲器中 一次僅保存一個幀。
另外根據(jù)本發(fā)明的第一方面，評估K個連續(xù)幀中各幀的圖像質(zhì) 量可以通過評估以下四個圖像特征中的至少 一個圖像特征來使用預(yù) 定標(biāo)準(zhǔn)a)銳度、b)配準(zhǔn)準(zhǔn)確度、c)與其它幀的重疊量、d)運 動類型和運動量。另外，預(yù)定標(biāo)準(zhǔn)可以包括所有四個圖像特征。
另外根據(jù)本發(fā)明的第一方面，該電子設(shè)備可以是數(shù)字相機、通
信設(shè)備、無線通信設(shè)備、便攜式電子設(shè)備、移動電子設(shè)備或者相機 電話。
另外根據(jù)本發(fā)明的第一方面，可以排除被選擇幀的邊界并且將 被選擇幀的基本上僅中央部分附加到其它被選擇幀。
另外根據(jù)本發(fā)明的第 一方面，可以在選擇之后存儲被選擇幀， 并且只有在選擇多個圖像之中將要附加到圖像全景的所有幀之后才 將被選擇幀附加到圖像全景。
另外根據(jù)本發(fā)明的第一方面，該一個幀可以在選擇之后立即附力口到先前一皮選4奪幀。
根據(jù)本發(fā)明的第二方面， 一種計算機程序產(chǎn)品包括在其上實 施計算機程序代碼的計算機可讀存儲結(jié)構(gòu)，用于由具有該計算機程 序代碼的計算機處理器執(zhí)行，其中所述計算機程序代碼包括指示為 由電子設(shè)備的任何部件執(zhí)行的用于執(zhí)行本發(fā)明第 一 方面的指令。
根據(jù)本發(fā)明的第三方面， 一種適于根據(jù)多個圖像構(gòu)造圖像全景
的電子設(shè)備包括幀圖像質(zhì)量評估模塊，配置用以使用預(yù)定標(biāo)準(zhǔn)來 評估多個圖像之中K個連續(xù)幀的圖像質(zhì)量，其中K是值至少為二的 整數(shù)；幀選擇模塊，配置用以使用預(yù)定規(guī)則從被評估幀之中選擇具 有最佳圖像質(zhì)量的一個幀；以及圖像全景構(gòu)造塊，配置用于將該一 個幀附加到其它被選擇幀以構(gòu)造圖像全景。
另外根據(jù)本發(fā)明的第三方面，電子設(shè)備可以被配置用以在選擇 之后存儲被選擇幀，并且只有在選擇多個圖像之中將要附加到圖像
全景的所有幀之后才將被選擇幀附加到圖像全景。
另外根據(jù)本發(fā)明的第三方面，電子設(shè)備可以被配置用以在選擇
之后將該 一 個幀立即附加到先前被選擇幀。
另外根據(jù)本發(fā)明的第三方面，K可以是具有恒定值的預(yù)定數(shù)目。 另外根據(jù)本發(fā)明的第三方面，K可以是變量。另外，可以使用 預(yù)選標(biāo)準(zhǔn)響應(yīng)于捕獲K個連續(xù)幀的傳感器在捕獲過程中的運動量來 選擇K。另外，可以向K賦以初始值，然后使用預(yù)選^L則通過監(jiān)一見
相鄰幀中特征的相對運動速度在評估過程中迭代K。
另外根據(jù)本發(fā)明的第三方面，該電子設(shè)備還可以包括存儲器，
用于存儲用于執(zhí)行評估、選擇和附加的多個圖像。
另外根據(jù)本發(fā)明的第三方面，該電子設(shè)備還可以被配置用以通 過網(wǎng)絡(luò)通信來存取多個圖像。另外，在評估K個連續(xù)幀的圖像質(zhì)量 過程中可以在電子設(shè)備的存儲器中 一 次僅保存 一 個幀。
另外根據(jù)本發(fā)明的第三方面，評估K個連續(xù)幀中各幀的圖像質(zhì) 量可以通過評估以下四個圖像特征中的至少 一個圖像特征來使用預(yù) 定標(biāo)準(zhǔn)a)銳度、b)配準(zhǔn)準(zhǔn)確度、c)與其它幀的重疊量、d)運動類型和運動量。
另外根據(jù)本發(fā)明的第三方面，該電子設(shè)備可以是數(shù)字相機、通
信設(shè)備、無線通信設(shè)備、便攜式電子設(shè)備、移動電子設(shè)備或者相機 電話。
根據(jù)本發(fā)明的第四方面， 一種用于根據(jù)多個圖像構(gòu)造圖像全景
的系統(tǒng)包括用于捕獲多個圖像的裝置；以及電子設(shè)備，該電子設(shè) 備包括幀圖像質(zhì)量評估模塊，配置用以使用預(yù)定標(biāo)準(zhǔn)來評估多個 圖像之中K個連續(xù)幀的圖像質(zhì)量，其中K個連續(xù)幀中的各幀通過網(wǎng) 絡(luò)通信而提供到電子設(shè)備，并且K是值至少為二的整數(shù)；幀選擇模 塊，配置用以使用預(yù)定規(guī)則從被評估幀之中選擇具有最佳圖像質(zhì)量 的一個幀；以及圖像全景構(gòu)造塊，配置用以將該一個幀附加到其它 被選擇幀以構(gòu)造圖像全景。
另外根據(jù)本發(fā)明的第四方面，該網(wǎng)絡(luò)通信可以是通過因特網(wǎng)的
網(wǎng)絡(luò)通信。


為了更好地理解本發(fā)明的本質(zhì)和目的，結(jié)合以下附圖對以下具 體描述進行參照，在附圖中
圖la是根據(jù)本發(fā)明實施例將可用圖像幀劃分為各有3個幀的小 組的例子的示意表示圖1 b是根據(jù)本發(fā)明實施例將可用圖像幀劃分為幀數(shù)目可變的'J 、 組的例子的示意表示圖lc是根據(jù)本發(fā)明實施例將可用圖像幀劃分為具有自適應(yīng)估計 可變幀數(shù)目的小組的例子的另一示意表示圖2a是表示根據(jù)本發(fā)明實施例通過評估組中恒定數(shù)目的幀(K 是恒定)來根據(jù)多個圖像離線構(gòu)造圖像全景的流程是可變)來根據(jù)多個圖像離線1勾造圖像全景的流程圖；、、 圖2c是表示根據(jù)本發(fā)明實施例當(dāng)基于在多個幀之間的重疊量自適應(yīng)地改變K值時，根據(jù)多個圖像構(gòu)造圖像全景的流程圖3是表示根據(jù)本發(fā)明實施例根據(jù)多個圖像在線構(gòu)造圖像全景 的流程圖4是根據(jù)本發(fā)明實施例的幀的示意表示圖，其中在組成圖像 全景時實際上僅使用各幀的中央部分；
圖5是根據(jù)本發(fā)明實施例通過附加各組K個被捕獲幀中的被選 擇幀來創(chuàng)建圖像全景的過程的示意表示圖；以及
圖6是根據(jù)本發(fā)明實施例適于根據(jù)多個圖像構(gòu)造圖像全景的電 子設(shè)備的框圖。
具體實施例方式
呈現(xiàn)一種新方法、系統(tǒng)、裝置和軟件產(chǎn)品，用于通過電子設(shè)備 根據(jù)多個圖像基于它們的視覺質(zhì)量來構(gòu)造圖像全景。具體而言，通 常在多個相鄰視頻幀上捕獲全景圖像場景的同一部分，可以從這些 視頻幀中選擇將要粘貼到全景中的最佳視覺表示。電子設(shè)備可以是 (但不限于)數(shù)字相機、通信設(shè)備、無線通信設(shè)備、便攜式電子設(shè) 備、移動電子設(shè)備、相機電話等。
根據(jù)本發(fā)明的實施例，在線實施和離線實施都是可以的。離線 實施假設(shè)在某一支持設(shè)備(例如電子設(shè)備的存儲器)上存儲的所有 視頻幀可用。這些視頻幀也可以存儲于電子設(shè)備外部并且通過網(wǎng)絡(luò) 通信來存取。另一方面，在線實施在捕獲視頻幀過程中創(chuàng)建全景， 其具有最低存儲器要求并且可能涉及到網(wǎng)絡(luò)通信(例如使用因特 網(wǎng))，即從電子設(shè)備遠程地捕獲視頻幀然后可以構(gòu)造圖像全景。如 果電子設(shè)備包括用于捕獲多個圖像的裝置，則也可以在不涉及到網(wǎng) 絡(luò)連接的情況下在同 一 電子設(shè)備內(nèi)執(zhí)行在線實施。
根據(jù)本發(fā)明的 一 個實施例，電子設(shè)備根據(jù)多個捕獲圖像構(gòu)造(或 者組成)圖像全景可以包括以下步驟a)使用預(yù)定標(biāo)準(zhǔn)來評估所捕 獲的多個圖像之中K個連續(xù)幀的圖像質(zhì)量，K是值至少為二的整數(shù)； b )使用預(yù)定規(guī)則從評估的K個幀之中選擇具有最佳圖像質(zhì)量的 一個圖像；以及c )將所述被選擇幀附加到先前被選擇幀以構(gòu)造圖像全景。
注意到開始構(gòu)造圖像全景過程的第一個幀(或者參考幀)可以是多 個捕獲圖像中的第 一個幀或者它可以是使用上述選擇過程從第 一組
K個幀之中選擇的幀。在另一實施例中，可以排除被選擇幀的邊界，
然后將被選擇幀的基本上僅中央部分附加到圖像全景中的先前被選擇幀。
根據(jù)本發(fā)明的其他實施例，K可以是恒定值的預(yù)定數(shù)目或者K 可以是變量。如果K是變量，則例如可以使用預(yù)選標(biāo)準(zhǔn)按照捕獲K
可以使用軟件方式和/或基于從用于對捕獲多個圖像的傳感器的 運動進行監(jiān)視的運動傳感器接收的信息來進行各組連續(xù)幀中最佳幀 的選擇。在所有情況下將選擇在相機移動較少時的時間間隔期間捕 獲的幀。
根據(jù)本發(fā)明的其他實施例，就K個連續(xù)幀中的各幀評估圖像質(zhì) 量(例如對于軟件方式而言)可以通過評估以下四個圖像特征中的 至少一個圖像特征或者所有圖像特征來使用預(yù)定標(biāo)準(zhǔn)a)銳度、b) 配準(zhǔn)準(zhǔn)確度、c)與其它幀的重疊量以及d)場景中移動對象的類型 和數(shù)量。也可以在建立預(yù)定標(biāo)準(zhǔn)時利用其它圖像特征。
可以基于圖像幀所包含高頻分量的數(shù)量來估計該圖像幀的銳 度。如果高頻分量丟失，則可合理假設(shè)幀是模糊的。這可以通過將 高通空間濾波器應(yīng)用于圖像上并且在濾波(例如使用傅立葉變換分 析)之后對圖像像素的絕對值求和來實現(xiàn)。
幀配準(zhǔn)過程有時并不準(zhǔn)確，而如果幀配準(zhǔn)失敗而不加以注意則 會造成鑲嵌(圖像全景)中的失真。通過對兩個幀的重疊區(qū)域中的 差異進行計數(shù)來確定配準(zhǔn)準(zhǔn)確度。為了具有針對亮度變化的魯棒性， 可以計算兩個幀的梯度場之間的這一差異，其中"導(dǎo)數(shù)"函數(shù)返回各 圖像像素中的梯度幅值。
如果兩個幀中的重疊區(qū)域過小，則增加幀配準(zhǔn)失敗的可能性， 雖然其可能表現(xiàn)為好像是配準(zhǔn)已經(jīng)成功。另一方面，如果重疊區(qū)域過大，則意味著新的幀沒有以合理數(shù)量擴展鑲嵌圖像?？梢越⒃?重疊的允許范圍。
在為圖像全景而選擇的幀中捕獲的移動對象可能造成低質(zhì)量的 結(jié)果。在不知道移動對象存在時，該移動對象經(jīng)常變?yōu)楸患羟谢蛘?復(fù)制。因此，如果在幀中有大量移動，則丟棄該幀而選擇用于鑲嵌 圖像的另 一 個幀以避免問題是明智之舉。例如可以通過獲得兩個連
續(xù)幀中的差異、將差異圖像與閾值做比較從而區(qū)分偽(false)運動， 然后確定在圖像的各部分中是否有運動來計算運動的類型和數(shù)量。
因此根據(jù) 一 個實施例，可以通過使用預(yù)定^見則對上文呈現(xiàn)的四 個參數(shù)進行組合來確定幀圖像質(zhì)量。下文呈現(xiàn)一個針對一個參數(shù)應(yīng) 用選擇規(guī)則的例子，其中P是先前被選擇幀，C是待評估的幀，v 是幀質(zhì)量值(例如該值越大則越質(zhì)量佳)，cl、 c2是常數(shù)，而v是 幀銳度。
如果幀C包含移動對象并且如果C的移動對象未被完全地顯示， 則就幀C而言v = v-cl。如果幀P包含移動對象并且如果C和P的 移動對象重疊，則就幀P而言v-v-c2,否則v = v-(C中移動對象的 區(qū)域)。幀銳度的更大值表示更佳的圖像質(zhì)量，因此選擇了具有最大 幀銳度v的幀(C或者P)。
圖l-6呈現(xiàn)了表示本發(fā)明不同實施例的各種例子。
圖la示出了根據(jù)本發(fā)明實施例將可用圖像幀劃分為各有3個幀 (k=3)的小組的示意表示圖的一個特定例子。在各組中為創(chuàng)建圖像 全景而選擇的幀在畫面中被編號，例如來自第一組的第一個幀、第 二組的第五個幀等。在圖la所示例子中，選擇第一幀作為參考幀。
圖lb示出了根據(jù)本發(fā)明實施例將可用圖像幀劃分為幀數(shù)目可變 的小組的示意圖的一個特定例子。組中的幀數(shù)目在圖lb的例子中從 3到5變化。
圖lc示出了根據(jù)本發(fā)明實施例將可用圖像幀劃分為自適應(yīng)估計 可變幀數(shù)目的小組的示意圖的另 一特定例子。本例可以將純軟件方 式用于自適應(yīng)的K估計。先前已經(jīng)選擇深色(darken)幀，而現(xiàn)在后繼幀n+l…n+3是接著被選的候選。幀n+4太遠，因此沒有包括在 選擇過程中。圖lc圖示了從落在距離先前被選擇幀的某一距離內(nèi)的
一組K個幀中選擇用于鑲嵌的下一個幀。這里強調(diào)重要的一點這 一距離并不代表幀數(shù)目，而實際上它表征一個幀與先前被選擇幀之 間的移位?？梢允褂脙蓚€幀之間的重疊量(重疊區(qū)域)作為兩個幀 之間移位的逆測量。自適應(yīng)地改變K值以保證兩個連續(xù)纟皮選擇幀之 間的最小重疊量O。例如，如果相機完全沒有移動，則幀之間的重 疊總是大于0,因此數(shù)目K (或者用于下一選擇的范圍)是無窮的。 另一方面，如果相才幾在移動(例如移動4竟頭)，則相對于先前一皮選 擇幀而言的重疊量隨著每個新的幀而減少，使得它在某一瞬間會落 在閾值(最小重疊量)O以下。因此數(shù)目K(或者用于下一選擇的 范圍)自動地適應(yīng)于運動速度，即隨著運動更快或者更慢而分別在 更小或者更大數(shù)目的幀中實現(xiàn)最小重疊量O。
圖2a是示出了表示根據(jù)本發(fā)明實施例通過評估組中恒定數(shù)目的 幀(K是恒定)根據(jù)多個圖像離線構(gòu)造圖像全景的流程圖的一個例 子。
圖2a的流程圖僅代表多種場景中的一種可能場景。上文提供了 對圖2a中所示步驟的具體描述。在根據(jù)本發(fā)明實施例的方法中，在 第一步驟10中，在電子設(shè)備的例如存儲器中存儲所捕獲的多個圖像。
在下一步驟12中，根據(jù)本發(fā)明的實施例使用預(yù)定標(biāo)準(zhǔn)針對圖像 質(zhì)量評估K個連續(xù)幀。在下一步驟14中，使用預(yù)定規(guī)則從評估的幀 之中選擇一個幀。在下一步驟16中，將被選擇幀附加到圖像全景。 注意在一些系統(tǒng)中，圖像捕獲和選擇可能需要大量處理時間從而在 被選擇幀之后立即將它們實時附加到圖像全景。在實踐中，也可以 擱置(即存儲)為了附加到圖像全景而選擇的幀直至選擇了待附加 到圖像全景的所有幀。此后，將被選擇幀組合成圖像全景。
在下一步驟18中，確定是否評估最近被捕獲幀。如果是，則該 過程停止。然而，如果確定沒有評估最近被捕獲幀，則在下一步驟 20中，使用預(yù)定標(biāo)準(zhǔn)針對圖像質(zhì)量評估接下來K個連續(xù)幀并且該過程回到步驟14。
(K不是恒定)根據(jù)多個圖像離線構(gòu)造圖像全景的流程圖的一個例 子。
圖2b的流程圖僅代表多種場景中的一種可能場景。上文提供了 對圖2b中所示步驟的具體描述。在根據(jù)本發(fā)明實施例的方法中，在 第一步驟30中，在電子設(shè)備的例如存儲器中(或者外部地)存儲所 捕獲的多個圖像。在下一步驟32中，設(shè)置默認K值(例如K二3)。 在下一步驟34中，根據(jù)本發(fā)明的實施例使用預(yù)定標(biāo)準(zhǔn)針對圖像質(zhì)量 評估K個連續(xù)幀。
在下一步驟36中，確定是否檢測到在最近K個被評估幀中圖像 捕獲傳感器運動或者運動速度變化。如果是，則在下一步驟38中， 將K值設(shè)置為K-K土M，其中M是值至少為一的整數(shù)，而是加還 是減依賴于如在上述例子中說明的那樣檢測到的變化內(nèi)容。然后在 下一步驟40中，根據(jù)本發(fā)明的實施例使用預(yù)定標(biāo)準(zhǔn)針對圖像質(zhì)量評 估K個連續(xù)幀，但是現(xiàn)在K與在步驟34中不同(實際上，由于步 驟34的結(jié)果可用，所以可以僅評估額外M個幀)，然后該過程進 行步驟42。
然而，如果在步驟36中確定沒有檢測到在最近K個被評估幀中 圖像捕獲傳感器運動或者運動速度變化，則在下一步驟42中，確定 是否有任何被評估幀滿足預(yù)定選擇規(guī)則。如果是，則該過程進行步 驟48。然而，如果確定任何被評估幀都不滿足預(yù)定選擇規(guī)則，則在 下一步驟44中，確定參數(shù)K是否為它的最大允許值(例如預(yù)定值 Kmax)。如果是最大允許值的情況，則在下一步驟45中，可以例如 丟棄K個幀(因為它們無一滿足預(yù)定規(guī)則)，而該過程將回到步驟 32并且將評估下一組連續(xù)幀。然而，如果確定參數(shù)K不是它的最大 允許值，則在下一步驟46中，將K值設(shè)置為K-K+1并且該過程進 行步驟34。
在步驟48中，使用預(yù)定規(guī)則從評估的幀之中選擇一個幀。在下一步驟50中，將被選擇幀附加到圖像全景。在下一步驟52中，確
定是否評估最近被捕獲幀。如果是評估的情況，則該過程停止。然
而，如果確定沒有評估最近被捕獲幀，則該過程回到步驟32并且將 評估下一組連續(xù)幀。
圖2c示出了表示根據(jù)本發(fā)明實施例當(dāng)基于多個幀之間的重疊量 自適應(yīng)地改變K值時根據(jù)這些圖像構(gòu)造圖像全景的流程圖的例子。
圖2c的流程圖僅特定地代表一種可能場景。在根據(jù)本發(fā)明實施 例的方法中，在第一步驟53中,在存儲器中存儲和連續(xù)地配準(zhǔn)所有N 個一皮捕獲幀。
在下一步驟54中，在所有N個幀中^r測追蹤移動對象并且針對 這些N個幀估計幀質(zhì)量。在下一步驟55中，基于適當(dāng)?shù)膸丿B標(biāo)準(zhǔn) 選擇用于評估的前K個幀(K是變量)。在下一步驟56中，從K 個幀之中選擇最佳幀。
在下一步驟57中，確定是否選擇最近被捕獲幀。如果不是這樣， 則在下一步驟58中，使用適當(dāng)?shù)膸丿B標(biāo)準(zhǔn)來選擇在最近被選擇幀 之后的接下來K個幀，并且該過程回到步驟56。然而，如果確定選 擇最近被捕獲幀，則在下一步驟59中，根據(jù)所有被選最佳幀構(gòu)造圖 像全景。
圖3示出了表示根據(jù)本發(fā)明實施例根據(jù)多個圖像在線構(gòu)造圖像 全景的流程圖的例子。這一方式對于執(zhí)行全景成像具有最低存儲器 要求，因為通過評估過程將在它的存儲器中 一 次僅存儲 一 個幀。
圖3的流程圖僅特定地代表一種可能場景。上文提供了對圖3 中所示步驟的具體描述。在根據(jù)本發(fā)明實施例的方法中，在第一步 驟60中，將表示用于評估的被選一組幀中幀數(shù)目的參數(shù)k設(shè)置為一 (k=l)。在下一步驟62中，捕獲該組中的第一個幀并且使用預(yù)定 標(biāo)準(zhǔn)針對圖像質(zhì)量評估第 一 個幀，然后在存儲器中存儲第 一 個幀。 在下一步驟64中，將k值設(shè)置為l^k+l。在下一步驟66中，使用 預(yù)定標(biāo)準(zhǔn)針對圖像質(zhì)量評估組中的下 一 個幀。
在下一步驟68中，確定下一個幀是否具有比存儲器中存儲的幀更高的質(zhì)量。如果是這樣，則在下一步驟70中，擦除存儲器中存儲 的幀并且在存儲器中存儲(在步驟66中評估的)下一個幀，而該過
程進行步驟72。然而，如果確定下一個幀不具有比存儲器中存儲的 幀更高的質(zhì)量，則在下一步驟72中，確定參數(shù)k就評估組中的幀數(shù) 目(預(yù)定值K)而言是否為它的最大允許值。注意根據(jù)如上文討論 的本發(fā)明實施例(例如參見圖la和lb)K可以是恒定的或者是變量。 如果k:K,則該過程回到步驟64。然而，如果確定k〈K，則在下一 步驟74中，將存儲器中存儲的幀附加到圖像全景。在下一步驟76 中，確定是否評估最近被捕獲幀。如果是評價的情況，則該過程停 止。然而，如果確定沒有評估最近被捕獲幀，則該過程回到步驟60 并且將評估下一組連續(xù)幀。
圖像全景是通過在視頻相機捕獲被選擇幀時相繼地附加這些幀 來構(gòu)造的。在實踐中由于幀邊界附近的幾何變形而可能出現(xiàn)一些問 題。為此，根據(jù)本發(fā)明的一個實施例，正如在圖4中舉例說明的那 樣，建議僅將各幀的中央部分包括到全景中。
可以將算法的最高級描述為選擇和附加的過程，其中如圖5中 所示向鑲嵌圖像的已存在部分附加就整個鑲嵌而言產(chǎn)生最佳圖像質(zhì) 量的幀。鑲嵌創(chuàng)建可以采用第 一個幀作為參考幀或者從相機所捕獲 的第 一組K個幀之中選擇參考幀。
圖6圖示了根據(jù)本發(fā)明實施例適用于根據(jù)多個圖像構(gòu)造圖像全 景的電子設(shè)備80 (例如相機電話)的框圖的一個例子。設(shè)備80可以 使用在存儲器88中存儲的由圖像生成和處理塊82(例如使用相機傳 感器84和處理塊86)創(chuàng)建的圖像來在線和離線操作，并且使用例如 在圖2a、圖2b或者圖3的流程圖中概括的過程來處理它們。電子設(shè) 備80也可以使用例如(通常包括發(fā)送器、接收器、CPU等的)接收 /發(fā)送/處理塊98外部接收視頻幀來在線(以及離線)操作，并且使 用例如在圖2a、圖2b或者圖3的流程圖中概括的過程來處理它們。
向幀選擇塊91提供幀評估信息的幀圖像質(zhì)量評估模塊90可以 執(zhí)行針對離線情況和在線情況的幀質(zhì)量評估。在使用預(yù)定規(guī)則來選擇適當(dāng)幀之后，圖像全景構(gòu)造塊94將被選擇幀附加到圖像全景。圖
像全景在完成之后可以存儲于存儲器88中和/或顯示于顯示器96上。 運動傳感器92可以提供與捕獲用于構(gòu)造圖像全景的多個圖像的相機 傳感器84的運動有關(guān)的信息。也可以使用模塊90以使用例如在圖 2b的流程圖中概括的過程而使用來自塊92的圖像質(zhì)量評估和/或輸 入來調(diào)整一組中^皮評估幀的數(shù)目K。
根據(jù)本發(fā)明的實施例，塊90、 91或者94可以實施為軟件或者 硬件塊或者其組合。另外，塊90、 91或者94可以實施為分立塊或 者可以與電子設(shè)備80的任何其它塊組合或者它可以根據(jù)塊的功能而 拆分成數(shù)個塊。注意幀圖像質(zhì)量評估模塊卯 一般可以是用于評估的 裝置或者與之在結(jié)構(gòu)上等效(或者具有等效結(jié)構(gòu))的裝置。另外， 幀選擇模塊91 一般可以是用于選擇的裝置或者與之在結(jié)構(gòu)上等效 (或者具有等效結(jié)構(gòu))的裝置。另外，圖像全景構(gòu)造塊94一般可以 是用于附加的裝置或者與之在結(jié)構(gòu)上等效(或者具有等效結(jié)構(gòu))的 裝置。
本發(fā)明的實施例主要地針對當(dāng)根據(jù)視頻幀集而不是根據(jù)少數(shù)幾 乎不相交的畫面而構(gòu)造圖像全景時的情況。其差異在于以正常幀速 率(例如〉10fps)捕獲的連續(xù)視頻幀包含大的重疊區(qū)域。因此，很有 可能場景的同一部分實際上存在于數(shù)個連續(xù)幀中，從這些連續(xù)幀中 選擇用以包括到圖像全景中的僅一個幀。這允許構(gòu)造比在現(xiàn)有技術(shù) 中提出的通常組合從場景中捕獲的所有圖像幀的方式具有更高視覺 質(zhì)量的圖像全景。這也造成比以前的方式更低的復(fù)雜度，因為僅使 用數(shù)目減少的圖像幀以便創(chuàng)建圖像全景。
如上文說明的那樣，本發(fā)明提供了 一種方法和由提供用于執(zhí)行 該方法步驟的功能的各種模塊組成的對應(yīng)設(shè)備。這些模塊可以實施 為硬件或者可以實施為用于由計算機處理器執(zhí)行的軟件或者固件。 具體而言，在固件或者軟件的情況下，可以將本發(fā)明提供為一種計 算機程序產(chǎn)品，該計算機程序產(chǎn)品包括在其上實施有用于由計算機 處理器執(zhí)行的計算機程序代碼的計算機可讀存儲結(jié)構(gòu)(即軟件或者固件)。
還注意可以分開地使用、組合或者針對具體應(yīng)用有選擇地組合 這里記載的本發(fā)明各種實施例。
將理解到上述布置僅僅是舉例說明本發(fā)明原理的應(yīng)用。本領(lǐng)域 技術(shù)人員可以設(shè)計諸多修改和可替換布置而不脫離本發(fā)明的范圍， 并且所附權(quán)利要求旨在于涵蓋這樣的修改和布置。
權(quán)利要求
1. 一種方法，包括使用預(yù)定標(biāo)準(zhǔn)來評估多個圖像之中某一數(shù)目的連續(xù)幀的圖像質(zhì)量，其中所述數(shù)目是值至少為二的整數(shù)；使用預(yù)定規(guī)則從所述被評估幀之中選擇具有最佳圖像質(zhì)量的一個幀；以及將所述一個幀附加到其它被選擇幀以由電子設(shè)備來構(gòu)造圖像全景。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)目是具有恒定值的 預(yù)定數(shù)目。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)目是變量。
4. 根據(jù)權(quán)利要求3所述的方法，其中使用預(yù)選標(biāo)準(zhǔn)，響應(yīng)于捕 獲所述K個連續(xù)幀的傳感器在所述捕獲過程中的運動量來選擇所述 數(shù)目。
5. 根據(jù)權(quán)利要求3所述的方法，其中向所述數(shù)目賦以初始值， 然后使用預(yù)選規(guī)則通過監(jiān)視相鄰幀中特征的相對運動速度在所述評 估過程中迭代所述數(shù)目。
6. 根據(jù)權(quán)利要求5所述的方法，其中使用所述預(yù)選規(guī)則，當(dāng)所 述相對運動速度小于閾值時將所述數(shù)目增加預(yù)選值，或者當(dāng)所述相 對運動速度大于又 一 閾值時將所述數(shù)目減少又 一 預(yù)選值。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述電子設(shè)備包括存儲器， 其用于存儲用以執(zhí)行所述評估、選擇和附加步驟的所述多個圖像。
8. 根據(jù)權(quán)利要求1所述的方法，其中所述電子設(shè)備^皮配置用以 通過網(wǎng)絡(luò)通信來存取所述多個圖像。
9. 根據(jù)權(quán)利要求1所述的方法，其中在所述評估所述數(shù)目的連 續(xù)幀的圖像質(zhì)量過程中在所述電子設(shè)備的存儲器中 一 次僅保存 一 個
10. 根據(jù)權(quán)利要求1所述的方法，其中所述評估所述數(shù)目的連續(xù)幀中各幀的圖像質(zhì)量通過評估以下四個圖像特征中的至少 一 個圖像特征來使用所述預(yù)定標(biāo)準(zhǔn)a) 銳度，b) 配準(zhǔn)準(zhǔn)確度，c) 與其它幀的重疊量，d) 運動類型和運動量。
11. 根據(jù)權(quán)利要求10所述的方法，其中所述預(yù)定標(biāo)準(zhǔn)包括所有 四個圖像特征。
12. 根據(jù)權(quán)利要求1所述的方法，其中所述電子設(shè)備是數(shù)字相 機、通信設(shè)備、無線通信設(shè)備、便攜式電子設(shè)備、移動電子設(shè)備或 者相機電話。
13. 根據(jù)權(quán)利要求1所述的方法，其中排除所述被選擇幀的邊 界并且將所述被選擇幀的基本上僅中央部分附加到所述其它被選擇
14. 根據(jù)權(quán)利要求1所述的方法，其中在所述選擇之后存儲所 述被選擇幀，并且僅在選擇所述多個圖像之中將要附加到所述圖像 全景的所有幀之后才將所述被選擇幀附加到所述圖像全景。
15. 根據(jù)權(quán)利要求1所述的方法，其中所述一個幀在所述選擇 之后立即附加到先前被選擇幀。
16. —種計算機程序產(chǎn)品，包括在其上實施有計算機程序代碼 的計算機可讀存儲結(jié)構(gòu)，用于由具有所述計算機程序代碼的計算機 處理器執(zhí)行，其中所述計算機程序代碼包括指示為由所述電子設(shè)備 的任何部件執(zhí)行的用于執(zhí)行根據(jù)權(quán)利要求1所述的方法的指令。
17. —種電子設(shè)備，包括幀圖像質(zhì)量評估模塊，配置用以使用預(yù)定標(biāo)準(zhǔn)來評估多個圖像 之中某一數(shù)目的連續(xù)幀的圖像質(zhì)量，其中所述數(shù)目是值至少為二的 整數(shù)；幀選擇模塊，配置用以使用預(yù)定規(guī)則從所述被評估幀之中選擇 具有最佳圖像質(zhì)量的一個幀；以及圖像全景構(gòu)造塊，配置用以將所述一個幀附加到其它被選擇幀 以構(gòu)造圖像全景。
18. 根據(jù)權(quán)利要求17所述的電子設(shè)備，其中所述電子設(shè)備被配置用以在所述選擇之后存儲被選擇幀，并且僅在選擇所述多個圖像 之中將要附加到所述圖像全景的所有幀之后才將所述被選擇幀附加 到所述圖像全景。
19. 根據(jù)權(quán)利要求17所述的電子設(shè)備，其中所述電子設(shè)備被配 置用以在所述選擇之后將所述一 個幀立即附加到先前被選擇幀。
20. 根據(jù)權(quán)利要求17所述的電子設(shè)備，其中所述數(shù)目是具有恒 定值的預(yù)定數(shù)目。
21. 根據(jù)權(quán)利要求17所述的電子設(shè)備，其中所述數(shù)目是變量。
22. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中使用預(yù)選標(biāo)準(zhǔn)響應(yīng) 于捕獲所述K個連續(xù)幀的傳感器在所述捕獲過程中的運動量來選擇 所述數(shù)目。
23. 根據(jù)權(quán)利要求21所述的電子設(shè)備，其中向所述數(shù)目賦以初 始值，然后使用預(yù)選規(guī)則通過監(jiān)視相鄰幀中特征的相對運動速度在 所述評估過程中迭代所述數(shù)目。
24. 根據(jù)權(quán)利要求17所述的電子設(shè)備，還包括存儲器，用于存儲用于執(zhí)行所述評估、選擇和附加的所述多個 圖像。
25. 根據(jù)權(quán)利要求17所述的電子設(shè)備，其中所述電子設(shè)備被配 置用以通過網(wǎng)絡(luò)通信來存取所述多個圖像。
26. 根據(jù)權(quán)利要求25所述的電子設(shè)備，其中在所述評估所述數(shù) 目的連續(xù)幀的圖像質(zhì)量過程中在所述電子設(shè)備的存儲器中 一次僅保 存一個幀。
27. 根據(jù)權(quán)利要求17所述的電子設(shè)備，其中所述評估所述數(shù)目 的連續(xù)幀中各幀的圖像質(zhì)量通過評估以下四個圖像特征中的至少一 個圖像特征來使用所述預(yù)定標(biāo)準(zhǔn)a)銳度，b)配準(zhǔn)準(zhǔn)確度，C)與其它幀的重疊量，d)運動類型和運動量。
28. 根據(jù)權(quán)利要求17所述的方法，其中所述電子設(shè)備是數(shù)字相 機、通信設(shè)備、無線通信設(shè)備、便攜式電子設(shè)備、移動電子設(shè)備或 者相才幾電話。
29. —種用于根據(jù)多個圖像構(gòu)造圖像全景的系統(tǒng)，包括 用于捕獲多個圖像的裝置；以及電子設(shè)備，包括幀圖像質(zhì)量評估模塊，配置用以使用預(yù)定標(biāo)準(zhǔn)來評估所述 多個圖像之中某一數(shù)目的連續(xù)幀的圖像質(zhì)量，其中將所述數(shù)目 的連續(xù)幀中的各幀通過網(wǎng)絡(luò)通信來提供到所述電子設(shè)備，而所 述數(shù)目是值至少為二的整數(shù)；幀選擇模塊，配置用以使用預(yù)定規(guī)則從所述被評估幀之中 選擇具有最佳圖像質(zhì)量的一個幀；以及圖像全景構(gòu)造塊，配置用以將所述一個幀附加到其它被選 擇幀以構(gòu)造圖像全景。
30. 根據(jù)權(quán)利要求29所述的系統(tǒng)，其中所述網(wǎng)絡(luò)通信是通過因 特網(wǎng)的網(wǎng)絡(luò)通信。
31. 根據(jù)權(quán)利要求29所述的系統(tǒng)，其中所述用于捕獲的裝置是 所述電子設(shè)備的一部分或者與所述電子設(shè)備相分離。
32. —種電子設(shè)備，包括用于使用預(yù)定標(biāo)準(zhǔn)來評估多個圖像之中某一數(shù)目的連續(xù)幀的圖 像質(zhì)量的裝置，其中所述數(shù)目是值至少為二的整數(shù)；用于使用預(yù)定規(guī)則從所述被評估幀之中選擇具有最佳圖像質(zhì)量 的一個幀的裝置；以及用于將所述一個幀附加到其它被選擇幀以構(gòu)造圖像全景的裝置。
33. 根據(jù)權(quán)利要求32所述的電子設(shè)備，其中所述用于評估的裝置是幀圖像質(zhì)量評估模塊，所述用于選擇的裝置是幀選擇模塊，以 及所述用于附加的裝置是圖像全景構(gòu)造塊。
全文摘要
本說明書和附圖呈現(xiàn)一種用于電子設(shè)備根據(jù)多個圖像基于它們的視覺質(zhì)量構(gòu)造圖像全景的新方法、系統(tǒng)、裝置和軟件產(chǎn)品。通常在多個相鄰視頻幀上捕獲全景圖像場景的同一部分，可以從這些視頻幀中選擇將要粘貼到全景中的最佳視覺表示。根據(jù)多個被捕獲圖像構(gòu)造圖像全景可以包括以下步驟a)使用預(yù)定標(biāo)準(zhǔn)來評估所捕獲的多個圖像之中K個連續(xù)幀的圖像質(zhì)量；b)使用預(yù)定規(guī)則從評估的K個幀之中選擇具有最佳圖像質(zhì)量的一個圖像；以及c)將被選擇幀附加到先前被選擇幀以構(gòu)造圖像全景。在線實施和離線實施是可能的。
文檔編號G06T7/20GK101421759SQ200780012869
公開日2009年4月29日 申請日期2007年2月15日 優(yōu)先權(quán)日2006年4月10日
發(fā)明者J·鮑特利爾, M·維維萊南, M·蒂科, O·西爾文 申請人:諾基亞公司