專利名稱：使用高幀率圖像流來更新低幀率圖像的制作方法
使用高幀率圖像流來更新低幀率圖像
背景技術(shù)：
為了真實(shí)體驗(yàn)處于某個(gè)物理場所的感覺，人們有可能在該場所當(dāng)場出現(xiàn)。然而，隨著媒體捕捉、圖像顯示、無線數(shù)據(jù)遞送以及移動(dòng)計(jì)算方面的技術(shù)進(jìn)步，替代品數(shù)字體驗(yàn)有可能會(huì)成為ー種更引人注目的替代品。用于遞送高分辨率、高幀率媒體的用途可能出現(xiàn)在探索和計(jì)劃應(yīng)用中。有吋，由于用戶計(jì)劃參觀某個(gè)場所或者由于用戶不熟悉某個(gè)場所，其有可能希望對該場所進(jìn)行探索。這些計(jì)劃有可能與計(jì)劃某個(gè)晚上的活動(dòng)是一樣簡單的。我應(yīng)該在哪兒吃飯？我不是不應(yīng)該在飯后參觀附近的場所？夜間步行將會(huì)怎樣？通過虛擬參觀某個(gè)場所，這種問題可以得到回答。

虛擬訪問領(lǐng)域可以包括在單個(gè)時(shí)間點(diǎn)遞送高保真媒體的技術(shù)以及遞送低保真度的實(shí)時(shí)高幀率媒體的技術(shù)。高保真媒體可以包括分辨率相對較高的照片和全景圖。高保真媒體還可以覆蓋較大的場景區(qū)域。例如，衛(wèi)星圖像可以覆蓋加利福利亞的整個(gè)海岸線，而本地相機(jī)只能顯示沿著100碼的海岸線上的波浪的圖像。這種高保真媒體可以允許用戶通常在很短的時(shí)段或是某個(gè)時(shí)刻捕獲高分辨率圖像。通過將多張照片縫合成單個(gè)全景圖，可以允許創(chuàng)建出高分辨率的全景圖像。對于捕獲某個(gè)很短時(shí)段發(fā)生的事件而言或是在需要靜態(tài)圖像的情況下，這種高保真圖像是非常有效的。其他捕獲技術(shù)可以以相對較低的保真度但卻較高的頻率來獲取媒體。視頻是以較低保真度但卻相對較高的幀率獲取圖像的媒體的ー個(gè)示例。通常，這種低保真度的媒體每秒會(huì)被獲取24幀以上，由此能以低保真度來實(shí)現(xiàn)豐富的事件捕捉。由于具有高幀率，大量數(shù)據(jù)可被獲取，但是捕獲分辨率通常會(huì)很低，并且視野通常會(huì)很窄。

發(fā)明內(nèi)容
本概述是為了以簡化形式引入精選概念而被提供的，并且在以下的詳細(xì)描述中將會(huì)進(jìn)ー步描述這些概念。本概述的目的既不是確定所保護(hù)主題的關(guān)鍵或必要特征，也不是用于限定所保護(hù)的主題的范圍。雖然在上文中指出了現(xiàn)有技術(shù)的某些缺陷，但是所保護(hù)的主題并不局限于解決所指出的現(xiàn)有技術(shù)中的任何或所有缺陷的實(shí)施方式。描述了使用較高幀率的信息來增強(qiáng)低幀率媒體或靜態(tài)圖像的不同實(shí)施例。ー種示例方法可以使用視頻流來更新靜態(tài)圖像。該方法可以從視頻源獲取視頻流，并且該視頻流可以與靜態(tài)圖像對準(zhǔn)(align)。另ー個(gè)操作可以是分析視頻流中相對于靜態(tài)圖像的變化。該變化可被應(yīng)用于針對該靜態(tài)圖像的視頻流。更進(jìn)一歩的操作可以是顯示應(yīng)用了所述變化的靜態(tài)圖像。在一個(gè)示例中，組合的靜態(tài)圖像和視頻流可以作為輸出視頻一起再現(xiàn)?！獋€(gè)示例的系統(tǒng)可以使用視頻流來更新靜態(tài)圖像。視頻輸入模塊可以接收來自視頻源的視頻流。靜態(tài)圖像模塊可用于獲取靜態(tài)圖像。對準(zhǔn)模塊可以基于靜態(tài)圖像與視頻流之間的參考點(diǎn)而將來自視頻流的視頻圖像與靜態(tài)圖像對準(zhǔn)。分析模塊可以分析視頻流中的變化，并且將視頻流中的變化應(yīng)用于靜態(tài)圖像。然后，再現(xiàn)模塊可以將組合的靜態(tài)圖像和視頻流再現(xiàn)為高分辨率、高幀率的視頻。
另ー個(gè)示例方法可以使用高幀率圖像流來更新低幀率圖像。該方法可以包括從流傳輸源獲取高幀率圖像流，以及將高幀率圖像流對準(zhǔn)到低幀率圖像。在高幀率圖像流中可以分析圖像修改。所述圖像修改可以是照明變化，移動(dòng)、或別的變化。所述圖像修改可以從高幀率圖像流應(yīng)用到低幀率圖像。組合的低幀率圖像和高幀率圖像流可以作為復(fù)合高幀率圖像來再現(xiàn)。


圖I是示出了使用視頻流來更新靜態(tài)圖像的方法示例的流程圖。圖2是示出了使用視頻流來更新靜態(tài)圖像的系統(tǒng)示例的框圖。圖3示出的是在日間所捕獲的360度辦公室全景圖以及圖像子集的較高幀率視頻饋送的示例。

圖4示出的是在夜間所捕獲的360度辦公室全景圖以及圖像子集的較高幀率視頻饋送的示例。圖5是示出了使用高幀率圖像流來更新低幀率圖像的方法示例的流程圖。
具體實(shí)施例方式現(xiàn)在將參考附圖中示出的示例性實(shí)施例，并且在這里將會(huì)使用具體的語言來描述這些示例。然而應(yīng)該理解，本技術(shù)的范圍并不會(huì)因此受到限制。這里示出的特征的替換和進(jìn)ー步修改以及這里示出的實(shí)施例的附加應(yīng)用是能被相關(guān)領(lǐng)域并擁有本公開的技術(shù)人員想到的，并且這些替換、修改和附加應(yīng)用被認(rèn)為處于本說明書的范圍以內(nèi)。可以提供一種技術(shù)來使用高幀率信息增強(qiáng)低幀率媒體和/或靜態(tài)圖像。當(dāng)捕獲或是在網(wǎng)絡(luò)或因特網(wǎng)上流傳輸圖像流時(shí)，這時(shí)可以獲取高幀率信息。通過組合來自第一源的高分辨率靜態(tài)圖像以及來自第二源的高幀率信息，可以允許用戶以高分辨率和高幀率來實(shí)時(shí)地?cái)?shù)字體驗(yàn)遠(yuǎn)程場所。通過將實(shí)時(shí)、高分辨率、高幀率的媒體遞送給用戶，使得用戶能夠具有“身臨其境”的體驗(yàn)、使用探索應(yīng)用、以及使用計(jì)劃應(yīng)用。術(shù)語高分辨率圖像可以是相對于在網(wǎng)絡(luò)上遞送或是來自計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的較低分辨率運(yùn)動(dòng)圖像而言的較高分辨率的圖像。例如，高分辨率圖像可以包括數(shù)百萬像素大小的圖像到十億像素的圖像乃至更高。低分辨率圖像可以是那些可以可靠地在因特網(wǎng)之類的網(wǎng)絡(luò)中傳輸?shù)倪\(yùn)動(dòng)圖像。低分辨率圖像的示例可以是低于百萬像素的圖像，例如視頻流中包含的視頻幀。術(shù)語高幀率可以被定義成是以大于I小時(shí)I幀或I天I幀的速率更新的圖像。在一個(gè)示例中，高幀率圖像或流可以包括毎秒24幀(fps)或更高的速率，該速率可以向觀看者提供流暢的運(yùn)動(dòng)。相比之下，術(shù)語低幀率可被定義成是以低于每小時(shí)I幀或是每天I幀的速率更新的圖像。在一個(gè)示例中，低幀率可以是每小時(shí)更新一次或是每天更新一次的靜態(tài)圖像。另ー個(gè)示例可以是在線電子地圖工具中的虛擬探索區(qū)域中的街旁圖像，其中該圖像可以每隔數(shù)年更新一次。術(shù)語靜態(tài)圖像可以意味著在確定的時(shí)段中幾乎不顯現(xiàn)出變化的圖像。靜態(tài)圖像的進(jìn)ー步的示例可以包括沒有動(dòng)畫運(yùn)動(dòng)或是照明變化的圖像。例如，靜態(tài)圖像可以每小時(shí)更新一次，但是靜態(tài)圖像在某個(gè)時(shí)段有可以是靜態(tài)的，并且可以周期性地被另ー個(gè)靜態(tài)圖像所替換。術(shù)語實(shí)時(shí)可被定義成是立即在網(wǎng)絡(luò)、因特網(wǎng)或別的傳輸中將所捕獲的圖像并在接收到該圖像時(shí)顯示給用戶。本技術(shù)組合了高幀率技術(shù)和低幀率技術(shù)的方面，使得高分辨率、高幀率、實(shí)時(shí)媒體的顯示成為可能。照片和全景圖可以作為高分辨率的環(huán)境使用，并且高分辨率圖像可以用低分辨率的實(shí)時(shí)高幀率視頻來增強(qiáng)。全景圖可以是局部全景圖或完整的360度全景圖。通常，與較低幀率的圖像相比，較高分辨率的源可以具有較寬的覆蓋區(qū)域，并且兩個(gè)圖像源可以具有僅僅局部的共同覆蓋?？杀蛔罱K用戶看到的輸出可以是在高幀率圖像或視頻中實(shí)時(shí)發(fā)生的事件中有響應(yīng)的高分辨率全景圖。圖I示出的是使用視頻流來更新靜態(tài)圖像的示例方法。該方法可以包括像方框110中那樣從視頻源獲取視頻流。該視頻流可以是高幀率視頻流。所述視頻流可以是從在遠(yuǎn)程場所正在捕獲圖像的攝像機(jī)獲取的，并且視頻圖像可以經(jīng)由因特網(wǎng)、廣域網(wǎng)(WAN)、局 域網(wǎng)(LAN)或別的網(wǎng)絡(luò)而被流式傳輸。靜態(tài)圖像可以是高分辨率的全景圖像或是高分辨率的矩形圖像。然后，如在方框120中的，視頻流可被對準(zhǔn)到靜態(tài)圖像。該視頻流可被對準(zhǔn)到靜態(tài)圖像的參考點(diǎn)。例如，用戶可以在靜態(tài)圖像中定義ー個(gè)對準(zhǔn)點(diǎn)，以及在視頻的圖像幀中定義相應(yīng)的參考點(diǎn)或參考對象。作為替換，可以使用參考點(diǎn)或參考對象將視頻流對準(zhǔn)到靜態(tài)圖像，其中所述參考點(diǎn)或參考對象是用自動(dòng)方法發(fā)現(xiàn)的，這些方法可以包括特征提取、匹配方法或是傳感器對準(zhǔn)。參考點(diǎn)或參考對象可以處于圖像本身之中，或者參考點(diǎn)可以包括用于所使用的攝影設(shè)備的機(jī)械測量。在方框130中，更進(jìn)ー步的操作可以是分析視頻流中相對于靜態(tài)圖像的變化。在一個(gè)示例中，在視頻流中相對于靜態(tài)圖像可以識(shí)別出照明變化。該視頻流可以顯示在所捕獲的場所，夜晚已經(jīng)來臨，并且其照明有可能不同于在日間捕獲的靜態(tài)圖像中的照明。在方框140中，在視頻流中檢測到的變化可被應(yīng)用于靜態(tài)圖像。在照明變化的示例中，可以基于在分析階段識(shí)別的照明而將照明中的變化應(yīng)用于靜態(tài)圖像。所述照明變化可以使用直方圖匹配而將來自視頻流的照明變化應(yīng)用于靜態(tài)圖像。如果在視頻流捕獲的場所，照明變化是夜晚，那么可以將夜間特性應(yīng)用于靜態(tài)圖像。在另ー個(gè)示例中，視頻流中的運(yùn)動(dòng)變化可以相對于靜態(tài)圖像而被識(shí)別。然后，該運(yùn)動(dòng)變化可被應(yīng)用于靜態(tài)圖像。所述運(yùn)動(dòng)變化可以使用應(yīng)用于圖像的子區(qū)域變形來應(yīng)用。另一種應(yīng)用運(yùn)動(dòng)變化的方法可以是三維(3D)計(jì)算機(jī)圖形建模、ニ維(2D)動(dòng)畫或是用于運(yùn)動(dòng)的計(jì)算機(jī)建模的其他技木。檢測到的運(yùn)動(dòng)變化可以是隨機(jī)運(yùn)動(dòng)或結(jié)構(gòu)化運(yùn)動(dòng)。在ー個(gè)具體實(shí)例中，交通攝像機(jī)饋送可被用于在航空圖像中“動(dòng)畫化”道路上的車輛。某個(gè)海岸上的波浪運(yùn)動(dòng)的視頻可以用于動(dòng)畫化整個(gè)加利福利亞海岸線視圖上的波浪。隨風(fēng)而動(dòng)的樹或麥田的視頻可以用于動(dòng)畫化整個(gè)鄉(xiāng)村區(qū)域。使用顯示在人行道上行走的人的網(wǎng)絡(luò)攝像頭，可以用移動(dòng)的人來填充市中心城區(qū)(例如人的密度可以用人在靜態(tài)圖像或大面積的靜態(tài)圖像中的存在來指引)。然后，在方框150中可以顯示應(yīng)用了變化的靜態(tài)圖像。該靜態(tài)圖像既可以單獨(dú)顯示，也可以在視頻圖像附近顯示。此外，視頻幀可被嵌入到用于輸出視頻的靜態(tài)圖像的預(yù)期場所。在一個(gè)示例中，組合的靜態(tài)圖像和視頻流可以作為輸出視頻而被一起再現(xiàn)。輸出視頻可以是分辨率至少與靜態(tài)圖像一祥高的高幀率視頻。作為替換，組合的輸出可以是經(jīng)過修改的靜態(tài)圖像，其中該經(jīng)過修改的靜態(tài)圖像是基于用戶定義的時(shí)段而被周期性更新的。例如，用戶有可能希望每隔15分鐘、30分鐘或I小時(shí)就用視頻中的變化來更新圖像全景圖或是矩形靜態(tài)圖像。使用所描述的技術(shù)來模擬實(shí)際“身臨其境”的體驗(yàn)具有若干個(gè)引人注目的應(yīng)用領(lǐng)域。這其中的一個(gè)應(yīng)用領(lǐng)域是旅游業(yè)。通常，游客有可能希望在實(shí)際去往某個(gè)地點(diǎn)之前查看該地點(diǎn)。例如，希望訪問佛羅里達(dá)海灘的游客可能希望預(yù)先查看用戶更愿意參觀的海灘。如果要了解某些平房是否看得見海灘或者是否起被樹或其他房屋遮擋，那么同樣是很有用的。在房地產(chǎn)領(lǐng)域，模擬“身臨其境”的體驗(yàn)同樣是很有用的。在買進(jìn)房屋之前，購買者去往該地點(diǎn)并體驗(yàn)房產(chǎn)是明智的。然而，購買者不可能參觀每一個(gè)可供購買的住宅，如果具有用干“身臨其境”的數(shù)字表示，那么將會(huì)節(jié)約時(shí)間并且有助于規(guī)劃實(shí)際參觀。而這也正是房地產(chǎn)網(wǎng)站具有附帯的照片或全景圖的ー個(gè)原因。

本技術(shù)還可以在媒體原始環(huán)境中顯示所捕獲的媒體。例如，在地圖軟件(例如BingMaps streets)中，在具有以相同夜間狀況再現(xiàn)的先前捕獲圖像的恰當(dāng)?shù)乩韴鏊梢燥@示和/或嵌入最終用戶晚間在街上拍攝的照片。關(guān)于這種技術(shù)的更進(jìn)ー步的應(yīng)用可以將人們吸引到所述媒體。在一個(gè)范例中，夜總會(huì)入口的視頻可以在啟用因特網(wǎng)的地圖應(yīng)用(例如Bing Maps)中現(xiàn)場顯示在街道上。在用戶瀏覽至接近于所述視頻的嵌入場所的時(shí)候，與嵌入當(dāng)前視頻的地點(diǎn)較為接近的街道可被加上陰影，以便與直播視頻的照明相匹配。作為替換，與嵌入視頻較為接近的街道可以用諸如紅色或黃色之類的某種顏色逐漸加上陰影，以使用戶更有可能注意到嵌入視頻的地點(diǎn)。本技術(shù)的另一個(gè)示例用途可以是通過動(dòng)畫化下列各項(xiàng)來使得整個(gè)州或區(qū)域(例如加利福利亞)的衛(wèi)星圖像變得生動(dòng)海浪、樹木的運(yùn)動(dòng)，以及車輛和步行者的移動(dòng)(在州的零星地點(diǎn)使用當(dāng)前的網(wǎng)絡(luò)攝像頭采樣)。圖2示出的是使用視頻流來更新靜態(tài)圖像的系統(tǒng)。視頻輸入模塊212可以接收來自視頻源(例如攝像機(jī))的視頻流，并且靜態(tài)圖像模塊210可以獲取靜態(tài)圖像。該靜態(tài)圖像可以是高分辨率圖像或高分辨率全景圖。對準(zhǔn)模塊214可以用于以靜態(tài)圖像和視頻流之間的參考點(diǎn)為基礎(chǔ)而將來自視頻流的視頻圖像與靜態(tài)圖像對準(zhǔn)。在一個(gè)示例中，可以使用靜態(tài)圖像中的參考點(diǎn)而將視頻流對準(zhǔn)到靜態(tài)圖像。靜態(tài)圖像和視頻中的一個(gè)或多個(gè)參考點(diǎn)可以手動(dòng)識(shí)別，或者所述ー個(gè)或多個(gè)參考點(diǎn)可以用自動(dòng)方法識(shí)別，其中所述方法可以包括特征提取，匹配方法或是傳感器對準(zhǔn)。靜態(tài)圖像與視頻圖像之間的對準(zhǔn)可以使用圖像變換、圖像旋轉(zhuǎn)、圖像彎曲(warping)或圖像變形來進(jìn)行。也可使用靜態(tài)圖像遮蔽以對要插入到靜態(tài)圖像中的視頻圖像創(chuàng)建嵌入場所。該對準(zhǔn)還可以動(dòng)態(tài)進(jìn)行。換句話說，來自旋轉(zhuǎn)相機(jī)、車載相機(jī)、電視賽事報(bào)道等等的視頻可以參考靜態(tài)圖像并作為來自頻繁移動(dòng)的攝像機(jī)的幀而被持續(xù)動(dòng)態(tài)地并入靜態(tài)圖像。分析模塊218可以分析視頻流中的變化，并且可以將來自視頻流的變化應(yīng)用于靜態(tài)圖像。在一個(gè)示例中，分析模塊識(shí)別視頻流中相對于靜態(tài)圖像的照明變化，并且將所述照明變化應(yīng)用于靜態(tài)圖像。該照明變化可以用直方圖變換來應(yīng)用，以便將來自視頻流的照明變化應(yīng)用于靜態(tài)圖像。直方圖變換是ー種可以以直方圖均衡為基礎(chǔ)的技木。也可以用內(nèi)核濾波器來應(yīng)用照明變化，以便照明、變暗某個(gè)圖像或是改變圖像的顔色。在另ー個(gè)示例中，分析模塊可以識(shí)別視頻流中相對于靜態(tài)圖像的運(yùn)動(dòng)變化，并且將所述運(yùn)動(dòng)變化應(yīng)用于靜態(tài)圖像?？梢允褂米訁^(qū)域變形或是其他運(yùn)動(dòng)建模技術(shù)而將該運(yùn)動(dòng)變化應(yīng)用于靜態(tài)圖像。通過使用再現(xiàn)模塊220，可以將靜態(tài)圖像和視頻流組合成一個(gè)高分辨率的高幀率視頻222。由此，可以輸出能被最終用戶查看的單個(gè)視頻流。當(dāng)視頻流中發(fā)生變化時(shí)，這些變化可被分析并應(yīng)用于靜態(tài)圖像。作為替換，經(jīng)過修改的靜態(tài)圖像既可以單獨(dú)顯示，也可以顯示在視頻流圖像的旁邊。以上為圖2描述的模塊可以在計(jì)算設(shè)備298上運(yùn)行，其中該計(jì)算設(shè)備可以是服務(wù)器、工作站、個(gè)人計(jì)算機(jī)或是別的計(jì)算節(jié)點(diǎn)。計(jì)算設(shè)備或計(jì)算節(jié)點(diǎn)可以包括硬件處理器設(shè)備290、硬件存儲(chǔ)器設(shè)備292、允許在硬件設(shè)備與組件之間通信的本地通信總線294、以及在網(wǎng)絡(luò)上與其他圖像生成模塊、其他計(jì)算節(jié)點(diǎn)上的進(jìn)程或是其他計(jì)算設(shè)備通信的聯(lián)網(wǎng)設(shè)備296。

現(xiàn)在將描述使用來自相同場所的視頻來更新來自所捕獲場所的高分辨率圖像，以便匹配在所捕獲場所出現(xiàn)的實(shí)時(shí)照明、事件和運(yùn)動(dòng)的技術(shù)的附加詳細(xì)示例。該系統(tǒng)可以對準(zhǔn)、分析輸入圖像和視頻，并且將其一起再現(xiàn)成是單個(gè)的高分辨率高幀率實(shí)時(shí)視頻(或単獨(dú)是經(jīng)過更新的圖像)。本技術(shù)可以采用多種方式來增強(qiáng)靜態(tài)照片和全景圖。低幀率圖像可以通過調(diào)整表觀照明以及通過動(dòng)畫化靜態(tài)圖像中那些原本不變或是變化很小的運(yùn)動(dòng)來增強(qiáng)。來自所捕獲場所的視頻還可以對與最終再現(xiàn)的視頻一起呈現(xiàn)的聲音作出貢獻(xiàn)或?qū)ζ溥M(jìn)行修改。本技術(shù)的輸入可以是圖像和視頻。圖像可以是單個(gè)照片或是照片的復(fù)合物，這與縫合的全景圖中是一祥的。所述照片或全景圖可以被認(rèn)為是低幀率圖像。舉個(gè)例子，如圖3所示，該圖像可以是所捕獲的辦公室310的360度全景圖。所述視頻可以是圖像某個(gè)子集的較高幀率的視頻饋送312。例如，該視頻可以是ー個(gè)網(wǎng)絡(luò)攝像機(jī)饋送，其中所述饋送被配置成流傳輸辦公室的特定子視圖乃至全景圖的實(shí)況高幀率視頻。該視頻可以是從視頻流獲取的，所述視頻流則可以是從經(jīng)由因特網(wǎng)發(fā)送的視頻流獲取的?？梢钥闯龅氖牵谝曨l幀與視頻幀在全景圖中的位置之間有可能存在對應(yīng)性314。圖像和視頻可被輸入到對準(zhǔn)塊(與圖2中一祥)。該對準(zhǔn)塊可以將圖像的像素對準(zhǔn)到視頻幀。這種對準(zhǔn)可以假設(shè)視頻是固定在相對于圖像的位置的；否則，該對準(zhǔn)有可能產(chǎn)生取決于幀的輸出。所述對準(zhǔn)既可以自動(dòng)執(zhí)行，也可以半自動(dòng)執(zhí)行，還可以手動(dòng)執(zhí)行。自動(dòng)對準(zhǔn)意味著可以使用特征提取和匹配技術(shù)，這其中包括經(jīng)常與計(jì)算機(jī)視覺系統(tǒng)一起使用的運(yùn)動(dòng)推斷結(jié)構(gòu)(structure-from-motion)或追蹤方法。對準(zhǔn)還可以使用通過傳感器對準(zhǔn)的相機(jī)來執(zhí)行，其中所述傳感器感測位置、方位和相機(jī)定位。在很多相機(jī)、移動(dòng)設(shè)備和具有相機(jī)的電話中，這種傳感器正在日益普及。關(guān)于這種傳感器的示例可以是全球定位系統(tǒng)(GPS)傳感器、指南針或是方位傳感器。如先前所討論的，將視頻幀對準(zhǔn)到靜態(tài)圖像也可以是動(dòng)態(tài)的，其中來自移動(dòng)相機(jī)的視頻幀可被動(dòng)態(tài)并入最終圖像。例如，在攝像機(jī)每次移動(dòng)的時(shí)候，具有關(guān)于靜態(tài)圖像的變化場所的視頻幀都可以被集成到靜態(tài)圖像中。在手動(dòng)對準(zhǔn)的示例中，手動(dòng)技術(shù)可以用于指定視頻與圖像之間的點(diǎn)對應(yīng)性。該技術(shù)可以假設(shè)視頻與圖像之間的平面代理。但是，平面限制有可能會(huì)減小，并且可以使用其他的對應(yīng)性表面類型(例如曲面)。對準(zhǔn)塊的輸出可以包括圖像空間中的ニ進(jìn)制掩碼，其規(guī)定可以將視頻像素定位在相對于圖像的什么位置。在這里可以規(guī)定ー個(gè)彎曲函數(shù)，以使視頻像素精確對應(yīng)于圖像像素。由于可以從所述彎曲函數(shù)中推導(dǎo)出掩碼，因此彎曲函數(shù)和ニ進(jìn)制掩碼有可能是多余的，盡管如此，當(dāng)在兩個(gè)圖像之間在像素級對應(yīng)性之上使用統(tǒng)計(jì)的對應(yīng)性(例如計(jì)算直方圖)時(shí)，包含ニ進(jìn)制掩碼將會(huì)是非常便利的。在分析塊中(與圖2中一祥)，視頻與圖像的對應(yīng)性可以用于增強(qiáng)圖像，以使其看起來更像該視頻。如先前所述，這可以包括針對照明和運(yùn)動(dòng)的某些增強(qiáng)。在照明增強(qiáng)中，輸出圖像的照明可被增強(qiáng)，以使其看上去像是輸出視頻。如果該視頻包含照明變化，那么輸出視頻也有可能顯現(xiàn)出相同的照明變化。舉個(gè)例子，如果輸入圖像是在日間捕獲的全景圖，并且實(shí)況視頻流在夜間的，那么可以修改輸出圖像或視頻，以使其看上去像是在夜間捕獲的全景圖。圖4示出的是照明增強(qiáng)的進(jìn)ー步的示例。在這里示出的是網(wǎng)絡(luò)攝像頭視頻412在夜間的圖像。此外，所增強(qiáng)的全景圖已被修改，以便使用夜間視頻410作為照明參考來模擬夜間燈光。為了完成照明增強(qiáng)，在視頻與掩碼內(nèi)部的圖像像素之間可以執(zhí)行直方圖匹配。相同的直方圖轉(zhuǎn)換功能可以應(yīng)用于圖像中的剰余像素。 其他增強(qiáng)可以包括運(yùn)動(dòng)推斷。在這種情況下，視頻中發(fā)生的事件的運(yùn)動(dòng)可被推斷成是圖像中的子區(qū)域變形。這些運(yùn)動(dòng)本身可以進(jìn)一歩分成隨機(jī)和結(jié)構(gòu)化運(yùn)動(dòng)。隨機(jī)運(yùn)動(dòng)可以包括能夠通過來自諸如高斯的或指數(shù)的隨機(jī)處理的采樣表征的運(yùn)動(dòng)。這種處理可以用于表面上模擬本地隨機(jī)運(yùn)動(dòng)，例如海浪或樹在風(fēng)中的溫和搖晃和擺動(dòng)。其他示例包括模擬天空中的z 的運(yùn)動(dòng)。在視頻中，可以借助追! 示檢測運(yùn)動(dòng)并將運(yùn)動(dòng)分IllJ成局部運(yùn)動(dòng)。如果已知的話，那么還可以使用運(yùn)動(dòng)模型和先前運(yùn)動(dòng)模型，例如波浪的垂直周期性運(yùn)動(dòng)。結(jié)構(gòu)化的運(yùn)動(dòng)可以是運(yùn)動(dòng)的外推，例如汽車交通、機(jī)器運(yùn)動(dòng)、重復(fù)的人群運(yùn)動(dòng)或是其他類似的運(yùn)動(dòng)。一旦提取了運(yùn)動(dòng)并將其分割，則可以將來自視頻的相應(yīng)圖像紋理匹配到圖像，以及在與具有運(yùn)動(dòng)的視頻區(qū)域相類似的高分辨率的圖像區(qū)域中應(yīng)用該紋理來提供運(yùn)動(dòng)。與照明增強(qiáng)相比，用于運(yùn)動(dòng)的對準(zhǔn)對應(yīng)性可以用視頻中的云、水和樹木和在圖像中找到的那些運(yùn)動(dòng)之間的匹配來增強(qiáng)。運(yùn)動(dòng)和/或變化照明的其他示例可以是提供閃爍的城市燈光、天空中的靜態(tài)的星星，或是在天空中閃爍的星星。諸如尺度不變特征變換(SIFT)匹配和最穩(wěn)定極值區(qū)域(MSER)之類的現(xiàn)有匹配方法可以用于為那些被識(shí)別出運(yùn)動(dòng)的云、水和樹木區(qū)域找到近似的匹配。過去，圖像使用了動(dòng)畫來為運(yùn)動(dòng)提供程序式動(dòng)畫或其他模擬運(yùn)動(dòng)，例如云，以便綜合地插值整個(gè)天空。但是，本技術(shù)使用了圖像或視頻作為指導(dǎo)來將運(yùn)動(dòng)添加到?jīng)]有運(yùn)動(dòng)的區(qū)域中。換句話說，高幀率視頻可以用于增強(qiáng)低幀率照片的圖像。視頻可以由ー個(gè)空間稀疏傳感器捕獲，并且視頻與圖片之間共有的區(qū)域可以用于推斷出視頻區(qū)域之外的其他照片區(qū)域的外觀和運(yùn)動(dòng)。最終的處理模塊可以是再現(xiàn)塊(與圖2中一祥)。該塊可以執(zhí)行預(yù)期的混合來最終將視頻復(fù)合成圖像，以及提供単獨(dú)的視頻輸出流。諸如拉普拉斯(Laplacian)或泊松(Poi sson )混合之類的混合技術(shù)可以用于混合圖像或圖像邊緣。作為替換，經(jīng)過修改的靜態(tài)圖像既可以單獨(dú)顯示，也可以顯示在視頻流圖像旁邊。最終的輸出可以是初始摘獲圖像的具有聞分辨率的視頻，而且該視頻還包括聞中貞率實(shí)時(shí)視頻的變化。由此，系統(tǒng)可以采用若干種方式來增強(qiáng)照片和/或全景圖，其中包括調(diào)整表觀的照明，以及動(dòng)畫化原本在靜態(tài)圖像中基本上不會(huì)移動(dòng)的運(yùn)動(dòng)。
圖5示出的是使用高幀率圖像流來更新低幀率圖像的更進(jìn)ー步的示例方法。低幀率圖像可以是完整或局部全景圖，或是別的靜態(tài)攝影圖像。該方法可以包括在方框510，從流傳輸源獲取高幀率圖像流的操作。所述流傳輸源可以是硬盤驅(qū)動(dòng)器上的視頻文件、光盤上的視頻文件、經(jīng)由網(wǎng)絡(luò)發(fā)送的已記錄的視頻流，或是因特網(wǎng)上的實(shí)況視頻流。在方框520，高幀率圖像流可被對準(zhǔn)到低幀率圖像。在方框530，可以分析較高幀率的圖像流中的圖像修改。該圖像修改可以是照明變化、運(yùn)動(dòng)變化或是別的變化。在方框540，圖像修改可被從高幀率圖像流應(yīng)用到低幀率圖像。在方框550，組合的低幀率圖像和高幀率圖像流可被再現(xiàn)成是復(fù)合的高分辨率高幀率圖像。作為替換，經(jīng)過修改的靜態(tài)圖像既可以單獨(dú)顯示，也可以顯示在視頻流圖像旁邊。本說明書中描述的某些功能単元被標(biāo)記成了模塊，以便更具體地強(qiáng)調(diào)其實(shí)施方式的獨(dú)立性。例如模塊可以實(shí)現(xiàn)為包含了定制的VLSI電路或門陣列、諸如邏輯芯片、晶體管之類的現(xiàn)有半導(dǎo)體組件或其他分立組件。模塊還可以在可編程硬件設(shè)備中實(shí)現(xiàn)，例如現(xiàn)場可編程門陣列、可編程陣列邏輯、可編程邏輯設(shè)備等等。 模塊還可以在由不同類型的處理器運(yùn)行的軟件中實(shí)現(xiàn)。舉例來說，所識(shí)別的可執(zhí)行代碼模塊可以包括一個(gè)或多個(gè)計(jì)算機(jī)指令塊，這些指令快可被組織成對象、過程或函數(shù)。然而，用于所識(shí)別的模塊的可執(zhí)行文件在物理上未必是在一起的，而可以包括保存在不同位置的不同的指令，其中所述指令包括模塊，并且其在被邏輯上連接在一起的時(shí)候?qū)崿F(xiàn)所陳述的模塊的功能。實(shí)際上，可執(zhí)行代碼模塊可以是單個(gè)指令或很多指令，并且甚至可以分布在若干個(gè)不同的代碼段中、不同的程序中以及若干個(gè)存儲(chǔ)器設(shè)備上。同樣，在這里可以將操作數(shù)據(jù)識(shí)別并且示例在模塊內(nèi)，并且可以體現(xiàn)在任何適當(dāng)?shù)男问街幸约敖M織在任何適當(dāng)類型的數(shù)據(jù)結(jié)構(gòu)中。該操作數(shù)據(jù)可以是作為單個(gè)數(shù)據(jù)集收集的，或者可以分布在包括不同的存儲(chǔ)設(shè)備上的不同的位置。這些模塊可以是無源或有源的，其中包括可操作以執(zhí)行預(yù)期功能的代理。這里描述的技術(shù)還可以保存在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上，其中所述介質(zhì)包括易失和非易失、可移除和不可移除媒體，其是使用用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的任何技術(shù)來實(shí)現(xiàn)的。計(jì)算機(jī)可讀存儲(chǔ)媒體包括但不局限于RAM、R0M、EEPR0M、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多用途碟片(DVD)或其他光學(xué)存儲(chǔ)器、磁帶盒、磁帶、磁盤存儲(chǔ)器或其他磁存儲(chǔ)設(shè)備、或是其他任何可以用于存儲(chǔ)預(yù)期信息以及所描述的技術(shù)的計(jì)算機(jī)存儲(chǔ)介質(zhì)。這里描述的設(shè)備還可以包括允許設(shè)備與其他設(shè)備通信的通信連接或聯(lián)網(wǎng)設(shè)備以及網(wǎng)絡(luò)連接。通信連接是通信媒體的ー個(gè)示例。典型地，通信媒體將計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)包含在載波之類的調(diào)制的數(shù)據(jù)信號或其他傳輸機(jī)制中，并且可以包括任何信息遞送媒體?！罢{(diào)制的數(shù)據(jù)信號”指的是以在信號中對信息編碼的方式設(shè)定或改變其ー個(gè)或多個(gè)特性的信號。作為示例而不是限制，通信媒體包括有線媒體，例如有線網(wǎng)絡(luò)或直接有線連接，以及無線媒體，例如聲學(xué)、射頻、紅外以及其他無線媒體。這里使用的術(shù)語計(jì)算機(jī)可讀媒體包括通信媒體。此外，在一個(gè)或多個(gè)實(shí)施例中，所描述的特征、結(jié)構(gòu)或特性可以采用任何適當(dāng)?shù)姆绞浇M合。在先前描述中提供了眾多特定細(xì)節(jié)，例如用于提供關(guān)于所描述的技術(shù)的實(shí)施例的全面理解的不同配置的示例。然而，相關(guān)領(lǐng)域的技術(shù)人員將會(huì)認(rèn)識(shí)到，該技術(shù)是可以在沒有ー個(gè)或多個(gè)特定細(xì)節(jié)或是具有其他方法、組件、設(shè)備等等的情況下實(shí)現(xiàn)的。在其他實(shí)例中，眾所周知的結(jié)構(gòu)或操作并未詳細(xì)顯示或描述，以免與本技術(shù)的方面相混淆。雖然在特定于結(jié)構(gòu)特征和/或操作的語言中描述了本主題，但是應(yīng)該理解，附加權(quán)利要求中定義的主題未必局限于上述特定特征或操作。相反，以上描述的特定特征和操作是作為用于實(shí)施權(quán)利要求的示例形式公開的。在不脫離所描述的技術(shù)的精神和范圍的情況下，眾多的修改和替換布置都是可 以設(shè)計(jì)的。
權(quán)利要求
1.一種使用視頻流來更新靜態(tài)圖像的方法，包括 從視頻源獲取視頻流； 將視頻流對準(zhǔn)到靜態(tài)圖像； 分析視頻流中相對于靜態(tài)圖像的變化； 將視頻流中的變化應(yīng)用于靜態(tài)圖像；以及 顯示應(yīng)用了所述變化的靜態(tài)圖像。
2.如權(quán)利要求I的方法，其中顯示靜態(tài)圖像還包括將組合的靜態(tài)圖像和視頻流作為輸出視頻來再現(xiàn)。
3.如權(quán)利要求I的方法,其中應(yīng)用變化還包括 識(shí)別視頻流中相對于靜態(tài)圖像的照明變化；以及 將所述照明變化應(yīng)用于靜態(tài)圖像。
4.如權(quán)利要求3的方法，其中照明變化使用直方圖匹配而將來自視頻流的照明變化應(yīng)用于靜態(tài)圖像。
5.如權(quán)利要求I的方法,其中應(yīng)用變化還包括 識(shí)別視頻流中相對于靜態(tài)圖像的運(yùn)動(dòng)變化；以及 將所述運(yùn)動(dòng)變化應(yīng)用于靜態(tài)圖像。
6.一種使用視頻流來更新靜態(tài)圖像的系統(tǒng)，包括 視頻輸入模塊，用于接收來自視頻源的視頻流； 靜態(tài)圖像模塊，用于獲取靜態(tài)圖像； 對準(zhǔn)模塊，基于靜態(tài)圖像與視頻流之間的參考點(diǎn)，而將來自視頻流的視頻圖像與靜態(tài)圖像對準(zhǔn)； 分析模塊，用于分析視頻流中的變化，以及將視頻流中的變化應(yīng)用于靜態(tài)圖像；以及 再現(xiàn)模塊，用于將組合的靜態(tài)圖像和視頻流再現(xiàn)為高分辨率、高幀率視頻。
7.如權(quán)利要求6的系統(tǒng)，其中分析模塊識(shí)別視頻流中相對于靜態(tài)圖像的照明變化，并且將所述照明變化應(yīng)用于靜態(tài)圖像。
8.如權(quán)利要求7的系統(tǒng)，其中照明變化使用直方圖匹配而將來自視頻流的照明變化應(yīng)用于靜態(tài)圖像。
9.如權(quán)利要求6的系統(tǒng)，其中分析模塊識(shí)別視頻流中相對于靜態(tài)圖像的運(yùn)動(dòng)變化，并且將所述運(yùn)動(dòng)變化應(yīng)用于靜態(tài)圖像。
10.如權(quán)利要求6的系統(tǒng)，其中運(yùn)動(dòng)變化使用了子區(qū)域變形來將變化應(yīng)用于靜態(tài)圖像。
全文摘要
描述了使用較高幀率的信息來增強(qiáng)低幀率媒體或靜態(tài)圖像的技術(shù)。一種示例方法可以使用視頻流來更新靜態(tài)圖像。該方法可以從視頻源獲取視頻流，并且該視頻流可以與靜態(tài)圖像對準(zhǔn)。另一個(gè)操作可以是分析視頻流中相對于靜態(tài)圖像的變化。該變化可被應(yīng)用于該靜態(tài)圖像的視頻流。進(jìn)一步的操作可以是顯示應(yīng)用了所述變化的靜態(tài)圖像。
文檔編號H04N1/387GK102685364SQ20121003185
公開日2012年9月19日 申請日期2012年2月13日 優(yōu)先權(quán)日2011年2月11日
發(fā)明者B.陳, E.奧菲克, I.奧默 申請人:微軟公司