用于對(duì)場(chǎng)景的交互視圖導(dǎo)航的綜合分組的制作方法
【專(zhuān)利說(shuō)明】
【背景技術(shù)】
[0001]許多用戶(hù)可以使用諸如數(shù)字?jǐn)z像機(jī)、平板設(shè)備、移動(dòng)設(shè)備、智能電話(huà)等之類(lèi)的各種不同的設(shè)備來(lái)創(chuàng)建圖像數(shù)據(jù)。例如，用戶(hù)可以在度假的同時(shí)使用移動(dòng)電話(huà)捕獲描繪海濱的一組圖像。該用戶(hù)可以將該組圖像組織為影集、基于云的照片共享流、可視化等等。在可視化的示例中，該組圖像可以被拼接(Stitch)在一起以創(chuàng)建由該組圖像所描繪的場(chǎng)景的全景。在另一個(gè)可視化的示例中，該組圖像可以被用來(lái)創(chuàng)建旋轉(zhuǎn)電影。不幸的是，由于從各種不同觀(guān)察點(diǎn)(viewpoint)描繪場(chǎng)景的該組圖像，所以對(duì)可視化進(jìn)行的導(dǎo)航可以是非直覺(jué)的和/或過(guò)于復(fù)雜的。

【發(fā)明內(nèi)容】

[0002]本
【發(fā)明內(nèi)容】
被提供來(lái)以簡(jiǎn)化的形式介紹在下文【具體實(shí)施方式】中被進(jìn)一步描述的概念的選擇。本
【發(fā)明內(nèi)容】
不是旨在識(shí)別所要求保護(hù)的主題的關(guān)鍵因素或必要特征，也不是旨在被用來(lái)限制所要求保護(hù)的主題的范圍。
[0003]除了別的之外，用于生成綜合分組(synch packet)和/或用于通過(guò)利用該綜合分組提供交互視圖導(dǎo)航體驗(yàn)的一個(gè)或多個(gè)系統(tǒng)和/或技術(shù)在本文中被提供。
[0004]在生成綜合分組的某些實(shí)施例中，與描繪場(chǎng)景的一組輸入圖像相關(guān)聯(lián)的導(dǎo)航模型可以被識(shí)別。該導(dǎo)航模型可以對(duì)應(yīng)于與被用來(lái)捕獲該組輸入圖像的攝像機(jī)的位置信息和/或旋轉(zhuǎn)信息相關(guān)聯(lián)的捕獲模式。例如，捕獲模式可以對(duì)應(yīng)于輸入圖像從中被捕獲的一個(gè)或多個(gè)觀(guān)察點(diǎn)。在示例中，用戶(hù)可以在每隔幾英尺對(duì)建筑物正面進(jìn)行拍照的同時(shí)沿著街道步行，其可以對(duì)應(yīng)于掃射(strafe)捕獲模式。在另一個(gè)示例中，用戶(hù)可以在對(duì)雕像進(jìn)行拍照的同時(shí)以圓周運(yùn)動(dòng)繞著該雕像步行，其可以對(duì)應(yīng)于旋轉(zhuǎn)(spin)捕獲模式。
[0005]根據(jù)導(dǎo)航模型所構(gòu)造(structured)的本地圖可以被構(gòu)建(construct)。本地圖可以指定在該組圖像內(nèi)的相應(yīng)的輸入圖像之間的關(guān)系信息。例如，本地圖可以包括表示第一輸入圖像的第一節(jié)點(diǎn)以及表示第二輸入圖像的第二節(jié)點(diǎn)。第一邊緣可以基于指示第二圖像具有與第一圖像的關(guān)系(例如，用戶(hù)可能已經(jīng)拍攝了雕像的第一圖像、走了幾英尺并且然后拍攝了該雕像的第二圖像，以使得該場(chǎng)景的當(dāng)前視圖可以從第一圖像被可視地導(dǎo)航到第二圖像)的導(dǎo)航模型在第一節(jié)點(diǎn)和第二節(jié)點(diǎn)之間被創(chuàng)建。第一邊緣可以表示在第一輸入圖像和第二輸入圖像之間的平移(translat1nal)視圖信息，其可以被用來(lái)從第一圖像以及第二圖像所貢獻(xiàn)的圖像數(shù)據(jù)來(lái)生成場(chǎng)景的平移視圖。在另一個(gè)示例中，導(dǎo)航模型可以指示第三圖像是從距離拍攝第一圖像以及第二圖像的觀(guān)察點(diǎn)充分遠(yuǎn)的觀(guān)察點(diǎn)而被拍攝的(即，用戶(hù)在拍攝第三圖像之前可能必須繞雕像步行半圈)。因此，在本地圖內(nèi)第一節(jié)點(diǎn)和第二節(jié)點(diǎn)可以不被連接到表示第三圖像的第三節(jié)點(diǎn)，這是由于從第一圖像或者第二圖像可視地導(dǎo)航到第三圖像可能導(dǎo)致各種不同的可視質(zhì)量問(wèn)題(例如，模糊、跳躍、對(duì)場(chǎng)景的不正確描繪、接縫線(xiàn)、和/或其他可視的錯(cuò)誤)。
[0006]包括該組輸入圖像以及本地圖的綜合分組可以被生成。本地圖可以被用來(lái)在對(duì)場(chǎng)景(例如，可視化)的交互視圖導(dǎo)航期間在該組輸入圖像之間進(jìn)行導(dǎo)航。用戶(hù)可以能夠使用交互視圖導(dǎo)航輸入(例如，變換成場(chǎng)景的當(dāng)前視圖的直接操縱的在觸摸設(shè)備上的一個(gè)或多個(gè)手勢(shì))連續(xù)地在一維空間和/或二維空間中對(duì)場(chǎng)景進(jìn)行導(dǎo)航。與在單獨(dú)輸入圖像之間進(jìn)行導(dǎo)航相對(duì)，場(chǎng)景的交互視圖導(dǎo)航可以作為單個(gè)可導(dǎo)航的可視化(例如，全景、繞著對(duì)象的旋轉(zhuǎn)電影、沿著走廊移動(dòng)等)而對(duì)用戶(hù)出現(xiàn)。在某些實(shí)施例中，綜合分組包括攝像機(jī)姿勢(shì)集合(pose manifold)(例如，場(chǎng)景從其中被觀(guān)看的視圖視角(perspective))、粗略幾何構(gòu)型(geometry)(例如，一個(gè)或多個(gè)輸入圖像可以被投影在其上的場(chǎng)景的表面的多維度表示)，和/或其他圖像信息。
[0007]在提供交互視圖導(dǎo)航體驗(yàn)的某些實(shí)施例中，綜合分組包括一組輸入圖像、攝像機(jī)姿勢(shì)集合、粗略幾何構(gòu)型以及本地圖。交互視圖導(dǎo)航體驗(yàn)可以顯示一組輸入圖像(例如，雕像的面部視圖)所描繪的場(chǎng)景的一個(gè)或多個(gè)當(dāng)前視圖。交互視圖導(dǎo)航體驗(yàn)可以允許用戶(hù)基于交互視圖導(dǎo)航輸入來(lái)連續(xù)地和/或無(wú)縫地在多維空間中對(duì)該場(chǎng)景進(jìn)行導(dǎo)航。例如，與在單獨(dú)的輸入圖像之間可視地轉(zhuǎn)換相對(duì)，用戶(hù)可以可視地繞著雕像步行好像該雕像的場(chǎng)景是單個(gè)多維可視化一樣。交互視圖導(dǎo)航體驗(yàn)可以基于導(dǎo)航在綜合分組內(nèi)的本地圖而被提供。例如，響應(yīng)于接收到交互視圖導(dǎo)航輸入，本地圖可以基于交互視圖導(dǎo)航輸入而從第一部分(例如，第一節(jié)點(diǎn)或者第一邊緣)被導(dǎo)航到(例如，遍歷(traverse))第二部分(例如，第二節(jié)點(diǎn)或者第二邊緣)(例如，從表示描繪雕像的面部的第一圖像的第一節(jié)點(diǎn)導(dǎo)航到表示描繪雕像左側(cè)的第二圖像的第二節(jié)點(diǎn))。該場(chǎng)景的當(dāng)前視圖(例如，雕像的面部視圖)可以被轉(zhuǎn)換到對(duì)應(yīng)于本地圖的第二部分的場(chǎng)景的新的當(dāng)前視圖(例如，雕像的左側(cè)的視圖)。在節(jié)點(diǎn)和/或邊緣之間的轉(zhuǎn)換可以被變換成對(duì)該場(chǎng)景的無(wú)縫的三維導(dǎo)航。
[0008]為了實(shí)現(xiàn)前述和相關(guān)目標(biāo)，下面的說(shuō)明書(shū)和附圖闡述某些說(shuō)明性的方面以及實(shí)現(xiàn)方式。這些僅僅指示了可以以其使用一個(gè)或多個(gè)方面的各種不同的方式中的一些方式。當(dāng)結(jié)合附圖一起考慮時(shí)，本公開(kāi)的其他方面、優(yōu)點(diǎn)以及新穎的特征將從下文的【具體實(shí)施方式】中變得顯然。
【附圖說(shuō)明】
[0009]圖1是圖示了生成綜合分組的示例性方法的流程圖。
[0010]圖2是一維導(dǎo)航模型的示例。
[0011]圖3是二維導(dǎo)航模型的示例。
[0012]圖4是圖示了用于生成綜合分組的示例性系統(tǒng)的組件框圖。
[0013]圖5是在輸入圖像捕獲期間為攝像機(jī)提供建議的攝像機(jī)位置的示例。
[0014]圖6是圖示了利用綜合分組提供交互視圖導(dǎo)航體驗(yàn)的示例性方法的流程圖。
[0015]圖7是圖示了用于通過(guò)使用綜合分組提供諸如場(chǎng)景的可視化之類(lèi)的交互視圖導(dǎo)航體驗(yàn)的示例性系統(tǒng)的組件框圖。
[0016]圖8是示例性計(jì)算設(shè)備可讀介質(zhì)的圖示，其中被配置來(lái)包括本文所闡述的規(guī)定中的一個(gè)或多個(gè)規(guī)定(provis1n)的處理器可執(zhí)行指令可以被包括。
[0017]圖9圖示了示例性計(jì)算環(huán)境，其中本文所闡述的規(guī)定中的一個(gè)或多個(gè)規(guī)定可以被實(shí)現(xiàn)。
【具體實(shí)施方式】
[0018]現(xiàn)在，參考附圖來(lái)描述所要求保護(hù)的主題，其中相同的附圖標(biāo)記一般被用來(lái)在全文中指代相同的元件。在下面的說(shuō)明書(shū)中，為了解釋的目的，眾多特定的細(xì)節(jié)被闡述以便提供對(duì)要求保護(hù)的主題的理解。但是，顯然的是，要求保護(hù)的主題可以在沒(méi)有這些特定細(xì)節(jié)的情況下而被實(shí)踐。在其他示例中，結(jié)構(gòu)和設(shè)備以框圖的形式被圖示，以促進(jìn)對(duì)要求保護(hù)的主題的描述。
[0019]圖1的示例性方法圖示了生成綜合分組的實(shí)施例。在102處，方法開(kāi)始。一組輸入圖像可以從各種不同的觀(guān)察點(diǎn)來(lái)描繪場(chǎng)景(例如，房屋的外部)。在104處，與該組輸入圖像相關(guān)聯(lián)的導(dǎo)航模型可以被識(shí)別。在示例中，導(dǎo)航模型可以基于用戶(hù)對(duì)導(dǎo)航模型的選擇而被識(shí)別(例如，一個(gè)或多個(gè)潛在的導(dǎo)航模型可以被呈現(xiàn)給用戶(hù)以用于作為導(dǎo)航模型的選擇)。在另一個(gè)示例中，導(dǎo)航模型可以基于該組輸入圖像而被自動(dòng)生成。例如，攝像機(jī)姿勢(shì)集合可以基于該組輸入圖像而被估計(jì)(例如，可以根據(jù)該組輸入圖像而構(gòu)建的房屋的各種不同的視圖視角)。粗略的幾何構(gòu)型基于該組輸入圖像而被構(gòu)建(例如，基于來(lái)自運(yùn)動(dòng)過(guò)程的結(jié)構(gòu)，基于深度信息等等)。粗略的幾何構(gòu)型可以包括該場(chǎng)景的表面的多維表示(例如，房屋的三維表示，其可以通過(guò)將該組輸入圖像投影到粗略的幾何構(gòu)型而被織構(gòu)化(textured)以便生成具有諸如顏色值之類(lèi)的紋理信息的織構(gòu)化粗略幾何構(gòu)型)。導(dǎo)航模型可以基于攝像機(jī)姿勢(shì)集合以及粗略幾何構(gòu)型而被識(shí)別。導(dǎo)航模型可以指示在輸入圖像之間的關(guān)系信息(例如，第一圖像是從描繪房屋的前門(mén)部分的第一視圖視角被拍攝的，并且第一圖像是與從第二視圖視角而被拍攝的第二圖像相關(guān)的，所述第二視圖視角是距離第一視圖視角幾英尺遠(yuǎn)，描繪了從前門(mén)部分稍微偏移的房屋的前部)。
[0020]因?yàn)樵摻M輸入圖像可能不以所期望的質(zhì)量和/或分辨率描繪場(chǎng)景的每個(gè)方面，所以從導(dǎo)航模型以及一個(gè)或多個(gè)之前捕獲的輸入圖像導(dǎo)出的建議的攝像機(jī)位置可以在輸入圖像的捕獲期間被提供以用于包括在該組輸入圖像內(nèi)。建議的攝像機(jī)位置可以對(duì)應(yīng)于沒(méi)有被一個(gè)或多個(gè)之前捕獲的輸入圖像描繪的場(chǎng)景的視圖。例如，導(dǎo)航模型可以對(duì)應(yīng)于旋轉(zhuǎn)捕獲模式，其中用戶(hù)在對(duì)房屋拍照的同時(shí)繞著房屋步行。但是，用戶(hù)可能尚未充分捕獲該房屋的第二層的側(cè)視圖，其可以基于旋轉(zhuǎn)捕獲模式以及該房屋的一個(gè)或多個(gè)之前所捕獲的輸入圖像而被識(shí)別。相應(yīng)地，對(duì)應(yīng)于第二層側(cè)視圖的建議的攝像機(jī)位置可以被提供。在另一個(gè)