本申請涉及視頻圖像領(lǐng)域，并且更具體地，涉及圖像處理的方法和裝置、視頻處理的方法和裝置及虛擬現(xiàn)實裝置。

背景技術(shù)：

虛擬現(xiàn)實(virtualreality，vr)技術(shù)是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)，它利用計算機生成一種模擬環(huán)境，是一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真使用戶沉浸到該環(huán)境中。

全景圖像(或者說，由多幀全景圖像組成的全景視頻)是實現(xiàn)vr場景的主要手段之一。全景圖像是指通過例如，廣角的表現(xiàn)手段以及繪畫、相片、視頻、三維模型等形式，盡可能多的表現(xiàn)出周圍的環(huán)境。其中，全景圖像可以借助全景攝像機拍攝完成，但是，全景攝像機的價格較高?；蛘?，全景圖像也可以借助計算機建模處理生成，但是，該過程對于計算機的圖形處理能力的要求較高。

為了低成本的為用戶提供vr體現(xiàn)，出現(xiàn)了虛擬影院技術(shù)，用戶在戴上vr設(shè)備的瞬間就會置身于一個虛擬的影院當(dāng)中，例如，用戶會識別為前后左右都是實現(xiàn)完成建模的座椅，正前方是一個播放幕布，用戶所選的視頻將會在幕布上播放。

虛擬影院技術(shù)的實現(xiàn)vr的方式主要通過制作作為全景圖像的虛擬背景圖像，例如，影院的全景圖像，在播放虛擬背景圖像的同時播放正常視頻，正常圖像覆蓋在虛擬背景圖像中的固定位置，相當(dāng)于通過類似更換播放器皮膚的方式實現(xiàn)在虛擬場所觀看正常圖像。

但是，該虛擬影院技術(shù)中，需要vr設(shè)備同時完成普通圖像的播放和全景圖像的播放，對vr設(shè)備的要求較高。

希望提供一種技術(shù)，能夠降低vr設(shè)備在播放虛擬影院圖像時的處理負擔(dān)。

技術(shù)實現(xiàn)要素：

本申請?zhí)峁┮环N圖像處理的方法、裝置和設(shè)備及視頻處理的方法、裝置和設(shè)備，能夠降低vr設(shè)備的處理負擔(dān)。

第一方面，提供了一種圖像處理的方法，該方法包括：獲取背景圖像，該背景圖像為球形全景圖像或立方體全景圖像；獲取目標(biāo)圖像，該目標(biāo)圖像為非全景圖像；對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像，該待播放圖像為球形全景圖像或立方體全景圖像，且該待播放圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過獲取作為全景圖像(具體的說，是球形全景圖像或立方體全景圖像)的背景圖像和作為非全景圖像的目標(biāo)圖像，并將該背景圖像和目標(biāo)圖像進行合成處理，能夠生產(chǎn)作為全景圖像的待播放圖像，該待播放圖像包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景圖像中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)圖像對應(yīng)的像素，從而，當(dāng)該待播放圖像被vr設(shè)備播放時，能夠同時呈現(xiàn)背景圖像和目標(biāo)圖像雙方的內(nèi)容，即，能夠通過播放待播放圖像，實現(xiàn)在于背景圖像對應(yīng)的虛擬場景中觀看目標(biāo)圖像的過程，進而，能夠降低vr設(shè)備在播放虛擬影院圖像時的處理負擔(dān)。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及該對該目標(biāo)圖像和該背景圖像進行合成處理，包括：確定該背景圖像的內(nèi)容區(qū)域；根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素。

可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：將該待拼接圖像的像素覆蓋該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：將該待拼接圖像的像素替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，該待拼接圖像在通過虛擬現(xiàn)實vr設(shè)備播放時呈現(xiàn)的內(nèi)容為與該目標(biāo)圖像呈現(xiàn)的內(nèi)容相同。

可選地，該根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，包括：根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過從背景圖像中確定內(nèi)容區(qū)域，并基于內(nèi)容區(qū)域的相關(guān)參數(shù)對目標(biāo)進行像素重構(gòu)，能夠使所生成的待拼接圖像在經(jīng)過vr設(shè)備的播放時呈現(xiàn)為目標(biāo)圖像，并且能夠避免目標(biāo)圖像在與背景圖像合并時或者經(jīng)過vr設(shè)備播放時發(fā)生像素丟失，能夠改善用戶體驗，進一步提高本發(fā)明實施例的圖像處理的方法的實用性。

可選地，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為：第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度

可選地，該根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，包括：根據(jù)該第二矩形的長寬比和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過使背景圖像形成為矩形，并使內(nèi)容區(qū)域位于背景圖像的中心位置，能夠?qū)崿F(xiàn)第二矩形的長寬比以及第二矩形的變形弧度，進行目標(biāo)圖像的像素重構(gòu)，從而，能夠減小對目標(biāo)圖像進行像素重構(gòu)的復(fù)雜度。

可選地，該確定該背景圖像的內(nèi)容區(qū)域，包括：獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍；根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍的第一提取模型，能夠快速準(zhǔn)確的實現(xiàn)內(nèi)容區(qū)域的確定過程，從而，能夠提高本發(fā)明實施例的圖像處理的方法的處理效率，進一步提高本發(fā)明實施例的圖像處理的方法的實用性。

可選地，該獲取第一提取模型，包括：獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；確定該背景圖像該屬于的第一圖像集合；根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，確定該背景圖像該屬于的第一圖像集合包括：根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

根據(jù)本發(fā)明實施例的圖像處理的方法，能夠?qū)崿F(xiàn)通過一個提取模型對多個圖像的內(nèi)容區(qū)域的確定過程，從而，能夠減小提取模型對存儲空間的開銷。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及該確定該背景圖像的內(nèi)容區(qū)域，包括：根據(jù)該第一閾值，確定該第一邊界區(qū)域和第二邊界區(qū)域；根據(jù)該第一邊界區(qū)域和第二邊界區(qū)域；確定該背景圖像的內(nèi)容區(qū)域。

可選地，該背景區(qū)域中的任一像素的像素值大于或等于第一閾值，該內(nèi)容區(qū)域中的任一像素的像素值小于該第一閾值，以及該確定該背景圖像的內(nèi)容區(qū)域，包括：根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過使背景圖像形成為背景區(qū)域和內(nèi)容區(qū)域之間的具有像素值差異較大邊界，能夠容易的識別出該內(nèi)容區(qū)域，從而進一步提高本發(fā)明實施例的圖像處理的方法的處理效率。

可選地，所述第二區(qū)域在所述待播放圖像中的范圍與所述內(nèi)容區(qū)域在所述背景圖像中的范圍與所述第一區(qū)域在所述第一全景圖像中的范圍的差異在預(yù)設(shè)的第三范圍內(nèi)。

可選地，該獲取目標(biāo)圖像，包括：從目標(biāo)視頻中獲取該目標(biāo)圖像，其中，該目標(biāo)視頻為非全景視頻，該目標(biāo)視頻包括多幀第一圖像，該目標(biāo)圖像是該多幀圖像中的任一幀第一圖像。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過將目標(biāo)視頻中的每一幀圖像作為目標(biāo)圖像，并進行上述處理過程，能夠獲取多幀作為球星全景圖像或立方體全景圖像的待播放圖像，并將所生成的多幀圖像按時序組合，能夠生成球形全景視頻或立方體全景視頻，該全景視頻在通過vr設(shè)備播放后，能夠呈現(xiàn)基于背景圖像生成的虛擬背景，以及目標(biāo)視頻的視頻內(nèi)容。

可選地，該獲取背景圖像，包括：從背景視頻中獲取該背景圖像，該背景視頻為球形全景視頻或立方體全景視頻，該背景視頻包括多幀第二圖像，該背景圖像是該多幀第二圖像中的任意一幀圖像。

第二方面，提供了一種圖像處理的裝置，包括用于執(zhí)行上述第一方面以及第一方面的各實現(xiàn)方式的方法中的各步驟的單元。

第三方面，提供了一種圖像處理的設(shè)備，包括存儲器和處理器，該存儲器用于存儲計算機程序，該處理器用于從存儲器中調(diào)用并運行該計算機程序，使得圖像處理的設(shè)備執(zhí)行第一方面及第一方面的任一種可能實現(xiàn)方式中的方法。

第四方面，提供了一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括：計算機程序代碼，當(dāng)所述計算機程序代碼被圖像處理設(shè)備的處理器運行時，使得圖像處理設(shè)備執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式中的方法。

第五方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有程序，所述程序使得圖像處理設(shè)備執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式中的方法。

第六方面，提供了一種視頻處理的方法，該方法包括：獲取背景視頻，該背景視頻包括至少一幀圖像，該背景視頻包括的每一幀圖像為球形全景圖像或立方體全景圖像；獲取目標(biāo)視頻，該目標(biāo)視頻包括至少一幀圖像，該目標(biāo)視頻包括的每一幀圖像為非全景圖像；對該目標(biāo)視頻和該背景視頻進行合成處理，以生成待播放視頻，該背景視頻包括至少一幀圖像，其中，該待播放視頻中的每一幀圖像為球形全景圖像或立方體全景圖像，該待播放視頻中的每一幀圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括該背景視頻中的像素，該第二區(qū)域包括根據(jù)該目標(biāo)視頻獲得的像素。

根據(jù)本發(fā)明實施例的視頻處理的方法，通過獲取作為全景視頻(具體的說，是球形全景視頻或立方體全景視頻)的背景視頻和作為非全景視頻的目標(biāo)視頻，并將該背景視頻和目標(biāo)視頻進行合成處理，能夠生產(chǎn)作為全景視頻的待播放視頻，該待播放視頻包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景視頻中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)視頻對應(yīng)的像素，從而，當(dāng)該待播放視頻被vr設(shè)備播放時，能夠同時呈現(xiàn)背景視頻和目標(biāo)視頻雙方的內(nèi)容，即，能夠通過播放待播放視頻，實現(xiàn)在于背景視頻對應(yīng)的虛擬場景中觀看目標(biāo)視頻的過程，進而，能夠降低vr設(shè)備在播放虛擬影院視頻時的處理負擔(dān)。

可選地，該對該目標(biāo)視頻和該背景視頻進行合成處理，包括：對目標(biāo)圖像和背景圖像進行合成處理，以生成待播放圖像，其中，該目標(biāo)圖像是該目標(biāo)視頻中的任意一幀圖像，該背景圖像是該背景視頻中的任意一幀圖像，且該待播放圖像的第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該待播放圖像的第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及該對該目標(biāo)圖像和該背景圖像進行合成處理，包括：確定該背景圖像的內(nèi)容區(qū)域；根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素。

可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：將該待拼接圖像的像素覆蓋該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：將該待拼接圖像的像素替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，該待拼接圖像在通過虛擬現(xiàn)實vr設(shè)備播放時呈現(xiàn)的內(nèi)容為與該目標(biāo)圖像呈現(xiàn)的內(nèi)容相同。

可選地，該根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，包括：根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

根據(jù)本發(fā)明實施例的視頻處理的方法，通過從背景圖像中確定內(nèi)容區(qū)域，并基于內(nèi)容區(qū)域的相關(guān)參數(shù)對目標(biāo)進行像素重構(gòu)，能夠使所生成的待拼接圖像在經(jīng)過vr設(shè)備的播放時呈現(xiàn)為目標(biāo)圖像，并且能夠避免目標(biāo)圖像在與背景圖像合并時或者經(jīng)過vr設(shè)備播放時發(fā)生像素丟失，能夠改善用戶體驗，進一步提高本發(fā)明實施例的圖像處理的方法的實用性。

可選地，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為：第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度

可選地，該根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，包括：根據(jù)該第二矩形的長寬比和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

根據(jù)本發(fā)明實施例的視頻處理的方法，通過使背景圖像形成為矩形，并使內(nèi)容區(qū)域位于背景圖像的中心位置，能夠?qū)崿F(xiàn)第二矩形的長寬比以及第二矩形的變形弧度，進行目標(biāo)圖像的像素重構(gòu)，從而，能夠減小對目標(biāo)圖像進行像素重構(gòu)的復(fù)雜度。

可選地，該確定該背景圖像的內(nèi)容區(qū)域，包括：獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍；根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

根據(jù)本發(fā)明實施例的視頻處理的方法，通過用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍的第一提取模型，能夠快速準(zhǔn)確的實現(xiàn)內(nèi)容區(qū)域的確定過程，從而，能夠提高本發(fā)明實施例的圖像處理的方法的處理效率，進一步提高本發(fā)明實施例的圖像處理的方法的實用性。

可選地，該獲取第一提取模型，包括：獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；確定該背景圖像該屬于的第一圖像集合；根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，確定該背景圖像該屬于的第一圖像集合包括：根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

根據(jù)本發(fā)明實施例的視頻處理的方法，能夠?qū)崿F(xiàn)通過一個提取模型對多個圖像的內(nèi)容區(qū)域的確定過程，從而，能夠減小提取模型對存儲空間的開銷。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及該確定該背景圖像的內(nèi)容區(qū)域，包括：根據(jù)該第一閾值，確定該第一邊界區(qū)域和第二邊界區(qū)域，根據(jù)該第一邊界區(qū)域和第二邊界區(qū)域，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該背景區(qū)域中的任一像素的像素值大于或等于第一閾值，該內(nèi)容區(qū)域中的任一像素的像素值小于該第一閾值，以及該確定該背景圖像的內(nèi)容區(qū)域，包括：根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

根據(jù)本發(fā)明實施例的視頻處理的方法，通過使背景圖像形成為背景區(qū)域和內(nèi)容區(qū)域之間的具有像素值差異較大邊界，能夠容易的識別出該內(nèi)容區(qū)域，從而進一步提高本發(fā)明實施例的圖像處理的方法的處理效率。

可選地，所述第二區(qū)域在所述待播放圖像中的范圍與所述內(nèi)容區(qū)域在所述背景圖像中的范圍與所述第一區(qū)域在所述第一全景圖像中的范圍的差異在預(yù)設(shè)的第三范圍內(nèi)。

第七方面，提供了一種視頻處理的裝置，包括用于執(zhí)行上述第六方面以及第六方面的各實現(xiàn)方式的方法中的各步驟的單元。

第八方面，提供了一種視頻處理的設(shè)備，包括存儲器和處理器，該存儲器用于存儲計算機程序，該處理器用于從存儲器中調(diào)用并運行該計算機程序，使得視頻處理的設(shè)備執(zhí)行第六方面及第六方面的任一種可能實現(xiàn)方式中的方法。

第九方面，提供了一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括：計算機程序代碼，當(dāng)所述計算機程序代碼被圖像處理設(shè)備的處理器運行時，使得視頻處理設(shè)備執(zhí)行第六方面或第六方面的任一種可能的實現(xiàn)方式中的方法。

第十方面，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有程序，所述程序使得視頻處理設(shè)備執(zhí)行第六方面或第六方面的任一種可能的實現(xiàn)方式中的方法。

第十方面，提供了一種虛擬現(xiàn)實裝置，包括：處理單元，用于執(zhí)行上述第一方面以及第一方面的各實現(xiàn)方式的方法中的各步驟，以獲取待播放圖像，或所述處理單元用于執(zhí)行上述第六方面以及第六方面的各實現(xiàn)方式的方法中的各步驟，以獲取待播放視頻；呈現(xiàn)單元，用于呈現(xiàn)該待播放圖像或該待播放視頻。

第十一方面，提供了一種虛擬現(xiàn)實設(shè)備，包括：存儲器、處理器和顯示器，該存儲器用于存儲計算機程序，該處理器用于從存儲器中調(diào)用并運行該計算機程序，使得虛擬顯示設(shè)備執(zhí)行上述第一方面以及第一方面的各實現(xiàn)方式的方法中的各步驟，以獲取待播放圖像，或使得虛擬顯示設(shè)備執(zhí)行上述第六方面以及第六方面的各實現(xiàn)方式的方法中的各步驟，以獲取待播放視頻；顯示器用于呈現(xiàn)該待播放圖像或該待播放視頻。

附圖說明

圖1是能夠執(zhí)行本發(fā)明實施例的圖像處理的方法或視頻處理的方法的處理節(jié)點的一例的邏輯結(jié)構(gòu)圖。

圖2是能夠執(zhí)行本發(fā)明實施例的圖像處理的方法或視頻處理的方法的處理節(jié)點的另一例的邏輯結(jié)構(gòu)圖。

圖3是本發(fā)明實施例的圖像處理的方法的示意性流程圖。

圖4是本發(fā)明實施例的合成處理的示意性流程圖。

圖5是本發(fā)明實施例的背景圖像的一例的示意圖。

圖6是本發(fā)明實施例的第一提取模板的一例的示意圖。

圖7是本發(fā)明實施例的目標(biāo)圖像的一例的示意圖。

圖8是本發(fā)明實施例的待拼接圖像的一例的示意圖。

圖9是本發(fā)明實施例的待播放圖像的一例的示意圖。

圖10是本發(fā)明實施例的待播放圖像經(jīng)vr設(shè)備播放后的效果圖。

圖11是本發(fā)明實施例的圖像處理的裝置的示意性框圖。

圖12是本發(fā)明實施例的處理單元的示意性框圖。

圖13是本發(fā)明實施例的圖像處理的設(shè)備的示意性結(jié)構(gòu)圖。

圖14是本發(fā)明實施例的視頻處理的方法的示意性流程圖。

圖15是本發(fā)明實施例的視頻處理的裝置的示意性框圖。

圖16是本發(fā)明實施例的視頻處理的設(shè)備的示意性結(jié)構(gòu)圖。

圖17是適用本發(fā)明實施例的圖像處理的方法或視頻處理的方法的終端設(shè)備的示意性結(jié)構(gòu)圖。

圖18是本發(fā)明實施例的vr裝置的示意性框圖。

圖19是本發(fā)明實施例的vr設(shè)備的示意性框圖。

具體實施方式

下面將結(jié)合附圖，對本申請中的技術(shù)方案進行描述。

首先，介紹本發(fā)明實施例提供的圖像處理的方法或視頻處理的方法所應(yīng)用于的處理節(jié)點的邏輯結(jié)構(gòu)。

作為示例而非限定，在本發(fā)明實施例中，該處理節(jié)點可以是終端設(shè)備、個人計算機或服務(wù)器等具有圖形處理能力的計算設(shè)備，本發(fā)明實施例并未特別限定。

如圖1所示，該處理節(jié)點的硬件層包括中央處理器(centralprocessingunit，cpu)和/或圖形處理器(graphicsprocessingunit，gpu)等。

可選地，還可以處理節(jié)點的硬件層還可以包括存儲器、輸入/輸出設(shè)備、內(nèi)存、內(nèi)存控制器、網(wǎng)絡(luò)接口等。

其中，輸入設(shè)備可包括鍵盤、鼠標(biāo)、觸摸屏等。

輸出設(shè)備可包括顯示設(shè)備如液晶顯示器(liquidcrystaldisplay，lcd)、陰極射線管(cathoderaytube)顯示器、全息成像(holographic)顯示器或投影(projector)等。

在硬件層之上可運行有操作系統(tǒng)(如android等)以及一些應(yīng)用程序。核心庫是操作系統(tǒng)的核心部分，包括輸入/輸出服務(wù)、核心服務(wù)、圖形設(shè)備接口以及實現(xiàn)cpu、gpu圖形處理的圖形引擎(graphicsengine)等。圖形引擎可包括2d引擎、3d引擎、合成器(composition)、幀緩沖區(qū)(framebuffer)等。除此之外，該終端還包括驅(qū)動層、框架層和應(yīng)用層。驅(qū)動層可包括cpu驅(qū)動、gpu驅(qū)動、顯示控制器驅(qū)動等?？蚣軐涌砂▓D形服務(wù)(graphicservice)、系統(tǒng)服務(wù)(systemservice)、網(wǎng)頁服務(wù)(webservice)和用戶服務(wù)(customerservice)等；圖形服務(wù)中，可包括如微件(widget)、畫布(canvas)、視圖(views)、渲染腳本(renderscript)等。應(yīng)用層可包括桌面(launcher)、媒體播放器(mediaplayer)、瀏覽器(browser)等。

以圖1為例，本發(fā)明實施例提供的圖形處理的方法，應(yīng)用于計算節(jié)點，該計算節(jié)點的硬件層可包括處理器(例如，cpu和/或gpu)、顯示控制器(displaycontroller)、內(nèi)存、內(nèi)存控制器、輸入設(shè)備、顯示設(shè)備等硬件。核心庫層(kernellibrary)可包括輸入/輸出服務(wù)(input/outputservice，i/oservice)、核心服務(wù)(kernelservice)及圖形引擎(graphicengine)。

應(yīng)當(dāng)理解的是，圖1所示的邏輯結(jié)構(gòu)僅為本發(fā)明實施例方法的執(zhí)行主體的邏輯結(jié)構(gòu)的示例性說明，本發(fā)明并未特別限定，只要能夠執(zhí)行本發(fā)明實施例的圖像處理的方法即可。

例如，作為示例而非限定，本發(fā)明實施例方法的執(zhí)行主體也可以是虛擬現(xiàn)實系統(tǒng)，圖2示出了本發(fā)明實施例的虛擬現(xiàn)實系統(tǒng)的一例。

如圖2所示，該虛擬現(xiàn)實系統(tǒng)的硬件層包括中央處理器cpu和gpu等，當(dāng)然還可以包括存儲器、輸入/輸出設(shè)備、內(nèi)存、內(nèi)存控制器、網(wǎng)絡(luò)接口等。

其中，輸入/輸出設(shè)備也可以稱為交互設(shè)備。

作為示例而非限定，輸入設(shè)備可包括鍵盤、鼠標(biāo)、觸摸屏、語音識別設(shè)備、運動傳感器等，其中，該運動傳感器也可以稱為動作捕捉設(shè)備，用于檢測用戶的手勢操作等，作為示例而非限定，該動作捕捉設(shè)備可以包括眼動儀、力覺反饋設(shè)備、數(shù)據(jù)手套、操縱桿、觸覺反饋裝置等。

作為示例而非限定，輸出設(shè)備可包括顯示設(shè)備，例如，3d展示系統(tǒng)、大型投影系統(tǒng)、頭顯(頭戴式立體顯示器等)等。在硬件層之上可運行有操作系統(tǒng)(例如，安卓(android)等系統(tǒng))以及一些應(yīng)用程序。

例如，在本發(fā)明實施例中，該顯示設(shè)備可以為虛擬現(xiàn)實頭顯，其中，該虛擬現(xiàn)實頭顯也可以稱為頭戴式顯示器，是利用人的左右眼獲取信息差異，引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的感覺的一種頭戴式立體顯示器。其顯示原理是左右眼屏幕分別顯示左右眼的圖像，人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。虛擬現(xiàn)實頭顯作為虛擬現(xiàn)實的顯示設(shè)備，具有小巧和封閉性強的特點，在軍事訓(xùn)練，虛擬駕駛，虛擬城市等項目中具有廣泛的應(yīng)用

再例如，在本發(fā)明實施例中，該顯示設(shè)備可以為雙目全方位顯示器(boom)，boom是一種偶聯(lián)頭部的立體顯示設(shè)備，是一種特殊的頭部顯示設(shè)備。使用boom比較類似使用一個望遠鏡，把兩個獨立的crt顯示器捆綁在一起，由兩個相互垂直的機械臂支撐，這不僅讓用戶可以在半徑為例如2米的球面空間內(nèi)用手自由操縱顯示器的位置，還能將顯示器的重量加以巧妙的平衡而使之始終保持水平，不受平臺運動的影響。在支撐臂上的每個節(jié)點處都有位置跟蹤器。

再例如，在本發(fā)明實施例中，該顯示設(shè)備可以為crt終端，例如，液晶光閘眼鏡，其立體視覺系統(tǒng)的工作原理是：有計算機分別產(chǎn)生左右眼的兩幅圖像，經(jīng)過合成處理之后，采用分時交替的方式顯示在crt終端上。用戶則佩戴一副與計算機相連的液晶光閘眼鏡，眼鏡片在驅(qū)動信號的作用下，將以與圖像顯示同步的速率交替開和閉，即當(dāng)計算機顯示左眼圖像時，右眼透鏡將被屏蔽，顯示右眼圖像時，左眼透鏡被屏蔽。根據(jù)雙目視察與深度距離正比的關(guān)系，人的視覺生理系統(tǒng)可以自動的將這兩幅視察圖像合成一個立體圖像。

再例如，在本發(fā)明實施例中，該顯示設(shè)備可以為洞穴式(cave)投影系統(tǒng)，cave投影系統(tǒng)是由3個面以上(含3面)硬質(zhì)背投影墻組成的高度沉浸的虛擬演示環(huán)境，配合三維跟蹤器，用戶可以在被投影墻包圍的系統(tǒng)近距離接觸虛擬三維物體，或者隨意漫游“真實”的虛擬環(huán)境。cave系統(tǒng)一般應(yīng)用于高標(biāo)準(zhǔn)的虛擬現(xiàn)實系統(tǒng)。cave投影系統(tǒng)是一種基于多通道視景同步技術(shù)和立體顯示技術(shù)的房間式投影可視協(xié)同環(huán)境，該系統(tǒng)可提供一個房間大小的最小三面或最大七十面立方體投影顯示空間，供多人參與，所有參與者均完全沉浸在一個被立體投影畫面包圍的高級虛擬仿真環(huán)境中，借助相應(yīng)虛擬現(xiàn)實交互設(shè)備(如數(shù)據(jù)手套、位置跟蹤器等)，從而獲得一種身臨其境的高分辨率三維立體視聽影像和6自由度交互感受。

此外，如圖1所示，該虛擬現(xiàn)實系統(tǒng)的硬件層還可以包括建模設(shè)備(如3d掃描儀)。3d掃描儀，也稱為三維立體掃描儀，3d掃描儀，是融合光、機、電和計算機技術(shù)于一體的高新科技產(chǎn)品，主要用于獲取物體外表面的三維坐標(biāo)及物體的三維數(shù)字化模型。該設(shè)備不但可用于產(chǎn)品的逆向工程、快速原型制造、三維檢測(機器視覺測量)等領(lǐng)域，而且隨著三維掃描技術(shù)的不斷深入發(fā)展，諸如三維影視動畫、數(shù)字化展覽館、服裝量身定制、計算機虛擬現(xiàn)實仿真與可視化等越來越多的行業(yè)也開始應(yīng)用三維掃描儀這一便捷的手段來創(chuàng)建實物的數(shù)字化模型。通過三維掃描儀非接觸掃描實物模型，得到實物表面精確的三維點云(pointcloud)數(shù)據(jù)，最終生成實物的數(shù)字模型，不僅速度快，而且精度高，幾乎可以完美的復(fù)制現(xiàn)實世界中的任何物體，以數(shù)字化的形式逼真的重現(xiàn)現(xiàn)實世界。

如圖2所示，在該虛擬現(xiàn)實系統(tǒng)的軟件系統(tǒng)架構(gòu)中，核心庫是操作系統(tǒng)的核心部分，包括外觀管理器、媒體框架、關(guān)系數(shù)據(jù)庫、2g圖形引擎庫、web瀏覽器引擎，內(nèi)核庫和虛擬機等，其中，本發(fā)明實施例所描述的應(yīng)用場景的識別和功耗控制策略的確定可以是在虛擬機處進行實施的，即虛擬機通過編譯分析終端設(shè)備上正在運行的應(yīng)用程序，獲取所述應(yīng)用程序的特征數(shù)據(jù)；根據(jù)所述應(yīng)用程序的特征數(shù)據(jù)，從場景特征數(shù)據(jù)集中確定與所述應(yīng)用程序的特征數(shù)據(jù)對應(yīng)的應(yīng)用場景信息，所述場景特征數(shù)據(jù)集包括多種應(yīng)用場景信息與多種應(yīng)用程序的特征數(shù)據(jù)的對應(yīng)關(guān)系，其中所述與所述應(yīng)用程序的特征數(shù)據(jù)對應(yīng)的應(yīng)用場景信息用于表示所述終端設(shè)備當(dāng)前被使用的應(yīng)用場景，根據(jù)所述應(yīng)用場景信息，從控制策略集中確定與所述應(yīng)用場景信息對應(yīng)的功耗控制策略，所述控制策略集包括所述多種應(yīng)用場景信息與多種功耗控制策略的對應(yīng)關(guān)系，并根據(jù)所述與所述應(yīng)用場景信息對應(yīng)的功耗控制策略生成對應(yīng)的功耗控制指令，將功耗控制指令傳遞給內(nèi)核，由內(nèi)核對終端設(shè)備的相應(yīng)硬件(例如cpu、gpu或顯示設(shè)備等)實施功耗控制。

除此之外，該終端設(shè)備還包括驅(qū)動層、框架層和應(yīng)用層。驅(qū)動層可包括cpu驅(qū)動、gpu驅(qū)動、顯示控制器驅(qū)動等?？蚣軐涌砂g覽器引擎、排版引擎、文件解析器等；應(yīng)用層可包括主界面(home)、媒體播放器(mediaplayer)、瀏覽器(browser)等多種應(yīng)用程序。

下面，結(jié)合圖3，對本發(fā)明實施例的圖像處理的方法的具體過程進行詳細說明。

圖3示出了本發(fā)明實施例的圖像處理的方法100的示意性流程，如圖3所示，該方法100包括：

s110，獲取背景圖像，該背景圖像為球形全景圖像或立方體全景圖像；

s120，獲取目標(biāo)圖像，該目標(biāo)圖像為非全景圖像；

s130，對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像，該待播放圖像為球形全景圖像或立方體全景圖像，且該待播放圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

具體的說，在s110，處理節(jié)點可以獲取用于呈現(xiàn)虛擬背景(或者說，虛擬場景)的背景圖像。

在本發(fā)明實施例中，該背景圖像可以為vr設(shè)備(例如，vr頭盔，vr眼鏡或vr瀏覽器等)能夠識別并播放(或者說，呈現(xiàn))的全景圖像。

在本發(fā)明實施例中，全景圖像可以是指對通過專業(yè)相機捕捉整個場景的圖像信息或者使用建模軟件渲染過后的圖像，使用軟件進行圖片拼合，并用通過vr設(shè)備進行播放，即將平面照片或者計算機建模圖片變?yōu)?60度全觀，用于虛擬現(xiàn)實瀏覽，把二維的平面圖模擬成真實的三維空間，呈現(xiàn)給觀賞者。

在本發(fā)明實施例中，全景圖像是指：可視角度大于人眼視度(或者說，人眼正常有效視角)的圖像。例如，全景圖像在水平方向上的視角范圍(或者說，可視角度)大于人眼正常水平視角(例如，90度)，全景圖像在垂直方向上的視角范圍大于人眼正常垂直視角(例如，70度)。

作為實例而非限定，在本發(fā)明實施例中，該全景圖像可以包括球形全景圖像。

其中，作為示例而非限定，在本發(fā)明實施例中，可以定義球形坐標(biāo)系，即，該球形坐標(biāo)系包括分布在經(jīng)度和緯度上的多個坐標(biāo)。并且，在本發(fā)明實施例中，可以定義平面坐標(biāo)系(或者說，平面網(wǎng)格)，該平面坐標(biāo)系包括分布在水平和垂直方向上的多個坐標(biāo)。

從而，作為示例而非限定，在本發(fā)明實施例中，球形全景可以是指：將球形的經(jīng)度和緯度坐標(biāo)直接為水平和垂直坐標(biāo)平面(或者說，平面網(wǎng)格中格子)。

作為示例而非限定，在本發(fā)明實施例中，該平面網(wǎng)格的高度可以是寬的兩倍，或者說，球形全景圖像的寬度(即，水平方向行的大小)和高度(即，垂直方向行的大小)的比例可以為2:1。

應(yīng)理解，以上列舉的球形全景圖像的比例僅為示例性說明，本發(fā)明并未限定于此，其他能夠形成球形全景圖像的比例均落入本發(fā)明的保護范圍內(nèi)。

因此，在球形全景中，從赤道到兩極，橫向拉伸不斷加劇，南北兩個極點被拉伸成了扁平的網(wǎng)格在整個上部和下部邊緣。

作為示例而非限定，在本發(fā)明實施例中，球形全景圖像可以是指能夠現(xiàn)實整個水平方向360度全景以及垂直方向360全景的全景圖像。

應(yīng)理解，以上對球形全景的描述僅為示例性說明，本發(fā)明并未限定于此，例如，在本發(fā)明實施例中，球形全景圖像在水平方向上的全景也可以不是360度全景，例如，球形全景圖像在水平方向上的全景也可以是例如，180度全景。或者，在本發(fā)明實施例中，球形全景圖像在垂直方向上的全景也可以不是360度全景，例如，球形全景圖像在垂直方向上的全景也可以是例如，180度全景。

本發(fā)明實施例中關(guān)于球形全景的定義也可以與現(xiàn)有技術(shù)相似，這里，為了避免贅述，省略其詳細說明。

圖5示出了作為球形全景圖像的背景圖像的一例，圖5所示的背景圖像在經(jīng)過vr設(shè)備播放(或者說，呈現(xiàn))后，能夠讓使用者感覺處于電影院中。

作為實例而非限定，在本發(fā)明實施例中，該全景圖像還可以包括立方體全景圖像。

其中，作為示例而非限定，在本發(fā)明實施例中，立方體全景可以是指將全景圖分成了前后左右上下六個面，瀏覽的時候?qū)⒘鶄€面結(jié)合成一個密閉空間來現(xiàn)實整個水平和豎直的360度全景場景。

應(yīng)理解，以上列舉的全景圖像的具體形式僅為示例性說明，本發(fā)明實施例并未特別限定，現(xiàn)有技術(shù)中對于能夠應(yīng)用于vr場景的實現(xiàn)的全景圖像的任何定義均落入本發(fā)明實施例的保護范圍內(nèi)。

在本發(fā)明實施例中，該背景圖像可以是通過用于拍攝全景圖像的攝像設(shè)備拍攝獲得?；蛘?，該背景圖像也可以通過計算機進行三維虛擬建模而獲得。本發(fā)明實施例并未特別限定，該背景圖像的獲得方式也可以與現(xiàn)有技術(shù)相似，這里，為了避免贅述省略其詳細說明。

另外，在本發(fā)明實施例中，上述背景圖像也可以是vr圖像，其中，vr圖像是指經(jīng)過vr設(shè)備播放后傳送到用戶的感覺器官末梢的可視的、可聽到的或可觸摸到的事物，它們看起來好像來源于圍繞用戶的三維空間。

作為實例而非限定，在本發(fā)明實施例中，該vr圖像可以是指長寬比例(或者說，水平方向和垂直方向上的比例)為2：1的全景圖像。

即，在本發(fā)明實施例中，全景圖像也可以稱為vr全景圖像。

可選地，在本發(fā)明實施例中，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域。

其中，該背景區(qū)域的大小和位置可以是(例如，由使用者或管理員)預(yù)設(shè)的。

或者，該內(nèi)容區(qū)域的大小和位置可以是(例如，由使用者或管理員)預(yù)設(shè)的置。

其中，該背景區(qū)域在經(jīng)過vr設(shè)備播放后能夠呈現(xiàn)虛擬背景。

該內(nèi)容區(qū)域在背景圖像中的位置可以與經(jīng)過vr設(shè)備播放后的目標(biāo)圖像的內(nèi)容在虛擬背景中的位置具有對應(yīng)關(guān)系。

例如，如圖5所示，當(dāng)該背景圖像用于呈現(xiàn)虛擬影院時，該內(nèi)容區(qū)域可以使電影屏幕所對應(yīng)的區(qū)域。

s120，處理節(jié)點可以獲取目標(biāo)圖像，該目標(biāo)圖像為非全景圖像。其中，非全景圖像是指能夠通過普通播放設(shè)備(非vr設(shè)備，例如，手機、個人計算機的顯示屏)呈現(xiàn)并被人眼識別的圖像，或者說，非全景圖像是指：可視角度小于或等于人眼視度(或者說，人眼正常有效視角)的圖像。例如，非全景圖像在水平方向上的視角范圍(或者說可視角度)小于或等于人眼正常水平視角(例如，90度)，非全景圖像在垂直方向上的視角范圍小于或人眼正常垂直視角(例如，70度)。圖7示出了本發(fā)明的目標(biāo)圖像的一例。

s130，處理節(jié)點可以對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像。

下面，對該“合成處理”的具體過程進行示例性說明。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及

該對該目標(biāo)圖像和該背景圖像進行合成處理，包括：

確定該背景圖像的內(nèi)容區(qū)域；

根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；

對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

具體地說，如圖4所示，在s132，處理節(jié)點可以從背景圖像中確定上述內(nèi)容區(qū)域。

其中，作為實例而非限定，在本發(fā)明實施例中，處理節(jié)點可以根據(jù)以下任意一種方式確定內(nèi)容區(qū)域。

方式1

該確定該背景圖像的內(nèi)容區(qū)域，包括：

獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍。

根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

具體地說，在本發(fā)明實施例中，在本發(fā)明實施例中，該第一提取模板也可以稱為標(biāo)注文件。該第一提取模型可以是使用者配置或者服務(wù)器生成的，該第一提取模型可以指示(或者說，標(biāo)注)該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍，具體的說，該第一提取模型可以指示該背景圖像的內(nèi)容區(qū)域的大小和形狀，以及該內(nèi)容區(qū)域在該背景圖像中的位置。

可選地，該獲取第一提取模型，包括：

獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；

確定該背景圖像該屬于的第一圖像集合；

根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

具體地說，在本發(fā)明實施例中，在處理節(jié)點中可以保存有多個提取模型，并且，在處理節(jié)點中可以保存有該多個提取模型和多個圖像集合之間的映射關(guān)系，其中，每個圖像集合可以包括至少一個全景圖像(或者說，vr全景圖像、球形全景圖像或立方體全景圖像)。

從而，處理節(jié)點可以確定該背景圖像所屬于的圖像集合(即，第一圖像集合)。

可選地，該確定該背景圖像該屬于的第一圖像集合包括：

根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：

該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

具體地說，在本發(fā)明實施例中，可以按照來源，將多個全景圖像(或者說，vr全景圖像、球形全景圖像或立方體全景圖像)劃分為多個圖像集合，以使具有同一來源的圖像屬于相同的集合。從而，處理節(jié)點能夠根據(jù)背景圖像的來源，確定該背景圖像所屬于的圖像集合(即，第一圖像集合)。

并且，作為實例而非限定，在本發(fā)明實施例中，“來源”可以是指發(fā)布圖像的網(wǎng)站或服務(wù)器的域名或網(wǎng)址，或者，“來源”可以是指發(fā)布圖像的運營商或制造商的名稱。

或者，在本發(fā)明實施例中，可以按照名稱，將多個全景圖像(或者說，vr全景圖像、球形全景圖像或立方體全景圖像)劃分為多個圖像集合，以使具有同一名稱(或者，名稱包括同一字符串)的圖像屬于相同的集合。從而，處理節(jié)點能夠根據(jù)背景圖像的名稱，確定該背景圖像所屬于的圖像集合(即，第一圖像集合)。

并且，作為實例而非限定，在本發(fā)明實施例中，“名稱”可以是圖像的全部名稱，或者“名稱”也可以是指圖像的部分名稱，本發(fā)明并未特別限定。

再或者，在本發(fā)明實施例中，可以按照格式，將多個全景圖像(或者說，vr全景圖像、球形全景圖像或立方體全景圖像)劃分為多個圖像集合，以使格式相同的圖像屬于相同的集合。從而，處理節(jié)點能夠根據(jù)背景圖像的格式，確定該背景圖像所屬于的圖像集合(即，第一圖像集合)。

并且，作為實例而非限定，在本發(fā)明實施例中，“格式”可以是指圖像的編碼方式，或者，“格式”也可以是指圖像的保存格式，本發(fā)明并未特別限定。

其后，處理節(jié)點可以根據(jù)該映射關(guān)系，查找該第一圖像集合所對應(yīng)的圖像集合，并將該將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

從而，處理節(jié)點能夠根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

例如，圖6示出了本發(fā)明實施例的第一提取模板的一例，如圖6所示，該第一提取模板可以是例如，黑白二值圖，并且，該第一提取模板的大小或者說，長寬比例)可以與背景圖像的大小相同，其中，第一提取模板的白色部分(或者說，像素值為255的像素點占據(jù)的區(qū)域)對應(yīng)背景圖像的背景區(qū)域，第一提取模板的黑色部分(或者說，像素值為0的像素點占據(jù)的區(qū)域)對應(yīng)背景圖像的背景區(qū)域。

即，在本發(fā)明實施例中，背景區(qū)域在背景圖像中的相對位置，與白色部分在第一提取模板中的相對位置相同。

從而，處理節(jié)點可以將背景圖像中位置與白色部分在第一提取模板中的位置相對應(yīng)的區(qū)域確定為背景區(qū)域。

類似地，在本發(fā)明實施例中，內(nèi)容區(qū)域在背景圖像中的相對位置，與黑色部分在第一提取模板中的相對位置相同。

從而，處理節(jié)點可以將背景圖像中位置與黑色部分在第一提取模板中的位置相對應(yīng)的區(qū)域確定為內(nèi)容區(qū)域。

方式2

該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及

該確定該背景圖像的內(nèi)容區(qū)域，包括：

根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

具體的說，在本發(fā)明實施例中，該背景區(qū)域的與內(nèi)容區(qū)域鄰接的邊緣(即，第一邊界區(qū)域)包括的像素的像素值可以大于或等于第一閾值，并且，該內(nèi)容區(qū)域的與背景區(qū)域鄰接的邊緣(即，第二邊界區(qū)域)包括的像素的像素值可以小于第一閾值。

從而，服務(wù)器或使用者可以將該第一閾值輸入至該處理節(jié)點。

處理節(jié)點能夠根據(jù)該第一閾值，識別出該第一邊界區(qū)域和第二邊界區(qū)域，即，識別出背景區(qū)域和內(nèi)容區(qū)域的邊界，進而，處理節(jié)點能夠識別出該內(nèi)容區(qū)域。

應(yīng)理解，以上列舉的處理節(jié)點確定背景圖像的內(nèi)容區(qū)域的方法僅為示例性說明，本發(fā)明并未限定于此，例如，在本發(fā)明實施例中，該背景區(qū)域中的所有像素的像素值可以大于或等于第一閾值，并且，內(nèi)容區(qū)域中的所有像素的像素值可以小于第一閾值。

從而，處理節(jié)點可以將像素值大于或等于第一閾值的像素點構(gòu)成的區(qū)域識別為背景區(qū)域，并且，處理節(jié)點可以將像素值小于第一閾值的像素點構(gòu)成的區(qū)域識別為內(nèi)容區(qū)域。

在確定內(nèi)容區(qū)域之后，在s134，處理節(jié)點可以根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像。

在本發(fā)明實施例中，處理節(jié)點可以根據(jù)所確定的背景圖像的內(nèi)容區(qū)域的一種或多種參數(shù)，對目標(biāo)圖像進行像素重構(gòu)(或者說，變形處理)，并將像素重構(gòu)(或者說，變形處理)后的圖像作為待拼接圖像。

作為實例而非限定，內(nèi)容區(qū)域的一種或多種參數(shù)可以包括但不限于以下至少一種參數(shù)：

該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

具體的說，在本發(fā)明實施例中，由于背景圖像為全景圖像(例如，球形全景圖像或立方體全景圖像)，因此，對于在正常圖像(非全景圖像中)中人眼能夠正常識別的圖形a(例如，內(nèi)容區(qū)域?qū)?yīng)的圖形)，如果將該圖形a置于該背景圖像中，并使在該背景圖像被vr設(shè)備播放時，人眼能夠正常識別圖形a呈現(xiàn)，則人眼裸視(即，不使用vr設(shè)備)觀看該背景圖像時，該圖形a較在普通圖像中的呈現(xiàn)相比，會發(fā)生變形。例如，圖5所示的電影屏幕，在普通圖像中呈現(xiàn)為矩形，在全景圖像中呈現(xiàn)為該矩形的水平方向上的邊具有預(yù)設(shè)弧度。

并且，在本發(fā)明實施例中，上述變形與以下至少一種參數(shù)有關(guān)：

1.圖形a配置在背景圖像中的位置，即，圖形a在背景圖像中的位置不同，該圖像a發(fā)生的變形也不同，例如，在圖5所示的背景圖像中，設(shè)圖像a為電影屏幕(即，內(nèi)容區(qū)域的一例)，則該電影屏幕在背景圖像中心位置時，變形較小。并且，例如，該電影屏幕靠近背景圖像的南北兩極時，變形較大。

2.圖形a配置在背景圖像中的大小，即，圖形a的大小不同時，該圖像a發(fā)生的變形也不同，例如，在圖5所示的背景圖像中，設(shè)圖像a為電影屏幕(即，內(nèi)容區(qū)域的一例)，設(shè)該電影屏幕在背景圖像中心位置時，如果該電影屏幕較大，則其變形也相應(yīng)較大。并且，如果該電影屏幕較小，則其變形也相應(yīng)較小。

3.圖形a配置在背景圖像中的范圍，其中，該“范圍”可以是包括上述“位置”和“大小”兩層含義，這里，為了避免贅述，省略其詳細說明。

4.背景圖像的視角，即，當(dāng)背景圖像的視角不同時，圖形a的變形也相應(yīng)變化，例如，背景圖像在垂直方向為360度視角時圖形a的變形較大，背景圖像在垂直方向為90度視角時圖形a的變形較小。

5.該背景圖像的展開方式，即，當(dāng)背景圖像的展開方式不同時圖形a的變形也相應(yīng)變化，例如，背景圖像為球形全景圖像是圖形a的變形較大，當(dāng)背景圖像為立方體全景圖像時，圖形a的變形較小。

從而，處理節(jié)點可以根據(jù)上述參數(shù)，計算內(nèi)容區(qū)域發(fā)生的變形，并基于內(nèi)容區(qū)域的變形對目標(biāo)圖像進行像素重構(gòu)。

作為實例而非限定，如圖5所示，在本發(fā)明實施例中，該背景圖像的展開方式為球形展開，即，該背景圖像可以為球形全景圖像。

此情況下，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一變形方式后形成的形狀，該第一變形方式為該第二矩形的水平方向上的邊形成為具有預(yù)設(shè)弧度。

即，如圖5所示，該內(nèi)容區(qū)域可以形成為近似為第二矩形，與第二矩形不同的是，該內(nèi)容區(qū)域的兩條水平方向上的邊形成為具有預(yù)設(shè)弧度。

此情況下，處理節(jié)點可以根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

具體的說，在本發(fā)明實施例中，處理節(jié)點可以根據(jù)上述第一提取模型，逐一遍歷背景圖像的像素點，將背景圖像中位置(例如，在直角坐標(biāo)系中的坐標(biāo))與第一提取模型中像素值為0(即，黑色)的像素點相對應(yīng)的像素點作為內(nèi)容區(qū)域的個像素點，并且，處理節(jié)點可以記錄內(nèi)容區(qū)域的個像素點的位置(例如，坐標(biāo))，并且，處理節(jié)點記錄內(nèi)容區(qū)域的四個邊角頂點的坐標(biāo)，以及，內(nèi)容區(qū)域在高度(例如，y軸)方向的最小值和最大值。

其后，處理節(jié)點可以根據(jù)如上所示確定的四個邊角頂點的坐標(biāo)，確定第二矩形的長寬比，進而，處理節(jié)點可以根據(jù)該長寬比，確定目標(biāo)圖像的縮放比例，并對目標(biāo)圖像進行縮放，使縮放后的目標(biāo)圖像的大小與第二矩形的大小相同或近似相同，并且，使縮放后的目標(biāo)圖像的長度比與第二矩形的長寬比相同或近似相同。

其后，處理節(jié)點可以根據(jù)如上所述獲取的內(nèi)容區(qū)域的各像素點的位置在高度(例如，y軸)方向上的變化，確定該預(yù)設(shè)弧度，進而確定該預(yù)設(shè)弧度相對應(yīng)的拉伸比，并基于該拉伸比對經(jīng)過縮放處理后的目標(biāo)圖像進行高度(例如，y軸)方向上拉伸處理。作為實例而非限定，在本發(fā)明實施例中，該拉伸處理可以是指，對目標(biāo)圖像(具體的說，是經(jīng)過縮放后的目標(biāo)圖像)的位于水平方向上的邊(即，也可以稱為寬度方向上的邊)附近的像素進行插值計算而使該目標(biāo)圖像的水平方向上的邊具有上述預(yù)設(shè)弧度。

從而，目標(biāo)圖像經(jīng)過上述處理后，能夠像素重構(gòu)為待拼接圖像，其中，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

具體地說，在本發(fā)明實施例中，該待拼接圖像的大小可以與該背景圖像的大小相同或近似相同，該待拼接圖像的形狀可以與該背景圖像的內(nèi)容區(qū)域的大小形狀相同或近似相同。

圖8示出了經(jīng)過上述處理而獲得的待拼接圖像的一例，如圖8所示，該待拼接圖像的形狀與圖5所示的背景圖像的內(nèi)容區(qū)域的形狀相似。

在確定待拼接圖像后，在s136，處理節(jié)點可以基于待拼接圖像和背景圖像(具體的說，是背景圖像的背景區(qū)域)，確定待播放圖像。

例如，可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：

根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素。

具體的說，在本發(fā)明實施例中，該待播放圖像可以是大小與背景圖像的大小相同的圖像，即，在本發(fā)明實施例中，待播放圖像包括的像素點的數(shù)量與背景圖像包括的像素點的數(shù)量可以相同。

此情況下，在本發(fā)明實施例中，處理節(jié)點可以確定待播放圖像的多個像素點位置與背景圖像的多個像素點位置之間的一一映射關(guān)系。例如，設(shè)待播放圖像中的像素點位置a的坐標(biāo)為(α，β)，設(shè)背景圖像中的像素點位置a’的坐標(biāo)為(α’，β’)，如果α＝α’，且β＝β’，則處理節(jié)點可以確定像素點位置a與像素點位置a’對應(yīng)。

其中，處理節(jié)點可以判定待播放圖像中的像素點位置i所對應(yīng)的區(qū)域，具體的說，是待播放圖像中的像素點位置i所對應(yīng)的背景圖像中的像素點位置i’所屬于的區(qū)域(即，背景區(qū)域或內(nèi)容區(qū)域)，其中，i∈[1，w]，并且，i’∈[1，w]，w為背景圖像包括的像素點的數(shù)量。

例如，如果像素點位置i’屬于背景區(qū)域，則處理節(jié)點可以將像素點位置i’的像素值確定為像素點位置i的像素值。

再例如，如果像素點位置i’屬于內(nèi)容區(qū)域，則處理節(jié)點可以從待拼接圖像中確定位置與該像素點位置i’相對應(yīng)的像素點i”，并將所確定的像素點i”的像素值，確定為像素點位置i的像素值。具體的說，處理節(jié)點可以確定待拼接圖像的多個像素點位置與內(nèi)容區(qū)域的多個像素點位置之間的一一映射關(guān)系。例如，設(shè)待拼接圖像中的像素點位置b的坐標(biāo)為(λ，η)，設(shè)內(nèi)容區(qū)域中的像素點位置b’的坐標(biāo)為(λ’，η’)，如果λ＝λ’，且η＝η’，則處理節(jié)點可以確定像素點位置b與像素點位置b’對應(yīng)。

或者，可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：

將該待拼接圖像的像素覆蓋該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

具體地說，在本發(fā)明實施例中，處理節(jié)點可以將待拼接圖像設(shè)置為圖層1，將背景圖像設(shè)置為圖層2，其中，圖層1的大小與圖層2的大小相同或近似相同，并且，待拼接圖像在圖層1中的相對位置，與內(nèi)容區(qū)域在圖像2中的相對位置相同或近似相同。

其后，處理節(jié)點可以將圖層1中除待拼接圖像以外的區(qū)域設(shè)置為透明，其后，處理節(jié)點可以將圖層1覆蓋至圖層2之上，從而完成待拼接圖像與背景圖像的合并處理。

或者，可選地，該對待拼接圖像和該背景圖像進行合成處理，包括：

將該待拼接圖像的像素替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

具體地說，在本發(fā)明實施例中，處理節(jié)點可以確定待拼接圖像的多個像素點位置與內(nèi)容區(qū)域的多個像素點位置之間的一一映射關(guān)系。例如，設(shè)待拼接圖像中的像素點位置b的坐標(biāo)為(λ，η)，設(shè)內(nèi)容區(qū)域中的像素點位置b’的坐標(biāo)為(λ’，η’)，如果λ＝λ’，且η＝η’，則處理節(jié)點可以確定像素點位置b與像素點位置b’對應(yīng)。其后，處理節(jié)點可以將像素點位置b’的像素值替換為像素點位置b的像素的像素值。

從而，經(jīng)過上述合并處理，能夠生成待播放圖像，其中，該待播放圖像包括背景圖像中的背景區(qū)域中的像素(即，第一區(qū)域中的像素的一例，)，并且，該待播放圖像包括待拼接圖像(即，基于目標(biāo)圖像確定的圖像)中的像素(即，第二區(qū)域中的像素的一例)，即，該待播放圖像包括用于呈現(xiàn)虛擬場景的圖像(即，背景圖像的背景區(qū)域中的像素構(gòu)成的圖像)，并且，該待播放圖像包括需要在呈現(xiàn)虛擬場景觀看的圖像(即，基于目標(biāo)圖像確定的像素)。進而，當(dāng)該待播放圖像被vr設(shè)備播放時，能夠同時呈現(xiàn)背景圖像和目標(biāo)圖像雙方的內(nèi)容，即，能夠通過播放待播放圖像，實現(xiàn)在于背景圖像對應(yīng)的虛擬場景中觀看目標(biāo)圖像的過程，進而，能夠降低vr設(shè)備的處理負擔(dān)。

圖9示出了經(jīng)過上述處理而生成的待播放圖像的一例。圖10是該待播放圖像經(jīng)vr設(shè)備播放后的效果，如圖10所示，該待播放圖像中與待拼接圖像(或者說，目標(biāo)圖像)相對應(yīng)的部分(即，第二區(qū)域)所呈現(xiàn)的圖像，與圖7所示的目標(biāo)圖像相同或近似相同。

應(yīng)理解，以上列舉的生成待播放圖像的過程僅為示例性說明，本發(fā)明并未限定于此，例如，用戶也可以通過控制指令等使處理節(jié)點確定目標(biāo)圖像需要嵌入至背景圖像中的拼接區(qū)域。

從而，處理節(jié)點可以根據(jù)上述控制指令，在不對目標(biāo)圖像進行像素重構(gòu)的情況下，直接將目標(biāo)圖像覆蓋在背景圖像中的拼接區(qū)域上。

或者，處理節(jié)點可以根據(jù)上述控制指令，在不對目標(biāo)圖像進行像素重構(gòu)的情況下，直接將背景圖像的拼接區(qū)域中的像素替換為目標(biāo)圖像中的像素。

通過獲取作為全景圖像(具體的說，是球形全景圖像或立方體全景圖像)的背景圖像和作為非全景圖像的目標(biāo)圖像，并將該背景圖像和目標(biāo)圖像進行合成處理，能夠生產(chǎn)作為全景圖像的待播放圖像，該待播放圖像包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景圖像中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)圖像對應(yīng)的像素，從而，當(dāng)該待播放圖像被vr設(shè)備播放時，能夠同時呈現(xiàn)背景圖像和目標(biāo)圖像雙方的內(nèi)容，即，能夠通過播放待播放圖像，實現(xiàn)在于背景圖像對應(yīng)的虛擬場景中觀看目標(biāo)圖像的過程，進而，能夠降低vr設(shè)備的處理負擔(dān)。

并且，在現(xiàn)有技術(shù)中，背景圖像保存在vr設(shè)備中，不同vr設(shè)備中保存的背景圖像也可能不同，可能導(dǎo)致用戶無法在不同vr設(shè)備中觀看到同一虛擬場景，與此相對，由于背景圖像的內(nèi)容與目標(biāo)圖形的內(nèi)容均承載于待播放圖像，在任意vr設(shè)備均能夠?qū)崿F(xiàn)在用戶期望的場景中觀看目標(biāo)圖像。

可選地，該獲取目標(biāo)圖像，包括：從目標(biāo)視頻中獲取該目標(biāo)圖像，其中，該目標(biāo)視頻為非全景視頻，該目標(biāo)視頻包括多幀第一圖像，該目標(biāo)圖像是該多幀圖像中的任一幀第一圖像。

具體的，在本發(fā)明實施例中，處理節(jié)點可以確定一個非全景視頻(即，目標(biāo)視頻)文件中的每一幀圖像，并對每一幀圖像作為上述目標(biāo)圖像，并與背景圖像進行上述合并處理，從而生成多幀待播放圖像，并且，處理節(jié)點可以將多幀待播放圖像進行合成(具體的說，是合成為生成圖像序列)，并與目標(biāo)視頻的音頻文件進行合成，從而能夠生成全景視頻(或者說，vr視頻)。

可選地，該獲取背景圖像，包括：從背景視頻中獲取該背景圖像，該背景視頻為球形全景視頻或立方體全景視頻，該背景視頻包括多幀第二圖像，該背景圖像是該多幀第二圖像中的任意一幀圖像。

具體的說，在本發(fā)明實施例中，該背景圖像也可以取自一個全景視頻(即，背景視頻)。

根據(jù)本發(fā)明實施例的圖像處理的方法，通過將目標(biāo)視頻中的每一幀圖像作為目標(biāo)圖像，并進行上述處理過程，能夠獲取多幀作為球星全景圖像或立方體全景圖像的待播放圖像，并將所生成的多幀圖像按時序組合，能夠生成球形全景視頻或立方體全景視頻，該全景視頻在通過vr設(shè)備播放后，能夠呈現(xiàn)基于背景圖像生成的虛擬背景，以及目標(biāo)視頻的視頻內(nèi)容。

圖11是本發(fā)明實施例的圖像處理的裝置200的示意性框圖。如圖11所示，該裝置200包括：

獲取單元210，用于獲取背景圖像和目標(biāo)圖像，該背景圖像為球形全景圖像或立方體全景圖像，該目標(biāo)圖像為非全景圖像；

處理單元220，用于對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像，該待播放圖像為球形全景圖像或立方體全景圖像，且該待播放圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及

如圖12所示，該處理單元220包括：提取模塊222，用于確定該背景圖像的內(nèi)容區(qū)域，

該處理單元220包括：重構(gòu)模塊224，用于根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像，

該處理單元220包括：合成模塊226，用于對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該合成模塊226具體用于根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素；或

該合成模塊226具體用于將該待拼接圖像的像素覆蓋或替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，其特征在于，該重構(gòu)模塊224具體用于根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：

該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，其特征在于，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度，以及

該重構(gòu)模塊224具體用于根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，該提取模塊222具體用于獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍，用于根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該提取模塊222具體用于獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍，用于確定該背景圖像該屬于的第一圖像集合，用于根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，該提取模塊222具體用于根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：

該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及

該提取模塊222具體用于根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

該圖像處理的裝置200可以對應(yīng)(例如，可以配置于或本身即為)上述方法100中描述的處理節(jié)點，并且，該圖像處理的裝置200中各模塊或單元分別用于執(zhí)行上述方法100中處理節(jié)點所執(zhí)行的各動作或處理過程，這里，為了避免贅述，省略其詳細說明。

通過獲取作為全景圖像(具體的說，是球形全景圖像或立方體全景圖像)的背景圖像和作為非全景圖像的目標(biāo)圖像，并將該背景圖像和目標(biāo)圖像進行合成處理，能夠生產(chǎn)作為全景圖像的待播放圖像，該待播放圖像包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景圖像中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)圖像對應(yīng)的像素，從而，當(dāng)該待播放圖像被vr設(shè)備播放時，能夠同時呈現(xiàn)背景圖像和目標(biāo)圖像雙方的內(nèi)容，即，能夠通過播放待播放圖像，實現(xiàn)在于背景圖像對應(yīng)的虛擬場景中觀看目標(biāo)圖像的過程，進而，能夠降低vr設(shè)備的處理負擔(dān)。

并且，在現(xiàn)有技術(shù)中，背景圖像保存在vr設(shè)備中，不同vr設(shè)備中保存的背景圖像也可能不同，可能導(dǎo)致用戶無法在不同vr設(shè)備中觀看到同一虛擬場景，與此相對，由于背景圖像的內(nèi)容與目標(biāo)圖形的內(nèi)容均承載于待播放圖像，在任意vr設(shè)備均能夠?qū)崿F(xiàn)在用戶期望的場景中觀看目標(biāo)圖像。

圖13描述了本發(fā)明實施例提供的圖像處理的設(shè)備300的結(jié)構(gòu)，該圖像處理的設(shè)備300包括：至少一個處理器301，至少一個網(wǎng)絡(luò)接口304或者其他用戶接口303，存儲器305，至少一個通信總線302。通信總線302用于實現(xiàn)這些組件之間的連接通信。

該終端設(shè)備300可選地包含用戶接口303，包括顯示器(例如，觸摸屏、lcd、crt、全息成像設(shè)備或者投影設(shè)備等)，鍵盤或者點擊設(shè)備(例如，鼠標(biāo)，軌跡球(trackball)，觸感板或者觸摸屏等)。

存儲器305可以包括只讀存儲器和隨機存取存儲器，并向處理器301提供指令和數(shù)據(jù)。存儲器305的一部分還可以包括非易失性隨機存取存儲器(nvram)。

在一些實施方式中，存儲器305存儲了如下的元素，可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu)，或者他們的子集，或者他們的擴展集：

操作系統(tǒng)3051，包含各種系統(tǒng)程序，例如圖1所示的框架層、核心庫層、驅(qū)動層等，用于實現(xiàn)各種基礎(chǔ)業(yè)務(wù)以及處理基于硬件的任務(wù)；

應(yīng)用程序模塊3052，包含各種應(yīng)用程序，例如圖1所示的桌面(launcher)、媒體播放器(mediaplayer)、瀏覽器(browser)等，用于實現(xiàn)各種應(yīng)用業(yè)務(wù)。

在本發(fā)明實施例中，通過調(diào)用存儲器305存儲的程序或指令，處理器301用于：獲取背景圖像和目標(biāo)圖像，該背景圖像為球形全景圖像或立方體全景圖像，該目標(biāo)圖像為非全景圖像，用于對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像，該待播放圖像為球形全景圖像或立方體全景圖像，且該待播放圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及

處理器301具體用于確定該背景圖像的內(nèi)容區(qū)域，用于根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像，用于對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，處理器301具體用于根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素；或

該處理器301具體用于將該待拼接圖像的像素覆蓋或替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，其特征在于，該處理器301具體用于根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：

該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，其特征在于，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度，以及

該處理器301具體用于根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，該處理器301具體用于獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍，用于根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該處理器301具體用于獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍，用于確定該背景圖像該屬于的第一圖像集合，用于根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，該處理器301具體用于根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：

該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及

該處理器301具體用于根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

該圖像處理的設(shè)備300可以對應(yīng)(例如，可以配置于或本身即為)上述方法100中描述的處理節(jié)點，并且，該圖像處理的設(shè)備300中各模塊或單元分別用于執(zhí)行上述方法100中處理節(jié)點所執(zhí)行的各動作或處理過程，這里，為了避免贅述，省略其詳細說明。

本發(fā)明實施例還提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括：計算機程序代碼，當(dāng)該計算機程序代碼被處理節(jié)點(例如，上述圖像處理的裝置或設(shè)備，具體地說，是圖像處理的裝置或設(shè)備的處理單元或處理器)運行時，使得處理節(jié)點執(zhí)行以下動作：

獲取背景圖像，該背景圖像為球形全景圖像或立方體全景圖像；

獲取目標(biāo)圖像，該目標(biāo)圖像為非全景圖像；

對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像，該待播放圖像為球形全景圖像或立方體全景圖像，且該待播放圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點確定該背景圖像的內(nèi)容區(qū)域；根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素；或?qū)⒃摯唇訄D像的像素覆蓋或替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度，以及，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍；根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；確定該背景圖像該屬于的第一圖像集合；根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)存儲有程序，該程序使得處理節(jié)點(例如，上述圖像處理的裝置或設(shè)備，具體地說，是圖像處理的裝置或設(shè)備的處理單元或處理器)執(zhí)行以下動作：

獲取背景圖像，該背景圖像為球形全景圖像或立方體全景圖像；

獲取目標(biāo)圖像，該目標(biāo)圖像為非全景圖像；

對該目標(biāo)圖像和該背景圖像進行合成處理，以生成待播放圖像，該待播放圖像為球形全景圖像或立方體全景圖像，且該待播放圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該程序還使得處理節(jié)點確定該背景圖像的內(nèi)容區(qū)域；根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該程序還使得處理節(jié)點根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素；或?qū)⒃摯唇訄D像的像素覆蓋或替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，該程序還使得處理節(jié)點根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度，以及，該程序還使得處理節(jié)點根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，該程序還使得處理節(jié)點獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍；根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該程序還使得處理節(jié)點獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；確定該背景圖像該屬于的第一圖像集合；根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，該程序還使得處理節(jié)點根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及，可選地，該程序還使得處理節(jié)點根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

通過獲取作為全景圖像(具體的說，是球形全景圖像或立方體全景圖像)的背景圖像和作為非全景圖像的目標(biāo)圖像，并將該背景圖像和目標(biāo)圖像進行合成處理，能夠生產(chǎn)作為全景圖像的待播放圖像，該待播放圖像包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景圖像中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)圖像對應(yīng)的像素，從而，當(dāng)該待播放圖像被vr設(shè)備播放時，能夠同時呈現(xiàn)背景圖像和目標(biāo)圖像雙方的內(nèi)容，即，能夠通過播放待播放圖像，實現(xiàn)在于背景圖像對應(yīng)的虛擬場景中觀看目標(biāo)圖像的過程，進而，能夠降低vr設(shè)備的處理負擔(dān)。

并且，在現(xiàn)有技術(shù)中，背景圖像保存在vr設(shè)備中，不同vr設(shè)備中保存的背景圖像也可能不同，可能導(dǎo)致用戶無法在不同vr設(shè)備中觀看到同一虛擬場景，與此相對，由于背景圖像的內(nèi)容與目標(biāo)圖形的內(nèi)容均承載于待播放圖像，在任意vr設(shè)備均能夠?qū)崿F(xiàn)在用戶期望的場景中觀看目標(biāo)圖像。

圖14示出了本發(fā)明實施例的視頻處理的方法400的示意性流程圖，如圖14所示，該視頻處理的方法400包括：

s410，獲取背景視頻，該背景視頻包括至少一幀圖像，該背景視頻包括的每一幀圖像為球形全景圖像或立方體全景圖像；

在本發(fā)明實施例中，該背景視頻的獲取方法和方式可以與現(xiàn)有技術(shù)相似，這里，為了避免贅述省略其詳細說明。

并且，該背景視頻中的每一幀圖像的具體形式可以與上述方法100中描述的背景圖像的具體形式相似，這里，為了避免贅述，省略其詳細說明。

s420，獲取目標(biāo)視頻，該目標(biāo)視頻包括至少一幀圖像，該目標(biāo)視頻包括的每一幀圖像為非全景圖像；

在本發(fā)明實施例中，該目標(biāo)視頻的獲取方法和方式可以與現(xiàn)有技術(shù)相似，這里，為了避免贅述省略其詳細說明。

并且，該目標(biāo)視頻中的每一幀圖像的具體形式可以與上述方法100中描述的目標(biāo)圖像的具體形式相似，這里，為了避免贅述，省略其詳細說明。

s430，對該目標(biāo)視頻和該背景視頻進行合成處理，以生成待播放視頻，該背景視頻包括至少一幀圖像，其中，該待播放視頻中的每一幀圖像為球形全景圖像或立方體全景圖像，該待播放視頻中的每一幀圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括根據(jù)該背景視頻獲得的像素，該第二區(qū)域包括根據(jù)該目標(biāo)視頻獲得的像素。

具體的說，作為示例而非限定，該對該目標(biāo)視頻和該背景視頻進行合成處理，包括：對目標(biāo)圖像和背景圖像進行合成處理，以生成待播放圖像，其中，該目標(biāo)圖像是該目標(biāo)視頻中的任意一幀圖像，該背景圖像是該背景視頻中的任意一幀圖像，且該待播放圖像的第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該待播放圖像的第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

例如，在本發(fā)明實施例中，如果背景視頻只包括一幀圖像，則處理節(jié)點可以將目標(biāo)視頻中每一幀圖像分別與該背景視頻中的一幀圖像進行合成，從而生成待播放視頻。并且，這里，目標(biāo)視頻中每一幀圖像與該背景視頻中的一幀圖像的合成處理的具體過程可以與上述方法100中描述的目標(biāo)圖像與背景圖像的合成過程相似，這里，為了避免贅述，省略其詳細說明。

再例如，在本發(fā)明實施例中，如果背景視頻包括多幀圖像，則處理節(jié)點可以確定多個圖像組，其中每個圖像組包括目標(biāo)視頻中的一幀圖像以及背景視頻中的一幀圖像，其中，任意兩個圖像組包括的目標(biāo)視頻中的圖像相異，從而，處理節(jié)點可以將每個圖像組中的目標(biāo)視頻中的圖像與背景視頻中的圖像進行合成，從而生成待播放視頻。并且，這里，處理節(jié)點將目標(biāo)視頻中一幀圖像與背景視頻中的一幀圖像合成的具體過程可以與上述方法100中描述的目標(biāo)圖像與背景圖像的合成過程相似，這里，為了避免贅述，省略其詳細說明。

根據(jù)本發(fā)明實施例的視頻處理的方法，通過獲取作為全景視頻(具體的說，是球形全景視頻或立方體全景視頻)的背景視頻和作為非全景視頻的目標(biāo)視頻，并將該背景視頻和目標(biāo)視頻進行合成處理，能夠生產(chǎn)作為全景視頻的待播放視頻，該待播放視頻包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景視頻中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)視頻對應(yīng)的像素，從而，當(dāng)該待播放視頻被vr設(shè)備播放時，能夠同時呈現(xiàn)背景視頻和目標(biāo)視頻雙方的內(nèi)容，即，能夠通過播放待播放視頻，實現(xiàn)在于背景視頻對應(yīng)的虛擬場景中觀看目標(biāo)視頻的過程，進而，能夠降低vr設(shè)備在播放虛擬影院視頻時的處理負擔(dān)。

圖15是本發(fā)明實施例的圖像處理的裝置500的示意性框圖。如圖15所示，該裝置500包括：

獲取單元510，用于獲取背景視頻和目標(biāo)視頻，該背景視頻包括至少一幀圖像，該背景視頻包括的每一幀圖像為球形全景圖像或立方體全景圖像，該目標(biāo)視頻包括至少一幀圖像，該目標(biāo)視頻包括的每一幀圖像為非全景圖像；

處理單元520，用于對該目標(biāo)視頻和該背景視頻進行合成處理，以生成待播放視頻，該背景視頻包括至少一幀圖像，其中，該待播放視頻中的每一幀圖像為球形全景圖像或立方體全景圖像，該待播放視頻中的每一幀圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括該背景視頻中的像素，該第二區(qū)域包括根據(jù)該目標(biāo)視頻獲得的像素。

可選地，該處理單元520具體用于對目標(biāo)圖像和背景圖像進行合成處理，以生成待播放圖像，其中，該目標(biāo)圖像是該目標(biāo)視頻中的任意一幀圖像，該背景圖像是該背景視頻中的任意一幀圖像，且該待播放圖像的第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該待播放圖像的第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及

該處理單元520具體用于確定該背景圖像的內(nèi)容區(qū)域，用于根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像，用于對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該處理單元520具體用于根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素；或

該處理單元520具體用于將該待拼接圖像的像素覆蓋或替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，其特征在于，該處理單元520具體用于根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：

該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，其特征在于，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度，以及

該處理單元520具體用于根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，該處理單元520具體用于獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍，用于根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該處理單元520具體用于獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍，用于確定該背景圖像該屬于的第一圖像集合，用于根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，該處理單元520具體用于根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：

該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及

該處理單元520具體用于根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

該視頻處理的裝置500可以對應(yīng)(例如，可以配置于或本身即為)上述方法400中描述的處理節(jié)點，并且，該圖像處理的裝置500中各模塊或單元分別用于執(zhí)行上述方法400中處理節(jié)點所執(zhí)行的各動作或處理過程，這里，為了避免贅述，省略其詳細說明。

圖16描述了本發(fā)明實施例提供的視頻處理的設(shè)備600的結(jié)構(gòu)，該圖像處理的設(shè)備600包括：至少一個處理器601，至少一個網(wǎng)絡(luò)接口604或者其他用戶接口603，存儲器605，至少一個通信總線602。通信總線602用于實現(xiàn)這些組件之間的連接通信。

該終端設(shè)備600可選地包含用戶接口603，包括顯示器(例如，觸摸屏、lcd、crt、全息成像設(shè)備或者投影設(shè)備等)，鍵盤或者點擊設(shè)備(例如，鼠標(biāo)，軌跡球(trackball)，觸感板或者觸摸屏等)。

存儲器605可以包括只讀存儲器和隨機存取存儲器，并向處理器601提供指令和數(shù)據(jù)。存儲器605的一部分還可以包括非易失性隨機存取存儲器(nvram)。

在一些實施方式中，存儲器605存儲了如下的元素，可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu)，或者他們的子集，或者他們的擴展集：

操作系統(tǒng)6051，包含各種系統(tǒng)程序，例如圖1所示的框架層、核心庫層、驅(qū)動層等，用于實現(xiàn)各種基礎(chǔ)業(yè)務(wù)以及處理基于硬件的任務(wù)；

應(yīng)用程序模塊6052，包含各種應(yīng)用程序，例如圖1所示的桌面(launcher)、媒體播放器(mediaplayer)、瀏覽器(browser)等，用于實現(xiàn)各種應(yīng)用業(yè)務(wù)。

在本發(fā)明實施例中，通過調(diào)用存儲器605存儲的程序或指令，處理器601用于獲取背景視頻和目標(biāo)視頻，該背景視頻包括至少一幀圖像，該背景視頻包括的每一幀圖像為球形全景圖像或立方體全景圖像，該目標(biāo)視頻包括至少一幀圖像，該目標(biāo)視頻包括的每一幀圖像為非全景圖像；

處理器601用于對該目標(biāo)視頻和該背景視頻進行合成處理，以生成待播放視頻，該背景視頻包括至少一幀圖像，其中，該待播放視頻中的每一幀圖像為球形全景圖像或立方體全景圖像，該待播放視頻中的每一幀圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括該背景視頻中的像素，該第二區(qū)域包括根據(jù)該目標(biāo)視頻獲得的像素。

可選地，該處理器601具體用于對目標(biāo)圖像和背景圖像進行合成處理，以生成待播放圖像，其中，該目標(biāo)圖像是該目標(biāo)視頻中的任意一幀圖像，該背景圖像是該背景視頻中的任意一幀圖像，且該待播放圖像的第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該待播放圖像的第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及

該處理器601具體用于確定該背景圖像的內(nèi)容區(qū)域，用于根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像，用于對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該處理器601具體用于根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素；或

該處理器601具體用于將該待拼接圖像的像素覆蓋或替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，其特征在于，該處理器601具體用于根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：

該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，其特征在于，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度，以及

該處理器601具體用于根據(jù)該第二矩形的長寬比例和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，該處理器601具體用于獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍，用于根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該處理器601具體用于獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍，用于確定該背景圖像該屬于的第一圖像集合，用于根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，該處理器601具體用于根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：

該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及

該處理器601具體用于根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

該視頻處理的設(shè)備600可以對應(yīng)(例如，可以配置于或本身即為)上述方法400中描述的處理節(jié)點，并且，該視頻處理的設(shè)備600中各模塊或單元分別用于執(zhí)行上述方法400中處理節(jié)點所執(zhí)行的各動作或處理過程，這里，為了避免贅述，省略其詳細說明。

本發(fā)明實施例還提供了一種計算機程序產(chǎn)品，該計算機程序產(chǎn)品包括：計算機程序代碼，當(dāng)該計算機程序代碼被處理節(jié)點(例如，上述圖像處理的裝置或設(shè)備，具體地說，是圖像處理的裝置或設(shè)備的處理單元或處理器)運行時，使得處理節(jié)點執(zhí)行以下動作：

獲取背景視頻，該背景視頻包括至少一幀圖像，該背景視頻包括的每一幀圖像為球形全景圖像或立方體全景圖像；

獲取目標(biāo)視頻，該目標(biāo)視頻包括至少一幀圖像，該目標(biāo)視頻包括的每一幀圖像為非全景圖像；

對該目標(biāo)視頻和該背景視頻進行合成處理，以生成待播放視頻，該背景視頻包括至少一幀圖像，其中，該待播放視頻中的每一幀圖像為球形全景圖像或立方體全景圖像，該待播放視頻中的每一幀圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括該背景視頻中的像素，該第二區(qū)域包括根據(jù)該目標(biāo)視頻獲得的像素。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點對目標(biāo)圖像和背景圖像進行合成處理，以生成待播放圖像，其中，該目標(biāo)圖像是該目標(biāo)視頻中的任意一幀圖像，該背景圖像是該背景視頻中的任意一幀圖像，且該待播放圖像的第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該待播放圖像的第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點確定該背景圖像的內(nèi)容區(qū)域；根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點將該待拼接圖像的像素覆蓋該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點將該待拼接圖像的像素替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，該待拼接圖像在通過虛擬現(xiàn)實vr設(shè)備播放時呈現(xiàn)的內(nèi)容為與該目標(biāo)圖像呈現(xiàn)的內(nèi)容相同。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為：第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該第二矩形的長寬比和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍；根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；確定該背景圖像該屬于的第一圖像集合；根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及當(dāng)該計算機程序代碼被處理節(jié)點運行時，還使得處理節(jié)點根據(jù)該第一閾值，確定該第一邊界區(qū)域和第二邊界區(qū)域，根據(jù)該第一邊界區(qū)域和第二邊界區(qū)域，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該背景區(qū)域中的任一像素的像素值大于或等于第一閾值，該內(nèi)容區(qū)域中的任一像素的像素值小于該第一閾值，以及該確定該背景圖像的內(nèi)容區(qū)域，包括：根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

可選地，所述第二區(qū)域在所述待播放圖像中的范圍與所述內(nèi)容區(qū)域在所述背景圖像中的范圍與所述第一區(qū)域在所述第一全景圖像中的范圍的差異在預(yù)設(shè)的第三范圍內(nèi)。

本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)存儲有程序，該程序使得處理節(jié)點(例如，上述圖像處理的裝置或設(shè)備，具體地說，是圖像處理的裝置或設(shè)備的處理單元或處理器)執(zhí)行以下動作：

獲取背景視頻，該背景視頻包括至少一幀圖像，該背景視頻包括的每一幀圖像為球形全景圖像或立方體全景圖像；

獲取目標(biāo)視頻，該目標(biāo)視頻包括至少一幀圖像，該目標(biāo)視頻包括的每一幀圖像為非全景圖像；

對該目標(biāo)視頻和該背景視頻進行合成處理，以生成待播放視頻，該背景視頻包括至少一幀圖像，其中，該待播放視頻中的每一幀圖像為球形全景圖像或立方體全景圖像，該待播放視頻中的每一幀圖像包括第一區(qū)域和第二區(qū)域，該第一區(qū)域包括該背景視頻中的像素，該第二區(qū)域包括根據(jù)該目標(biāo)視頻獲得的像素。

可選地，該程序還使得處理節(jié)點對目標(biāo)圖像和背景圖像進行合成處理，以生成待播放圖像，其中，該目標(biāo)圖像是該目標(biāo)視頻中的任意一幀圖像，該背景圖像是該背景視頻中的任意一幀圖像，且該待播放圖像的第一區(qū)域包括根據(jù)該背景圖像獲得的像素，該待播放圖像的第二區(qū)域包括根據(jù)該目標(biāo)圖像獲得的像素。

可選地，該背景圖像包括背景區(qū)域和內(nèi)容區(qū)域，以及該程序還使得處理節(jié)點確定該背景圖像的內(nèi)容區(qū)域；根據(jù)該背景圖像的內(nèi)容區(qū)域，對該目標(biāo)圖像進行像素重構(gòu)，以生成待拼接圖像；對待拼接圖像和該背景圖像進行合成處理，其中，該第一區(qū)域包括該背景區(qū)域中的像素，該第二區(qū)域包括該待拼接圖像中的像素。

可選地，該程序還使得處理節(jié)點根據(jù)該背景區(qū)域中的像素確定該第一區(qū)域中的像素，并根據(jù)該待拼接圖像的像素確定該第二區(qū)域中的像素。

可選地，該程序還使得處理節(jié)點將該待拼接圖像的像素覆蓋該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該程序還使得處理節(jié)點將該待拼接圖像的像素替換該背景圖像的內(nèi)容區(qū)域的部分或全部像素。

可選地，該待拼接圖像的大小與該背景圖像的內(nèi)容區(qū)域的大小的差異在預(yù)設(shè)的第一范圍內(nèi)，該待拼接圖像的形狀與該背景圖像的內(nèi)容區(qū)域的大小形狀的差異在預(yù)設(shè)的第二范圍內(nèi)。

可選地，該待拼接圖像在通過虛擬現(xiàn)實vr設(shè)備播放時呈現(xiàn)的內(nèi)容為與該目標(biāo)圖像呈現(xiàn)的內(nèi)容相同。

可選地，該程序還使得處理節(jié)點根據(jù)該目標(biāo)圖像和以下至少一種參數(shù)，對該目標(biāo)圖像進行像素重構(gòu)：該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍、該背景圖像的內(nèi)容區(qū)域的形狀、該背景圖像的內(nèi)容區(qū)域的大小、該背景圖像的內(nèi)容區(qū)域在該背景圖像中的位置、該背景像的全景視角或該背景圖像的展開方式。

可選地，該背景圖像的形狀為第一矩形，該背景圖像的內(nèi)容區(qū)域位于該第一矩形的中心位置，該背景圖像的內(nèi)容區(qū)域的形狀為：第二矩形以第一方式變形后形成的形狀，該第一方式為該第二矩形的水平方向上的邊變形為具有預(yù)設(shè)弧度

可選地，該程序還使得處理節(jié)點根據(jù)該第二矩形的長寬比和該預(yù)設(shè)弧度，對該目標(biāo)圖像進行像素重構(gòu)。

可選地，該程序還使得處理節(jié)點獲取第一提取模型，該第一提取模型用于指示該背景圖像的內(nèi)容區(qū)域在該背景圖像中的范圍；根據(jù)該第一提取模型，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該程序還使得處理節(jié)點獲取m個圖像集合和m個提取模型之間的一一映射關(guān)系，其中，該m個圖像集合中的每個圖像集合包括至少一個全景圖像，每個全景圖像包括內(nèi)容區(qū)域，該m個提取模型中的每個提取模型用于指示該對應(yīng)的圖像集合中的全景圖像中的內(nèi)容區(qū)域的范圍；確定該背景圖像該屬于的第一圖像集合；根據(jù)該映射關(guān)系，將該第一圖像集合對應(yīng)的提取模型作為該第一提取模型。

可選地，該程序還使得處理節(jié)點根據(jù)以下至少一種信息，確定該背景圖像該屬于的第一圖像集合：該背景圖像的來源、該背景圖像的名稱或該背景圖像的格式。

可選地，該背景區(qū)域包括第一邊界區(qū)域，該第一邊界區(qū)域是該背景區(qū)域中與該內(nèi)容區(qū)域相鄰的區(qū)域，該內(nèi)容區(qū)域包括第二邊界區(qū)域，該第二邊界區(qū)域是該內(nèi)容區(qū)域中與該背景區(qū)域相鄰的區(qū)域，該第一邊界區(qū)域中的任一像素的像素值大于或等于第一閾值，與該第二邊界區(qū)域中的任一像素的像素值小于該第一閾值，以及該程序還使得處理節(jié)點根據(jù)該第一閾值，確定該第一邊界區(qū)域和第二邊界區(qū)域，根據(jù)該第一邊界區(qū)域和第二邊界區(qū)域，確定該背景圖像的內(nèi)容區(qū)域。

可選地，該背景區(qū)域中的任一像素的像素值大于或等于第一閾值，該內(nèi)容區(qū)域中的任一像素的像素值小于該第一閾值，以及該確定該背景圖像的內(nèi)容區(qū)域，包括：根據(jù)該第一閾值，確定該背景圖像的內(nèi)容區(qū)域。

可選地，所述第二區(qū)域在所述待播放圖像中的范圍與所述內(nèi)容區(qū)域在所述背景圖像中的范圍與所述第一區(qū)域在所述第一全景圖像中的范圍的差異在預(yù)設(shè)的第三范圍內(nèi)。

通過獲取作為全景視頻(具體的說，是球形全景視頻或立方體全景視頻)的背景視頻和作為非全景視頻的目標(biāo)視頻，并將該背景視頻和目標(biāo)視頻進行合成處理，能夠生產(chǎn)作為全景視頻的待播放視頻，該待播放視頻包括第一區(qū)域和第二區(qū)域，第一區(qū)域包括背景視頻中用于呈現(xiàn)虛擬背景的像素，該第二區(qū)域包括目標(biāo)視頻對應(yīng)的像素，從而，當(dāng)該待播放視頻被vr設(shè)備播放時，能夠同時呈現(xiàn)背景視頻和目標(biāo)視頻雙方的內(nèi)容，即，能夠通過播放待播放視頻，實現(xiàn)在于背景視頻對應(yīng)的虛擬場景中觀看目標(biāo)視頻的過程，進而，能夠降低vr設(shè)備在播放虛擬影院視頻時的處理負擔(dān)。作為示例而非限定，該方法100或方法400可以使用于終端設(shè)備，本申請實施例中所涉及到的終端設(shè)備可以包括手持設(shè)備、車載設(shè)備、可穿戴設(shè)備、計算設(shè)備或連接到無線調(diào)制解調(diào)器的其它處理設(shè)備。還可以包括用戶單元、蜂窩電話(cellularphone)、智能手機(smartphone)、無線數(shù)據(jù)卡、個人數(shù)字助理(personaldigitalassistant，pda)電腦、平板型電腦、無線調(diào)制解調(diào)器(modem)、手持設(shè)備(handset)、膝上型電腦(laptopcomputer)、機器類型通信(machinetypecommunication，mtc)終端、無線局域網(wǎng)(wirelesslocalareanetworks，wlan)中的站點(staion，st)，可以是蜂窩電話、無繩電話、會話啟動協(xié)議(sessioninitiationprotocol，sip)電話、無線本地環(huán)路(wirelesslocalloop，wll)站以及下一代通信系統(tǒng)，例如，第五代通信(fifth-generation，簡稱“5g”)網(wǎng)絡(luò)中的終端設(shè)備或者未來演進的公共陸地移動網(wǎng)絡(luò)(publiclandmobilenetwork，簡稱“plmn”)網(wǎng)絡(luò)中的終端設(shè)備等。

其中，可穿戴設(shè)備也可以稱為穿戴式智能設(shè)備，是應(yīng)用穿戴式技術(shù)對日常穿戴進行智能化設(shè)計、開發(fā)出可以穿戴的設(shè)備的總稱，如眼鏡、手套、手表、服飾及鞋等?？纱┐髟O(shè)備即直接穿在身上，或是整合到用戶的衣服或配件的一種便攜式設(shè)備?？纱┐髟O(shè)備不僅僅是一種硬件設(shè)備，更是通過軟件支持以及數(shù)據(jù)交互、云端交互來實現(xiàn)強大的功能。廣義穿戴式智能設(shè)備包括功能全、尺寸大、可不依賴智能手機實現(xiàn)完整或者部分的功能，例如：智能手表或智能眼鏡等，以及只專注于某一類應(yīng)用功能，需要和其它設(shè)備如智能手機配合使用，如各類進行體征監(jiān)測的智能手環(huán)、智能首飾等。

并且，該終端設(shè)備還可以包括vr設(shè)備，其中vr設(shè)備也可以稱為虛擬現(xiàn)實硬件，虛擬現(xiàn)實硬件指的是與虛擬現(xiàn)實技術(shù)領(lǐng)域相關(guān)的硬件產(chǎn)品，是虛擬現(xiàn)實解決方案中用到的硬件設(shè)備。

作為示例而非限定，在本發(fā)明實施例中，虛擬現(xiàn)實中常用到的硬件設(shè)備，大致可以包括但不限于以下類型的設(shè)備。

1、建模設(shè)備，例如，3d掃描儀。

2、三維視覺顯示設(shè)備，例如，3d展示系統(tǒng)、大型投影系統(tǒng)、頭顯，例如，頭戴式立體顯示器、智能眼鏡等。

3、聲音設(shè)備，例如，三維的聲音系統(tǒng)以及非傳統(tǒng)意義的立體聲。

4、交互設(shè)備，包括：位置追蹤儀、數(shù)據(jù)手套、3d輸入設(shè)備(例如，三維鼠標(biāo))、動作捕捉設(shè)備、眼動儀、力反饋設(shè)備以及其他交互設(shè)備。

圖17是適用本發(fā)明實施例的圖像處理的方法的終端設(shè)備的一例的示意性結(jié)構(gòu)圖。如圖17所示，在本發(fā)明實施例中，該終端設(shè)備700可以包括：

本發(fā)明實施例的一種終端設(shè)備700，包括，第一存儲器720、處理器760及輸入單元730，該第一存儲器720存儲該終端預(yù)設(shè)數(shù)量的應(yīng)用程序的界面信息，其中，該界面信息包括界面元素、界面編號、該界面編號與該界面元素的對應(yīng)關(guān)系、以及該界面元素位于該界面編號對應(yīng)的應(yīng)用程序界面的位置信息；該輸入單元730用于接收用戶切換應(yīng)用程序界面操作，并產(chǎn)生切換信號；該處理器760用于根據(jù)該切換信號確定目標(biāo)界面編號；根據(jù)與該目標(biāo)界面編號相鄰的預(yù)定數(shù)量確定與該目標(biāo)界面編號相鄰的界面編號；根據(jù)該第一存儲器720中存儲的界面編號和與該目標(biāo)界面編號相鄰的界面編號，確定待加載的界面編號對應(yīng)的界面信息；釋放該第一存儲器720中與該目標(biāo)界面編號不相鄰的至少部分界面編號對應(yīng)的界面信息所占用的存儲空間；加載該待加載的界面編號對應(yīng)的界面信息到該第一存儲器720中。

其中，該預(yù)設(shè)數(shù)量是指可以存儲于該第一存儲器的應(yīng)用程序的界面信息的數(shù)量。該預(yù)定數(shù)量是指與該目標(biāo)界面編號每一側(cè)相鄰的界面編號的數(shù)量。

該處理器760可以通過釋放該第一存儲器720中，與該目標(biāo)界面編號不相鄰的至少部分界面編號對應(yīng)的界面信息所占用的存儲空間，加載與該目標(biāo)界面編號相鄰的界面編號對應(yīng)的界面信息于該第一存儲器720中，從而可以循環(huán)加載界面信息，減緩終端設(shè)備700的存儲容量的限制與日益增長的應(yīng)用程序界面數(shù)量之間的矛盾。

其中，根據(jù)該第一存儲器720中存儲的界面編號和與該目標(biāo)界面編號相鄰的界面編號，確定待加載的界面編號對應(yīng)的界面信息，具體為：根據(jù)該第一存儲器720中存儲的界面編號和與該目標(biāo)界面編號相鄰的界面編號，確定該第一存儲器720中未存儲的界面編號，該未存儲的界面編號對應(yīng)的界面信息為該第一存儲器720中待加載的界面編號對應(yīng)的界面信息。

需要說明的是，該處理器760可以調(diào)用該第一存儲器720中存儲的與該目標(biāo)界面編號對應(yīng)的界面元素、以及該界面元素顯示于該界面編號對應(yīng)的應(yīng)用程序界面的位置信息，從而將該界面元素顯示在與該目標(biāo)界面編號對應(yīng)的應(yīng)用程序界面。其中，該界面元素可以是應(yīng)用程序圖標(biāo)或widget桌面控件等。

本發(fā)明實施例中，該終端設(shè)備700還可以包括第二存儲器721，該第二存儲器721可以用于存儲終端設(shè)備700的所有應(yīng)用程序的界面信息。該處理器760加載該待加載的界面編號對應(yīng)的界面信息到該第一存儲器720中，具體為：該處理器760調(diào)用該第二存儲器721中待加載的界面編號對應(yīng)的界面信息，將該待加載的界面編號對應(yīng)的界面信息加載到該第一存儲器720中。

可以理解的，該第二存儲器721可以為該終端設(shè)備700的外存，該第一存儲器720可以為該終端700的內(nèi)存。該處理器760可以從該第二存儲器721中加載預(yù)設(shè)數(shù)量的界面信息到該第一存儲器720中。每個加載的界面信息在該第一存儲器720中對應(yīng)一個存儲空間，可選地，每個存儲空間可以相同。該第一存儲器720可以為非易失性隨機訪問存儲器(non-volatilerandomaccessmemory，nvram)、動態(tài)隨機存取存儲器(dynamicrandomaccessmemory，dram)動態(tài)隨機存儲器、靜態(tài)隨機存取存儲器(staticrandomaccessmemory，sram)靜態(tài)隨機存儲器、閃存(flash)等其中之一；該第二存儲器721可以為硬盤、光盤、通用串行總線(universalserialbus，usb)盤、軟盤或磁帶機等。

本發(fā)明實施例中，終端的所有界面信息可以存儲在云服務(wù)器，該云服務(wù)器可以為第二存儲器721。該處理器760加載該待加載的界面編號對應(yīng)的界面信息到該第一存儲器720中，具體為：該處理器760通過網(wǎng)絡(luò)通道獲取該云服務(wù)器中待加載的界面編號對應(yīng)的界面信息，將該待加載的界面編號對應(yīng)的界面信息加載到該第一存儲器720中。

該輸入單元730可用于接收輸入的數(shù)字或字符信息，以及產(chǎn)生與終端700的用戶設(shè)置以及功能控制有關(guān)的信號輸入。具體地，本發(fā)明實施例中，該輸入單元730可以包括觸控面板731。觸控面板731，也稱為觸摸屏，可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板731上或在觸控面板731的操作)，并根據(jù)預(yù)先設(shè)定的程式驅(qū)動相應(yīng)的連接裝置?？蛇x地，觸控面板731可包括觸摸檢測裝置和觸摸控制器兩個部分。其中，觸摸檢測裝置檢測用戶的觸摸方位，并檢測觸摸操作帶來的信號，將信號傳送給觸摸控制器；觸摸控制器從觸摸檢測裝置上接收觸摸信息，并將它轉(zhuǎn)換成觸點坐標(biāo)，再送給該處理器760，并能接收處理器760發(fā)來的命令并加以執(zhí)行。此外，可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實現(xiàn)觸控面板731。除了觸控面板731，輸入單元730還可以包括其他輸入設(shè)備732，其他輸入設(shè)備732可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。

該終端設(shè)備700還可以包括顯示單元740，該顯示單元740可用于顯示由用戶輸入的信息或提供給用戶的信息以及終端700的各種菜單界面。該顯示單元740可包括顯示面板741，可選地，可以采用液晶顯示器(liquidcrystaldisplay，lcd)或有機發(fā)光二極管(organiclight-emittingdiode，oled)等形式來配置顯示面板741。

可選地，該顯示單元740還可以顯示上述待播放圖像或待播放視頻。

本發(fā)明實施例中，該觸控面板731覆蓋該顯示面板741，形成觸摸顯示屏，當(dāng)該觸摸顯示屏檢測到在其上或附近的觸摸操作后，傳送給處理器760以確定觸摸事件的類型，隨后處理器760根據(jù)觸摸事件的類型在觸摸顯示屏上提供相應(yīng)的視覺輸出。

本發(fā)明實施例中，該觸摸顯示屏包括應(yīng)用程序界面顯示區(qū)及常用控件顯示區(qū)。該應(yīng)用程序界面顯示區(qū)及該常用控件顯示區(qū)的排列方式并不限定，可以為上下排列、左右排列等可以區(qū)分兩個顯示區(qū)的排列方式。該應(yīng)用程序界面顯示區(qū)可以用于顯示應(yīng)用程序的界面。每一個界面可以包含至少一個應(yīng)用程序的圖標(biāo)和/或widget桌面控件等界面元素。該應(yīng)用程序界面顯示區(qū)443也可以為不包含任何內(nèi)容的空界面。該常用控件顯示區(qū)用于顯示使用率較高的控件，例如，設(shè)置按鈕、界面編號、滾動條、電話本圖標(biāo)等應(yīng)用程序圖標(biāo)等。

該處理器760是終端700的控制中心，利用各種接口和線路連接整個手機的各個部分，通過運行或執(zhí)行存儲在該第一存儲器720內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在該第二存儲器721內(nèi)的數(shù)據(jù)，執(zhí)行終端700的各種功能和處理數(shù)據(jù)，從而對終端700進行整體監(jiān)控?？蛇x地，該處理器760可包括一個或多個處理單元。

可以理解的，該處理器760初始化時，可以從該第二存儲器721存儲的界面信息中，加載預(yù)設(shè)數(shù)量的界面信息到該第一存儲器720，并記錄該預(yù)設(shè)數(shù)量的界面信息對應(yīng)的界面編號，該處理器760讀取該第一存儲器720的任意一個或預(yù)定編號的界面信息，并根據(jù)該界面信息生成界面，控制該觸摸顯示屏的應(yīng)用程序界面顯示區(qū)顯示該生成界面作為初始界面，并控制該常用控件顯示區(qū)顯示界面編號，提供用戶選擇界面，其中，該常用控件顯示區(qū)顯示的界面編號可以為該第一存儲器720中已加載的界面信息對應(yīng)的界面編號，也可以是該第二存儲器721中存儲的界面信息對應(yīng)的界面編號。該預(yù)設(shè)數(shù)量不大于該第一存儲器720所能存儲該界面信息的最大數(shù)量。

可選地或進一步的，該處理器760可以控制該常用控件顯示區(qū)顯示的界面編號中的至少部分界面編號響應(yīng)用戶輸入操作。

例如，該處理器760在該常用控件顯示區(qū)顯示的界面編號中，控制已加載的界面信息對應(yīng)的界面編號可以響應(yīng)用戶的輸入操作，未加載的界面信息對應(yīng)的界面編號不響應(yīng)用戶的輸入操作。

在本發(fā)明實施例中，該處理器760可以執(zhí)行圖11中方法400中的各步驟，這里，為了避免贅述，省略其詳細說明。

圖18是本發(fā)明實施例的vr裝置800的示意性框圖。如圖18所示，該裝置800包括：

處理單元810，用于執(zhí)行上述方法100中的各步驟，以獲取待播放圖像，或，用于執(zhí)行上述方法400中的各步驟，以獲取待播放視頻；

呈現(xiàn)單元820，用于呈現(xiàn)該待播放圖像或待播放視頻。

該vr裝置800可以對應(yīng)(例如，可以包括、屬于或本身即為)上述方法100或400中描述的處理節(jié)點，并且，該處理單元810用于執(zhí)行上述方法100或400中處理節(jié)點所執(zhí)行的各動作或處理過程，這里，為了避免贅述，省略其詳細說明。并且，該呈現(xiàn)單元820的動作可以與現(xiàn)有技術(shù)中vr顯示裝置呈現(xiàn)虛擬圖像或虛擬視頻時的動作相似，這里，為了避免贅述，省略其詳細說明。

圖19描述了本發(fā)明實施例提供的vr設(shè)備900的結(jié)構(gòu)，該vr設(shè)備900包括：至少一個處理器901，至少一個網(wǎng)絡(luò)接口904或者其他用戶接口903，存儲器905，顯示器906，至少一個通信總線902。通信總線902用于實現(xiàn)這些組件之間的連接通信。

可選地，該顯示器906可以為例如，觸摸屏、lcd、crt、全息成像設(shè)備或者投影設(shè)備等。

存儲器905可以包括只讀存儲器和隨機存取存儲器，并向處理器901提供指令和數(shù)據(jù)。存儲器905的一部分還可以包括非易失性隨機存取存儲器。

在一些實施方式中，存儲器905存儲了如下的元素，可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu)，或者他們的子集，或者他們的擴展集：

操作系統(tǒng)9051，包含各種系統(tǒng)程序，例如圖1所示的框架層、核心庫層、驅(qū)動層等，用于實現(xiàn)各種基礎(chǔ)業(yè)務(wù)以及處理基于硬件的任務(wù)；

應(yīng)用程序模塊9052，包含各種應(yīng)用程序，例如圖1所示的桌面(launcher)、媒體播放器(mediaplayer)、瀏覽器(browser)等，用于實現(xiàn)各種應(yīng)用業(yè)務(wù)。

在本發(fā)明實施例中，通過調(diào)用存儲器905存儲的程序或指令，處理器901用于：執(zhí)行上述方法100中的各步驟，以獲取待播放圖像，或，用于執(zhí)行上述方法400中的各步驟，以獲取待播放視頻；該呈現(xiàn)單元820，用于呈現(xiàn)該待播放圖像或待播放視頻。

該vr設(shè)備900可以對應(yīng)(例如，可以包括、屬于或本身即為)上述方法100或400中描述的處理節(jié)點，并且，該vr設(shè)備900中的處理器可以用于執(zhí)行上述方法100或400中處理節(jié)點所執(zhí)行的各動作或處理過程，這里，為了避免贅述，省略其詳細說明。并且，該顯示器906的動作可以與現(xiàn)有技術(shù)中vr顯示器呈現(xiàn)虛擬圖像或虛擬視頻時的動作相似，這里，為了避免贅述，省略其詳細說明。

應(yīng)理解，本文中術(shù)語“和/或”，僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，a和/或b，可以表示：單獨存在a，同時存在a和b，單獨存在b這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對象是一種“或”的關(guān)系。

應(yīng)理解，在本發(fā)明實施例的各種實施例中，上述各過程的序號的大小并不意味著執(zhí)行順序的先后，各過程的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定，而不應(yīng)對本發(fā)明實施例的實施過程構(gòu)成任何限定。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認為超出本發(fā)明實施例的范圍。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明實施例各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實施例的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明實施例各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述，僅為本發(fā)明實施例的具體實施方式，但本發(fā)明實施例的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明實施例揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明實施例的保護范圍之內(nèi)。