專利名稱：信息處理設(shè)備，信息處理系統(tǒng)和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及信息處理設(shè)備，信息處理系統(tǒng)和程序。
背景技術(shù)：
從20世紀(jì)90年代早期以來，作為增強(qiáng)現(xiàn)實(shí)(AR)，已快速研究和發(fā)展了通過利用文本等，在用攝像機(jī)拍攝的視頻上疊加關(guān)于拍攝位置的信息，增強(qiáng)真實(shí)世界活動(dòng)的技術(shù)，利用頭戴顯示器的AR已部分開始實(shí)際用于軍事用途。最近，伴隨高性能的小型電子設(shè)備，用具有攝像機(jī)和全球定位系統(tǒng)(GPS)的功能的終端設(shè)備實(shí)現(xiàn)了 AR。在AR的這個(gè)例子中，通過利用AR技術(shù)，用戶能夠向真實(shí)視頻添加文本，并通過網(wǎng)絡(luò)把添加的文本信息提供給其他用戶。如上所述，AR被用作一種通信工具，以及實(shí)際用于信息提供。作為關(guān)于AR的技術(shù)，例如，存在專利文獻(xiàn)I的風(fēng)景標(biāo)注系統(tǒng)。 專利文獻(xiàn)I的風(fēng)景標(biāo)注系統(tǒng)在視頻中疊加與顯示在基于地球的三維空間坐標(biāo)上的結(jié)構(gòu)的位置相關(guān)的標(biāo)記。從而，在顯示在標(biāo)記上的信息是與該標(biāo)記相關(guān)的結(jié)構(gòu)的名稱等的時(shí)候非常適合。[文獻(xiàn)列表][專利文獻(xiàn)][PTL I]日本專利 No. 322588
發(fā)明內(nèi)容
但是，只有在從拍攝視頻的位置，和利用用戶期望作為標(biāo)記共享的信息中的預(yù)定拍攝條件拍攝視頻的方位角看到的視頻中，才存在有意義的信息?，F(xiàn)有技術(shù)中未考慮共享上述信息的方法，而所述方法可能是必需的。鑒于上面所述，理想的是提供一種新的改進(jìn)的信息處理設(shè)備、信息處理系統(tǒng)和程序，所述信息處理設(shè)備、信息處理系統(tǒng)和程序能夠利用與所攝視頻的視場空間上的坐標(biāo)相關(guān)的標(biāo)記。本公開的一個(gè)實(shí)施例目的在于一種信息處理設(shè)備，所述信息處理設(shè)備包括獲取單元，所述獲取單元被配置成獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息，和與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息；和處理器，所述處理器被配置成根據(jù)第一和第二信息，生成標(biāo)記信息。標(biāo)記信息可包括視點(diǎn)信息，所述視點(diǎn)信息包括與成像設(shè)備的緯度和經(jīng)度對應(yīng)的信息，與成像設(shè)備的海拔高度對應(yīng)的信息，和指示包括在標(biāo)記信息中的對應(yīng)于成像設(shè)備的位置信息的精度的誤差信息中的一個(gè)或多個(gè)。標(biāo)記信息可包括視場信息，視場信息包括與成像設(shè)備的方位角對應(yīng)的信息，與成像設(shè)備的視場角度對應(yīng)的信息，和與所攝圖像數(shù)據(jù)的高度和寬度對應(yīng)的信息中的一個(gè)或多個(gè)。標(biāo)記信息可包括信息標(biāo)記，所述信息標(biāo)記包括與成像設(shè)備和所攝圖像的被攝物體之間的距離對應(yīng)的信息，識(shí)別標(biāo)記將被顯示在顯示的圖像數(shù)據(jù)上的位置的信息，和將顯示在顯示的圖像數(shù)據(jù)上的字符串中的一個(gè)或多個(gè)。本公開的另一個(gè)實(shí)施例目的在于一種信息處理方法，所述信息處理方法包括獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息；獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息；和利用處理器，根據(jù)第一和第二信息，生成標(biāo)記信息。本公開的另一個(gè)實(shí)施例目的在于一種包括計(jì)算機(jī)程序指令的非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，當(dāng)被信息處理設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)程序指令使信息處理設(shè)備執(zhí)行包括以下步驟的方法獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息；獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息；和根據(jù)第一和第二信息，生成標(biāo)記信息。本公開的另一個(gè)實(shí)施例目的在于一種信息處理設(shè)備，所述信息處理設(shè)備包括獲取單元，所述獲取單元被配置成獲得與再現(xiàn)的圖像數(shù)據(jù)對應(yīng)的拍攝信息；和處理器，所述處理器被配置成根據(jù)拍攝信息與保存的標(biāo)記信息的比較，獲得標(biāo)記信息，并根據(jù)比較結(jié)果，把
標(biāo)記信息疊加在再現(xiàn)的圖像數(shù)據(jù)上。拍攝信息可包括與拍攝再現(xiàn)的圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的位置信息，處理器可被配置成根據(jù)位置信息與包括在保存的標(biāo)記信息中的位置信息的比較，獲得標(biāo)記信肩、O拍攝信息可包括與拍攝再現(xiàn)的圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的視場信息，處理器可被配置成根據(jù)視場信息與包括在保存的標(biāo)記信息中的視場信息的比較，獲得標(biāo)記信
肩、O拍攝信息可包括與拍攝再現(xiàn)的圖像數(shù)據(jù)的成像設(shè)備和再現(xiàn)的圖像數(shù)據(jù)的被攝物體之間的距離對應(yīng)的范圍信息。處理器可被配置成根據(jù)范圍信息與包括在保存的標(biāo)記信息中的范圍信息的比較，獲得標(biāo)記彳目息。本公開的另一個(gè)實(shí)施例目的在于一種信息處理方法，所述信息處理方法包括獲得與再現(xiàn)的圖像數(shù)據(jù)對應(yīng)的拍攝信息；根據(jù)拍攝信息與保存在存儲(chǔ)器中的標(biāo)記信息的比較，獲得標(biāo)記信息；和根據(jù)比較結(jié)果，把標(biāo)記信息疊加在再現(xiàn)的圖像數(shù)據(jù)上。本公開的另一個(gè)實(shí)施例目的在于一種包括計(jì)算機(jī)程序指令的非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，當(dāng)被信息處理設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)程序指令使信息處理設(shè)備執(zhí)行包括以下步驟的方法獲得與再現(xiàn)的圖像數(shù)據(jù)對應(yīng)的拍攝信息；根據(jù)拍攝信息與保存在存儲(chǔ)器中的標(biāo)記信息的比較，獲得標(biāo)記信息；和根據(jù)比較結(jié)果，把標(biāo)記信息疊加在再現(xiàn)的圖像數(shù)據(jù)上。按照如上所述的本公開，能夠提供一種新的改進(jìn)的信息處理設(shè)備、信息處理系統(tǒng)和程序，所述信息處理設(shè)備、信息處理系統(tǒng)和程序能夠利用與所攝視頻的視場空間上的坐標(biāo)相關(guān)的標(biāo)記。


圖I是表示按照本公開的實(shí)施例的信息處理系統(tǒng)的示意結(jié)構(gòu)的結(jié)構(gòu)圖；圖2是表示拍攝信息的例子的表格；圖3是表不信息處理系統(tǒng)的有益效果的例子的例不圖；圖4是表示標(biāo)記信息生成設(shè)備的功能結(jié)構(gòu)的方框圖5是表示當(dāng)使用關(guān)系數(shù)據(jù)庫時(shí)，標(biāo)記信息的空間模型的例示圖；圖6是利用關(guān)系數(shù)據(jù)庫的標(biāo)記信息的表格定義例子；圖7是數(shù)據(jù)中心的結(jié)構(gòu)圖；圖8是鍵-值式數(shù)據(jù)倉庫的概況的例示圖；
圖9是表示當(dāng)使用鍵-值式數(shù)據(jù)倉庫時(shí)，標(biāo)記信息的空間模型的例示圖；圖10是表示標(biāo)記信息的鍵結(jié)構(gòu)的例子的例示圖；圖11是表示拍攝位置的網(wǎng)格的例子的例示圖；圖12是視場信息比特的例示圖；圖13是表示視場信息的比特分配的例子的表格；圖14是表示視點(diǎn)信息的比特分配的例子的表格；圖15是表示可變比特序列/字符代碼轉(zhuǎn)換表的例子；圖16是表示可變比特序列到字符串的轉(zhuǎn)換例子的例示圖；圖17是表示利用標(biāo)記信息的Java(注冊商標(biāo))的類定義的例子的例示圖；圖18是表示標(biāo)記信息搜索方法的例子(北緯35° )的例示圖；圖19是表示標(biāo)記信息搜索方法的例子(北緯60° )的例示圖；圖20是表示再現(xiàn)設(shè)備的功能結(jié)構(gòu)的方框圖；圖2IA是表不標(biāo)記/[目息搜索操作的流程圖；圖2IB是表示標(biāo)記信息搜索操作的流程圖；圖22是標(biāo)記信息到視頻的投影的例示圖；圖23是應(yīng)用信息處理系統(tǒng)的服務(wù)的例子；和圖24是應(yīng)用信息處理系統(tǒng)的服務(wù)的另一個(gè)例子。
具體實(shí)施例方式下面參考附圖，詳細(xì)說明本公開的優(yōu)選實(shí)施例。在說明書和附圖中，結(jié)構(gòu)基本相同的元件用相同的附圖標(biāo)記表示，這些元件的重復(fù)說明被省略。將按照下述順序進(jìn)行說明。I.概況2.結(jié)構(gòu)3.利用關(guān)系數(shù)據(jù)庫的標(biāo)記信息管理方法4.利用鍵-值式數(shù)據(jù)倉庫的標(biāo)記信息管理方法5.效果的例子6.應(yīng)用例子〈I.概況〉首先，利用圖1-3，說明按照本公開的實(shí)施例的信息處理系統(tǒng)10的概況。圖I是表示按照本公開的實(shí)施例的信息處理系統(tǒng)10的概況的結(jié)構(gòu)圖。圖2是表示記錄在成像設(shè)備中的與拍攝相關(guān)的補(bǔ)充信息的例子的表格。圖3是表示信息處理系統(tǒng)10的有益效果的例子的例示圖。按照本實(shí)施例的信息處理系統(tǒng)10具有成像設(shè)備200，終端設(shè)備300，數(shù)據(jù)中心1000和再現(xiàn)設(shè)備400，成像設(shè)備200拍攝視頻內(nèi)容，終端設(shè)備300是響應(yīng)用戶的操作，接收向從成像設(shè)備200等輸入的內(nèi)容3000分配標(biāo)記的操作的信息處理設(shè)備，數(shù)據(jù)中心1000具有標(biāo)記信息生成服務(wù)器100，標(biāo)記信息生成服務(wù)器100是生成其中把視場信息添加到所分配標(biāo)記的信息中的標(biāo)記信息的信息處理設(shè)備，視場信息用于指定在拍攝內(nèi)容時(shí)的視場空間，再現(xiàn)設(shè)備400通過利用數(shù)據(jù)中心1000管理的標(biāo)記信息，在視頻上疊加標(biāo)記，進(jìn)行再現(xiàn)。數(shù)據(jù)中心1000內(nèi)的每個(gè)設(shè)備，終端設(shè)備300和再現(xiàn)設(shè)備400分別通過網(wǎng)絡(luò)500連接。在數(shù)據(jù)中心1000中，安裝提供運(yùn)動(dòng)圖像共享服務(wù)的服務(wù)器組。終端設(shè)備300可把視頻內(nèi)容上傳到數(shù)據(jù)中心1000內(nèi)的未示出的視頻分發(fā)服務(wù)器。再現(xiàn)設(shè)備400可下載和再現(xiàn)從數(shù)據(jù)中心1000內(nèi)的視頻分發(fā)服務(wù)器分發(fā)的視頻內(nèi)容。用戶利用通用串行總線(USB)等，把成像設(shè)備200連接到終端設(shè)備300，并借助終端設(shè)備300的應(yīng)用軟件，從成像設(shè)備200接收視頻3000的內(nèi)容數(shù)據(jù)。此時(shí)，終端設(shè)備300接收為視頻3000的補(bǔ)充的拍攝信息，以及視頻3000的內(nèi)容數(shù)據(jù)。用戶利用終端設(shè)備300，把視頻3000和為視頻3000的補(bǔ)充的拍攝信息上傳給數(shù)據(jù)中心1000內(nèi)的視頻分發(fā)服務(wù)器。用戶可利用終端設(shè)備300，向視頻3000分配標(biāo)記600。用戶把利用終端設(shè)備300分配給視頻3000的標(biāo)記600的信息，例如標(biāo)記600在視頻上的位置，標(biāo)記600的字符串信息等，上傳 給數(shù)據(jù)中心1000內(nèi)的標(biāo)記信息生成服務(wù)器100。這里，成像設(shè)備200具有例如GPS功能和電子指南針功能，能夠記錄位置信息和方位角信息，以及諸如拍攝時(shí)間和日期，及焦距之類的拍攝條件，作為為所攝視頻的補(bǔ)充的拍攝信息。例如，在基于AVCHD標(biāo)準(zhǔn)的攝像機(jī)中，圖2中所示的拍攝信息被記錄在作為MPEG2-TS的基本流(ES)的用戶數(shù)據(jù)記錄的改進(jìn)數(shù)字視頻包中。間隔預(yù)定的時(shí)間，定期記錄拍攝信息。這里僅僅表示了一個(gè)終端設(shè)備300，不過，可從許多終端設(shè)備300訪問數(shù)據(jù)中心1000。同樣地，就再現(xiàn)設(shè)備400來說，許多再現(xiàn)設(shè)備400可訪問數(shù)據(jù)中心1000。再現(xiàn)設(shè)備400再現(xiàn)其中在與視頻3000相同的視點(diǎn)和視場中拍攝的另一個(gè)視頻4000上疊加標(biāo)記600的視頻。在圖I的例子中，在視頻4000上疊加和再現(xiàn)具有字符串信息“本棲湖對岸的富士山”的標(biāo)記600。利用上述標(biāo)記600指示的信息是通過從拍攝視頻3000的視點(diǎn)，拍攝相同視場空間而獲得的視頻上的有意義的信息。即，如果視頻不是其中富士山被顯示在本棲湖對岸的視頻，那么即使在富士山作為被攝物體出現(xiàn)的視頻中，顯示標(biāo)記600也是不可取的。例如，圖3中所示的視頻4005是從御殿場市拍攝的富士山的視頻。這種情況下，在視頻4005中看不見本棲湖。從而，顯示標(biāo)記600不可取。視頻4010是從在富士山附近的位置，而不是從拍攝視頻3000的位置拍攝的視頻。這種情況下，盡管視頻4010和視頻3000是在相同的方向角拍攝的，在視頻4010上顯示標(biāo)記600也不可取。視頻4015是在和視頻3000相同的拍攝位置拍攝的視頻。不過，視頻4015的拍攝條件不同于視頻3000，是通過拍攝與視頻3000相比，在更短距離內(nèi)的風(fēng)景而獲得的視頻。即使在這種情況下，顯示標(biāo)記600也不可取，因?yàn)樵谝曨l4015中看不見本棲湖。在現(xiàn)有技術(shù)的系統(tǒng)中，標(biāo)記被標(biāo)注到被攝物體的基于地球的三維空間坐標(biāo)。這種情況下，由于富士山的基于地球的三維空間坐標(biāo)位置相同，因此標(biāo)記600也被疊加在和圖3中所示的視頻4005、視頻4010和視頻4015 —樣的視頻上。不過,如上所述，標(biāo)記600是通過從相同的視點(diǎn)，拍攝相同的視場而獲得的視頻上的有意義的信息。按照本實(shí)施例的信息處理系統(tǒng)10通過使標(biāo)記與所攝視頻的視場空間上的坐標(biāo)位置相聯(lián)系，管理標(biāo)記。從而，標(biāo)記600不被疊加在具有不同視點(diǎn)和不同方位角的視頻4005，具有不同視點(diǎn)的視頻4010，和具有相同視點(diǎn)和相同方位角，但是由于拍攝條件不同，因而具有不同的視場空間的視頻4015 上。從而，不僅對象的簡單名稱，而且從視點(diǎn)在一定的視場空間中看到的多個(gè)對象的位置關(guān)系方面的有意義信息都可作為標(biāo)記被共享。這里，攝像機(jī)被表示成成像設(shè)備200，不過本公開并不局限于此。例如，成像設(shè)備200可以是具有拍攝功能的設(shè)備，比如移動(dòng)電話機(jī)、便攜式音樂播放設(shè)備、便攜式視頻處理設(shè)備或者便攜式游戲設(shè)備。舉例說明了終端設(shè)備300是個(gè)人計(jì)算機(jī)(PC)的情況，不過本公開并不局限于該例子。例如，終端設(shè)備300可以是具有通信功能，和用戶通過其輸入操作的輸入部分的任何信息處理設(shè)備，比如家用視頻處理設(shè)備(DVD記錄器、磁帶錄像機(jī)等)、個(gè)人數(shù)字助手(PDA)、家用游戲機(jī)、家用電器、移動(dòng)電話機(jī)、便攜式音樂播放設(shè)備、便攜式視頻處理設(shè)備或便攜式游戲機(jī)。另一方面，如果成像設(shè)備200可具有通信功能，并且能夠與數(shù)據(jù)中心1000內(nèi)的每個(gè)設(shè)備通信，那么成像設(shè)備200本身也可具有終端設(shè)備300的功能。這里，內(nèi)容可以是視頻內(nèi)容、靜止圖像內(nèi)容或運(yùn)動(dòng)圖像內(nèi)容。再現(xiàn)設(shè)備400通過在利用數(shù)據(jù)中心1000提供的視頻共享服務(wù)分發(fā)的視頻上疊加標(biāo)記，進(jìn)行再現(xiàn)，不過，本公開并不局限于這個(gè)例子。例如，再現(xiàn)設(shè)備400可通過在保存在本地存儲(chǔ)部分中的視頻內(nèi)容上疊加標(biāo)記，進(jìn)行再現(xiàn)。另一方面，再現(xiàn)設(shè)備400可在也具有成像功能的設(shè)備中的實(shí)時(shí)拍攝中的視頻上置加標(biāo)記。如上所述，按照本實(shí)施例的信息處理系統(tǒng)10通過使標(biāo)記與從拍攝內(nèi)容的視點(diǎn)看的視場空間上的坐標(biāo)位置相聯(lián)系，管理標(biāo)記。從而，在再現(xiàn)設(shè)備400中，只疊加與從相同視點(diǎn)看的相同視場空間相聯(lián)系的標(biāo)記。從而，利用該標(biāo)記信息，再現(xiàn)設(shè)備400能夠只在從拍攝視頻的拍攝位置，和利用預(yù)定拍攝條件拍攝視頻的方位角看到的視頻中，適當(dāng)?shù)仫@示有意義的信息。下面說明顯示出該效果的標(biāo)記信息生成設(shè)備100的功能結(jié)構(gòu)。〈2.結(jié)構(gòu)〉圖4是表示標(biāo)記信息生成設(shè)備100的功能結(jié)構(gòu)的方框圖。標(biāo)記信息生成設(shè)備100是主要具有通信部分Iio和控制部分120的信息處理設(shè)備。標(biāo)記信息生成設(shè)備100根據(jù)視頻分析結(jié)果，生成標(biāo)記信息。這里，在標(biāo)記信息生成設(shè)備100中生成的標(biāo)記信息是包括包含拍攝位置的信息的拍攝信息，關(guān)于從拍攝位置看的視場的視場信息，根據(jù)拍攝位置信息和視場信息指定的視場空間中的坐標(biāo)位置，和指示標(biāo)記信息的內(nèi)容的字符串信息的信息。為了生成上述標(biāo)記信息，標(biāo)記信息生成設(shè)備100的控制部分120主要具有視點(diǎn)信息獲取部分121，視場信息獲取部分122和標(biāo)記信息生成部分124的功能。視點(diǎn)信息獲取部分121獲得指示拍攝內(nèi)容的成像設(shè)備的位置(下面稱為視點(diǎn)位置)的視點(diǎn)信息。例如，視點(diǎn)信息獲取部分121從拍攝信息獲得視點(diǎn)信息，拍攝信息是指示補(bǔ)充視頻內(nèi)容數(shù)據(jù)的拍攝條件的信息。如上所述，拍攝信息是利用成像設(shè)備200的功能記錄的信息。例如，視點(diǎn)信息獲取部分121從為保存在視頻分發(fā)服務(wù)器中的視頻內(nèi)容數(shù)據(jù)的補(bǔ)充的拍攝信息中，提取從而獲得視點(diǎn)信息，所述視頻分發(fā)服務(wù)器保存從終端設(shè)備300上傳的視頻。另一方面，視點(diǎn)信息獲取部分121可通過直接從上傳視頻的終端設(shè)備300獲得視頻內(nèi)容數(shù)據(jù)，獲得視點(diǎn)信息。這里，視點(diǎn)信息是利用世界大地測量系統(tǒng)(WGS)等指示的，從諸如GPS之類的位置獲取設(shè)備獲得的經(jīng)度、緯度和海拔高度的信息。視點(diǎn)信息可包括位置信息的誤差精度信息。視場信息獲取部分122獲得指示當(dāng)從視點(diǎn)位置拍攝內(nèi)容時(shí)的視場空間的視場信息。例如，視場信息獲取部分122從為視頻內(nèi)容數(shù)據(jù)的補(bǔ)充的拍攝信息中獲得視場信息。這里，例如，視點(diǎn)信息包括從視點(diǎn)位置的方位角和視場角度的信息。例如，利用具有成像設(shè)備的電子指南針獲得的方位角信息被用于從視點(diǎn)位置的方位角。視場角度的信息變成與成像設(shè)備的設(shè)定對應(yīng)的值。方位角和視場角度的信息是從為視頻內(nèi)容數(shù)據(jù)的補(bǔ)充的拍攝信息中獲得的。標(biāo)記信息生成部分124生成與利用視點(diǎn)信息，視場信息和視場空間的深度信息指定的在視場空間上的坐標(biāo)位置相關(guān)的標(biāo)記信息。例如，標(biāo)記信息生成部分124生成包括通過通信部分110，從終端設(shè)備300獲得的標(biāo)記的字符串信息，視頻中的標(biāo)記位置的信息，視 點(diǎn)信息，視場信息，和從視點(diǎn)到被分配所述標(biāo)記的對象的距離信息的標(biāo)記信息。這里，視場空間的深度信息是到內(nèi)容中的拍攝對象的距離。就被攝物體距離來說，例如，如果能夠從為內(nèi)容的補(bǔ)充的拍攝信息中獲得被攝物體距離的值，那么使用獲得的被攝物體距離值?？梢允褂酶鶕?jù)內(nèi)容的拍攝信息計(jì)算的超焦距。上述標(biāo)記信息生成設(shè)備100的每個(gè)部分的具體操作隨著標(biāo)記信息管理方法而不同。這里，分別說明兩種管理方法，包括最廣泛使用的利用關(guān)系數(shù)據(jù)庫的管理方法，和適合于更大規(guī)模的數(shù)據(jù)管理或分布處理的利用鍵-值式數(shù)據(jù)倉庫的管理方法。〈3.利用關(guān)系數(shù)據(jù)庫的標(biāo)記信息管理方法〉首先利用圖5和6，說明利用關(guān)系數(shù)據(jù)庫的標(biāo)記信息管理方法。圖5是表示當(dāng)利用關(guān)系數(shù)據(jù)庫管理標(biāo)記信息時(shí)，標(biāo)記的空間模型的例子的例示圖。圖6是表示其中管理利用圖5的空間模型定義的標(biāo)記信息的關(guān)系數(shù)據(jù)庫的表格定義的例子的例示圖。在如上所述的實(shí)施例中，根據(jù)視點(diǎn)，標(biāo)記被標(biāo)注到視頻的視場的三維空間上，視點(diǎn)是拍攝被添加所述標(biāo)記的視頻的成像設(shè)備的位置。視點(diǎn)是利用WGS指示的經(jīng)度、緯度和海拔高度的信息。在這種情況下，視點(diǎn)是緯度NI、經(jīng)度El和海拔高度Al。在視場的三維空間上的位置是利用二維視場平面上的位置表示的，所述二維視場平面上的位置是通過借助水平視角和距視點(diǎn)的距離，定義視場平面，利用拍攝方向向量作為軸，在使所攝視頻的中心點(diǎn)彼此相符的情況下，正交排列所攝視頻而獲得的。視場平面的坐標(biāo)利用水平X軸和垂直Y軸定義，中心點(diǎn)被指定為(0，O)。圖像的水平方向的分辨率W變成水平分辨率。標(biāo)記的視場平面的位置用(X，Y)表示。通過按照視頻的視點(diǎn)位置，視場角度，方位角，和從視點(diǎn)到被添加標(biāo)記的對象的短距離的條件，從數(shù)據(jù)庫中進(jìn)行搜索，能夠與另一個(gè)視頻共享標(biāo)記，并疊加和使用該標(biāo)記。除了位置信息和方位角信息之外，按視場角度和距視點(diǎn)的距離對標(biāo)記信息的搜索在判定就觀察者注視的被攝物體來說，是否存在標(biāo)記信息方面也很重要。下面參考圖6，說明其中管理用上述空間模型定義的標(biāo)記信息的關(guān)系數(shù)據(jù)庫的表格定義的例子。圖6的表格的每一行指示信息標(biāo)記的I條記錄。表格被分成視點(diǎn)信息、視場信息和信息標(biāo)記這3列。視點(diǎn)信息具有以下各列經(jīng)度、緯度、海拔高度和誤差。緯度具有范圍從-90°到90°的浮點(diǎn)值，北緯被表示成正值，南緯被表示成負(fù)值。經(jīng)度具有范圍從-180°到180°的浮點(diǎn)值，東經(jīng)被表示成正值，西經(jīng)被表示成負(fù)值。海拔高度是表示成整數(shù)的米值。這里，誤差是其中位置信息的精度被表示成米值的值。誤差是根據(jù)GPS中的精度因子(DOP)的值計(jì)算的。如果誤差不清楚，那么輸入為-I的值。視場信息具有以下各列方位角、視場角度、高度和寬度。方位角指示拍攝方向的角度。方位角的值是介于0°和360°之間的浮點(diǎn)值， 北方被表示成0° (360° )，東方被表示成90°，南方被表示成180°，而西方被表示成270°。視場角度被表示成浮點(diǎn)十進(jìn)小數(shù)的度數(shù)。高度和寬度是所攝視頻的水平分辨率和垂直分辨率，被表示成像素值。例如，在全高清視頻中，垂直分辨率和水平分辨率分別為1920和1080。視頻分辨率可從為內(nèi)容數(shù)據(jù)的補(bǔ)充的拍攝信息中獲得。如果視場角度為2T，那么它可根據(jù)以下關(guān)系獲得。tan T=(拍攝元件巾貞大小)/ (焦距)信息標(biāo)記具有以下各列距離、X坐標(biāo)值、Y坐標(biāo)值和標(biāo)記名稱。距離是距視場空間上的視點(diǎn)的距離，以米為單位表示成整數(shù)。X坐標(biāo)值和Y坐標(biāo)值是參考圖5說明的視場平面上的位置，被表示成像素值。標(biāo)記名稱被表示成字符串。標(biāo)記名稱是由標(biāo)記分享的信息?？刹粚γ總€(gè)標(biāo)記測量標(biāo)記距離。從而，簡單地使用所攝視頻的被攝物體距離作為標(biāo)記距離。對于被攝物體距離，可以使用圖2中所示的與拍攝相關(guān)的補(bǔ)充信息的被攝物體距離標(biāo)記的值(就運(yùn)動(dòng)圖像來說)，或者可以使用記錄在EXIF文件中的圖像信息(就靜止圖像來說)。如果未從上述信息獲得被攝物體距離，那么利用以下等式計(jì)算的超焦距可用作標(biāo)記距離。允許的模糊圈直徑=對角圖像元素大小/允許的模糊圈常數(shù)(=1300)超焦距=(焦距*焦距)/ (允許的模糊圈直徑*F值)(單位mm)如果35mm轉(zhuǎn)換的焦距“FocalLengthIn35mm”標(biāo)記被記錄在EXIF信息中，那么35mm膠卷中的成像元件的對角線大小已知為43. 266615mm。從而,利用記錄在“ApertureValue”標(biāo)記上的孔徑F值，計(jì)算超焦距。另一方面，通過分析所攝視頻，對每個(gè)被攝物體的焦距使用測量技術(shù)而測得的距離可被用作標(biāo)記距離。例如，如果使用能夠記錄視差信息的設(shè)備，比如3D攝像機(jī)，那么利用該信息，通過分析獲得的值可被用作標(biāo)記距離。通過如上所述，按照圖5的空間模型，利用圖6的表格定義的關(guān)系數(shù)據(jù)庫，能夠管理添加到圖像中的標(biāo)記。不過，如上所述的關(guān)系數(shù)據(jù)庫的特征在于它不易于進(jìn)行大規(guī)模的數(shù)據(jù)管理和分發(fā)處理。下面提出一種當(dāng)作為待管理對象的信息的數(shù)量較大時(shí)，通過應(yīng)用恰當(dāng)?shù)脑朴?jì)算技術(shù)，管理標(biāo)記信息的方法。<4.利用鍵-值式數(shù)據(jù)倉庫的標(biāo)記信息管理方法>圖7是按照本實(shí)施例，提供內(nèi)容共享服務(wù)的數(shù)據(jù)中心內(nèi)的結(jié)構(gòu)圖。為了提供視頻內(nèi)容共享服務(wù)，必須進(jìn)行大量的上傳視頻內(nèi)容數(shù)據(jù)的圖像轉(zhuǎn)換處理，管理各個(gè)記錄，和處理從大量用戶對視頻內(nèi)容數(shù)據(jù)的訪問。從而，提出一種利用大規(guī)模分布處理類云計(jì)算技術(shù)的標(biāo)記信息管理方法。數(shù)據(jù)中心1000具有多個(gè)web服務(wù)器170，多個(gè)視頻分發(fā)服務(wù)器180，多個(gè)標(biāo)記信息管理服務(wù)器190和多個(gè)標(biāo)記信息生成服務(wù)器100。web服務(wù)器170提供待顯示在終端設(shè)備300的瀏覽器上的HTML文檔和VR信息。視頻分發(fā)服務(wù)器180把視頻分發(fā)給再現(xiàn)設(shè)備。標(biāo)記信息管理服務(wù)器190用鍵-值式數(shù)據(jù)倉庫，管理由標(biāo)記信息生成服務(wù)器100生成的標(biāo)記信息。標(biāo)記信息生成服務(wù)器100生成適合于在鍵-值式數(shù)據(jù)倉庫中管理的標(biāo)記信息。有益的是使用云計(jì)算技術(shù)處理大量的內(nèi)容數(shù)據(jù)和來自終端設(shè)備的訪問。在本實(shí)施例中，使用通過利用已知適合于分布式云計(jì)算的鍵-值式數(shù)據(jù)倉庫，管理標(biāo)記信息的方法。如圖8中所示 ，鍵-值式數(shù)據(jù)倉庫利用每行中具有一對鍵和值的簡單表格，管理數(shù)據(jù)。與關(guān)系數(shù)據(jù)庫相比，鍵-值式數(shù)據(jù)倉庫具有能夠根據(jù)鍵值，利用多個(gè)服務(wù)器分布和處理大量數(shù)據(jù)，而不支持利用復(fù)雜的數(shù)據(jù)結(jié)構(gòu)定義或關(guān)系函數(shù)的搜索的特征。最近，在以大量的客戶端為目標(biāo)的因特網(wǎng)服務(wù)中，已開始使用這種鍵-值式數(shù)據(jù)倉庫。在鍵-值式數(shù)據(jù)倉庫中，表格是利用鍵值整理和管理的。從而，為了進(jìn)行高速并且低負(fù)載的處理，非常有效的是設(shè)計(jì)鍵值的格式，以致使相關(guān)的數(shù)據(jù)局限于所述表格的一部分中。(空間模型)圖9是表示當(dāng)利用本實(shí)施例的鍵-值式數(shù)據(jù)倉庫管理標(biāo)記信息時(shí)，使用的標(biāo)記的空間坐標(biāo)的空間模型。在該空間模型中，標(biāo)記位置信息用視點(diǎn)位置信息(緯度LANt、經(jīng)度LNGt和海拔高度ATTt)和從視點(diǎn)位置的方位角信息(水平方位角Tth和垂直方位角Ttv)指
/Jn ο利用以下等式，進(jìn)行從圖5中所示的空間模型上的坐標(biāo)到圖9中所示的空間坐標(biāo)的轉(zhuǎn)換。當(dāng)方位角越過正北時(shí)，校正是必需的。標(biāo)記的水平方位角:Tth=Tfh+Tfw*(Xt/Wf-1/2)標(biāo)記的垂直方位角Ttv=Tfv+(Tfw*Hf/Wf)*(1/2_Yf/Hf)這里，符號(hào)具有以下含義。標(biāo)記在像面上的坐標(biāo)(XT，Yt)圖像的拍攝水平視角TFW圖像的水平像素的數(shù)目WF圖像的垂直像素的數(shù)目Hf像素縱橫比1:1圖像的拍攝水平方位角Tfh圖像的拍攝垂直方位角Tfv通過把底部位置指定為基點(diǎn)，垂直方向的方位角信息具有從0°到180°的值。這里，為了便于說明，地平線被表示成0°，向上方向被表示成正角度，而向下方向被表示成負(fù)角度。如果方位角信息未包含在為內(nèi)容數(shù)據(jù)的補(bǔ)充的拍攝信息中，從而是不清楚的，那么可以簡單地根據(jù)視角和被攝物體距離，分配垂直方位角。(視界散列(viewhash))如果利用鍵-值式數(shù)據(jù)倉庫管理標(biāo)記信息，那么視點(diǎn)信息和視場信息被用在鍵的一部分中，從而必須利用上述信息搜索數(shù)據(jù)。從而，通過利用此時(shí)提出的視界散列，有效地把經(jīng)度、緯度、位置精度、視場角度、視場方向和標(biāo)記距離編碼成字符串。圖10中表示了視界散列結(jié)構(gòu)。在視界散列比特序列中，順序排列指示位置信息、位置精度、視場信息和作為到標(biāo)記的距離的被攝物體距離的比特序列。位置信息的比特序列是根據(jù)其中用分辨率精度表示經(jīng)度(從-90°到90° )和緯度(從-180°到180° )的坐標(biāo)的值生成的。如果分辨率精度的比特?cái)?shù)用R表示，而比特的經(jīng)度和緯度用η和e表示，那么根據(jù)以下等式，獲得利用分辨率精度表示的經(jīng)度N和緯度E的值。N=180*(n+90)/2K_lE=360*(e+180)/2KN和E是浮點(diǎn)十進(jìn)小數(shù)，利用小數(shù)點(diǎn)之后的舍位，η和e被設(shè)定成整數(shù)值。經(jīng)度的分辨率精度被設(shè)定為緯度的分辨率系統(tǒng)的1/2，以便把分辨的地圖上的分區(qū)設(shè)定成接近于正方形。如圖10中所示，位置信息的比特序列具有其中交替排列利用等式獲得的經(jīng)度的比特序列(E-bn，E-Iv1, · · · E-b1； E-b0)和經(jīng)度的比特序列(N-Iv1, · · . N-b1； N-b0)的格式。這里，最高有效位分別為E-bn和N-Iv1?！ねㄟ^按上述格式，設(shè)定位置信息的比特序列，能夠指定基于地球的地理分區(qū)，可利用較小的比特序列指示分區(qū)的位置，還能夠表示分區(qū)的長度。在本實(shí)施例中，認(rèn)為GPS位置精度為I米到100米，從而R使用從22到25的值。此時(shí)，位置信息最小為43比特，最大為49比特。圖11是表示當(dāng)位置信息的比特?cái)?shù)為45時(shí)，分割的地理分區(qū)的例子的例示圖。地理分區(qū)的南北向長度被固定，而與經(jīng)度無關(guān)，約為4. 75米。另一方面，地理分區(qū)的東西向長度取決于緯度，從而在緯度35°的東京等周圍，變成3. 86米。另一方面，在緯度60°的斯德哥爾摩等周圍，地理分區(qū)的東西向長度變成約2. 35米。位置精度用指示乘以利用位置信息的比特序列指定的地理分區(qū)的南北向距離的值的比特序列表示，D-b7是最高有效位，而0-1^是最低有效位。如果乘以利用位置信息的比特序列指定的地理分區(qū)的南北向距離的值為1，那么該比特序列的值為O。如果乘以利用位置信息的比特序列指定的地理分區(qū)的南北向距離的值大于1，并且等于或大于2，那么該比特序列的值變成I。如果乘以利用位置信息的比特序列指定的地理分區(qū)的南北向距離的值大于2，并且等于或小于4，那么該比特序列的值變成3。如果乘以利用位置信息的比特序列指定的地理分區(qū)的南北向距離的值大于4，那么該比特序列的值變成4。位置誤差的比特?cái)?shù)變成O。視場信息是指示標(biāo)記方位角所屬于的視場的信息。如圖12和13中所示，視場信息是4-6比特的序列，用指示通過把以正東為起點(diǎn)的順時(shí)針方位角中的360°坐標(biāo)除以分辨率精度而獲得的值的比特序列表示。如果以正東為起點(diǎn)的順時(shí)針方位角的度數(shù)用d表示，而分辨率精度的比特精度用A表示，那么利用以下等式，計(jì)算視場信息D。在下面的說明中，為了方便起見，通過把正北指定為起點(diǎn)，表述方位角，不過實(shí)際上使用通過把正東指定為起點(diǎn)而轉(zhuǎn)換的所有值。D=360*d/2A在本實(shí)施例中，分辨率精度的比特?cái)?shù)為4、5和6三種類型，比特?cái)?shù)可隨視場角度而不同。360°的空間被比特?cái)?shù)分成22. 5°、11.25°和8. 125°。在本實(shí)施例中，比特?cái)?shù)隨被添加標(biāo)記的圖像的拍攝視角而改變。如果視角等于或大于46°，那么可分配4比特精度。如果視角小于46°，但是等于或大于18°，那么可以分配5比特精度。如果視角小于18°，則可分配6比特精度。比特?cái)?shù)指示在360°空間被分成22. 5°、11.25°和8. 125°的狀態(tài)下，它屬于哪個(gè)方位角。圖12表示在4比特的情況下，每個(gè)方位角的比特?cái)?shù)。例如，如果西北偏北是信息標(biāo)記的水平方位角中的315°，那么視場信息變成1101的比特值。當(dāng)方位角信息不清楚時(shí)，比特?cái)?shù)變?yōu)镺。如上所述，通過使視場信息的比特?cái)?shù)隨視場角度而不同，并把利用比特指示的視場信息用作鍵-值式數(shù)據(jù)的鍵的一部分，能夠根據(jù)包括在鍵中的視場的比特?cái)?shù)，識(shí)別視場角度的信息。由于能夠識(shí)別視場角度的信息，因此能夠更精確地了解每個(gè)視頻內(nèi)容內(nèi)的拍攝范圍。被攝物體距離用8比特的米值表示，用作通過如上所述根據(jù)為內(nèi)容數(shù)據(jù)的補(bǔ)充的拍攝信息計(jì)算到被攝物體的距離而獲得的值。嚴(yán)格地說，所攝圖像的超焦距和標(biāo)記信息的距離不相同，不過誤差被視為包括在原始距離信息中。等于或大于255米的距離被表示為255，如果距離信息不清楚的話，那么比特?cái)?shù)變?yōu)镺。圖14是表示位置信息的比特?cái)?shù)的分配方案的例示圖。為了利用鍵-值式數(shù)據(jù)倉庫 的鍵，高效地進(jìn)行搜索，有效的是決定適合于標(biāo)記信息搜索方案的鍵值。在本實(shí)施例中，利用標(biāo)記的視場比特的數(shù)目和距離信息，改變構(gòu)成標(biāo)記鍵值的視界散列的位置比特的數(shù)目。例如，如果視場信息的比特?cái)?shù)為3，那么廣角拍攝向其添加標(biāo)記的視頻。如果被攝物體距離較遠(yuǎn)(超過100m)，那么使用43比特位置信息，因?yàn)榧词巩?dāng)位置信息的精度較差時(shí)，也能夠使用標(biāo)記信息。另一方面，如果視場信息的比特?cái)?shù)為5，S卩，如果把標(biāo)記信息添加到用超級(jí)望遠(yuǎn)鏡拍攝的視頻中，那么在所有距離下使用的位置信息的比特?cái)?shù)為49，因?yàn)槲恢眯畔⒌木纫彩潜匦璧?。通過如上所述改變位置信息的比特?cái)?shù)，能夠高效地搜索有益的標(biāo)記信息。由于如上所述，標(biāo)記的位置誤差取決于位置信息的比特?cái)?shù)，因此依據(jù)比較/對比的視點(diǎn)的位置精度，能夠確定將用于標(biāo)記信息的搜索的視界散列的位置信息的比特?cái)?shù)。標(biāo)記搜索將在下面詳細(xì)說明。如上所述，能夠獲得構(gòu)成視界散列的每個(gè)比特序列。不過，為了使用比特序列作為鍵-值式數(shù)據(jù)倉庫的鍵值，或者為了使用比特序列作為URL等，易于利用字符串處理表述。從而，比特序列被編碼成字符串。例如，存在一種利用BASE64把比特序列編碼成字符串的方法。但是在本實(shí)施例中，提出一種可變比特序列/字符代碼轉(zhuǎn)換方案，以致可用取決于每個(gè)比特序列的鍵值分類整理數(shù)據(jù)。這里，提出的可變比特序列/字符代碼轉(zhuǎn)換方案具有當(dāng)通過連接變長比特序列，生成鍵時(shí)，能夠識(shí)別每個(gè)比特序列的片段的特征。從而，即使當(dāng)直接連接利用這種方案，轉(zhuǎn)換成代碼字符的比特序列時(shí)，也能夠識(shí)別每個(gè)信息的片段。從而，當(dāng)比特序列被用作鍵-值式數(shù)據(jù)倉庫的鍵時(shí),能夠根據(jù)信息值進(jìn)行搜索。圖15表示可變比特序列編碼/轉(zhuǎn)換表的例子。在該轉(zhuǎn)換方案中，信息包括多個(gè)變長比特序列(O比特或者更多比特)。該轉(zhuǎn)換方案可有效地識(shí)別比特序列的邊界。下面說明這種轉(zhuǎn)換方案。在每個(gè)變長比特序列中，從最高有效位開始，以4比特為單位順序提取各個(gè)片段，并用對應(yīng)于4比特值的字符代碼(U z)替換所述各個(gè)片段。如果提取的片段的比特?cái)?shù)小于4，那么分別用字符代碼(E T)，(6 D)，(2 5)和(O I)替換3比特，2比特和I比特。當(dāng)最后提取的片段的4個(gè)比特或者對應(yīng)比特序列的比特?cái)?shù)為O時(shí)，添加字符代碼破折號(hào))。當(dāng)然，這里所述的轉(zhuǎn)換表是例證性的。只要比特序列和代碼字符是一一對應(yīng)地定義的，各種變形例子就是可能的。
圖16表示轉(zhuǎn)換例子。如果轉(zhuǎn)換前的信息包括分別為“0111010010010”和“10010”
的兩個(gè)比特序列，那么轉(zhuǎn)換后的字符串變成“im8W-”。利用該轉(zhuǎn)換方案，轉(zhuǎn)換成字符串的某物被用作圖10中所述的視界散列值。借助視界散列，通過把按任意精度分割的地面坐標(biāo)上的分區(qū)的中心指定為視點(diǎn)，能夠唯一地指定按任意精度分割的視場的三維空間。下面說明利用視界散列，管理鍵-值式數(shù)據(jù)倉庫中的標(biāo)記信息的方法。下面，說明按照本實(shí)施例的鍵-值式數(shù)據(jù)倉庫的表格。本實(shí)施例中使用的鍵-值式數(shù)據(jù)倉庫的表格形成一對“Key”值和“Value”值,如圖8中所不。圖17表不用于管理作為鍵-值類數(shù)據(jù)的標(biāo)記信息的Java(注冊商標(biāo))類定義。標(biāo)記類指示標(biāo)記信息，包括作為內(nèi)部類的鍵類和值類。在所述數(shù)據(jù)倉庫中，以鍵-值的形式管理一對鍵類和值類。鍵類的真實(shí)數(shù)據(jù)是可變鍵，該鍵是通過連接視界散列，字符串類型，和根據(jù)標(biāo)記信 息生成的字符串時(shí)間戳而獲得的字符串。類型被用于恰當(dāng)?shù)胤诸愓硐嗤暯缟⒘兄档臉?biāo)記信息。在本實(shí)施例中，顯示標(biāo)記的優(yōu)先權(quán)被指定為類型值，O比特優(yōu)先權(quán)值是利用圖15的轉(zhuǎn)換表生成的字符串。主要用途是向相同視界散列值的標(biāo)記信息分配唯一鍵。用標(biāo)記生成的時(shí)間和日期是利用和Java(注冊商標(biāo))的數(shù)據(jù)類的8字節(jié)值相同的8字節(jié)值獲得的，是利用圖15的轉(zhuǎn)換表，用字符串生成的。值類的真實(shí)數(shù)據(jù)是以下變量。名稱標(biāo)記名稱的字符串類型標(biāo)記顯示的優(yōu)先權(quán)(和在鍵生成中使用的值相同的值)timeStamp :標(biāo)記生成時(shí)間和日期(和在鍵生成中使用的值相同的值)tagPosition :標(biāo)記的視點(diǎn)位置(例如，圖 10 的 LANt, LNGt, ATTt 等)tagDirection :從視點(diǎn)起的標(biāo)記的方位角(例如，圖10的Tth或Ttv)tagSource :充當(dāng)生成標(biāo)記信息的基礎(chǔ)的圖像信息，和標(biāo)記的屏幕信息坐標(biāo)標(biāo)記源類的真實(shí)數(shù)據(jù)是以下變量。ImageSource :圖像信息tagX :像面的標(biāo)記的X坐標(biāo)值(例如，圖10的Xt)tagY :像面的標(biāo)記的Y坐標(biāo)值(例如，圖10的Yt)圖像源類的真實(shí)數(shù)據(jù)是以下變量。url :圖像文件(靜止圖像或運(yùn)動(dòng)圖像)的統(tǒng)一資源定位符(URL)imagePosition :拍攝圖像的視點(diǎn)的坐標(biāo)(例如，與圖9的LANt, LNGt, ATTt等相同)imageDirection :從視點(diǎn)到圖像的中心點(diǎn)的方位角(例如，圖9中的Tfh或Tfv)景物圖像文件(靜止圖像或運(yùn)動(dòng)圖像)的圖像信息景物類的真實(shí)數(shù)據(jù)是以下變量。幀就靜止圖像來說，幀值為0，就運(yùn)動(dòng)圖像來說，圖像幀用從開始起的時(shí)間(毫秒)表不angleHorizontal :圖像的拍攝水平視角(例如，圖9的Tfw)寬度圖像的水平像素的數(shù)目(例如，圖9的Wf)高度圖像的垂直像素的數(shù)目(例如，圖9的Hf)觀察位置的真實(shí)數(shù)據(jù)是以下變量。
緯度視點(diǎn)的緯度經(jīng)度視點(diǎn)的經(jīng)度海拔高度視點(diǎn)的海拔高度(單位毫米)范圍視點(diǎn)的誤差(單位毫米)視向的真實(shí)數(shù)據(jù)是以下變量。directionHorizontal :從視點(diǎn)到對象點(diǎn)的水平方位角
directionVertical :從視點(diǎn)到對象點(diǎn)的垂直方位角距離從視點(diǎn)到對象點(diǎn)的距離(單位毫米)下面，圖18和19是表示標(biāo)記信息搜索的例子的例示圖。圖18表示從視點(diǎn)位置(與東京的緯度相同的北緯35° )，以50°的視角拍攝正北，但是為利用圖13中關(guān)于視場方位角和視角所示的視場信息比特指定的每個(gè)視場，查找標(biāo)記的情況。在這個(gè)例子中，必須關(guān)于分割成25°的4個(gè)視場劃分，搜索視場。即使當(dāng)視場位置的測量誤差等于或小于用位置信息比特指定的分區(qū)的南北方向的長度時(shí)，如果視點(diǎn)位置位于分區(qū)的邊緣，那么歸因于所述誤差，視場位置實(shí)際上也可能位于周邊的分區(qū)中。從而，必須搜索在指定分區(qū)周邊的分區(qū)。如果誤差為3m，那么必須搜索總共9個(gè)分區(qū)。這種情況下，在搜索中進(jìn)行32 (=4*8)次操作。圖19表示其中視點(diǎn)位置是在斯德哥爾摩附近的北緯60°的例子。這種情況下，由于分區(qū)的東西方向比上述情況的東西方向短，因此即使在相同的位置誤差精度下，也必需搜索更寬范圍的分區(qū)。下面說明進(jìn)行上述搜索處理的再現(xiàn)設(shè)備的功能結(jié)構(gòu)。圖20是表示再現(xiàn)設(shè)備400的結(jié)構(gòu)的方框圖。再現(xiàn)設(shè)備400主要具有通信部分410、控制部分420和顯示部分430?？刂撇糠?20主要具有分析部分421的功能，搜索部分422的功能，疊加部分423的功能和顯示控制部分424的功能。通信部分410是用于通過諸如因特網(wǎng)之類的網(wǎng)絡(luò)500，與另一個(gè)設(shè)備通信的網(wǎng)絡(luò)接口?？刂撇糠?20控制再現(xiàn)設(shè)備400的全部操作。例如，顯示部分430包括陰極射線管(CRT)顯示設(shè)備，液晶顯示器(IXD)設(shè)備，有機(jī)發(fā)光二極管(OLED)設(shè)備，或者諸如燈之類的顯示設(shè)備。分析部分421具有分析將由再現(xiàn)設(shè)備400再現(xiàn)的內(nèi)容的功能。例如，分析部分421具有通過分析補(bǔ)充內(nèi)容數(shù)據(jù)的拍攝信息，獲得搜索部分422為搜索標(biāo)記信息所需的信息的功能。如果需要，分析部分421可具有分析內(nèi)容視頻本身的功能。搜索部分422具有從數(shù)據(jù)中心1000內(nèi)的數(shù)據(jù)庫中，搜索待疊加在待再現(xiàn)的內(nèi)容數(shù)據(jù)上的標(biāo)記信息的功能。這里，搜索部分422生成適合于搜索保存在鍵-值式數(shù)據(jù)倉庫中的標(biāo)記信息的搜索條件，把搜索條件傳送給在數(shù)據(jù)中心1000內(nèi)的標(biāo)記信息管理服務(wù)器190，從而獲得搜索結(jié)果。下面利用圖21，說明標(biāo)記信息搜索處理的細(xì)節(jié)。疊加部分423根據(jù)搜索部分422獲得的標(biāo)記信息，進(jìn)行在待再現(xiàn)的視頻內(nèi)容上疊加標(biāo)記的處理。疊加處理的細(xì)節(jié)將在后面說明。顯示控制部分424具有再現(xiàn)內(nèi)容數(shù)據(jù)的功能，從而再現(xiàn)利用疊加部分423在上面疊加標(biāo)記的內(nèi)容數(shù)據(jù)。圖21是表示標(biāo)記搜索操作的流程圖。在鍵-值式數(shù)據(jù)倉庫中，通過指定鍵值的起點(diǎn)和終點(diǎn)，能夠把鍵值排列在一定范圍中。從而，根據(jù)所攝圖像的位置信息，方位角，和所攝圖像的被攝物體距離的范圍，重復(fù)利用ViewHashBegin和ViewHashEnd的鍵-值式數(shù)據(jù)倉庫的搜索，及視場和分區(qū)的搜索。在這方面，如上所述，易于在鍵-值式數(shù)據(jù)倉庫中進(jìn)行分布式處理。從而，如果并行地進(jìn)行搜索請求，那么能夠分發(fā)和處理搜索請求。當(dāng)再現(xiàn)設(shè)備400獲得作為對象的圖像的拍攝信息時(shí)，首先開始標(biāo)記信息搜索處理(S103)。搜索部分422根據(jù)獲得的拍攝信息的視角信息，確定視場比特的數(shù)目(S106)。之后，搜索部分422根據(jù)確定的視場比特的數(shù)目，和從拍攝信息獲得的距離信息，確定待搜索的網(wǎng)格的位置比特的數(shù)目(S109)。之后，搜索部分422判定測量誤差值是否等于或小于網(wǎng)格的南北寬度(S112)。如果借助步驟S112中的判定，確定測量誤差大于網(wǎng)格的南北寬度，那么通過轉(zhuǎn)移到B，終止處理，因?yàn)椴豢赡苤付ㄋ阉鲗ο蟮木W(wǎng)格。另一方面，如果依據(jù)步驟S112的判定，確定測量誤差等于或小于網(wǎng)格的南北寬度，那么搜索部分422計(jì)算待搜索的網(wǎng)格的位置信息，并在排列中設(shè)定所述位置信息(S115)。搜索部分422根據(jù)視角和視場比特的數(shù)目，計(jì)算和排列對應(yīng)視場(S118)。 搜索部分422初始化Tags[]的排列，以保存結(jié)果(S121)，然后把距離精度值設(shè)定為0(S124)。之后，通過轉(zhuǎn)移到圖21B(S127)，搜索部分422選擇第一觀察位置，并確定搜索距離范圍(S130)。搜索部分422 計(jì)算 ViewHashBegin (S133)，然后計(jì)算 ViewHashEnd (SI36)。搜索部分422搜索在步驟S133和S136中計(jì)算的ViewHashBegin和ViewHashEnd之間的范圍的標(biāo)記。具體地，搜索部分422生成搜索條件，然后把搜索條件傳送給標(biāo)記信息管理服務(wù)器190。搜索部分422獲得滿足傳送的搜索條件的搜索結(jié)果。搜索部分422把獲得的搜索結(jié)果添加和保存到Tags[] (S139)。判定是否搜索了所有視向(S142)，和是否搜索了所有觀察位置(S148)，在完成完全搜索之前，重復(fù)從步驟S130起的處理。下面參考圖22，說明利用再現(xiàn)設(shè)備400的疊加部分423進(jìn)行的疊加處理。圖22是表示把通過搜索獲得的標(biāo)記信息疊加在另一個(gè)視頻上的方法的例示圖。如果三邊的距離已知，那么根據(jù)余弦定理，能夠獲得夾角，并且根據(jù)視點(diǎn)坐標(biāo)和標(biāo)記的方位角，利用以下等式，能夠獲得投影到從拍攝視點(diǎn)看的視場的標(biāo)記的方位角。投影標(biāo)記的水平方位角T皿=Tth-COS-1 (Du^Ds2-Ddh2) / (2*Du*Ds)，其中 Tsh>=TthT皿=TTH+cos-1 (Du^Ds2-Ddh2) / (2*Du*Ds)，其中 Tsh〈Tth投影標(biāo)記的垂直方位角Tot=Ttv+cos_1 (Du^Ds2-Ddv2) / (2*Du*Ds)，其中 Tsv>=TtvTot=Ttv+cos_1 (Du^Ds2-Ddv2) / (2*Du*Ds)，其中 Tsv〈Ttv這里，信息用以下符號(hào)表示。標(biāo)記的位置信息LANT, LNGt, ATTt拍攝點(diǎn)的位置信息LANS，LNGs, ATTs視點(diǎn)之間的水平方向距離Ddh視點(diǎn)之間的垂直方向距離Ddv
標(biāo)記的水平方位角TTH標(biāo)記的垂直方位角Ττν標(biāo)記距離DT被攝物體距離 如果Ddh是兩個(gè)視點(diǎn)的水平距離，并且垂直距離Ddv為0，同時(shí)兩個(gè)視點(diǎn)之間沒有高差，那么Drah是利用Hube ny公式，根 據(jù)這兩個(gè)點(diǎn)的經(jīng)度和緯度獲得的距離。Dsh是所攝圖像的被攝物體距離。這里，使用超焦距，DTh是標(biāo)記信息的距離。由于垂直距離Ddv為0，因此投影的垂直方位角變得等于標(biāo)記的垂直方位角。如果搜索的標(biāo)記被投影到所攝視頻，那么對所有搜索的標(biāo)記進(jìn)行上述坐標(biāo)轉(zhuǎn)換，并且只選擇和投影適應(yīng)于拍攝視角的標(biāo)記的方位角。根據(jù)標(biāo)記信息，例如，只顯示或者過濾并顯示在上述類型中，具有指定的高優(yōu)先權(quán)的某物。如果獲得投影標(biāo)記的水平方位角和垂直方位角，那么利用以下等式，能夠獲得在所攝視頻的像面中的坐標(biāo)。投影標(biāo)記位置Xs= ( (Tuh-Tsh) /Tsff+1/2) *WS投影標(biāo)記位置Ys= (1/2- (Tuv-Tsv) / (Tsw*Hs/Ws)) *HS所攝視頻的水平視角TSW所攝視頻的水平像素的數(shù)目WS所攝視頻的垂直像素的數(shù)目HS像素縱橫比1:1拍攝方向的水平方位角TSH拍攝方向的垂直方位角TSV<5.效果的例子〉上面表示了在鍵-值式數(shù)據(jù)倉庫中管理添加到圖像中的標(biāo)記信息，搜索能夠投射另一個(gè)圖像的拍攝信息的標(biāo)記信息，并疊加和顯示所述標(biāo)記信息的方法。按照這種結(jié)構(gòu)，能夠生成、共享和使用與從某個(gè)視點(diǎn)位置觀察的視場空間上的坐標(biāo)相聯(lián)系的標(biāo)記信息。從而，能夠只在從拍攝視頻的位置，和利用預(yù)定的拍攝條件，拍攝視頻的方位角看到的視頻中，才共享有意義的信息。新提出了能夠簡潔表述標(biāo)記信息，視點(diǎn)位置信息，被攝物體距離和位置信息的誤差精度的視界散列。如果借助視界散列的使用，利用鍵-值式數(shù)據(jù)倉庫管理標(biāo)記信息，那么即使當(dāng)標(biāo)記信息的數(shù)量較大，也能夠高速并且低處理負(fù)載地進(jìn)行搜索?！?.應(yīng)用例子〉下面，說明能夠通過應(yīng)用按照本公開的實(shí)施例的標(biāo)記信息管理方法實(shí)現(xiàn)的服務(wù)的例子。例如，圖23是在利用攝像機(jī)實(shí)時(shí)拍攝的風(fēng)景的視頻上疊加和顯示標(biāo)記的例子。在圖I中，待被疊加的視頻是預(yù)先拍攝和保存的視頻內(nèi)容，不過，本公開并不局限于這個(gè)例子。如圖23中所不，可以為實(shí)時(shí)拍攝中的視頻顯不標(biāo)記。在上述實(shí)施例中，標(biāo)記信息是通過諸如因特網(wǎng)的網(wǎng)絡(luò)獲得的，不過，本公開并不局限于該例子。例如，如果訪問目的地的某個(gè)區(qū)域的標(biāo)記信息預(yù)先被保存在成像設(shè)備內(nèi)的存儲(chǔ)部分中，那么可在不與網(wǎng)絡(luò)建立連接的情況下顯示標(biāo)記。
圖24是顯示其中標(biāo)記連同地圖信息一起被顯示在預(yù)先拍攝的視頻上的視頻4025的例子。當(dāng)標(biāo)記信息被疊加在實(shí)時(shí)視頻上時(shí)，標(biāo)記信息未必有意義。如果已知觀察的風(fēng)景上的對象是什么，那么在前一個(gè)視頻上可以疊加和顯示標(biāo)記信息。按照這種結(jié)構(gòu)，即使不進(jìn)行使成像設(shè)備的鏡頭對著被攝物體的操作，也能夠以和當(dāng)在移動(dòng)電話機(jī)中進(jìn)行郵件的編輯操作時(shí)相同的姿勢，自然地獲得期望的信息。當(dāng)在實(shí)時(shí)視頻上疊加標(biāo)記時(shí)，成像設(shè)備的鏡頭必須對著對象，不過這種結(jié)構(gòu)在由于時(shí)間和空間的緣故，難以進(jìn)行上述操作時(shí)有效。圖24的設(shè)備能夠把適合于拍照的地點(diǎn)的信息通知用戶。例如，通過分析指示保存的內(nèi)容數(shù)據(jù)的拍攝位置的視點(diǎn)信息，具有內(nèi)容數(shù)據(jù)的視頻分發(fā)服務(wù)器180能夠?qū)崿F(xiàn)上述服務(wù)。例如，收集大量視點(diǎn)信息的地點(diǎn)適合于拍照的可能性較高。從而，該信息可用于提供推薦拍攝位置的功能。上面參考附圖，詳細(xì)說明了本公開的優(yōu)選實(shí)施例，不過本公開并不局限于此。本領(lǐng)域的技術(shù)人員應(yīng)明白，根據(jù)設(shè)計(jì)要求和其它因素，可以產(chǎn)生各種修改、組合、子組合和變更，只要它們在所附的權(quán)利要求或其等同物的范圍之內(nèi)。
例如，在本實(shí)施例中，在數(shù)字靜態(tài)照相機(jī)和數(shù)字?jǐn)z像機(jī)中提供了 GPS功能和方位功能，根據(jù)利用所述功能記錄在文件中的拍攝信息，和用戶利用PC向數(shù)字靜態(tài)照相機(jī)和數(shù)字?jǐn)z像機(jī)的圖像中添加的標(biāo)記，生成鍵-值式數(shù)據(jù)倉庫的數(shù)據(jù),不過當(dāng)已知對象的坐標(biāo)位置，和與對象相關(guān)的信息，比如山脈名稱等時(shí)，利用計(jì)算機(jī)的處理，從某種觀點(diǎn)來看能夠自動(dòng)生成標(biāo)記信息。在現(xiàn)有技術(shù)中，由于GPS的測量誤差，不能使用在標(biāo)記信息的坐標(biāo)方面具有較大誤差的標(biāo)記信息，不過按照本實(shí)施例，能夠容易地搜索存在于標(biāo)記信息的相鄰分區(qū)中的另一個(gè)標(biāo)記，還能夠根據(jù)源于標(biāo)記信息的標(biāo)記生成，獲得圖像信息。從而，通過根據(jù)標(biāo)記生成，分析圖像，近似對象，并從相鄰分區(qū)搜索具有精確的位置精度的圖像，能夠容易地校正標(biāo)記的位置信息。在本實(shí)施例中，由于GPS的測量誤差，不能使用在標(biāo)記信息的坐標(biāo)方面具有較大誤差的標(biāo)記信息。不過，由于能夠容易地搜索存在于標(biāo)記信息的相鄰分區(qū)中的另一個(gè)標(biāo)記，還能夠根據(jù)源于標(biāo)記信息的標(biāo)記生成，獲得圖像信息，因此按照本實(shí)施例，通過分析標(biāo)記的圖像，近似對象，并從相鄰分區(qū)搜索具有精確的位置精度的圖像，能夠容易地校正標(biāo)記的位
置信息。如果為進(jìn)行標(biāo)記信息搜索而拍攝的圖像的坐標(biāo)信息也具有較大的GPS測量誤差，那么標(biāo)記信息不能被使用，不過，可從所攝圖像的坐標(biāo)信息中搜索相鄰分區(qū)的標(biāo)記信息。從而，根據(jù)通過比較所攝圖像的信息和以其拍攝坐標(biāo)周圍的標(biāo)記信息為基礎(chǔ)的圖像的特征量而近似其特征量的圖像的坐標(biāo)，能夠容易地校正所攝圖像的坐標(biāo)信息。這種方案可適合于進(jìn)行實(shí)時(shí)拍攝的攝像機(jī)的位置信息的校正。在上述實(shí)施例中，說明了其中從補(bǔ)充內(nèi)容的拍攝信息中獲得視場空間的深度信息，或者使用超焦距的例子，不過，本公開并不局限于該例子。例如，可以使用能夠表示可利用所有分析技術(shù)獲得的到被攝物體的距離的值，比如標(biāo)記距離。在本說明書中，流程圖中所示的步驟不僅包括按照與說明的序列相應(yīng)的時(shí)間先后順序執(zhí)行的處理，而且包括并行地或者單獨(dú)地執(zhí)行，而不一定按時(shí)間先后順序執(zhí)行的處理。此外取決于情況，可酌情按不同的序列進(jìn)行按時(shí)間先后順序處理的步驟。
[附圖標(biāo)記列表]100:標(biāo)記信息生成服務(wù)器組110:通信部分120:控制部分121:視點(diǎn)信息獲取部分122:視場信息獲取部分124:標(biāo)記信息生成部分200:成像設(shè)備
300:終端設(shè)備400:再現(xiàn)設(shè)備410:通信部分420:控制部分421:分析部分422:搜索部分423:疊加部分424:顯示控制部分430:顯示部分500:網(wǎng)絡(luò)
權(quán)利要求
1.一種信息處理設(shè)備,包括 獲取單元，所述獲取單元被配置成獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息，和與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息；和 處理器，所述處理器被配置成根據(jù)第一和第二信息，生成標(biāo)記信息。
2.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括與成像設(shè)備的緯度和經(jīng)度對應(yīng)的信息。
3.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括與成像設(shè)備的海拔高度對應(yīng)的信息。
4.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括指示包括在標(biāo)記信息中的對應(yīng)于成像設(shè)備的位置信息的精度的誤差信息。
5.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括與成像設(shè)備的方位角對應(yīng)的信息。
6.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括與成像設(shè)備的視場角度對應(yīng)的信息。
7.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括與所攝圖像數(shù)據(jù)的高度和寬度對應(yīng)的信息。
8.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括與成像設(shè)備和所攝圖像的被攝物體之間的距離對應(yīng)的信息。
9.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括識(shí)別標(biāo)記將被顯示在顯示的圖像數(shù)據(jù)上的位置的信息。
10.按照權(quán)利要求I所述的信息處理設(shè)備，其中標(biāo)記信息包括將顯示在顯示的圖像數(shù)據(jù)上的字符串。
11.一種信息處理方法，包括 獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息； 獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息；和 利用處理器，根據(jù)第一和第二信息，生成標(biāo)記信息。
12.一種包括計(jì)算機(jī)程序指令的非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，當(dāng)被信息處理設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)程序指令使信息處理設(shè)備執(zhí)行包括以下步驟的方法 獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息； 獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息；和 根據(jù)第一和第二信息，生成標(biāo)記信息。
13.—種信息處理設(shè)備,包括 獲取單元，所述獲取單元被配置成獲得與再現(xiàn)的圖像數(shù)據(jù)對應(yīng)的拍攝信息；和 處理器，所述處理器被配置成根據(jù)拍攝信息與保存的標(biāo)記信息的比較，獲得標(biāo)記信息，并根據(jù)比較結(jié)果，把標(biāo)記信息疊加在所再現(xiàn)的圖像數(shù)據(jù)上。
14.按照權(quán)利要求13所述的信息處理設(shè)備，其中拍攝信息包括與拍攝所再現(xiàn)的圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的位置信息。
15.按照權(quán)利要求14所述的信息處理設(shè)備，其中處理器被配置成根據(jù)位置信息與包括在所保存的標(biāo)記信息中的位置信息的比較，獲得標(biāo)記信息。
16.按照權(quán)利要求13所述的信息處理設(shè)備，其中拍攝信息包括與拍攝所再現(xiàn)的圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的視場信息。
17.按照權(quán)利要求16所述的信息處理設(shè)備，其中處理器被配置成根據(jù)視場信息與包括在所保存的標(biāo)記信息中的視場信息的比較，獲得標(biāo)記信息。
18.按照權(quán)利要求13所述的信息處理設(shè)備，其中拍攝信息包括與拍攝所再現(xiàn)的圖像數(shù)據(jù)的成像設(shè)備和所再現(xiàn)的圖像數(shù)據(jù)的被攝物體之間的距離對應(yīng)的范圍信息。
19.按照權(quán)利要求18所述的信息處理設(shè)備，其中處理器被配置成根據(jù)范圍信息與包括在所保存的標(biāo)記信息中的范圍信息的比較，獲得標(biāo)記信息。
20.—種信息處理方法,包括 獲得與再現(xiàn)的圖像數(shù)據(jù)對應(yīng)的拍攝信息； 根據(jù)拍攝信息與保存在存儲(chǔ)器中的標(biāo)記信息的比較，獲得標(biāo)記信息；和 根據(jù)比較結(jié)果，把標(biāo)記信息疊加在所再現(xiàn)的圖像數(shù)據(jù)上。
21.一種包括計(jì)算機(jī)程序指令的非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，當(dāng)被信息處理設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)程序指令使信息處理設(shè)備執(zhí)行包括以下步驟的方法 獲得與再現(xiàn)的圖像數(shù)據(jù)對應(yīng)的拍攝信息； 根據(jù)拍攝信息與保存在存儲(chǔ)器中的標(biāo)記信息的比較，獲得標(biāo)記信息；和 根據(jù)比較結(jié)果，把標(biāo)記信息疊加在再現(xiàn)的圖像數(shù)據(jù)上。
全文摘要
一種信息處理設(shè)備，所述信息處理設(shè)備獲得與拍攝圖像數(shù)據(jù)的成像設(shè)備的位置對應(yīng)的第一信息，和與拍攝圖像數(shù)據(jù)的成像設(shè)備的視場對應(yīng)的第二信息，并根據(jù)第一和第二信息，生成標(biāo)記信息。
文檔編號(hào)H04N21/4223GK102884400SQ201180022640
公開日2013年1月16日 申請日期2011年4月25日 優(yōu)先權(quán)日2010年5月14日
發(fā)明者五十嵐卓也 申請人:索尼公司