使用視線追蹤實(shí)現(xiàn)擴(kuò)增實(shí)境的制作方法
【技術(shù)領(lǐng)域】
[0001] 本文中揭示的標(biāo)的物涉及具有后置相機(jī)的電子裝置，且更明確地說，涉及用于供 (例如）移動(dòng)電子裝置中的擴(kuò)增實(shí)境（AR)使用的方法、設(shè)備和系統(tǒng)。
【背景技術(shù)】
[0002] 移動(dòng)計(jì)算裝置（移動(dòng)裝置）給用戶提供能夠經(jīng)由無線通信系統(tǒng)存取多種信息。作 為實(shí)例，經(jīng)啟用用于供無線蜂窩式網(wǎng)絡(luò)和/或無線局域網(wǎng)（諸如，Wi-Fi或WiMAX)使用的移 動(dòng)裝置給用戶提供能夠存取大量的因特網(wǎng)信息資源。移動(dòng)裝置也可使用戶能夠探宄提供與 計(jì)算機(jī)產(chǎn)生的圖形內(nèi)容合并或由計(jì)算機(jī)產(chǎn)生的圖形內(nèi)容擴(kuò)增的目標(biāo)對(duì)象的實(shí)時(shí)視圖的擴(kuò) 增實(shí)境環(huán)境。舉例而言，駐留于移動(dòng)裝置機(jī)上的相機(jī)可與圖形顯示器一起用以給使用者呈 現(xiàn)涉及在移動(dòng)裝置的相機(jī)視圖中捕獲的所關(guān)注對(duì)象的補(bǔ)充信息。此補(bǔ)充信息可形成重疊在 移動(dòng)裝置的相機(jī)視圖中捕獲的現(xiàn)實(shí)世界對(duì)象的信息層。此功能性通常被稱作擴(kuò)增實(shí)境（AR) 視圖模式。在AR視圖中，在相機(jī)視圖中捕獲的對(duì)象可轉(zhuǎn)變到與顯示屏對(duì)準(zhǔn)以允許用戶更容 易地存取信息層。
[0003] 移動(dòng)裝置可具有AR模式視圖，且可在圖形顯示屏上呈現(xiàn)AR目標(biāo)對(duì)象。在一些情 形中，對(duì)用戶顯示的AR目標(biāo)對(duì)象的數(shù)目可廣泛。AR目標(biāo)對(duì)象可在觀看屏幕上創(chuàng)造混雜，這 可使用戶的觀看分心，且可對(duì)移動(dòng)裝置的處理能力提出要求。

【發(fā)明內(nèi)容】

[0004] 根據(jù)本發(fā)明的一種用于使用視線追蹤實(shí)現(xiàn)擴(kuò)增實(shí)境應(yīng)用的方法的實(shí)例包含對(duì)用 戶顯示可由所述用戶觀看的場(chǎng)景的圖像，接收指示所述用戶的視線的信息，基于所述視線 信息確定在所述圖像內(nèi)的所關(guān)注區(qū)域，使對(duì)象標(biāo)簽將基于所述所關(guān)注區(qū)域的位置顯示于所 述場(chǎng)景的圖像中，和如果所述所關(guān)注區(qū)域留在所述對(duì)象標(biāo)簽上或周圍，那么顯示擴(kuò)增實(shí)境 信息。
[0005] 所述方法的實(shí)施方案可包含以下特征中的一或多者。對(duì)用戶顯示的圖像可用耦合 到移動(dòng)裝置的第一相機(jī)捕獲，且可基于用耦合到移動(dòng)裝置的第二相機(jī)捕獲的圖像來確定視 線信息。如果所關(guān)注區(qū)域不留在對(duì)象標(biāo)簽上或周圍，那么隱藏對(duì)象標(biāo)簽。后置相機(jī)或視線 追蹤工具可用以接收視線信息。對(duì)象標(biāo)簽可為圖標(biāo)。所關(guān)注區(qū)域的圖形表示可顯示于圖像 上。圖形表示可為一或多個(gè)圓或其他圖形圖標(biāo)?？捎们爸孟鄼C(jī)捕獲圖像。
[0006] 根據(jù)本發(fā)明的一種用于使用視線追蹤實(shí)現(xiàn)對(duì)象辨識(shí)的方法的實(shí)例包含對(duì)用戶顯 示可由所述用戶觀看的場(chǎng)景的圖像，接收指示所述用戶的視線的信息，基于所述視線信息 確定在所述圖像內(nèi)的所關(guān)注區(qū)域，基于所述所關(guān)注區(qū)域確定圖像區(qū)段，起始對(duì)所述圖像區(qū) 段的對(duì)象辨識(shí)過程，和顯示所述對(duì)象辨識(shí)過程的結(jié)果。
[0007] 所述方法的實(shí)施方案可包含以下特征中的一或多者。起始可包含執(zhí)行所述對(duì)象辨 識(shí)過程。起始可包含將所述圖像區(qū)段提供到遠(yuǎn)程服務(wù)器和從所述遠(yuǎn)程服務(wù)器接收對(duì)象辨識(shí) 結(jié)果，使得所述顯示可包含基于所述對(duì)象辨識(shí)結(jié)果顯示擴(kuò)增實(shí)境信息。從所述遠(yuǎn)程服務(wù)器 接收姿態(tài)信息，和基于所述姿態(tài)信息顯示所述擴(kuò)增實(shí)境信息?？捎民詈系揭苿?dòng)裝置的第一 相機(jī)捕獲所述圖像，且可基于用耦合到所述移動(dòng)裝置的第二相機(jī)捕獲的圖像確定所述視線 信息。對(duì)象辨識(shí)過程的結(jié)果可包含顯示擴(kuò)增實(shí)境信息。如果所關(guān)注區(qū)域留在所述圖像區(qū)段 上或周圍，那么顯示所述擴(kuò)增實(shí)境信息。顯示所述對(duì)象辨識(shí)過程的結(jié)果可包含顯示對(duì)象標(biāo) 簽。如果所關(guān)注區(qū)域留在所述對(duì)象標(biāo)簽上或周圍，那么顯示所述擴(kuò)增實(shí)境信息。顯示圖像 區(qū)段邊界線。
[0008] 根據(jù)本發(fā)明的一種用于使用視線追蹤顯示基于位置的擴(kuò)增實(shí)境信息的方法的實(shí) 例包含在移動(dòng)裝置上顯示圖像，基于所述移動(dòng)裝置的位置確定基于位置的擴(kuò)增實(shí)境對(duì)象， 在所述圖像中顯示圖標(biāo)，其中所述圖標(biāo)在所述圖像內(nèi)的位置是基于與所述基于位置的擴(kuò)增 實(shí)境對(duì)象相關(guān)聯(lián)的位置信息或在所述圖像中可見的現(xiàn)實(shí)世界對(duì)象的位置，基于用戶的視線 確定在所述圖像內(nèi)的所關(guān)注區(qū)域，和如果所述所關(guān)注區(qū)域與所述圖標(biāo)的所述位置重疊，那 么在所述移動(dòng)裝置上顯示與所述基于位置的擴(kuò)增實(shí)境對(duì)象或所述現(xiàn)實(shí)世界對(duì)象相關(guān)聯(lián)的 擴(kuò)增實(shí)境信息。
[0009] 所述方法的實(shí)施方案可包含以下特征中的一或多者?？捎迷谒鲆苿?dòng)裝置上的前 置相機(jī)獲得圖像?？墒褂迷谒鲆苿?dòng)裝置上的后置相機(jī)確定用戶的視線。圖像可為在應(yīng)用 程序中顯示的文件?？娠@示所關(guān)注區(qū)域的圖形表示。
[0010] 根據(jù)本發(fā)明的一種方法的實(shí)例包含在移動(dòng)裝置上顯示由所述移動(dòng)裝置的第一相 機(jī)捕獲的第一圖像，基于由所述移動(dòng)裝置的第二相機(jī)捕獲的第二圖像確定所述移動(dòng)裝置的 用戶的注視，基于所述確定的注視確定在所述第一圖像內(nèi)的所關(guān)注區(qū)域，和至少部分基于 所述確定的所關(guān)注區(qū)域在所述移動(dòng)裝置處執(zhí)行與擴(kuò)增實(shí)境功能相關(guān)聯(lián)的一或多個(gè)動(dòng)作。
[0011] 所述方法的實(shí)施方案可包含以下特征中的一或多者。所述一或多個(gè)動(dòng)作可包含顯 示與所述第一圖像中實(shí)質(zhì)上在所述所關(guān)注區(qū)域內(nèi)的對(duì)象相關(guān)聯(lián)的擴(kuò)增信息。所述一或多個(gè) 動(dòng)作可包含追蹤所述第一圖像中實(shí)質(zhì)上在所述所關(guān)注區(qū)域內(nèi)的對(duì)象。所述一或多個(gè)動(dòng)作可 包含關(guān)于所述第一圖像中實(shí)質(zhì)上在所述所關(guān)注區(qū)域內(nèi)的對(duì)象執(zhí)行的對(duì)象辨識(shí)。擴(kuò)增實(shí)境功 能可進(jìn)一步基于所述移動(dòng)裝置的位置。
[0012] 根據(jù)本發(fā)明的用于使用圖像分段實(shí)現(xiàn)對(duì)象追蹤的方法的實(shí)例包含對(duì)用戶顯示可 由所述用戶從第一相機(jī)定向觀看的場(chǎng)景的第一圖像，接收指示所述用戶的視線的信息，基 于所述視線信息確定在所述第一圖像內(nèi)的所關(guān)注區(qū)域，基于所述所關(guān)注區(qū)域確定圖像區(qū) 段，對(duì)所述圖像區(qū)段執(zhí)行對(duì)象追蹤過程以確定所述圖像區(qū)段的第一姿態(tài)，和基于所述圖像 區(qū)段的所述第一姿態(tài)顯示在第一 AR姿態(tài)中的擴(kuò)增實(shí)境對(duì)象。
[0013] 所述方法的實(shí)施方案可包含以下特征中的一或多者。對(duì)所述用戶顯示可由所述用 戶從第二相機(jī)定向觀看的所述場(chǎng)景的第二圖像，使得所述第二圖像包含所述圖像區(qū)段，對(duì) 所述圖像區(qū)段執(zhí)行所述對(duì)象追蹤過程以確定所述圖像區(qū)段的第二姿態(tài)，和基于所述圖像區(qū) 段的所述第二姿態(tài)顯示在第二擴(kuò)增實(shí)境姿態(tài)中的所述擴(kuò)增實(shí)境對(duì)象。執(zhí)行所述對(duì)象追蹤過 程可包含將所述圖像區(qū)段提供到遠(yuǎn)程服務(wù)器。
[0014] 根據(jù)本發(fā)明的用于使用視線追蹤實(shí)現(xiàn)對(duì)象辨識(shí)的方法的實(shí)例包含對(duì)用戶顯示可 由所述用戶觀看的場(chǎng)景的圖像，接收指示所述用戶的視線的信息，基于所述視線信息確定 在所述圖像內(nèi)的所關(guān)注區(qū)域，基于所述所關(guān)注區(qū)域確定圖像區(qū)段，將所述圖像區(qū)段提供到 遠(yuǎn)程服務(wù)器，從所述遠(yuǎn)程服務(wù)器接收對(duì)象辨識(shí)結(jié)果，和基于所述對(duì)象辨識(shí)結(jié)果顯示擴(kuò)增實(shí) 境信息。在一實(shí)施方案中，所述方法可從所述遠(yuǎn)程服務(wù)器接收姿態(tài)信息，且基于所述姿態(tài)信 息顯示所述擴(kuò)增實(shí)境信息。
[0015] 根據(jù)本發(fā)明的一種用于使用視線追蹤實(shí)現(xiàn)對(duì)象辨識(shí)的裝置的實(shí)例包含：存儲(chǔ)器； 至少一處理器，其耦合到所述存儲(chǔ)器且經(jīng)配置以對(duì)用戶顯示可由所述用戶觀看的場(chǎng)景的圖 像，接收指示所述用戶的視線的信息，基于所述視線信息確定在所述圖像內(nèi)的所關(guān)注區(qū)域， 基于所述所關(guān)注區(qū)域確定圖像區(qū)段，起始對(duì)所述圖像區(qū)段的對(duì)象辨識(shí)過程，和顯示所述對(duì) 象辨識(shí)過程的結(jié)果。
[0016] 根據(jù)本發(fā)明的一種用于使用視線追蹤顯示基于位置的擴(kuò)增實(shí)境信息的裝置的實(shí) 例包含：存儲(chǔ)器；至少一處理器，其耦合到所述存儲(chǔ)器且經(jīng)配置以在移動(dòng)裝置上顯示器圖 像，基于所述移動(dòng)裝置的位置確定基于位置的擴(kuò)增實(shí)境對(duì)象，在所述圖像中顯示圖標(biāo)，其中 所述圖標(biāo)在所述圖像內(nèi)的位置是基于與所述基于位置的擴(kuò)增實(shí)境對(duì)象相關(guān)聯(lián)的位置信息 或在所述圖像中可見的現(xiàn)實(shí)世界對(duì)象的位置，基于用戶的視線確定在所述圖像內(nèi)的所關(guān)注 區(qū)域，和如果所述所關(guān)注區(qū)域與所述圖標(biāo)的所述位置重疊，那么在所述移動(dòng)裝置上顯示與 所述基于位置的擴(kuò)增實(shí)境對(duì)象或所述現(xiàn)實(shí)世界對(duì)象相關(guān)聯(lián)的擴(kuò)增實(shí)境信息。
[0017] 根據(jù)本發(fā)明的一種用于使用視線追蹤實(shí)現(xiàn)對(duì)象辨識(shí)的裝置的實(shí)例包含用于對(duì)用 戶顯示可由所述用戶觀看的場(chǎng)景的圖像的裝置，用于接收指示所述用戶的視線的信息的裝 置，用于基于所述視線信息確定在所述圖像內(nèi)的所關(guān)注區(qū)域的裝置，用于基于所述所關(guān)注 區(qū)域確定圖像區(qū)段的裝置，用于起始對(duì)所述圖像區(qū)段的對(duì)象辨識(shí)過程的裝置，和用于顯示 所述對(duì)象辨識(shí)過程的結(jié)果的裝置。
[0018] 基于本發(fā)明的一種用于使用視線追蹤顯示基于位置的擴(kuò)增實(shí)境信息的裝置的實(shí) 例包含：用于在移動(dòng)裝置上顯示器圖像的裝置，用于基于所述移動(dòng)裝置的位置確定基于位 置的擴(kuò)增實(shí)境對(duì)象的裝置，用于在所述圖像中顯示圖標(biāo)的裝置，其中所述圖標(biāo)在所述圖像 內(nèi)的位置是基于與所述基于位置的擴(kuò)增實(shí)境對(duì)象相關(guān)聯(lián)的位置信息或在所述圖像中可見 的現(xiàn)實(shí)世界對(duì)象的位置，用于基于用戶的視線確定在所述圖像內(nèi)的所關(guān)注區(qū)域的裝置，和 用于如果所述所關(guān)注區(qū)域與所述圖標(biāo)的所述位置重疊那么在所述移動(dòng)裝置上顯示與所述 基于位置的擴(kuò)增實(shí)境對(duì)象或所述現(xiàn)實(shí)世界對(duì)象相關(guān)聯(lián)的擴(kuò)增實(shí)境信息的裝置。
[0019] 根據(jù)本發(fā)明的一種非暫時(shí)性計(jì)算機(jī)存儲(chǔ)媒體的實(shí)例包含處理器可執(zhí)行指令，其經(jīng) 配置以使處理器對(duì)用戶顯示可由所述用戶觀看的場(chǎng)景的圖像，接收指示所述用戶的視線的 信息，基于所述視線信息確定在所述圖像內(nèi)的所關(guān)注區(qū)域，基于所述所關(guān)注區(qū)域確定圖像 區(qū)段，起始對(duì)所述圖像區(qū)段的對(duì)象辨識(shí)過程，和顯示所述對(duì)象辨識(shí)過程的結(jié)果。
[0020] 根據(jù)本發(fā)明的非暫時(shí)性計(jì)算機(jī)存儲(chǔ)媒體的實(shí)例包含處理器可執(zhí)行指令，其經(jīng)配置 以使處理器在移動(dòng)裝置上顯示圖像，基于所述移動(dòng)裝置的位置確定基于位置的擴(kuò)增實(shí)境對(duì) 象，在所述圖像中顯示圖標(biāo)，其中所述圖標(biāo)在所述圖像內(nèi)的位置是基于與所述基于位置的 擴(kuò)增實(shí)境對(duì)象相關(guān)聯(lián)的位置信息或在所述圖像中可見的現(xiàn)實(shí)世界對(duì)象的位置，基于用戶的 視線確定在所述圖像內(nèi)的所關(guān)注區(qū)域，和如果所述所關(guān)注區(qū)域與所述圖標(biāo)的所述位置重 疊，那么在所述移動(dòng)裝置上顯示與所述基于位置的擴(kuò)增實(shí)境對(duì)象或所述現(xiàn)實(shí)世界對(duì)象相關(guān) 聯(lián)的擴(kuò)增實(shí)境信息。
[0021 ] 本文中描述的項(xiàng)目和/或技術(shù)可提供以下能力中的一或多者以及未提到的其它 能力。場(chǎng)景的圖像可由移動(dòng)裝置的前置相機(jī)捕獲，且用戶的視線可由在所述移動(dòng)裝置上的 后置相機(jī)追蹤。可基于用戶的視線的位置確定所關(guān)注區(qū)域?？苫谒P(guān)注區(qū)域的位置起始 圖像分段過程。可對(duì)圖像區(qū)段執(zhí)行對(duì)象辨識(shí)。可基于所關(guān)注區(qū)域的位置和逗留時(shí)間呈現(xiàn)擴(kuò) 增實(shí)境信息?？娠@示對(duì)象標(biāo)簽?？商峁┢渌芰?，且不是根據(jù)本發(fā)明的每個(gè)實(shí)施方案都必須 提供所論述的能力中的任一者，更不用說全部。另外，通過除了所提到的手段之外的手段來 達(dá)成上文提到的效果可為可能的，且所提到的項(xiàng)目/技術(shù)可能不一定產(chǎn)生所提到的效果。
【附圖說明】
[0022] 參考以下諸圖描述非限制性且非詳盡性方面，其中除非另外指定，否則類似參考 標(biāo)號(hào)貫穿各圖指類似部分。
[0023] 圖1說明并有在實(shí)踐本發(fā)明的實(shí)施例過程中使用的裝置的部分的示范性計(jì)算機(jī) 系統(tǒng)。
[0024] 圖2為執(zhí)行本發(fā)明的實(shí)施例的裝置的示范性圖。
[0025] 圖3為用于用移動(dòng)裝置上的后置相機(jī)執(zhí)行視線跟蹤的示范性現(xiàn)有技術(shù)過程流程。
[0026] 圖4為使用視線追蹤識(shí)別用移動(dòng)裝置上的前置相機(jī)捕獲的圖像上的所關(guān)注區(qū)域 的示范性圖解。
[0027] 圖5為與AR對(duì)象標(biāo)簽混在一起的圖像的示范性圖解。
[0028] 圖6A為具有隨用戶注視的位置而變來顯示的AR對(duì)象標(biāo)簽的圖像的示范性圖解。
[0029] 圖6B為圖像的示范性圖解，其中用戶的注視位于AR對(duì)象標(biāo)簽上