基于增強現實技術的點讀方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于增強現實技術的點讀方法及系統(tǒng)，其涉及的主要技術方案包括：以圖像采集單元攝入圖像，并至少選定被攝入圖像中的一幀以上圖像，以及，在被選定的圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。本發(fā)明通過采用基于圖像識別的增強現實技術，能夠將任意書本、物體或場景結合多種形式的多媒體信息而展示，從而給予用戶更為良好且互動的體驗。
【專利說明】基于增強現實技術的點讀方法及系統(tǒng)

【技術領域】
[0001]本發(fā)明涉及一種點讀方法及系統(tǒng)，特別涉及一種基于圖像識別增強現實技術(AR)的智能點讀系統(tǒng)及方法，屬于增強現實技術及圖像識別【技術領域】。

【背景技術】
[0002]點讀系統(tǒng)(例如，點讀機和點讀筆等)是現代數碼信息技術與最新教學需求完美結合的一種有聲互動學習產品，它能夠將文字化的書本教材變成能按學習需要任意發(fā)聲的有聲教材。
[0003]其中，點讀筆是利用在書本上加印二維碼的技術，將聲音文件植入書本中，使用者在使用過程中選擇要點讀的某一頁，隨便點擊該頁上的圖案、文字、數字等內容，點讀筆都能通過筆頭上裝配的高速攝像頭識別書本上的二維碼而讀出對應內容的聲音文件。
[0004]而點讀機使用的原理是在制作發(fā)音文件過程中，給發(fā)音文件預先設置好對應書本內容的“經緯位置”。使用者將課本置于機器平板上，用專用的筆點書本上的文字、圖畫、數字等內容，機器就會發(fā)出相對應的聲音。
[0005]但是，現有點讀系統(tǒng)的內容和形式均非常單調，且用戶只能被動的接受信息，因此無法給予用戶(特別是幼兒或某些特殊人群)良好體驗。


【發(fā)明內容】

[0006]有鑒于此，本發(fā)明的一個目的在于提供一種基于增強現實技術的點讀方法，其操作簡便，能給予用戶更具真實感，且互動式的良好體驗。
[0007]為了實現上述目的，本發(fā)明提供的技術方案如下:
一種基于增強現實技術的點讀方法，包括:
以圖像采集單元攝入圖像，并至少選定被攝入圖像中的一幀以上圖像，
以及，在被選定的圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。
[0008]進一步的，該方法還可包括:通過選定和點觸其中的一個以上可視化標記，從而獲取和/或播放與被選定的可視化標記相應的多媒體資源。
[0009]進一步的，該方法還可包括:通過選定和點觸其中的一個以上可視化標記，從而輸出與被選定可視化標記相應的控制指令，使選定設備執(zhí)行選定動作，和/或，接受選定設備輸出的、與被選定可視化標記相應的反饋信號。
[0010]進一步的，該方法還可包括:
甄別被攝入圖像，且選定其中包含特定標識信息的圖像，并在被選定的圖像上加載一個以上可視化標記。
[0011]作為其中可選的實施方案之一，該方法還可包括:
依據所述特定標識信息，獲取與被選定圖像相應的多媒體資源，且所述多媒體資源與加載在被選定圖像上的可視化標記之間還存在對應關系。
[0012]進一步的，該方法可包括:
以圖像采集單元拍攝和/或掃描真實或虛擬物體，從而攝入圖像；
或者，以圖像采集單元接收計算機可讀形式的圖像數據，從而攝入圖像。
[0013]作為較為優(yōu)選的實施方案之一，該方法還包括:在被選定的圖像上加載相應的增強現實圖景。
[0014]進一步的，該方法還可包括:至少將被選定的圖像和/或與被選定圖像相應的多媒體資源存儲于本地和/或云端存儲單元中。
[0015]作為其中一種典型的實施方案案，該基于增強現實技術的點讀方法可包括如下步驟:
51.提供一種以上印刷物及一種以上多媒體資源，并在選定印刷物與選定多媒體資源之間建立對應關系；
52.選擇一印刷物，并獲取與該印刷物對應的多媒體資源；
53.以圖像采集單元攝入該印刷物中選定頁面的圖像，并在該頁面的圖像上加載一個以上可視化標記；
54.選定和點觸其中的一個以上可視化標記，從而播放與被選定可視化標記相應的多媒體資源。
[0016]本發(fā)明的另一目的在于提供一種基于增強現實技術的點讀系統(tǒng)，其包括:
圖像采集單元，至少用以攝入圖像；
點讀單元，至少用以甄別和選定被攝入圖像中的一幀以上圖像，并在被選定圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。
[0017]此處所述的功能單元，可以選自某些由電力驅動、液壓驅動或氣流驅動的實體機械等，亦可為某些虛擬設備，且不限于此。
[0018]進一步的,所述圖像采集單元包括:
能夠實時拍攝和/或掃描真實和/或虛擬物體，并獲得圖像的元件，
或者，能夠接受計算可讀形式的圖像數據，從而獲得圖像的元件。
[0019]進一步的，所述圖像采集單元和點讀單元集成設置于一終端內，
或者，所述圖像采集單元和點讀單元分立設置，并經通訊模塊連接。
[0020]作為可選的實施方案之一，所述點讀系統(tǒng)還可包括:
存儲單元，至少用以存儲被攝入的圖像和/或與被選定圖像相應的多媒體資源存儲于本地和/或云端。
[0021]進一步的,所述點讀單元包括:
顯示單元，至少用以顯示被攝入的圖像，
數據處理單元，至少用以從被攝入的圖像中甄別和選定被攝入圖像中的一幀以上圖像，并在被選定圖像上加載一個以上可視化標記，以及接收和處理用戶的點觸操作指令，從而實現多媒體的獲取和/或播放，
以及，觸控操作單元，至少用以使用戶能夠通過選定和點觸一個以上可視化標記而發(fā)出點觸操作指令。
[0022]作為較為優(yōu)選的實施方案之一，所述顯示單元和觸控操作單元集成設置于一觸控顯示單元內。
[0023]進一步的，該方法中的點觸方式包括手指觸碰操作，手勢識別操作，鼠標觸碰操作，可觸碰筆操作或類筆物體觸碰操作，但不限于此。
[0024]進一步的，所述多媒體資源至少選自字符、文檔、圖形、音頻、視頻、虛擬模型或超級鏈接，但不限于此。
[0025]進一步的，所述多媒體資源還可包括增強現實圖景。
[0026]進一步的，所述圖像采集單元包括影像攝錄設備(如攝像頭、攝像機、照相機等)或掃描儀。
[0027]與現有技術相比，本發(fā)明至少具有以下有益效果:通過采用基于圖像識別的增強現實技術，能夠將任意書本、物體或場景結合多種形式的多媒體信息而展示，從而給予用戶更為良好且互動的體驗。

【專利附圖】

【附圖說明】
[0028]為了更清楚地說明本發(fā)明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0029]圖1為本發(fā)明一典型實施例中一種基于增強現實技術的點讀方法的示意圖；
圖2為本發(fā)明一實施方案中一種基于增強現實技術的點讀系統(tǒng)的結構框圖；
圖3為本發(fā)明一實施方案中一種基于增強現實技術的點讀方法的流程圖；
圖4為本發(fā)明一具體實施方案中執(zhí)行觸碰事件的具體流程圖。

【具體實施方式】
[0030]為了使本【技術領域】的人員更好地理解本發(fā)明中的技術方案，下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應當屬于本發(fā)明保護的范圍。
[0031]本發(fā)明的一個方面提供了一種基于增強現實技術的點讀方法，包括:
以圖像采集單元攝入圖像，并至少選定被攝入圖像中的一幀以上圖像，
以及，在被選定的圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。
[0032]本發(fā)明的另一方面提供了一種基于增強現實技術的點讀系統(tǒng)，其包括:
圖像采集單元，至少用以攝入圖像；
點讀單元，至少用以甄別和選定被攝入圖像中的一幀以上圖像，并在被選定圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。
[0033]其中，作為一種可行的實施方式，本發(fā)明可以通過以圖像采集單元拍攝和/或掃描真實或虛擬物體，從而攝入圖像。
[0034]更為具體的講，其過程可以包括:以具有實體的影像攝錄設備或掃描設備拍攝或掃描真實或虛擬物體，例如，圖片、書本、模型或某些場景，從而攝入圖像；
或者，以虛擬的影像攝錄設備或掃描設備拍攝或掃描虛擬物體，從而攝入圖像，這種方式可以應用于諸如網絡游戲等虛擬環(huán)境中。
[0035]其中，典型的所述圖像采集單元可以包括影像攝錄設備(如攝像頭、攝像機、照相機等)、掃描儀等，但不限于此。
[0036]而作為另一種可行的實施方式，本發(fā)明亦可通過以圖像采集單元接收計算機可讀形式的圖像數據，從而攝入圖像。
[0037]換言之，本發(fā)明也可以屬于或非屬于本發(fā)明點讀系統(tǒng)的真實或虛擬影像攝入設備或掃描設備獲取圖像后，再傳輸給本發(fā)明的圖像采集單元，從而完成圖像的攝入。
[0038]這種實施方式尤為適于需要從遠端獲取圖像，而需要在本地完成點讀操作的點讀系統(tǒng)，例如，在礦井、建筑工地、海上或太空等特殊場合作業(yè)時，需要對特定設備、地點進行遠程安全監(jiān)控或操作的情形。
[0039]顯然的，為達成這樣的目的，通常需要在圖像采集單元和點讀單元之間設置通訊模塊，使該兩者能夠實現數據的交互等。
[0040]進一步的，在本發(fā)明中可以預先建立特定圖片的甄選標準，例如，可以預先規(guī)定所要選取的圖片中應包含的特定標識信息，例如，特定的文字或代碼(如條形碼、二維碼)、特定的圖形結構等，繼而，在圖像采集單元攝入圖像后，可以通過鑒別圖像中是否包含前述的特定標識信息，從中選定所需的圖像。
[0041]進一步的，在甄選出所需的圖像后，可以直接在該圖像上加載可視化標記，其中，依據圖像的不同，可視化標記的數量、形式和在圖像上的分布位置可相應變化。
[0042]而作為較為優(yōu)選的實施方案之一，也可以在在甄選出所需的圖像后，依據該圖像所包含的特定標識信息，首先在圖像上加載相應的增強現實圖景，例如，三維模型、視頻、動畫等，而后再加載可視化標記，當然，也可以同時加載所述增強現實途徑及可視化標記。
[0043]其中，可視化標記可以為文字、圖形(如，圓形、矩形、多邊形或其它任意不規(guī)則形態(tài)的圖形)、立體模型或者動態(tài)標識，且不限于此。
[0044]作為其中較為優(yōu)選的實施方案之一，前述可視化標記亦可以為與選定圖像上所載有的圖形、標記等相同或相近的圖形、標記等。例如，當以攝像頭等實時攝入某一真實物品(例如，某一書本)的特定圖像(例如，某一頁的圖像或某一視角的圖像，并且在圖像中存在一個或多個標記，例如，小喇機等音頻標記、攝像機等視頻標記)時，則可在該特定圖像上加載與該特定圖像上的標記位置相同、形態(tài)相同的可視化標記(例如，小喇叭狀、攝像機狀可視化標記)，如此，用戶可極為方便的判別、選取和播放可視化標記所對應的多媒體資源等。
[0045]進一步的，本發(fā)明的方法還可包括:通過選定和點觸其中的一個以上可視化標記，從而獲取和/或播放與被選定的可視化標記相應的多媒體資源。
[0046]進一步的，在本發(fā)明中可以依據前述的特定標識信息，預先獲取與特定圖像相應的多媒體資源，且使所述多媒體資源與加載在被選定圖像上的可視化標記之間還存在對應關系。
[0047]或者，也可以在可視化標記中加載藉以獲取相應多媒體資源的鏈接信息或請求，并在點觸可視化標記時，激活所述鏈接信息或請求，從而從本地和/或云端存儲單元獲取與播放多媒體資源。
[0048]因此，作為一較為優(yōu)選的實施方案，本發(fā)明的點讀系統(tǒng)中還可包括本地和/或云端存儲單元，或者亦可為本地服務器和/或云端服務器。
[0049]并且，進一步的，在本發(fā)明中，還可以至少將被選定的圖像和/或與被選定圖像相應的多媒體資源存儲于本地和/或云端存儲單元中。
[0050]藉由前述設計，使得本發(fā)明的點讀系統(tǒng)至少具有兩種工作模式，包括:
1、在線工作模式:通過圖像采集單元實時攝入圖像，并在其中選定的圖像上加載可視標記，用戶通過點觸可視標記，實時獲取、播放多媒體資源；
2、離線工作模式:調閱存儲于本地的被選定圖像，并在選定圖像上加載可視標記，用戶通過點觸可視標記，實時播放存儲于本地的多媒體資源。
[0051]進一步的，在前述離線工作模式的基礎上，還可衍生出睡眠工作模式等，S卩，使用戶在調閱存儲于本地的特定圖像，且點觸加載于該特定圖像上的可視標記，即可使點觸系統(tǒng)自行播放存儲于本地的某一類型或某幾種類型的多媒體資源。
[0052]作為較為優(yōu)選的實施方案之一，所述圖像采集單元和點讀單元可集成設置于一終端內。
[0053]作為可選的實施方案之一，所述點讀單元可以包括:
顯示單元，至少用以顯示被攝入的圖像，
數據處理單元，至少用以從被攝入的圖像中甄別和選定被攝入圖像中的一幀以上圖像，并在被選定圖像上加載一個以上可視化標記，以及接收和處理用戶的點觸操作指令，從而實現多媒體的獲取和/或播放，
以及，觸控操作單元，至少用以使用戶能夠通過選定和點觸一個以上可視化標記而發(fā)出點觸操作指令。
[0054]作為較為優(yōu)選的實施方案之一，所述顯示單元和觸控操作單元集成設置于一觸控顯示單元內。
[0055]進一步的，在本發(fā)明的一個實施方案中，該點讀方法還可包括:通過選定和點觸其中的一個以上可視化標記，從而輸出與被選定可視化標記相應的控制指令，使選定設備執(zhí)行選定動作，和/或，接受選定設備輸出的、與被選定可視化標記相應的反饋信號。
[0056]例如，對于某些需要遠程控制的機械設備，藉由前述實施方案涉及的設計，則，也可在本地通過某些影像攝錄設備實時攝入相應機械設備的影像，而控制人員通過遠程控制設備(如，計算機系統(tǒng))獲取相應影像后，由遠程控制設備在影像上的特定位置，特別是對應于相應機械設備的操控面板上的特定位置或一個或多個按鍵的位置加載可視標記，控制人員依據影像中所顯示的機械設備的工作狀態(tài)，可相應選定和點觸其中某一個或幾個可視標記，從而發(fā)出控制指令，并在遠端調整機械設備的工作狀態(tài)。
[0057]本發(fā)明的點讀系統(tǒng)可以在本領域人員悉知的各類終端上實現，例如，可以為通常使用的智能手機、平板電腦，PC，智能電視、Google眼鏡等具有多媒體功能的設備，但不限于此。
[0058]進一步的，該方法中的點觸方式包括手指觸碰操作，手勢識別操作，鼠標觸碰操作，可觸碰筆操作或類筆物體觸碰操作，但不限于此。
[0059]進一步的，所述多媒體資源至少選自字符、文檔、圖形、音頻、視頻、虛擬模型或超級鏈接，但不限于此。
[0060]進一步的，所述多媒體資源還可包括增強現實圖景。
[0061]以下結合附圖及典型實施例對本發(fā)明的技術方案作更為具體的解釋說明。
[0062]參閱圖1，在本發(fā)明的一典型實施例中，其涉及的點讀方法可以包括如下步驟:
(1)用戶選取書本，并以影像攝錄設備實時攝錄書本中的選定頁面，使選定頁面的影像(可以是單幀圖像，也可以是連續(xù)顯示的多幀圖像形成動態(tài)圖像或視頻)實時顯示于一顯示屏上；
(2)在選定頁面的影像上自動浮現一個以上可視化標記(即，觸控點)；
(3)用戶通過依次點觸其中的一個以上可視化標記，實現與各可視化標記相應多媒體信息，包括文字、圖形、立體模型、視頻、音頻等的播放。
[0063]進一步的，在本發(fā)明的另一實施例中，參閱圖2所示，其涉及的一種點讀系統(tǒng)可以包括:
攝像頭10，用于獲取圖像信息，通過所述智能點讀系統(tǒng)攝像頭攝入所述教材中任意一處或多處來獲取圖像信息，該圖像信息包括任意一頁和/或字符和/或任意一張插圖和/或多張插圖和/或一維碼和/或二維碼和/或一個或多個實物；
點讀單元,包括:
圖像處理單元20，用于處理圖像信息，并傳輸給本地存儲單元進行存儲，
圖像處理單元20具體用于:攝取和分析所述圖像信息并進行矩陣化處理，所述矩陣化處理具體為將扭曲或變形的圖像信息矯正成標準的圖像信息；
多媒體處理單元30，用于處理多媒體資源，處理各種用于學習和/或展覽展示和/或互動和/或娛樂的多媒體資源，多媒體資源包括3D模型及資源和/或2D模型及資源和/或圖片和/或按鈕和/或視頻和/或音頻和/或字符；
觸控處理單元40，用于接受和處理外界對多媒體資源的各項互動操作，互動操作包括手指觸碰操作，手勢識別操作，鼠標觸碰操作，可觸碰筆操作，類筆類物體觸碰操作等其他外界操作；
本地存儲單元50，用于對圖像信息、多媒體資源、互動操作進行本地存儲；
本地處理單元60，用于對本地存儲單元的信息進行邏輯操作，邏輯操作包括本地化邏輯操作和在線邏輯操作，具體為:
本地化邏輯操作，本地處理單元根據圖像處理單元處理后的圖像信息結合本地處理單元搜索到對應的多媒體資源，并對多媒體資源進行點讀邏輯解析，再根據點讀邏輯將觸控處理單元所對應的互動操作與對應的多媒體資源關聯，最終完成點讀操作；
在線邏輯操作，本地處理單元根據圖像處理單元處理后的圖像信息請求服務器處理單元進行對應的多媒體資源的下載操作，并通過本地存儲單元進行存儲操作，經過本地處理單元對已下載的多媒體資源進行點讀邏輯解析，再根據點讀邏輯將觸控處理單元所對應的互動操作與對應的多媒體資源關聯，最終完成點讀操作。
[0064]本地處理單元60還可用于:
通過圖像處理單元對多媒體資源進行增強現實實時追蹤疊加操作，并結合觸控處理單元對增強現實實時追蹤疊加的多媒體資源進行360度觸控操作。
[0065]服務器處理單元70，用于響應本地處理單元發(fā)送的各項服務請求。
[0066]服務器存儲單元80，用于存儲圖像信息和多媒體資源。
[0067]進一步地，本實施方式中本地處理單元60采樣和處理本地存儲單元50所存儲的數據，并上傳所述服務器處理單元70和服務器存儲單元80，用于智能點讀系統(tǒng)對熱門和/或經典和/或有趣和/或有益的等其他有針對性的教材和多媒體資源的推送。
[0068]相應地，本實施例提供的一種基于圖像識別增強現實技術實現的點讀方法可以包括以下步驟:
51、攝像頭獲取圖像信息，圖像處理單元和多媒體處理單元對圖像信息進行處理，得到多媒體資源并存儲在服務器存儲單元中，用戶根據需要下載所需點讀的多媒體資源至本地存儲單兀；
52、本地處理單元掃描多媒體資源中存在智能點讀資源的頁面，該頁面上包括若干用于互動操作的觸碰點；
53、觸碰頁面上的觸碰點位置，本地處理單元進行邏輯解析，在觸控處理單元中觸發(fā)觸碰事件,顯示對應的多媒體信息。
[0069]進一步地,步驟SI包括:
自動刷新請求已有的多媒體資源列表，在系統(tǒng)中全部列出；
用戶選擇指定的多媒體資源，獲取該多媒體資源對應的智能點讀資源的下載地址，并自動下載資源；
智能點讀資源下載完畢，自動采用內置的基于圖像識別增強現實技術的攝像頭進行實景掃描。
[0070]進一步地，步驟S2包括:
用戶將該多媒體資源翻至擁有智能點讀功能的頁面，將該頁面放置于攝像頭下；
加載該多媒體資源的制作智能點讀資源的頁面，實時解析當前實景，判斷當前實景是否為制作智能點讀資源的頁面；
當追蹤到該多媒體資源的制作智能點讀資源的頁面，在攝像頭實景中提示該頁面已制作的觸碰點的位置。
[0071]進一步地,步驟S3包括:
檢測觸碰到觸碰點，獲取觸碰點的識別標識信息；
根據觸碰點的識別標識信息檢索解析獲取到觸碰點對應的觸碰事件；
根據觸碰事件,讀取對應的多媒體資源,執(zhí)行觸碰事件。
[0072]參閱圖3所示為本發(fā)明一實施例中點讀方法的流程圖，包括:
智能點讀系統(tǒng)啟動完畢，自動刷新向服務器請求已有的書本資源列表，在系統(tǒng)中全部列出；
用戶選擇指定的書本，系統(tǒng)向服務器請求該書本對應的智能點讀資源的下載地址，并自動下載資源；
該書本的智能點讀資源下載完畢，自動啟動系統(tǒng)內置的基于圖像識別增強現實技術的攝像頭實景掃描功能；
用戶將該書本翻至擁有智能點讀功能的頁面，將該頁面放置于智能點讀系統(tǒng)攝像頭下；
智能點讀系統(tǒng)加載該書本的制作智能點讀資源的頁面，實時解析當前實景，判斷當前實景是否為制作智能點讀資源的頁面；
當追蹤到該書本的制作智能點讀資源的頁面，軟件在攝像頭實景中提示該頁面已制作的觸碰點的位置；
用戶根據點讀系統(tǒng)關于觸碰點的位置的提示，利用手指或者筆等工具觸碰書本上的觸碰點，觸發(fā)觸碰事件，顯示多媒體信息。
[0073]參閱圖4所示，本實施方式中智能點讀系統(tǒng)觸碰事件執(zhí)行流程具體包括:
智能點讀系統(tǒng)檢測觸碰到觸碰點，獲取觸碰點的識別標識信息；
根據觸碰點的識別標識信息檢索解析獲取到觸碰點對應的觸碰事件；
根據觸碰事件,讀取對應的多媒體資源,執(zhí)行觸碰事件。
[0074]本實施方式中觸碰事件包括:播放音頻、顯示圖片、顯示文字、播放視頻、播放模型動畫等。不同的事件，有不同的事件操作，如播放音頻，可以設置音頻音量、是否循環(huán)等，智能點讀系統(tǒng)解析觸碰事件，根據觸碰事件的執(zhí)行邏輯，在書本頁面的指定區(qū)域顯示指定的多媒體信息，以達到將文字化的書本教材變成按學習需要任意展示多媒體信息的多媒體互動教程的目的。
[0075]由以上技術方案可以看出，本發(fā)明基于圖像識別增強現實技術實現的智能點讀系統(tǒng)及方法通過采用基于圖像識別的增強現實技術，能實現將任意文字、圖形化的書本教材變成按學習需要任意展示多媒體信息的多媒體互動教程。
[0076]與現有技術相比，本發(fā)明利用增強現實技術可以立刻把任何現有的書籍變成可點讀的書籍，不需要特制的書本和點讀設備(比如點讀書和點讀筆)，一般通常使用的智能手機、平板電腦、PC、智能電視等即可充當點讀設備，使用方便，應用廣泛。
[0077]對于本領域技術人員而言，顯然本發(fā)明不限于上述示范性實施例的細節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實現本發(fā)明。因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內的所有變化囊括在本發(fā)明內。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。
[0078]此外，應當理解，雖然本說明書按照實施方式加以描述，但并非每個實施方式僅包含一個獨立的技術方案，說明書的這種敘述方式僅僅是為清楚起見，本領域技術人員應當將說明書作為一個整體，各實施例中的技術方案也可以經適當組合，形成本領域技術人員可以理解的其他實施方式。
【權利要求】
1.一種基于增強現實技術的點讀方法，其特征在于，包括: 以圖像采集單元攝入圖像，并至少選定被攝入圖像中的一幀以上圖像， 以及，在被選定的圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。
2.根據權利要求1所述的基于增強現實技術的點讀方法，其特征在于，該方法還包括:通過選定和點觸其中的一個以上可視化標記，從而獲取和/或播放與被選定的可視化標記相應的多媒體資源。
3.根據權利要求1所述的基于增強現實技術的點讀方法，其特征在于，該方法還包括:通過選定和點觸其中的一個以上可視化標記，從而輸出與被選定可視化標記相應的控制指令，使選定設備執(zhí)行選定動作，和/或，接受選定設備輸出的、與被選定可視化標記相應的反饋信號。
4.根據權利要求1所述的基于增強現實技術的點讀方法，其特征在于，該方法還包括:甄別被攝入圖像，且選定其中包含特定標識信息的圖像，并在被選定的圖像上加載一個以上可視化標記。
5.根據權利要求4所述的基于增強現實技術的點讀方法，其特征在于，該方法還包括:依據所述特定標識信息，獲取與被選定圖像相應的多媒體資源，且所述多媒體資源與加載在被選定圖像上的可視化標記之間還存在對應關系。
6.根據權利要求1所述的基于增強現實技術的點讀方法，其特征在于，該方法包括:以圖像采集單元拍攝和/或掃描真實或虛擬物體，從而攝入圖像；或者，以圖像采集單元接收計算機可讀形式的圖像數據，從而攝入圖像。
7.根據權利要求1所述的基于增強現實技術的點讀方法，其特征在于，該方法還包括:在被選定的圖像上加載相應的增強現實圖景。
8.根據權利要求1所述的基于增強現實技術的點讀方法，其特征在于，該方法還包括:至少將被選定的圖像和/或與被選定圖像相應的多媒體資源存儲于本地和/或云端存儲單元中。
9.根據權利要求1-8中任一項所述的基于增強現實技術的點讀方法，其特征在于，該方法中的點觸方式包括手指觸碰操作，手勢識別操作，鼠標觸碰操作，可觸碰筆操作或類筆物體觸碰操作。
10.根據權利要求1-8中任一項所述的基于增強現實技術的點讀方法，其特征在于，所述多媒體資源至少選自字符、文檔、圖形、音頻、視頻、虛擬模型或超級鏈接。
11.根據權利要求10所述的基于增強現實技術的點讀方法，其特征在于，所述多媒體資源還包括增強現實圖景。
12.一種基于增強現實技術的點讀方法，其特征在于，包括如下步驟: 51.提供一種以上印刷物及一種以上多媒體資源，并在選定印刷物與選定多媒體資源之間建立對應關系； 52.選擇一印刷物，并獲取與該印刷物對應的多媒體資源； 53.以圖像采集單元攝入該印刷物中選定頁面的圖像，并在該頁面的圖像上加載一個以上可視化標記； S4.選定和點觸其中的一個以上可視化標記，從而播放與被選定可視化標記相應的多媒體資源。
13.一種基于增強現實技術的點讀系統(tǒng)，其特征在于，包括: 圖像采集單元，至少用以攝入圖像； 點讀單元，至少用以甄別和選定被攝入圖像中的一幀以上圖像，并在被選定圖像上加載一個以上可視化標記，使用戶能夠通過選定和點觸其中的一個以上可視化標記，從而輸出至少用以獲取與被選定可視化標記相應的資源的服務請求和/或至少用以使選定功能單元執(zhí)行選定動作的控制指令。
14.根據權利要求13所述的基于增強現實技術的點讀系統(tǒng)，其特征在于，所述圖像采集單元包括: 能夠實時拍攝和/或掃描真實和/或虛擬物體，并獲得圖像的元件， 或者，能夠接受計算可讀形式的圖像數據，從而獲得圖像的元件。
15.根據權利要求13所述的基于增強現實技術的點讀系統(tǒng)，其特征在于， 所述圖像采集單元和點讀單元集成設置于一終端內， 或者，所述圖像采集單元和點讀單元分立設置，并經通訊模塊連接。
16.根據權利要求13-15中任一項所述的基于增強現實技術的點讀系統(tǒng)，其特征在于，它還包括: 存儲單元，至少用以存儲被攝入的圖像和/或與被選定圖像相應的多媒體資源存儲于本地和/或云端。
17.根據權利要求13所述的基于增強現實技術的點讀系統(tǒng)，其特征在于，所述點讀單元包括: 顯示單元，至少用以顯示被攝入的圖像； 數據處理單元，至少用以從被攝入的圖像中甄別和選定被攝入圖像中的一幀以上圖像，并在被選定圖像上加載一個以上可視化標記，以及接收和處理用戶的點觸操作指令，從而實現多媒體的獲取和/或播放， 以及，觸控操作單元，至少用以使用戶能夠通過選定和點觸一個以上可視化標記而發(fā)出點觸操作指令。
18.根據權利要求17所述的基于增強現實技術的點讀系統(tǒng)，其特征在于，所述顯示單元和觸控操作單元集成設置于一觸控顯示單元內。
19.根據權利要求13-15、17-18中任一項所述的基于增強現實技術的點讀系統(tǒng)，其特征在于，所述多媒體資源至少選自字符、文檔、圖形、音頻、視頻、虛擬模型或超級鏈接。
20.根據權利要求13-15、17-18中任一項所述的基于增強現實技術的點讀系統(tǒng)，其特征在于，所述圖像采集單元包括影像攝錄設備或掃描儀。
【文檔編號】G06K9/20GK104461318SQ201310669737
【公開日】2015年3月25日 申請日期:2013年12月10日 優(yōu)先權日:2013年12月10日
【發(fā)明者】周志穎, 梁建強, 古鑒 申請人:蘇州夢想人軟件科技有限公司