專利名稱：用于對象提取的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本申請涉及交互式計算機成像系統(tǒng)和方法，并且更具體地涉及用于識別從圖像中提取的對象的系統(tǒng)和方法。
背景技術(shù)：
構(gòu)造集(construction set)可以包括允許構(gòu)造各種不同模型或形狀的標準化互鎖件。這些件可能不需要特殊訓(xùn)練或設(shè)計時間來構(gòu)造復(fù)雜系統(tǒng)?；ユi件可適合用于創(chuàng)建用作孩子玩具的臨時結(jié)構(gòu)。互鎖構(gòu)造集的一個示例是LEGO (樂高博士有限公司，丹麥)，其可以包括彩色互鎖塑料磚以及附帶的一系列裝備、人偶和各種其他部件。這些互鎖磚可被以許多方式組裝和連接，以構(gòu)造諸如車輛、建筑乃至工作機器人之類的對象。通過這些互鎖磚構(gòu)造的任何東西可被拆開，并且這些件可被用于制造其他對象。

發(fā)明內(nèi)容
本發(fā)明的一個實施例提供了一種用于提取由磚構(gòu)成的實體對象的圖像的系統(tǒng)。該系統(tǒng)包括處理器或控制器，被耦合到該處理器或控制器并且被配置為提供被布置在包含圖案或者視覺線索的背景上的所述實體對象的數(shù)字圖像的數(shù)字成像設(shè)備，被耦合到所述控制器并且被配置為檢測所述數(shù)字圖像內(nèi)的所述背景的邊界和邊緣的背景檢測器單元，被耦合到所述控制器并且被配置為計算與所述實體對象的圖像大體對齊的經(jīng)校正虛擬網(wǎng)格的透視轉(zhuǎn)換單元，被耦合到所述控制器并且被配置為通過對與經(jīng)校正網(wǎng)格對齊的相關(guān)像素進行采樣來在所述數(shù)字圖像中定位顏色校準調(diào)色板的顏色校準提取單元，以及被耦合到所述控制器并且被配置為辨別所述數(shù)字圖像中作為所述實體對象的圖像的一部分的磚的磚識別器單元，所辨別出的磚組成提取出的圖像。這里討論的各種單元(被耦合的背景檢測器單元，透視轉(zhuǎn)換單元，等等)可以由所述處理器或控制器(例如由執(zhí)行指令或代碼的所述控制器或處理器)來實現(xiàn)。本發(fā)明的另一實施例提供了一種用于提取由磚構(gòu)成的實體對象的圖像的方法。該方法包括獲取被布置在背景上的所述實體對象的數(shù)字圖像，利用邊緣檢測運算符來檢測所述背景的邊界和邊緣，其中被計算出是90°或者大約90°的邊緣曲率是對于角的指示，執(zhí)行透視轉(zhuǎn)換計算以計算與所述實體對象的圖像大體對齊的經(jīng)校正虛擬網(wǎng)格，在數(shù)字圖像中定位顏色校準調(diào)色板并且提取該顏色調(diào)色板的用于像素的顏色值信息，辨別作為所述實體對象的圖像的一部分的磚，該辨別部分地基于較之顏色調(diào)色板和背景顏色對所述磚的顏色的判定，所辨別出的磚組成提取出的圖像。本發(fā)明的另一實施例提供了一種編碼在計算機可讀介質(zhì)(例如，存儲設(shè)備、盤驅(qū)動器)內(nèi)的計算機可讀程序。該計算機可讀程序包括被配置為指示系統(tǒng)提取由磚構(gòu)成的實體對象的圖像的可執(zhí)行計算機程序代碼。


圖I示出根據(jù)本發(fā)明一個實施例的系統(tǒng)的示意圖；圖2示出圖I的系統(tǒng)的組件的示意圖；圖3示出由圖I中示出的系統(tǒng)捕捉的圖像；圖4示出根據(jù)本發(fā)明一個實施例的方法；圖5示出根據(jù)圖4中示出的方法的一個步驟的圖像的表示；圖6示出圖4中示出的方法中的另一步驟的表示；圖7示出圖5的圖像的一部分的特寫；
圖8示出圖3的圖像的元素的替代實施例；圖9A-9C示出圖4中示出的方法中的另一步驟的表示；圖10示出根據(jù)圖4中示出的方法從圖3的圖像中提取的圖像；圖11示出根據(jù)本發(fā)明一個實施例的方法；圖12示出根據(jù)本發(fā)明一個實施例的方法；圖13A示出真實世界對象的雜集(assortment)；圖13B示出嵌入在視頻游戲內(nèi)的圖IlA的對象的雜集；并且圖14示出在手持移動設(shè)備上呈現(xiàn)的根據(jù)圖2的方法的結(jié)果的表示。
具體實施例方式在以下描述中，本發(fā)明的各種實施例將被描述。為了說明目的，特定示例被提出以提供對本發(fā)明至少一個實施例的透徹理解。然而，本領(lǐng)域技術(shù)人員還將會明白，本發(fā)明的其他實施例不限于這里描述的示例。另外，眾所周知的特征可被省略或簡化，以便不使這里描述的本發(fā)明的實施例模糊。除非另有特別說明，如從以下討論顯見，將認識到在整個說明書中利用諸如“選擇”、“評估”、“處理”、“估算”、“計算”、“關(guān)聯(lián)”、“確定”、“指定”、“指派”等術(shù)語的討論指的是
用于操縱在計算機系統(tǒng)的寄存器和/或存儲器內(nèi)被表示為物理(例如電子)量的數(shù)據(jù)并且/或者將該數(shù)據(jù)轉(zhuǎn)換為在計算機系統(tǒng)的存儲器、寄存器或者其他這種信息存儲、傳輸或顯示設(shè)備內(nèi)被類似地表示為物理量的其他數(shù)據(jù)的計算機、計算機處理器或計算系統(tǒng)或類似電子計算設(shè)備的動作和/或處理。這里給出的處理和功能不是固有地與任何特定計算機、網(wǎng)絡(luò)或其他裝置有關(guān)。這里描述的本發(fā)明的實施例不是參考任何特定編程語言、機器碼等描述的。將會認識到各種編程語言、網(wǎng)絡(luò)系統(tǒng)、協(xié)議或者硬件配置可被用于實現(xiàn)在此描述的本發(fā)明的實施例的教導(dǎo)。在一些實施例中，本發(fā)明的實施例的一個或多個方法可被存儲為諸如存儲設(shè)備之類的制品中的指令或代碼，其中這種指令當被處理器或計算機執(zhí)行時引起本發(fā)明一個實施例的方法的執(zhí)行。本申請與可以提取和識別在圖像中捕捉的對象的交互式游戲和計算機視覺成像系統(tǒng)有關(guān)。該對象可以通過組裝互鎖磚(例如，LEGO 磚或建筑單元)或其他件或建筑磚來創(chuàng)建。在一個實施例中，所使用的磚或構(gòu)造對象具有或者符合已知的尺寸集合(例如，已知和有限的形狀和尺寸集合)。圖像可以在未被控制的照明條件下被捕捉。對象的識別可以基于形狀分析和/或形狀比較?？梢酝ㄟ^與預(yù)定義對象數(shù)據(jù)庫中的記錄相比較對對象進行識別和分類，以完成識別。通過將所提取的實體對象的圖像嵌入在交互式視頻游戲內(nèi)，用戶可以體驗與所提取對象的一定水平的交互。圖I是根據(jù)本發(fā)明一個實施例的系統(tǒng)100的示意圖。系統(tǒng)100可以包括諸如工作站或個人計算機110之類的計算機以及數(shù)字成像設(shè)備190。個人計算機110可以包括處理器、顯示器292 (圖2)、一個或多個用戶接口輸入/輸出設(shè)備296 (圖2)(例如，鍵盤、箭頭鍵和/或鼠標)，以及存儲器245 (圖2)。數(shù)字成像設(shè)備190例如可以是成像器、網(wǎng)絡(luò)攝像機或者數(shù)字相機。與個人計算機110相連的可以是包含圖像和其他數(shù)據(jù)(例如軟件或代碼)的數(shù)據(jù)庫的數(shù)據(jù)存儲裝置170。數(shù)據(jù)存儲裝置170可以由存儲器或者諸如硬盤驅(qū)動器之類的另一存儲設(shè)備來實現(xiàn)。系統(tǒng)100可以是具有處理器、顯示器、用戶接口、存儲器、數(shù)據(jù)庫和數(shù)字成像設(shè)備的專用獨立設(shè)備。系統(tǒng)100可被實現(xiàn)在諸如筆記本或上網(wǎng)本120、個人數(shù)字助理(PDA) 130、移動電話140或者平板(板式)計算機150之類的其它計算設(shè)備上。系統(tǒng)100可以包括例如PDA 130和移動電話140內(nèi)的集成成像設(shè)備。數(shù)字成像設(shè)備190、192和194可被分別連接到個人計算機110、筆記本或上網(wǎng)本120以及平板計算機150。 系統(tǒng)100可以包括在非易失性存儲器或者計算機可讀介質(zhì)(例如，硬盤驅(qū)動器、閃速存儲器、CD ROM、磁介質(zhì)等)中存儲的計算機程序應(yīng)用。計算機程序應(yīng)用可以包括當被執(zhí)行時可以指示或致使系統(tǒng)100的控制器或處理器執(zhí)行在此討論的方法(例如提取、識別或嵌入對象的方法)的代碼或可執(zhí)行指令。在另一實施例中，系統(tǒng)100的計算設(shè)備110、120、130、140、150各自可被配置為通過電子通信網(wǎng)絡(luò)160連接到遠程服務(wù)器180的客戶端設(shè)備。電子通信網(wǎng)絡(luò)160可以是因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)或者電子通信網(wǎng)絡(luò)的其他合適配置?？蛻舳嗽O(shè)備計算設(shè)備110、120、130、140、150可以具有本地客戶端應(yīng)用，并且遠程服務(wù)器180可以包括遠程服務(wù)器應(yīng)用?？蛻舳藨?yīng)用和遠程服務(wù)器應(yīng)用組合起來可以為系統(tǒng)100提供用來執(zhí)行在此討論的方法(例如提取、識別和/或嵌入對象的方法)的指令。包含圖像數(shù)據(jù)庫的數(shù)據(jù)存儲裝置172可被連接到遠程服務(wù)器180。在一個實施例中，包含圖像數(shù)據(jù)庫的獨立數(shù)據(jù)存儲裝置174可被連接到電子通信網(wǎng)絡(luò)160。數(shù)據(jù)存儲裝置174可被計算設(shè)備110、120、130、140、150和/或遠程服務(wù)器180通過電子通信網(wǎng)絡(luò)160訪問。系統(tǒng)100可以提供可以從由數(shù)字成像設(shè)備190、192、194捕捉的真實世界場景圖像中檢測和提取實體對象圖像的交互式系統(tǒng)。系統(tǒng)100可以在計算機顯示器上對所提取對象建模以便虛擬化和嵌入在計算機視頻游戲中。對象可以由互鎖磚或其他物品或其他材料來構(gòu)造。在一個實施例中，系統(tǒng)100可以向用戶提供關(guān)于所要構(gòu)造的對象(例如飛機、汽車、房屋、人物等)的建議形狀或配置的指令。例如，處理器或控制器可以選擇形狀并且連同給用戶的由磚來構(gòu)造所顯示形狀的指令一起在顯示器上呈現(xiàn)該形狀，以創(chuàng)建實體對象。所建議的配置可被存儲在例如數(shù)據(jù)存儲裝置170、172、174中。在建議對象被提取之后，系統(tǒng)100可以將所提取圖像與所建議配置相比較，并且可以計算表示比較結(jié)果或者表示圖像或?qū)嶓w對象與所建議的配置或形狀之間的對應(yīng)性的評級或者量度。圖2示出了系統(tǒng)100的組件的示意。系統(tǒng)100可以包括可被連接到內(nèi)部總線230的控制器或中央處理單元270。數(shù)字成像設(shè)備190可以經(jīng)由輸入/輸出端口(未示出)被連接到CPU 270。存儲器或者數(shù)據(jù)存儲裝置170也可以經(jīng)由輸入/輸出端口被連接到CPU270。在替代實施例中，在數(shù)據(jù)存儲裝置內(nèi)存儲的形狀配置可被存儲在與內(nèi)部總線230相耦合的存儲器245中，從而減少對數(shù)據(jù)存儲裝置170的需要。CPU 270可以向背景檢測器240提供由數(shù)字成像設(shè)備提供的數(shù)字圖像。背景檢測器240可以由專用硬件、軟件模塊和/或固件來實現(xiàn)，其中CPU 270執(zhí)行指令。在此討論的其他單元也可以由專用硬件單元、軟件模塊和/或固件來實現(xiàn)，其中CPU 270執(zhí)行指令?？捎杀尘皺z測器240利用邊緣檢測器處理或算法來計算和提取背景220的邊界和邊緣。為了將背景220(圖3)與例如由磚或其他建筑單元組成的實體對象的圖像205(圖3)(例如數(shù)字圖像)相區(qū)別，邊緣的曲率可被計算并且曲率大約為90度的位置可被標記為角。每一個檢測到的角可被和與之相連的邊緣的曲率相關(guān)聯(lián)。背景檢測器可以將其結(jié)果提供給CPU 270以便例如作為數(shù)據(jù)存儲裝置170中的記錄存儲在內(nèi)部存儲器245或外部存儲單元內(nèi)。背景220可以包括使得能夠提取實體對象圖像的網(wǎng)格、圖案或者視覺線索。背景無需被使用。透視轉(zhuǎn)換校正(PTC)單元250可以計算與對象210的圖像大體對齊的經(jīng)校正虛擬網(wǎng)格。顏色校準提取器單元260可以使用經(jīng)透視校正的網(wǎng)格來定位在背景220上形成的一個或多個顏色校準調(diào)色板。與調(diào)色板的磚相對應(yīng)的來自圖像205的相關(guān)像素的顏色值可 被顏色校準提取器單元提取并變換為另一顏色空間表示。同樣，被選擇為表示場顏色的來自背景220的背景場的少數(shù)校準點也可被顏色校準提取器單元260提取并變換為相同的HSV (色相(hue)、飽和度、色調(diào)(value))顏色空間。其他顏色空間可被使用，并且顏色無需被使用。磚標識符單元280可以采樣和提取少數(shù)不同地方的圖像205的相關(guān)像素的值。這些值可被變換為例如HSV顏色空間。經(jīng)變換數(shù)據(jù)的色相值可被與背景220中的顏色校準調(diào)色板以及(可選的)場的色相值相比較。具有最小差異的顏色被磚標識符單元280選擇為表示該網(wǎng)格位置的顏色。磚標識符單元280比較像素的亮度(intensity)和飽和度水平以確定磚是彩色、黑色還是白色的。如果所確定的磚的顏色不是背景的顏色，那么磚標識符單元280認識到該磚是所構(gòu)造對象的一部分。比較單元290可以將檢測到的圖像的形狀與存儲在數(shù)據(jù)庫中的記錄相比較。該比較由比較單元例如利用相關(guān)函數(shù)(correlation function)來完成。圖3示出布置在背景220上的對象210的圖像205。對象210可以是由建筑磚或者其他單元組成的真實世界實體對象。類似地，背景220可以是由建筑磚或者其他單元組成的真實世界實體對象，或者被印刷在紙張或者硬紙板上。背景無需被使用。可以在具有預(yù)定義圖案的背景上捕捉所要提取的對象。該預(yù)定義圖案可以具有預(yù)定已知空間特征，該預(yù)定已知空間特征可以將屬于對象210的像素與屬于背景220的像素相區(qū)分。例如，圖3示出具有正方形網(wǎng)格的背景220。背景220的空間圖案可被與圖像205的像素相區(qū)分，圖像205包含由通常為固態(tài)剛性的互鎖建筑磚組成的對象210。預(yù)定義的網(wǎng)格無需是正方形網(wǎng)格，并且預(yù)定義背景圖案的其他實現(xiàn)方式可被使用。結(jié)果類似于利用藍屏或綠屏從背景中分離前景對象的色度鍵控(chroma key)技術(shù)，系統(tǒng)100可以利用所提取的對象的空間和形態(tài)特征從圖像205中提取對象210，并且可與顏色識別相獨立地被完成。所捕捉的包含對象210的圖像可被分析以從背景220中提取對象。一旦提取出對象210，可以為了形狀識別而通過與預(yù)定義的對象數(shù)據(jù)庫進行比較來分析對象210。一旦對象210的形狀被識別出，則經(jīng)數(shù)字提取的對象可被用于與玩家的各種動態(tài)交互。
圖4示出了根據(jù)本發(fā)明一個實施例的處理400。可以利用諸如2D底帽(bottomhat)運算符之類的形態(tài)運算符來提取對象210的掩模(mask)，這可以給出隨后可以利用閾值技術(shù)和其他形態(tài)運算符(例如，關(guān)閉和打開)的組合被過濾以除去偽像的圖像。通過應(yīng)用這些形態(tài)運算符而創(chuàng)建的由此得到的掩?？梢员硎緩谋尘?20中檢測到并隔離出的對象 210。在一個實施例中，用于提取和識別對象210的處理400可被執(zhí)行如下步驟410，可以通過在背景220上布置對象210并且拍攝該布置的數(shù)字圖像來獲得圖像205?？梢岳门c計算設(shè)備110(個人計算機)相連的數(shù)字成像設(shè)備190來拍攝該圖像。作為替代，可以利用上面描述的其他計算設(shè)備以及與這些其他計算設(shè)備相關(guān)聯(lián)的外部或者內(nèi)部的數(shù)字成像設(shè)備來拍攝圖像。背景對象檢測其上可以放置磚的背景對象可以是如下的任何表面，該表面具有諸如特定顏色、特定空間圖案或者其他可以輔助對對象的檢測和提取的一個或多個光譜/空間特征之類的已知特征。背景對象220例如可以是打印紙或硬紙板，或者由互鎖磚組成的表面。如果例如互鎖磚背景被用作背景，那么處理400可以包括檢測例如可通過利用包含深色場的白周邊磚創(chuàng)建的四個高對比度的角。這些角可被用于以以下方式尋找背景場的邊界可以利用任何可以檢測圖像中的邊緣的邊緣檢測器來計算和提取圖像的邊界，例如，Canny算法是一個這種多級算法。Canney算法可以使用可包括用于檢測圖像中的水平、垂直和對角邊緣的四個濾波器的邊緣檢測運算符。邊緣檢測運算符可以返回水平方向和垂直方向上的一階導(dǎo)數(shù)的值。根據(jù)這些導(dǎo)數(shù)，邊緣的梯度和方向可被確定。其他非最大抑制邊緣檢測器技術(shù)也可被處理400使用。為了將背景220與圖像205相區(qū)別，邊緣的曲率可被計算并且曲率大約為90度的位置可被標記為角，步驟420。圖5示出了具有處理400所識別出并由圖中的“ + ”標記指示出的角的互鎖磚背景和對象。被標記角中的每一個可被認為是背景場的候選角。參考圖5，每個檢測到的候選角可被和與之相連的邊緣的曲率相關(guān)聯(lián)。如果在預(yù)定閾值內(nèi)發(fā)現(xiàn)這些邊緣曲率接近零，那么這些邊緣曲率可能在直線上。在這種情況下，這些角可被標記為背景場的角的候選者。候選角的每個相關(guān)邊緣的斜率被計算并且其線方程被提取。如果第一候選角和與第二候選角相關(guān)聯(lián)的線方程之一之間的距離小于某一預(yù)定閾值，那么這兩個角被認為在同一線上。如果線組成四角形處的四個這種角被找到，那么認為背景場的角被找到。與其他角不在同一線上的候選角不再被考慮作為背景角。誘視轉(zhuǎn)換校ιΗ 背景220可以是矩形或者方形或者其他形狀，但是由于背景可能不一定被定位為垂直于相機透鏡的軸的事實，因此得到的圖像可能不是方形和真實的。背景220的檢測到的角的位置可被用于執(zhí)行透視轉(zhuǎn)換計算，步驟430。該透視轉(zhuǎn)換可被用于計算經(jīng)校正的虛擬網(wǎng)格，該虛擬網(wǎng)格與組成圖像205中所示的對象210的互鎖磚的圖像大體對齊。圖6示出了疊加有透視轉(zhuǎn)換計算之后的真實網(wǎng)格的圖像205的表示。校準顏色提取:圖7示出了示出顏色校準調(diào)色板610的背景220的一個角的特寫。背景220可以 使顏色校準調(diào)色板610位于其四個角中的一個或多個中。每一個顏色校準調(diào)色板例如可以包括四種不同的有色塊一例如，紅色、黃色、綠色和藍色。其他數(shù)目的顏色以及其他顏色可被使用。當背景220被裝配時，有色塊例如可以利用互鎖磚組成。利用在步驟430中獲得的經(jīng)透視校正的網(wǎng)格，組成顏色校準調(diào)色板610的這些有色磚中的每一個有色磚的位置可被找到。與調(diào)色板的磚相對應(yīng)的來自像素205的相關(guān)像素的顏色值可被提取，步驟440，并且被變換為另一顏色空間表示，例如HSV顏色空間。另外，被選擇為表示場顏色的來自背景220的背景場的一些校準點也可被提取并被變換為相同的HSV顏色空間。有色建筑塊可以經(jīng)歷另外的分析，并且可以進行對其顏色的分類以獲得對象的顏色模型。圖8示出了背景220的替代實施例。在該實施例中，背景220可被印制在諸如紙或硬紙板之類的合適平整表面和材料上。這里，背景220可以包括顏色校準調(diào)色板620，顏色校準調(diào)色板620可以包括按照特定空間布置來布置的顏色組合。顏色校準調(diào)色板620可 以允許對顏色的校準以補償白平衡、動態(tài)范圍和顏色一致性。磚識別對于每個網(wǎng)格位置，圖像205的相關(guān)像素的值可被在幾個不同位置被采樣和提取，步驟450。這些值可被變換為HSV顏色空間。經(jīng)變換數(shù)據(jù)的色相值可被與在步驟440期間獲得的顏色校準調(diào)色板以及可選的背景場的色相值相比較。具有最小差異的顏色可被選擇為表示該網(wǎng)格位置的顏色。相關(guān)像素的亮度水平可被和與在背景220的四個角中使用的磚所關(guān)聯(lián)的黑色和白色像素的亮度水平和飽和度水平相比較。如果飽和度水平與白色的飽和度水平的接近程度超過其與顏色調(diào)色板和背景的飽和度水平的接近程度；并且如果其亮度水平也高，那么該網(wǎng)格位置的顏色可被標記為白色。如果亮度水平很低并且接近于黑色的亮度水平，那么網(wǎng)格位置可被標記為黑色。否則，該網(wǎng)格位置的顏色被指派來自顏色校準調(diào)色板的對應(yīng)顏色。圖9A-C示出了步驟440的中間結(jié)果。諸如2D底帽運算符之類的形態(tài)運算符將給出隨后可以利用一種或多種閾值技術(shù)(見圖9B)和其他形態(tài)運算符(例如關(guān)閉和打開)被過濾以除去偽像的圖像(見圖9A)。通過應(yīng)用這些形態(tài)運算符而創(chuàng)建的由此得到的掩?？梢员硎緩谋尘?20中隔離出的對象210 (見圖9C)。圖10示出了在通過處理400從圖像205中進行提取之后的對象210的圖像示例。在對象210的圖像被與背景220分離并且被從圖像205中提取出之后，處理400可以通過應(yīng)用二進制大對象(BLOB)分析、標注和時刻計算來執(zhí)行對所提取圖像的朝向的進一步分析，以獲得可被用于使對象旋轉(zhuǎn)至更加希望的角度的計算出的角度。在一個實施例中，對與檢測到的對象相關(guān)聯(lián)的空間和光譜特征的進一步分析可被用來將系統(tǒng)100訓(xùn)練為在以后例如通過檢查檢測到的對象的顏色直方圖以及檢測到的對象內(nèi)的有色片段的關(guān)系來識別對象。該信息可被存儲在數(shù)據(jù)存儲裝置170、172和174中。形狀比較和評分:來自圖像205的所提取出的對象的形狀可被與數(shù)據(jù)存儲裝置170、172或174內(nèi)存儲的數(shù)據(jù)庫中的記錄相比較，步驟460、470。可以例如通過利用歸一化的相關(guān)函數(shù)cor將所提取出的對象形狀與來自數(shù)據(jù)庫的輸入形狀相比較f(cor)=(所存儲的配置，所提取出的形狀)
如果所存儲的配置=所提取出的形狀，則f (cor) = I其中所存儲的配置可以位于數(shù)據(jù)存儲裝置內(nèi)，并且所提取出的形狀可以例如通過處理400提供。其他操作可被使用。在一個實施例中，可以基于所提取出的圖像及其分類來創(chuàng)建游戲。計算機可以以交互式方式使用戶參與，以創(chuàng)建隨后在供提取的圖像中被提供給計算機的真實世界對象。計算機可以在計算機顯示器上呈現(xiàn)來自數(shù)據(jù)庫的記錄并且請求玩家構(gòu)建所顯示的對象。所顯示的對象例如可以是汽車。在對象被玩家組裝之后，放置在合適背景上的對象的圖像(如上面討論的)可被獲得。計算機然后可以提取對象的圖像，并且將其與數(shù)據(jù)庫記錄相比較。圖13A示出了可被構(gòu)建的各種對象。例如，圖13A示出了人物1010、汽車1020、樹1030、飛機1040、臉1050和房子1060形式的真實世界對象。以下文本 是可被輸出給用戶的交互式腳本以及根據(jù)該實施例的對應(yīng)動作的示例計算機歡迎，玩家，讓我們進行有趣的講故事冒險！計算機首先，我們需要一個人物...你能構(gòu)建一個男孩人物嗎？[玩家構(gòu)建人物的身體并且將其顯示在背景上]計算機[在提取出并且比較對象之后]:很好，現(xiàn)在讓我們給他一張臉；你能為他構(gòu)建一張臉嗎？[玩家構(gòu)建一張臉并且將其顯示在背景上]計算機很好...嗯...讓我們給他構(gòu)建一棟房子...你能幫忙做這個嗎？[玩家構(gòu)建一棟房子并且將其顯示在背景上]計算機這真是極好的房子。計算機嗨，那是什么聲音？那是一架飛機嗎？你能構(gòu)建一架飛機嗎？[玩家構(gòu)建一架飛機并且將其顯示在背景上]計算機這是什么聲音？那是汽車喇叭聲嗎？讓我們構(gòu)建一輛...[玩家構(gòu)建一輛汽車并且將其顯示在背景上]如果顯示錯誤的事物那么計算機響應(yīng)以計算機這是很好的[臉/房子/飛機/汽車/樹]但是讓我們再試一次。通過獲取所構(gòu)造的對象的圖像，計算設(shè)備可以檢測形狀的存在并且提取該形狀，從而在顯示屏幕上顯示所提取出的形狀的數(shù)字表示。用戶可以通過操縱屏幕上的形狀的數(shù)字表示的位置或者其他方面來創(chuàng)建虛擬世界。提取還可以涉及通過利用圖像處理技術(shù)對形狀進行自動識別。利用自動識別，計算機可以請求用戶構(gòu)建特定形狀并且可以基于與數(shù)據(jù)庫中的預(yù)定義圖像的比較來給出某
一反饋。圖11示出了可以實現(xiàn)游戲的處理700，游戲例如包括上面給出的交互式腳本。計算機(例如經(jīng)由顯示器或者監(jiān)視器)指示玩家構(gòu)造對象，步驟710?？梢岳缃?jīng)由聲卡通過音頻(口頭的或者聲音)提供指令，或者可以通過在計算機顯示器上呈現(xiàn)書面語來以可視方式提供指令。對象的圖像可以被顯示或者可以不被顯示。通過不顯示所指示對象的圖像，玩家的知識、言語技能以及想象力可被練習(xí)。對象可從數(shù)據(jù)庫中被隨機選擇，或者可按照預(yù)定順序被選擇。該預(yù)定順序可被選擇來使得玩家的構(gòu)造技能通過對象選擇的順序而得到開發(fā)。在玩家構(gòu)造對象之后，玩家可以如上面描述將對象放置在合適的背景上，并且利用數(shù)字成像設(shè)備拍攝對象和背景的數(shù)字圖像。背景無需被使用。計算機從數(shù)字成像設(shè)備獲得作為圖像文件的實體對象的數(shù)字圖像，步驟720。所構(gòu)造的實體對象的圖像可被從數(shù)字圖像中提取，步驟730?？梢岳缋蒙厦鎱⒖紙D4描述的處理400的方法來執(zhí)行提取。對象的提取出的圖像可被與對應(yīng)于所指示對象的數(shù)據(jù)庫記錄相比較，步驟740。在本發(fā)明的一個實施例中，該比較可以提供可以指示所構(gòu)造對象與所指示對象的一致性的評分或者量度。提取出的圖像可被嵌入在視頻游戲中并且可被玩家在游戲參數(shù)內(nèi)利用，步驟750。其他步驟或者其他系列的步驟可被使用。
在另一實施例中，計算機可以隨機地選擇形狀(例如，從存儲器或者數(shù)據(jù)庫中取得的預(yù)定形狀)并且在顯示設(shè)備上示出或者顯示該形狀。例如在定時條件下，作為游戲的一部分，玩家可以利用磚或者其他構(gòu)造對象來嘗試和構(gòu)造該形狀。一旦玩家完成構(gòu)造該形狀，他使用數(shù)字成像器將他創(chuàng)建的圖像上傳到計算機。在計算機提取并識別出該對象之后，其可被與設(shè)備上示出的原始形狀相比較。比較結(jié)果可被示出，以指示作為交互式競爭的一部分的構(gòu)造任務(wù)的成功或失敗。用戶可被呈現(xiàn)以在計算設(shè)備的屏幕上出現(xiàn)的由磚或者其他建筑單元組成的選中形狀。該選中形狀還可以伴隨著當用戶第一次看見該形狀時啟動的定時器。該定時器可被用來測量用戶可以多快利用互鎖磚成功構(gòu)建該形狀。用戶試圖利用常規(guī)磚構(gòu)建該形狀并且在背景被使用的情況下可以將他構(gòu)建的對象放置在被指定為背景區(qū)域的區(qū)域上。計算設(shè)備可以不斷分析從數(shù)字相機獲得的圖像并且可以檢測對象在背景區(qū)域上的存在。如果對象被檢測到，那么方法的一個實施例可以通過利用本發(fā)明實施例中的處理(例如上面描述的處理400)來提取用戶創(chuàng)建的對象的形狀。該處理可以將所提取出的由用戶構(gòu)建的對象的圖像與曾作為目標形狀呈現(xiàn)的選中形狀相比較，以確定用戶構(gòu)建形狀有多成功。該比較可以提供基于用戶的對象與選中形狀相對應(yīng)的精確程度的評分或者量度。該評分或者量度還可以包括指示構(gòu)造對象所花費的時間的成分，其中該成分基于對象的復(fù)雜度而變化。圖12示出了可以實現(xiàn)上面描述的定時構(gòu)造的處理800。計算機可以從包含表示預(yù)定形狀的記錄的數(shù)據(jù)庫中取回記錄，步驟810。所取回的形狀的視覺圖像可被顯示在計算機顯示器上，步驟820。計算機可以提供請求玩家構(gòu)造在顯示器上看到的對象的消息，步驟830。可選地，計算機還可以在屏幕上呈現(xiàn)時鐘計時器。該計時器(無論被顯示與否)可以是遞增計時器或者遞減計時器，以跟蹤用戶構(gòu)造實體對象所逝去的時間。在(例如經(jīng)由用戶輸入設(shè)備)接收到用戶已經(jīng)完成構(gòu)造的指示之后，或者等待預(yù)定時段逝去之后，步驟840，計算機指示玩家如上所述將對象放置在合適的背景上，并且利用數(shù)字成像設(shè)備拍攝對象和背景的數(shù)字圖像。背景無需被使用。計算機可以從數(shù)字成像設(shè)備獲得作為圖像文件的數(shù)字圖像，步驟850。
所構(gòu)造的對象的圖像可被從數(shù)字圖像中提取，步驟860?？梢岳缋蒙厦鎱⒖紙D4描述的處理400的方法來執(zhí)行提取。對象的提取出的圖像可被與所取回的數(shù)據(jù)庫記錄相比較，步驟870。該比較可以提供可以指示所構(gòu)造對象與所取回記錄的一致性的評分或者量度。提取出的圖像可被嵌入在視頻游戲中并且可被玩家在游戲參數(shù)內(nèi)利用，步驟880。其他步驟或者其他系列的步驟可被使用。提取出的圖像(或者各種實體對象的多個提取出的圖像)可以作為虛擬世界或者視頻游戲的一部分被以數(shù)字方式表示在顯示設(shè)備上，其中存在于虛擬世界和/或視頻游戲的對象是根據(jù)真實世界中的構(gòu)造集來設(shè)計和構(gòu)建的。圖13B示出了被嵌入在計算機圖形中的圖13A中的多個真實世界對象的所提取圖像。 圖14示出了在根據(jù)包含互鎖磚背景和對象的真實世界組合1020的圖像被處理之后的提取出的圖像110。圖14示出了在配備有內(nèi)部相機的移動設(shè)備130、140上的提取出的圖像。雖然已經(jīng)示出并描述了被應(yīng)用于若干實施例的本發(fā)明的基本的新穎特征，但是將會明白，本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍的情況下可以做出在例示實施例的形式、細節(jié)以及操作方面的各種省略、替換和改變。還充分預(yù)計并預(yù)期到從一個實施例到另一個實施例的元件替換。本發(fā)明僅由所附權(quán)利要求以及其中記載物的等同物來限定。
權(quán)利要求
1.一種用于提取由磚構(gòu)成的實體對象的圖像的系統(tǒng)，該系統(tǒng)包括 控制器； 數(shù)字成像設(shè)備，該數(shù)字成像設(shè)備被耦合到所述控制器并且被配置為提供被布置在背景上的所述實體對象的數(shù)字圖像； 背景檢測器單元，該背景檢測器單元被耦合到所述控制器并且被配置為檢測所述數(shù)字圖像內(nèi)的所述背景的邊界和邊緣；以及 磚識別器單元，該磚識別器單元被耦合到所述控制器并且被配置為辨別所述數(shù)字圖像中作為所述實體對象的圖像的一部分的磚，所辨別出的磚組成提取出的圖像。
2.如權(quán)利要求I所述的系統(tǒng)，還包括比較單元和數(shù)據(jù)存儲裝置，該比較單元被耦合到所述控制器，該數(shù)據(jù)存儲裝置包含具有描述預(yù)定形狀的記錄的數(shù)據(jù)庫，其中所述比較單元被配置為將所述提取出的圖像與所述預(yù)定形狀當中的對應(yīng)形狀相比較。
3.如權(quán)利要求I所述的系統(tǒng)，所述控制器被配置為將所述提取出的圖像的數(shù)字表示嵌入在視頻游戲顯示中，其中所述數(shù)字表示可被用戶操縱。
4.如權(quán)利要求2所述的系統(tǒng)，所述比較單元還被配置為提供對所述實體對象與所述對應(yīng)形狀之間的一致性的評分。
5.如權(quán)利要求2所述的系統(tǒng)，其中，所述控制器選擇所述對應(yīng)形狀并且將該形狀與給用戶的由所述磚構(gòu)造所顯示形狀的指令一起呈現(xiàn)在顯示單元上，以創(chuàng)建所述實體對象。
6.如權(quán)利要求5所述的系統(tǒng)，其中，所述控制器被配置為跟蹤所述用戶完成對所述實體對象的構(gòu)造所逝去的時間。
7.如權(quán)利要求2所述的系統(tǒng)，其中，所述控制器選擇所述對應(yīng)形狀并且向用戶提供由所述磚構(gòu)造該形狀的指令，以創(chuàng)建所述實體對象。
8.如權(quán)利要求I所述的系統(tǒng)，還包括透視轉(zhuǎn)換單元，該透視轉(zhuǎn)換單元被耦合到所述控制器并且被配置為計算與所述實體對象的圖像大體對齊的經(jīng)校正的虛擬網(wǎng)格。
9.如權(quán)利要求I所述的系統(tǒng)，還包括顏色校準提取單元，該顏色校準提取單元被耦合到所述控制器并且被配置為通過對與經(jīng)校正網(wǎng)格對齊的相關(guān)像素進行采樣來在所述數(shù)字圖像中定位顏色校準調(diào)色板。
10.一種用于提取由磚構(gòu)成的實體對象的圖像的方法，該方法包括以下步驟 獲取被布置在具有場的背景上的所述實體對象的數(shù)字圖像； 利用邊緣檢測運算符來檢測所述背景的邊界和邊緣，其中被計算出為大約90°的邊緣曲率是角的指示； 辨別作為所述實體對象的圖像的一部分的磚，該辨別部分地基于較之背景場對所述磚的顏色的判定，所辨別出的磚組成提取出的圖像。
11.如權(quán)利要求10所述的方法，還包括將所述提取出的圖像與描述對應(yīng)形狀的數(shù)據(jù)庫記錄相比較的步驟。
12.如權(quán)利要求10所述的方法，還包括將所述提取出的圖像的數(shù)字表示嵌入在視頻游戲中的步驟，其中所述數(shù)字表示能被用戶操縱。
13.如權(quán)利要求11所述的方法，還包括提供對所述實體對象與所述對應(yīng)形狀之間的一致性的評分的步驟。
14.如權(quán)利要求11所述的方法，還包括將所述對應(yīng)形狀與給用戶的由所述磚構(gòu)造所顯示形狀的指令一起呈現(xiàn)在顯示單元上以創(chuàng)建所述實體對象的步驟。
15.如權(quán)利要求14所述的方法，還包括跟蹤所述用戶完成對所述實體對象的構(gòu)造所逝去的時間的步驟。
16.如權(quán)利要求11所述的方法，還包括以下步驟 選擇所述對應(yīng)形狀；以及 向用戶提供由所述磚構(gòu)造該形狀的指令，以創(chuàng)建所述實體對象。
17.如權(quán)利要求11所述的方法，還包括執(zhí)行透視轉(zhuǎn)換計算以計算與所述實體對象的圖像大體對齊的經(jīng)校正的虛擬網(wǎng)格的步驟。
18.如權(quán)利要求11所述的方法，還包括在所述數(shù)字圖像中定位顏色校準調(diào)色板以及提取所述顏色校準調(diào)色板的用于像素的顏色值信息的步驟，其中所述辨別步驟還部分地基于較之所述顏色調(diào)色板對所述磚的顏色的判定。
19.一種具有存儲在其上的指令的計算機可讀介質(zhì)，所述指令當被處理器執(zhí)行時使該處理器執(zhí)行如下方法 提取由磚構(gòu)成的實體對象的圖像； 獲取被布置在具有場的背景上的所述實體對象的數(shù)字圖像； 利用邊緣檢測運算符來檢測所述背景的邊界和邊緣，其中被計算出為大約90°的邊緣曲率是角的指示； 辨別作為所述實體對象的圖像的一部分的磚，該辨別部分地基于較之背景場對所述磚的顏色的判定，所辨別出的磚組成提取出的圖像。
20.如權(quán)利要求19所述的計算機可讀介質(zhì)，還包括當被執(zhí)行時使所述處理器將所述提取出的圖像與對應(yīng)形狀的數(shù)據(jù)庫記錄相比較的指令。
21.如權(quán)利要求19所述的計算機可讀介質(zhì)，還包括當被執(zhí)行時使所述處理器將所述提取出的圖像的數(shù)字表示嵌入在視頻游戲中的指令，其中所述數(shù)字表示可被用戶操縱。
22.如權(quán)利要求20所述的計算機可讀介質(zhì)，還包括當被執(zhí)行時使所述處理器提供對所述實體對象與所述對應(yīng)形狀之間的一致性的評分的指令。
23.如權(quán)利要求20所述的計算機可讀介質(zhì)，還包括當被執(zhí)行時使所述處理器將所述對應(yīng)形狀與給用戶的由所述磚構(gòu)造所顯示形狀的指令一起呈現(xiàn)在顯示單元上以創(chuàng)建所述實體對象的指令。
24.如權(quán)利要求23所述的計算機可讀介質(zhì)，還包括當被執(zhí)行時使所述處理器跟蹤所述用戶完成對所述實體對象的構(gòu)造所逝去的時間的指令。
25.如權(quán)利要求20所述的計算機可讀介質(zhì)，還包括當被執(zhí)行時使所述處理器執(zhí)行以下步驟的指令 選擇所述對應(yīng)形狀；以及 向用戶提供由所述磚構(gòu)造該形狀的指令，以創(chuàng)建所述實體對象。
26.如權(quán)利要求19所述的計算機可讀介質(zhì)，包括當被執(zhí)行時使所述處理器執(zhí)行透視轉(zhuǎn)換計算以計算與所述實體對象的圖像大體對齊的經(jīng)校正的虛擬網(wǎng)格的指令。
27.如權(quán)利要求19所述的計算機可讀介質(zhì)，包括當被執(zhí)行時使所述處理器執(zhí)行以下步驟的指令 在所述數(shù)字圖像中定位顏色校準調(diào)色板；以及提取所述顏色校準調(diào)色板的用于像素的顏色值信息； 其中所述辨別指令還部分地基于較之所述顏色調(diào)色板對所述磚的顏色的判定。
全文摘要
用于提取例如由磚構(gòu)成的實體對象的圖像的系統(tǒng)和方法被給出。該方法和系統(tǒng)可以利用邊緣檢測運算符來檢測背景的邊界和邊緣，執(zhí)行透視轉(zhuǎn)換計算以計算與實體對象的圖像大體對齊的經(jīng)校正虛擬網(wǎng)格，在數(shù)字圖像中定位顏色校準調(diào)色板并且提取該顏色調(diào)色板的用于像素的顏色值信息，并且辨別作為實體對象的圖像的一部分的磚，該辨別部分地基于較之顏色調(diào)色板和背景顏色對磚的顏色的判定，辨別出的磚組成提取出的圖像。計算機可讀介質(zhì)可以包括使系統(tǒng)根據(jù)該方法提取由磚構(gòu)成的實體對象的圖像的指令。
文檔編號G06K9/00GK102713931SQ201080044689
公開日2012年10月3日 申請日期2010年8月4日 優(yōu)先權(quán)日2009年8月4日
發(fā)明者瑞安·卡夫托里, 羅農(nóng)·霍洛維茨 申請人:艾修視力科技有限公司