專利名稱：家中深度相機校準的制作方法
技術領域：
本發(fā)明涉及深度相機，尤其涉及家中深度相機校準。
背景技術：
在過去，諸如計算機游戲和多媒體應用等計算應用使用控制器、遙控器、鍵盤、鼠標等來允許用戶操縱游戲人物或應用的其他方面。近來，計算機游戲和多媒體應用已開始使用相機和軟件姿勢識別引擎來提供自然用戶接口(“NUI”)。使用NUI，檢測、解釋用戶姿勢和語音并將其用于控制游戲人物或應用的其他方面。NUI系統(tǒng)使用三維(3-D)深度相機來捕捉場景的三維數(shù)據(jù)。深度相機要求若干組件被精確對準以正確地測量深度。即便微小的未對準也可能導致顯著的深度測量誤差。未對準可能由于各種狀況而發(fā)生，包括例如不恰當?shù)闹圃?、極端溫度或其他環(huán)境因素、掉落相機或其他物理損壞等。一旦對準被改變，深度可能以多種方式被不正確地報告。這種失真的結果可能導致相機的深度范圍的漂移、對象尺寸的變形，或者多種其他失真可能發(fā)生。因此期望提供一種用于校準深度相機以捕捉精確的深度圖像的系統(tǒng)，優(yōu)選地對用戶體驗帶來最小的影響。

發(fā)明內容
粗略言之，本技術涉及對NUI系統(tǒng)中使用的深度傳感器進行重新校準。NUI系統(tǒng)一般包括捕捉設備，捕捉設備包括深度傳感器和RGB傳感器。深度投影儀可將光發(fā)射到場景上，所述光被反射回來并被深度傳感器和RGB傳感器感測。深度傳感器使用反射的光來確定場景內的對象的深度。本技術涉及用于重新校準深度傳感器以糾正深度傳感器的工廠校準之后可能出現(xiàn)的任何深度測量誤差。大體而言，本系統(tǒng)獲取對視野中的對象的真實深度測量。然后該系統(tǒng)將真實深度測量與由深度傳感器提供的深度測量進行比較，以定義偏差的誤差模型。本系統(tǒng)提供用于確定場景中的一個或多個對象的真實深度測量的各種方法，而獨立于從深度傳感器獲得的深度測量。在直接的實施例中，可簡單地將深度傳感器調整到真實深度。在進一步的實施例中，可開發(fā)更復雜的數(shù)學模式來對深度誤差進行建模。然后可通過最小化深度誤差來補償該深度誤差。本技術的一個示例涉及對自然用戶接口的深度傳感器進行重新校準的方法，該深度傳感器從三維空間捕捉圖像數(shù)據(jù)。該方法包括以下步驟(a)使用深度傳感器測量該三維空間中至少一個樣本點的深度值；(b)獨立于所述步驟(a)的測量，確定該至少一個樣本點的真實深度值；(c)對在所述步驟(b)中確定的真實深度和在所述步驟(a)中測量的深度中的偏差導致的深度誤差進行建模；以及(d)使用在所述步驟(c)中建模的深度誤差糾正深度傳感器做出的深度測量。本技術的進一步示例涉及包括用于對處理器編程以執(zhí)行對自然用戶接口的深度傳感器進行重新校準的方法的指令的計算機可讀存儲介質，該深度傳感器捕捉來自三維空間的圖像數(shù)據(jù)。該方法包括以下步驟(a)使用深度傳感器測量該三維空間內的校準對象上的兩個或更多個點的深度；(b)獨立于深度傳感器，確定該校準對象上的該兩個或更多個點的真實深度；(c)對在所述步驟(b)中確定的真實深度和在所述步驟(a)中測量的深度中的偏差導致的深度誤差進行建模；以及(d)使用在所述步驟(c)中建模的深度誤差補償深度傳感器所做的深度測量。在另一示例中，本技術涉及對自然用戶接口的深度傳感器進行重新校準的系統(tǒng)， 該深度傳感器捕捉來自三維空間的圖像數(shù)據(jù)，該系統(tǒng)包括位于該三維空間內的校準對象； 以及與深度傳感器相關聯(lián)的計算設備，該計算設備包括用于將該三維空間中該校準對象上的點的真實深度值與該深度傳感器測量的深度值進行比較、以及推導出描述真實深度值和由深度傳感器測量的深度值之間的偏差的誤差模型的重新校準引擎。提供本發(fā)明內容以便以簡化的形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發(fā)明內容并非旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。此外，所要求保護的主題不限于解決在本公開的任何部分中提及的任何或所有缺點的實現(xiàn)。


圖IA示出了目標識別、分析和跟蹤系統(tǒng)的示例實施例。圖2示出了目標識別、分析和跟蹤系統(tǒng)的進一步的示例實施例。圖3示出了可以在目標識別、分析和跟蹤系統(tǒng)中使用的捕捉設備的示例實施例。圖4是根據(jù)本技術的第一實施例校準深度傳感器的流程圖。圖5是捕捉設備的視野中的用戶的圖示。圖6是圖5的用戶的深度圖像。圖7是根據(jù)本技術的第二實施例校準深度傳感器的高級流程圖。圖8是由深度傳感器測量的樣本點和相同樣本點的真實確定深度的圖。圖9是位于捕捉設備的視野中用戶拿著校準對象的圖示。圖10是校準對象的放大視圖。圖11是校準對象的放大視圖，示出了可由捕捉設備標識的參考點。圖12是顯示給用戶的校準對象的視圖，具有用于在離該捕捉設備的特定深度處定位校準對象的目標。圖13是用于檢測校準對象中的點的流程圖。圖14是校準對象相對于深度相機的坐標系并相對于RGB相機的坐標系的平面的圖示。圖15是用于將校準對象的平面中的點轉換到RGB相機的參考幀，然后基于RGB相機測量的樣本點來確定誤差函數(shù)的流程圖。圖16是從投影儀投影的光線的俯視圖，該光線從樣本點反射并入射到深度傳感器上。圖17是如圖16的俯視圖，示出了深度光學器件中的誤差和用于根據(jù)本技術的第三實施例確定該誤差的方法。圖18是誤差角度E的范圍上的深度誤差的圖。
圖19是跨視野的深度誤差的圖。圖20是由用于確定對象的點的真實深度的操作所測量的點，以及由深度傳感器測量且以深度誤差失真的相同點的圖。圖21是示出圖20的圖中的失真的程度和位置的圖。圖22示出包括從深度相機空間到世界空間的一般轉換的視野，其中對未對準角度E進行了糾正。圖23示出根據(jù)本技術的第四實施例在兩個不同位置處測量的剛性體上的兩組
點ο圖24A示出了可用于在目標識別、分析和跟蹤系統(tǒng)中解釋一個或多個姿勢的計算設備的示例實施例。圖24B示出了可用于在目標識別、分析和跟蹤系統(tǒng)中解釋一個或多個姿勢的計算設備的另一示例實施例。
具體實施例方式現(xiàn)在將參考附圖1-24B來描述本發(fā)明的技術的一般涉及用于校準深度相機的系統(tǒng)的各實施例。該系統(tǒng)一般獲取深度相機和場景中的一個或多個對象之間的距離的客觀測量，在本文中稱為真實深度。然后該系統(tǒng)在一個或多個點處將真實深度測量與由深度相機提供的深度測量進行比較，并確定描述深度相機測量中的誤差的誤差函數(shù)。然后重新校準該深度相機以糾正該誤差。到場景中的一個或多個對象的距離的客觀測量可以通過各種系統(tǒng)和方法實現(xiàn)。下面描述這些系統(tǒng)和方法。首先參考圖1-3，用于實現(xiàn)本技術的硬件包括目標識別、分析，及跟蹤系統(tǒng)10，該系統(tǒng)10可以被用來識別、分析和/或跟蹤諸如用戶18之類的人類目標。目標識別、分析和跟蹤系統(tǒng)10的實施例包括用于執(zhí)行游戲應用或其他應用的計算環(huán)境12。計算環(huán)境12可以包括硬件組件和/或軟件組件，使得計算系統(tǒng)12可以用于執(zhí)行諸如游戲應用和非游戲應用之類的應用。在一個實施例中，計算環(huán)境12可以包括諸如標準化處理器、專用處理器、微處理器等之類的處理器，該處理器可以執(zhí)行存儲在處理器可讀存儲設備上的用于執(zhí)行在此所述的過程的指令。系統(tǒng)10還包括捕捉設備20，該捕捉設備20用于捕捉與由捕捉設備所感測到的一個或多個用戶和/或對象有關的圖像和音頻數(shù)據(jù)。在實施例中，捕捉設備20可以用于捕獲與一個或多個用戶的移動、姿勢和話音相關的信息，所述信息被計算環(huán)境接收并且被用于呈現(xiàn)游戲應用或其他應用的各方面、與所述方面交互和/或控制所述方面。下面更詳細地解釋計算環(huán)境12和捕捉設備20的示例。目標識別、分析和跟蹤系統(tǒng)10的實施例可以連接到具有顯示器14的音頻/視覺設備16。設備16例如可以是可以向用戶提供游戲或應用視覺和/或音頻的電視機、監(jiān)視器、高清晰度電視機(HDTV)等。例如，計算環(huán)境12可以包括諸如圖形卡之類的視頻適配器和/或諸如聲卡之類的音頻適配器，適配器可提供與游戲或其他應用相關聯(lián)的音頻/視覺信號。音頻/視覺設備16可以從計算環(huán)境12接收音頻/視覺信號，并且然后可以向用戶 18輸出與該音頻/視覺信號相關聯(lián)的游戲或應用視覺和/或音頻。根據(jù)一個實施例，音頻 /視覺設備16可以通過例如S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜等等連接到計算環(huán)境12。在各實施例中，計算環(huán)境12、A/V設備16和捕捉設備20可以協(xié)作以在顯示器14 上呈現(xiàn)化身或屏幕上人物19。在各實施例中，化身19模仿用戶18在現(xiàn)實世界空間中的移動，以使得用戶18可以執(zhí)行控制化身19在顯示器14上的移動和動作的移動和姿勢。如圖1和2所示，在一示例實施例中，在計算環(huán)境12上執(zhí)行的應用可以是用戶18 可能正在玩的足球游戲。例如，計算環(huán)境12可以使用視聽顯示器14來提供采用由該用戶控制的足球運動員形式的化身19的視覺表示。圖1的實施例是根據(jù)本技術的可以在計算環(huán)境12上運行的許多不同應用中的一個。運行在計算環(huán)境12上的應用可以是各種其他游戲應用和非游戲應用。此外，系統(tǒng)10還可以用于將用戶18移動解釋成處于運行在計算環(huán)境12上的游戲或特定應用的領域之外的操作系統(tǒng)和/或應用控制。作為圖2中示出的一個示例，用戶可以滾動通過并且控制與呈現(xiàn)在顯示器14上的各種菜單選項的交互。事實上， 操作系統(tǒng)和/或應用的任何可控方面都可以由用戶18的移動來控制。系統(tǒng)10及其組件的適合的示例在以下共同待決的專利申請中找到，所有這些專利申請都特此通過引用并入本申請于2009年5月四日提交的名稱為“Environment And/ Or Target Segmentation (環(huán)境和/或目標分割)”的美國專利申請序列號12/475，094 ； 于2009年7月四日提交的名稱為“Auto Generating a Visual R印resentation(自動生成視覺表示)，，的美國專利申請序列號12/511，850 ；于2009年5月四日提交的名稱 % "Gesture Tool (姿勢工具)”的美國專利申請序列號12/474, 655 ；于2009年10月21 日提交的名稱為“Pose Tracking Pipeline (姿態(tài)跟蹤流水線)”的美國專利申請序列號 12/603，437 ；于 2009 年 5 月 29 日提交的名稱為“Device for Identifying and Tracking Multiple Humans Over Time (用于隨時間標識和跟蹤多個人類的設備)”的美國專利申請序列號12/475，308 ；于2009年10月7日提交的名稱為“Human Tracking System(人類跟蹤系統(tǒng))，，的美國專利申請序列號12/575，388 ；于2009年4月13日提交的名稱為 "Gesture Recognizer System Architecture (姿勢識別器系統(tǒng)架構)”的美國專利申請序列號12/422,661 ；于2009年2月23日提交的名稱為‘、tandard Gestures (標準姿勢)，， 的美國專利申請序列號12/391，150;以及于2009年5月四日提交的名稱為“Gesture Tool (姿勢工具)，，的美國專利申請序列號12/474，655。圖3示出了可以在目標識別、分析和跟蹤系統(tǒng)10中使用的捕捉設備20的示例實施例。在一個示例性實施例中，捕捉設備20可以被配置為經(jīng)由任何合適的技術來捕捉具有可以包括深度值的深度圖像的視頻，這些技術包括例如飛行時間、結構化光、立體圖像等等。根據(jù)一個實施例，捕捉設備20可將所計算的深度信息組織為“Z層”，即與從深度相機沿其視線延伸的Z軸垂直的層。如圖3所示，捕捉設備20可以包括圖像相機組件22。根據(jù)一個示例實施例，圖像相機組件22可以是可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維0-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示深度值，諸如例如以厘米、毫米等計的、所捕捉的場景中的對象距相機的長度或距離。如圖3所示，根據(jù)一示例實施例，圖像相機組件22可包括可用于捕捉場景的深度圖像的頂光組件M、三維深度相機沈、和RGB相機觀。例如，在飛行時間分析中，捕捉設備 20的頂光組件M可以將紅外光發(fā)射到場景上，然后，可以使用傳感器(未示出)，用例如三維相機沈和/或RGB相機觀，來檢測從場景中的一個或多個目標和物體的表面反向散射的光。在某些實施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖和相應的入射光脈沖之間的時間差并將其用于確定從捕捉設備20到場景中的目標或物體上的特定位置的物理距離。附加地，在其他示例性實施例中，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設備20到目標或物體上特定位置的物理距離。根據(jù)另一示例實施例，可使用飛行時間分析，通過經(jīng)由包括例如快門式光脈沖成像在內的各種技術來隨時間分析反射光束的強度以間接地確定從捕捉設備20到目標或物體上的特定位置的物理距離。在另一示例實施例中，捕捉設備20可使用結構化光來捕捉深度信息。在這樣的分析中，圖案化光(即被顯示成諸如網(wǎng)格圖案或條紋圖案的已知圖案的光)可以通過例如頂光組件M被投影到場景上。在落到場景中的一個或多個目標或物體的表面上時，作為響應，圖案可變形。圖案的這樣的變形可以被例如三維相機沈和/或RGB相機觀捕捉，然后可以被分析以確定從捕捉設備20到目標或物體上的特定位置的物理距離。根據(jù)另一實施例，捕捉設備20可包括可以從不同的角度觀察場景的兩個或更多個在物理上分開的相機，以獲取可以被解析以生成深度信息的視覺立體數(shù)據(jù)。在另一示例實施例中，捕捉設備20可使用點云數(shù)據(jù)(point cloud data)和目標數(shù)字化技術來檢測用戶的特征。捕捉設備20還可包括話筒30。話筒30可包括可接收聲音并將其轉換成電信號的換能器或傳感器。根據(jù)一個實施例，話筒30可以被用來減少目標識別、分析及跟蹤系統(tǒng)10 中的捕捉設備20和計算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計算環(huán)境12執(zhí)行的諸如游戲應用、非游戲應用等應用。在一示例實施例中，捕捉設備20還可以包括可與圖像相機組件22進行可操作的通信的處理器32。處理器32可包括可執(zhí)行指令的標準處理器、專用處理器、微處理器等，這些指令可包括用于接收深度圖像的指令、用于確定合適的目標是否可被包括在深度圖像中的指令、用于將合適的目標轉換成該目標的骨架表示或模型的指令、或任何其他合適的指令。捕捉設備20還可以包括存儲器組件34，該存儲器組件34可以存儲可以由處理器 32執(zhí)行的指令，由三維相機或RGB相機捕捉到的圖像或圖像的幀，或任何其他合適的信息、 圖像等等。根據(jù)一個示例實施例，存儲器組件34可包括隨機存取存儲器(RAM)、只讀存儲器 (ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖3所示，在一個實施例中，存儲器組件34可以是與圖像相機組件22和處理器32通信的單獨的組件。根據(jù)另一實施例， 存儲器組件34可以集成到處理器32和/或圖像相機組件22中。如圖3所示，捕捉設備20可以經(jīng)由通信鏈路36與計算環(huán)境12通信。通信鏈路 36可以是包括例如USB連接、火線連接、以太網(wǎng)線纜連接之類的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接之類的無線連接。根據(jù)一個實施例，計算環(huán)境 12可以經(jīng)由通信鏈路36向捕捉設備20提供時鐘，可以使用該時鐘來確定何時捕捉例如場景。
另外，捕捉設備20可以通過通信鏈路36向計算環(huán)境12提供深度信息和由例如三維相機沈和/或RGB相機觀捕捉到的圖像，以及可以由捕捉設備20生成的骨架模型。存在用于判斷由捕捉設備20檢測到的目標或對象是否與人類目標相對應的各種已知技術。 骨架映射技術因而可用于確定該用戶的骨架上的各個點，手、腕、肘、膝、鼻、踝、肩的關節(jié)， 以及骨盆與脊椎相交之處。其他技術包括將圖像轉換為人的人體模型表示以及將圖像轉換為人的網(wǎng)格模型表示。然后，可以將骨架模型提供給計算環(huán)境12，使得計算環(huán)境可以執(zhí)行各種動作。計算環(huán)境還可基于例如從骨架模型中識別出的用戶的姿勢來確定在計算機環(huán)境上執(zhí)行的應用中要執(zhí)行哪些控制。例如，如圖3所示，計算環(huán)境12可包括用于確定用戶何時執(zhí)行了預定義姿勢的姿勢識別引擎190。在上面并入的申請中描述了姿勢識別引擎190的各種實施例。依照本系統(tǒng)，計算設備12還可包括深度重新校準引擎194，用于獨立于深度相機沈提供的深度值來確定視野(FOV)中的一個或多個對象的深度的真實度量，然后重新校準深度相機26以補償任何偏差。下面描述深度重新校準引擎194的各種實施例。如在背景技術部分提到的，三維深度相機沈可能失去其校準從而該相機所進行的深度測量不精確的情況可能發(fā)生。不精確的深度測量可能有幾種影響。在用于游戲系統(tǒng)的深度相機的情況中，這樣的誤差可能使得用戶看上去比他真正所在的更近或更遠?；蛘撸?用戶可看上去比他的實際高度更矮或更高。或者，該深度可使用戶在任一軸上變寬，以及使用戶在任一軸上傾斜和變形。類似這種的情況可能很容易使軟件達到其極限。例如，如果軟件限于支持至少特定高度的用戶，則被不恰當?shù)卮_定為比該高度更矮的用戶將不會被軟件識別出。同樣的情況可能在軟件能力的相反極限處對高用戶發(fā)生。深度相機26的不恰當?shù)男士赡軐е赂鞣N其他誤差、失真和復雜化。大體而言，本系統(tǒng)因此包括用于為FOV中的一個或多個對象確定真實深度測量的深度重新校準引擎194。然后深度重新校準引擎194可重新校準深度相機沈(也稱為深度傳感器)以補償任何深度失真。在直接的實施例中，可簡單地將深度傳感器調整到由深度重新校準引擎194確定的真實深度。在進一步的實施例中，可開發(fā)更復雜的數(shù)學模式來對深度誤差進行建模。然后由重新校準引擎194執(zhí)行的重新校準可通過最小化深度誤差來糾正所測量的深度。下面闡述深度重新校準引擎194的操作的各種實施例。在參考圖4-6描述的第一實施例中，深度重新校準引擎通過用戶輸入他或她的高度，然后確定所測量的像素高度(或臂展)是否與這個高度相關來操作。首先參考圖4的流程圖，在步驟200中，重新校準引擎194檢測不正確的深度數(shù)據(jù)可能導致的問題。如果引擎194沒有檢測到這樣的問題，則該系統(tǒng)接下來在步驟204中檢查用戶是否指示執(zhí)行重新校準操作的愿望。如果在步驟200中檢測到問題，或者如果在步驟204中用戶請求進入重新校準模式，則重新校準引擎194執(zhí)行深度相機沈的重新校準操作。在步驟208中，重新校準引擎194基于深度相機沈的深度測量和所測量的深度圖像中的像素數(shù)來計算用戶的高度。具體而言，提示用戶站到捕捉設備20的前面，如例如圖5 中所示。然后可通過閾值處理來從11位灰度級VGA深度圖確定沿y軸的像素數(shù)。然后在多個幀上取該數(shù)據(jù)，并將其平均以確定在沿y軸的用戶高度中的正確的像素數(shù)。在一些實施例中，還可提示用戶向外伸開他們的手臂，如圖5所示并如下面所解釋的。在從相機沈測量的每個距離處，在深度圖像(在圖6中示出)中沿著y軸中的像素數(shù)和用戶的高度之間存在已知相關。例如，在2. 5m處，該系統(tǒng)預計175cm的人沿著y軸占據(jù)411個像素。因此，步驟208基于所測量的深度和用戶的深度圖像中沿y軸的像素數(shù)來計算用戶的預計高度。如同下面所解釋的，該系統(tǒng)可替代地或附加地測量用戶的“臂展”， 即在用戶伸展開的兩臂的指尖之間沿χ軸的所測量的距離。在步驟210中，然后重新校準引擎194可提示用戶輸入他或她的高度。在進一步實施例中，提示用戶輸入高度的步驟可在步驟208之前進行。該系統(tǒng)可經(jīng)由NUI系統(tǒng)10通過各種方法提示用戶輸入他的高度。例如，顯示器14可具有帶有高度顯示范圍的虛擬輪或其他虛擬指示器。用戶可揮動他或她的手或執(zhí)行姿勢識別引擎190識別出的某種其他預定姿勢，直到適當?shù)母叨缺伙@示。然后用戶可經(jīng)由另一姿勢選擇那個高度?；蛘撸脩艨煽陬^輸入他們的高度。在步驟214中，重新校準引擎確定在步驟208中測量的傳感器高度與用戶在步驟 210中輸入的真實高度相匹配。如果高度在一定容差內相匹配，則不需要重新校準(步驟 218)，且重新校準引擎194結束。另一方面，如果存在高于某個預定容差的差別，則重新校準引擎基于所輸入的高度以及深度圖像中沿y軸的像素數(shù)來確定用戶會站立的距離。然后可在步驟224中將像素和高度之間的已知關系糾正為新的關系以重新校準相機沈的深度測量。在實施例中，可以使用單個樣本來執(zhí)行步驟208到220?；蛘?，可提示用戶站立在多種不同距離處，以便該系統(tǒng)可具有更多用來調整y軸像素和高度之間的關系的數(shù)據(jù)?？赡馨l(fā)生捕捉設備難以確定圖像中用戶的腳的位置(這是確定圖像中的最低像素和沿y軸的總像素數(shù)所必需的)。即便在沿y軸的像素數(shù)清楚時，可能期望提供對所測量的值的確認。相應地，附加于或替代于使用圖6的深度圖像中沿y軸的像素數(shù)，重新校準引擎194可使用在用戶伸展開的兩臂的指尖之間的沿χ軸的像素數(shù)。使用所測量的臂展，以及臂展和在每個深度距離處對臂展所測量的像素數(shù)之間的已知相關，該系統(tǒng)可確定深度距離，如上面步驟208中所描述的。在步驟210中可以通過用戶提供其高度來確定真實臂展。 使用高度和臂展之間的已知相關，然后可確定用戶的臂展。例如，一個已知相關可以是臂展=0. 95 (高度)。然后如上所述在步驟214中該系統(tǒng)可將所測量的距離與確定的距離進行比較。在上面描述的實施例中，用于校準深度相機沈的對象是用戶自己的身體。在進一步的實施例中，為了重新校準的目的，可以使用除了用戶的身體之外的對象來執(zhí)行步驟208 到224。只要該對象是固定尺度(該尺度對于計算設備12是已知的)的，該系統(tǒng)就能確定在每個距離處在對象尺度和該對象在深度圖中沿χ軸和/或y軸應當占據(jù)的像素數(shù)之間的已知關系。該對象可以例如是一張81/2X11的紙?；蛘?，該對象可以是裝備有系統(tǒng)10的特定校準對象。下面描述這樣的校準對象的示例。如所指出的，重新校準弓丨擎194可以通過各種不同方法工作。在一組實施例中，重新校準引擎194依賴對深度相機誤差進行建模，然后使用對象來推斷由深度相機測量的深度特性和由各種方法和系統(tǒng)中之一測量的真實深度特性之間的關系。本文所使用的“傳感器深度”是指由深度相機(該深度相機可能需要校準)測量的深度特性，而“真實深度”是指由客觀標準測量和/或計算的正確深度。取決于深度相機誤差的性質和復雜度，以及實現(xiàn)給定技術的可行性，存在各種可用于解決該問題并對深度誤差建模的技術。一組技術利用獲得固定大小對象的多個傳感器深度讀數(shù)，其中通過某種方法，在查詢該傳感器深度的同時，能夠獲得該對象的真實深度測量。然后通過將這些點擬合到對該相機已知的誤差模型來將該傳感器深度與真實深度相關，由重新校準引擎194實現(xiàn)校準。本技術不限制此模型的復雜度；它僅要求獲取足夠多的樣本來通過所收集的點擬合該模型。存在多種計算真實深度的方式。下面解釋的一些示例使用固定大小對象用于校準， 其中該對象的大小是已知的。下面解釋的另一示例使用固定大小對象用于校準，其中該固定對象的大小不是已知的。重新校準引擎194的一種用于建模和補償相機誤差的技術使用已知大小的固定對象和RGB單應性。參考圖7的流程圖，一般而言，本技術開始于在步驟230中對深度相機的誤差進行數(shù)學建模。在步驟234中，然后本技術檢測已知大小的固定校準對象上的特征點，該對象可以例如是在本文中被稱為“校準卡”的卡。然后本技術在步驟236中使用單應性計算該校準卡的真實深度。然后在步驟238中將該真實深度與由該深度相機獲取的傳感器深度讀數(shù)相關。下面提供這些步驟的進一步的細節(jié)。在本示例中，該過程開始于在步驟230中對誤差進行數(shù)學建模。對于給定捕捉設備20，使用用兩個變量alpha( α )和beta(i3)來描述誤差的線性模型來估算該誤差是可能的，其中Z傳感器深度=α(Ζ真實深度)_β。(1)圖8展示了線性誤差讀數(shù)，其中在各種距離處測量該傳感器深度并將其與真實深度相比較。β分量表示傳感器深度和真實深度相等處的深度(相交點)，而α表示線的斜率。通過計算這兩個值，通過逆轉該誤差，傳入的傳感器深度可被轉換成真實深度。所示示例使用線性誤差函數(shù)，因為線性誤差函數(shù)減少了用戶獲取不同點處的深度測量所需的工作量，并將深度相機26校準到可接受的水平。然而，要理解，可替代地使用更復雜的且非線性的誤差函數(shù)。關于在步驟234中對校準卡中的特征點的檢測，RGB單應性方法需要一組圖像特征點，其中可對所述圖像特征點獲取真實世界測量。在圖9中示出用戶18拿著校準卡150 形式的校準對象的示例，而在圖10中示出了校準對象150的放大視圖。如圖11中所示，校準卡150具有16個特征點152，每個特征點在卡150中不同著色的區(qū)域的邊界的交叉點處。 校準卡150也可具有用戶引導圖像154，在所示示例中圖像IM是臉的形狀。下面解釋用戶引導圖像154的用途。這些圖中示出的校準卡150僅僅是可使用的校準對象的一個示例。 在進一步的實施例中，校準對象可以是具有用于下面描述的用途的各種其他特征點的卡或其他對象?？ǖ拇笮『吞卣鼽c之間的距離可以是已知的。用戶引導圖像156可以是其他圖像對象，或者可以被省略。盡管存在用于使用捕捉設備20尋找特征點152的已知技術，可以使用樣本特征點算法來標識在不同深度測量處的特征點。參考圖13的流程圖描述了樣本特征點算法的操作的示例。樣本特征點算法的一個好處是使用戶很容易提供樣本，以及它的穩(wěn)健性。在步驟250中，提示用戶在離捕捉設備20給定距離處拿著校準卡150。在一個示例中，計算設備 12可在顯示器14上顯示一副眼鏡156，如圖12中所示。眼鏡156可包括一對間隔開給定距離的圓形目標158。在屏幕上顯示了包括用戶引導圖像巧4的校準卡150的圖像。用戶引導圖像154 的大小將取決于卡150被放置得離捕捉設備20有多遠。在用戶離得遠的情況下，所顯示的卡將相對較小，而用戶引導圖像1 的雙眼將相對更靠近。相反，在用戶離得近的情況下， 所顯示的卡將相對較大，而用戶引導圖像154的雙眼將相對更遠離。用戶被要求將來自用戶引導圖像154的雙眼粗略地適合于兩個目標158中，如圖12中所示?；趯o定樣本該卡離該捕捉設備的所需距離，對于不同樣本，顯示器14上顯示的眼鏡156的大小將變化。因此，目標158之間的間隔將大體指定將卡150拿得離捕捉設備20多近或多遠。通過調整該目標的大小，迫使用戶在不同“距離桶”處拿著該卡。用戶被要求在若干大致距離處拿著該卡，例如，在ljm、1.7m、2. Im和2. 5m處(如果用戶有那么大的房間的話)。具有更多的桶產(chǎn)生更準確的校準，但不是強制性的。用戶引導圖像巧4和目標158僅僅是用于簡單地提示用戶將該校準卡放置在離捕捉設備20大致的距離處的方法的一個示例。應當理解，可以使用各種各樣的提示用戶18將校準卡150放置在離捕捉設備20的不同距離處的其他方法。不嚴格要求距離是精確的。該方法僅提供不同距離測量。對于一采樣，一旦校準卡被放置在給定距離處，在步驟邪4中，由RGB相機觀捕捉的校準卡的圖像被轉換成亮度圖像以進行處理。然后在步驟258中可對該亮度圖像進行取閾處理以在步驟258中將白色與黑色分離。在Nobuyuki Otsu的名稱為“A threshold selection method from gray-level histograms (從灰度級直方圖的閾值選擇方法)”IEEE Trans. Sys. ,Man.，Cyber. (IEEE 系統(tǒng)、人、控制論會刊)9 :62-66. (1979)的出版物中公開了一種對黑色和白色進行閾值處理的方法，該公開物通過被引用而整體上合并于此。本技術允許該算法更獨立于光照，具體而言是邊緣檢測的行為，但是也可以使用其他算法將轉換后的RGB亮度圖像中的白色與黑色分開。在來自用戶引導圖像154的眼睛在目標158內對準的情況下，在步驟沈2中在該眼鏡內部的區(qū)域上運行圓形尋找算法以確定目標158內眼睛的位置?？梢允褂脠A形尋找算法,諸如Hough變換，諸如在Hough 的名稱為“Method And Means For Recognizing Complex Patterns (識別復雜圖案的方法和手段)，，的美國專利3，069，654中所描述的，該專利通過被引用而整體上結合于此?？墒褂闷渌麍A形尋找算法。當在用戶引導圖像154中使用其他圖像時，可以類似地用已知算法標識出這些形狀。眼睛在亮度圖空間中的位置提供了對校準卡150的位置和距離的估算。這允許對特征檢測的引導，使其更穩(wěn)健。具體而言，給定了眼睛方案，在亮度圖像空間中估算該卡的大小和位置。對于每個校準卡邊界邊緣，在步驟沈4中可以檢測線，例如通過在預計這些邊緣所在的窗口中運行線檢測器算法。在本示例的校準卡150中，這一步驟生成8條線。該算法確認所找到的8條線包含4條水平線和4條豎直線。接下來在步驟268中該算法使4條水平線和4條豎直線彼此相交以生成16個點。對這16個點的標識生成該卡所在位置的估算。在步驟270中該算法可使用模板匹配來復核以尋找假肯定。通過卡的位置/大小的估算，執(zhí)行檢查以確認這些像素在它們預計所在的地方是黑色/白色的。如果這超過了閾值，這些特征點被認為有效并被傳遞到單應性算法，從該單應性算法可以計算出該卡的中心的真實深度值，以及誤差值。下面描述單應性算法。使用上述技術以及單應性算法，可以計算出alpha和beta以執(zhí)行深度糾正。圖13 的步驟250到270提供一定數(shù)量的深度桶，每個深度桶包含一小組真實/傳感器深度對。如下面所解釋的，可使這些點集合通過最小平方線擬合(least square line fit)以生成對誤差的線性估算。從此線中提取alpha和beta分量，并使用該alpha和beta分量來將傳感器深度轉換為真實深度，從而校準該相機。一般而言，單應性算法執(zhí)行從校準卡150的點所在的參考平面到深度相機沈和 RGB相機觀的參考系的變換。圖14中示出了這些不同的幾何關系。假定該平面坐標系的 ζ平面與校準卡150的平面重合。用M= [Χ;Υ;0]τ表示該平面上的點，其中ζ分量等于0。 該平面坐標系通過旋轉R和平移t而與RGB相機坐標系相關，而RGB相機坐標系中的點M 由下式給出
權利要求
1.一種重新校準深度圖像傳感器00)的方法，所述深度傳感器從三維空間捕捉圖像數(shù)據(jù)，所述方法包括(a)使用所述深度傳感器00)測量(步驟208)所述三維空間中的至少一個樣本點的深度值；(b)獨立于所述步驟(a)的測量，確定(步驟210)所述至少一個樣本點的真實深度值；(c)對從在所述步驟(b)中確定的真實深度和在所述步驟(a)中測量的深度的偏差導致的深度誤差進行建模(步驟220)；以及(d)使用在所述步驟(c)中建模的所述深度誤差來糾正(步驟224)由所述深度傳感器所做的深度測量。
2.如權利要求1所述的方法，其特征在于，所述步驟(b)包括對呈現(xiàn)給所述深度圖像傳感器的剛性校準對象成像的步驟，所述校準對象的大小對執(zhí)行所述步驟(b)的計算設備是已知的。
3.如權利要求2所述的方法，其特征在于，還包括使用單應性將所述校準對象的位置平移到與所述深度傳感器相關聯(lián)的RGB傳感器的參考坐標系的步驟(e)。
4.如權利要求1所述的方法，其特征在于，所述步驟(b)包括接收對象的χ軸或y軸維度大小的用戶指示的步驟，以及基于對象的大小與描繪在所述對象和所述深度傳感器之間的給定距離處的所述對象的像素數(shù)之間的已知相關來將所輸入的大小與離所述深度傳感器的距離相關的步驟。
5.如權利要求4所述的方法，其特征在于，所述對象的大小是用戶的高度。
6.如權利要求1所述的方法，其特征在于，所述步驟(a)和(b)包括在所述三維空間中的至少兩個不同位置處測量校準對象上的至少兩個樣本點的步驟。
7.一種計算機可讀存儲介質(312，346，438，453)，所述計算機可讀存儲介質包括用于將處理器(301，459)編程為執(zhí)行重新校準自然用戶接口的深度傳感器00)的方法的指令， 所述深度傳感器從三維空間捕捉圖像數(shù)據(jù)，所述方法包括(a)使用所述深度傳感器測量(步驟276)所述三維空間內的校準對象(150)上的兩個或更多個點(24,26)的深度；(b)獨立于所述深度傳感器，確定(步驟觀0，觀2，觀6)所述校準對象(150)上的所述兩個或更多個點04，沈)的真實深度；(c)對從在所述步驟(b)中確定的所述真實深度和在所述步驟(a)中測量的所述深度的偏差導致的深度誤差進行建模(步驟觀8)；以及(d)使用在所述步驟(c)中建模的所述深度誤差來補償(步驟224)由所述深度傳感器所做的深度測量。
8.如權利要求7所述的計算機可讀介質，其特征在于，對于線性深度誤差，所述步驟 (c)包括對所述誤差以所述步驟(a)的所測量的深度=α (所述步驟(b)的真實深度)的形式進行建模，其中β分量表示所述傳感器深度和所述真實深度彼此相等處的深度，而 α表示定義在所述真實深度和由所述深度圖像傳感器測量的深度之間的線的斜率。
9.一種用于重新校準自然用戶接口的深度傳感器OO)的系統(tǒng)，所述深度傳感器OO) 從三維空間捕捉圖像數(shù)據(jù)，所述系統(tǒng)包括位于所述三維空間內的校準對象(150)；以及與所述深度傳感器00)相關聯(lián)的計算設備(12)，所述計算設備(1 包括用于將所述三維空間中的所述校準對象上的點的真實深度值與由所述深度傳感器測量的深度值進行比較，并推導出描述所述真實深度值和由所述深度傳感器測量的所述深度值之間的偏差的誤差模型的重新校準引擎(194)。
10.如權利要求9所述的系統(tǒng)，其特征在于，所述校準對象是具有不同區(qū)域的校準卡， 所述區(qū)域具有水平分量和豎直分量，所述區(qū)域在所述水平分量和豎直分量的交叉點處定義了多個點。
全文摘要
本發(fā)明涉及家中深度相機校準。公開了用于在自然用戶接口中校準深度相機的系統(tǒng)和方法。該系統(tǒng)大體而言獲取捕捉設備和場景中的一個或多個對象之間的真實距離的客觀測量。然后該系統(tǒng)在一個或多個點處將該真實深度測量與由深度相機提供的深度測量進行比較，并確定描述深度相機測量中的誤差的誤差函數(shù)。然后該深度相機可被重新校準以糾正該誤差。場景中的一個或多個對象的距離的客觀測量可以通過各種系統(tǒng)和方法實現(xiàn)。
文檔編號H04N17/00GK102572505SQ20111036440
公開日2012年7月11日 申請日期2011年11月2日 優(yōu)先權日2010年11月3日
發(fā)明者L·D·卡斯蒂略, P·J·瑪薩爾卡, S·P·斯塔赫尼亞克, T·拉萬德, Z·張, Z·馬特 申請人:微軟公司