背景技術(shù)：

人-機交互使用許多形式，包含語言(打字、語音辨識、屏幕上文字顯示、語音合成及其類似者)及視覺(靜態(tài)及視頻相機、圖形顯示器及其類似者)。臉部檢測、辨識、表情等等形成人與人通信的重要部分且因此對人機交互也較重要。存在適于在靜態(tài)圖像及視頻中檢測、跟蹤、辨識臉部的許多方法及應(yīng)用，包含情緒檢測、性別分類、唇讀、眼睛/注視跟蹤等。

用于臉部或一般對象檢測及跟蹤的傳統(tǒng)系統(tǒng)使用計算密集算法，所述計算密集算法需要高速、高功耗微處理器，用于移動大量操作數(shù)的高消耗的數(shù)據(jù)路徑帶寬，及大使用量的存儲器。這些系統(tǒng)通常使用靜態(tài)/視頻相機捕獲基于強度的圖像并將其遞送到通用微處理器，所述通用微處理器分析所述圖像，在屏幕上顯示所收集的圖像，或基于因此所檢索的場景信息而以其它方式動作。鑒于現(xiàn)有系統(tǒng)的高功率消耗，用于臉部或一般對象檢測的使用案例及應(yīng)用已變得相當有限。舉例，對便攜式、電池供電裝置來說，相機及處理器子系統(tǒng)無法大部分時間保持接通。

技術(shù)實現(xiàn)要素：

本文中所揭示的技術(shù)利用出于檢測、跟蹤、辨識及/或分析專用相機的視野中的主體、對象及場景的目的而將所述相機與專用計算機視覺(cv)計算硬件及專用低功率微處理器整合在一起的視覺傳感器。所述視覺傳感器使用所述所包含低功率微處理器來處理從所述相機檢索的信息且僅在需要時或如由應(yīng)用程序所定義及配置發(fā)送用于主處理器的“事件”(或已發(fā)生一或多個參考情況的指示)。此允許通用微處理器(其通常為相對高速且高功率以支持各種應(yīng)用程序)以如常規(guī)大部分時間保持處于低功率(例如，睡眠模式)，而僅在從所述視覺傳感器檢索到事件時才變成作用中的。

根據(jù)描述，用于感測動態(tài)的基于場景的發(fā)生的智能傳感器可包括專用計算機視覺(cv)計算硬件，其經(jīng)配置以從包括多于一個傳感器像素的傳感器陣列接收傳感器數(shù)據(jù)且能夠使用來自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來計算一或多個cv特征；及第一處理單元，與所述專用cv計算硬件以通信方式耦合且經(jīng)配置以處理由基于所述一或多個所計算cv特征的操作所產(chǎn)生的信號。智能傳感器可經(jīng)配置以響應(yīng)于所述第一處理單元對由基于所述一或多個所計算cv特征的所述操作所產(chǎn)生的所述信號的所述處理而產(chǎn)生事件以由第二處理單元接收，所述事件指示用于所述第二處理單元的參考情況。

智能傳感器可包含以下特征中的一或多者。所述參考情況可為以下各項中的一或多者：人臉進入視野、人體進入視野、人臉上表達的情緒、非人類動物臉部進入視野、非人類動物身體進入視野、人手進入視野、手勢、參考對象進入視野、從室內(nèi)環(huán)境到室外環(huán)境的改變、參考移動、指示下降的場景中的快速移動、指示碰撞風(fēng)險的朝向?qū)ο蟮倪\動、指示危險的場景中的移動或?qū)ο?，或其任何組合。事件可包括臉部檢測。專用cv計算硬件可經(jīng)配置以提供局部二進制模式(lbp)。智能傳感器可包括級聯(lián)分類器硬件，所述級聯(lián)分類器硬件經(jīng)配置以檢測參考對象在耦合到所述專用cv計算硬件的所述傳感器數(shù)據(jù)的子集中的存在?；谒鲆换蚨鄠€所計算cv特征的操作可包括由所述級聯(lián)分類器硬件執(zhí)行的操作，所述參考情況與所述參考對象相關(guān)聯(lián)。所述第一處理單元可經(jīng)配置以在所述級聯(lián)分類器硬件檢測到所述參考對象的所述存在時從所述級聯(lián)分類器硬件接收所述參考對象的所述存在的指示。所述專用cv計算硬件可經(jīng)配置以從所述傳感器陣列接收原始傳感器數(shù)據(jù)，且傳感器陣列與專用cv計算硬件之間未安置有任何圖像信號處理電路。所述專用cv計算硬件可包括集成電路。所述智能傳感器可經(jīng)配置以禁用所述專用cv計算硬件的至少部分以產(chǎn)生指示環(huán)境光感測、接近度檢測、參考對象的接近度、運動檢測，或其任何組合的至少一個較低功率光學(xué)傳感器讀數(shù)。所述智能傳感器可基于所述至少一個較低功率光學(xué)傳感器讀數(shù)而產(chǎn)生所述參考情況。所述智能傳感器可經(jīng)配置以在以較低功率模式操作時禁用所述專用cv計算硬件的至少部分，檢測所述較低功率模式中的場景改變，及基于所述場景改變的檢測而激活所述專用cv計算硬件。所述事件可指示所述第二處理單元的所述參考情況且進一步包含與所述參考情況相關(guān)聯(lián)的數(shù)據(jù)。所述智能傳感器可經(jīng)配置以執(zhí)行較高功率操作作為基于所述一或多個所計算cv特征的所述操作的至少部分，所述較高功率操作消耗比較低功率操作多的功率，且基于所述事件提供關(guān)于所述較低功率操作的參數(shù)。所述智能傳感器可經(jīng)配置以執(zhí)行較低功率操作作為基于所述一或多個所計算cv特征的所述操作的至少部分，所述較低功率操作消耗比較高功率操作少的功率，且提供關(guān)于所述較高功率操作的傳感器讀數(shù)。

根據(jù)描述，一種用于確定臉部檢測事件的實例設(shè)備可包括：傳感器陣列，其包括多于一個傳感器像素；專用計算機視覺(cv)計算硬件，其能夠接收來自所述傳感器陣列的傳感器數(shù)據(jù)且使用來自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來計算cv特征；及第一處理單元，其與所述專用cv計算硬件以通信方式耦合且經(jīng)配置以依據(jù)由基于所述一或多個所計算cv特征的操作所產(chǎn)生的一或多個信號而確定已檢測到臉部，且響應(yīng)于所述確定，產(chǎn)生待由第二處理單元接收的臉部檢測事件。

所述設(shè)備可包含以下特征中的一或多者。所述設(shè)備可包括所述第二處理單元，其中所述第一處理單元經(jīng)配置以在所述第二處理單元以低功率模式操作時將所述臉部檢測事件傳達到所述第二處理單元。所述專用cv計算硬件可經(jīng)配置以從所述傳感器陣列接收原始傳感器數(shù)據(jù)，且傳感器陣列與專用cv計算硬件之間未安置任何圖像信號處理電路。所述設(shè)備可包括外圍電路，其經(jīng)配置以提供以下各項中的至少一者：定時操作、聚焦操作、自動曝光校正操作、對象檢測、對象辨識、存儲掃描窗口、事件排隊及/或處理操作、模擬處理、模/數(shù)轉(zhuǎn)換、積分操作、cv特征計算、基于級聯(lián)分類器的分類、基于直方圖的分類，或存儲器緩沖器，或其任何組合。所述設(shè)備可包括所述第二處理單元，且所述第一處理單元可經(jīng)進一步配置以在所述第二處理單元以低功率模式操作時將所述臉部檢測事件傳達到所述第二處理單元。

根據(jù)描述，用于用設(shè)備感測動態(tài)的基于場景的發(fā)生的方法，可包括：用專用計算機視覺(cv)計算硬件，接收來自包括多于一個傳感器像素的傳感器陣列的傳感器數(shù)據(jù)；用所述專用cv計算硬件，使用來自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來計算一或多個cv特征；用第一處理單元，處理由基于所述一或多個所計算cv特征的操作所產(chǎn)生的信號；及響應(yīng)于所述第一處理單元對由基于所述一或多個所計算cv特征的所述操作所產(chǎn)生的所述信號的所述處理，產(chǎn)生事件以由第二處理單元接收，所述事件指示用于所述第二處理單元的參考情況。

所述方法可進一步包含以下特征中的一或多者。所述參考情況可為以下各項中的一或多者：人臉進入視野、人體進入視野、人臉上表達的情緒、非人類動物臉部進入視野、非人類動物身體進入視野、人手進入視野、手勢、參考對象進入視野、從室內(nèi)環(huán)境到室外環(huán)境的改變、參考移動、指示下降的場景中的快速移動、指示碰撞風(fēng)險的朝向?qū)ο蟮倪\動、指示危險的場景中的移動或?qū)ο?，或其任何組合。所述方法可包括：運用所述專用cv計算硬件提供局部二進制模式(lbp)。所述方法可包括：運用級聯(lián)分類器硬件檢測所述傳感器數(shù)據(jù)的子集中存在參考對象，其中基于所述一或多個所計算cv特征的所述操作包括由所述級聯(lián)分類器硬件執(zhí)行的操作，所述參考情況與所述參考對象相關(guān)聯(lián)。所述方法可包括：在所述級聯(lián)分類器硬件檢測到所述參考對象的所述存在時，通過所述第一處理單元，從所述級聯(lián)分類器硬件接收所述參考對象的所述存在的指示。所述方法可包括：禁用所述專用cv計算硬件的至少部分以產(chǎn)生指示環(huán)境光感測、接近度檢測、參考對象的接近度、運動檢測，或其任何組合的至少一個較低功率光學(xué)傳感器讀數(shù)。所述方法可進一步包括：基于所述至少一個較低功率光學(xué)傳感器讀數(shù)而檢測所述參考情況。所述方法可進一步包括：在以較低功率模式操作時禁用所述專用cv計算硬件的至少部分，檢測在以所述較低功率模式操作時的場景改變；及基于所述場景改變的檢測而激活所述專用cv計算硬件的所述經(jīng)禁用的至少部分。運用所述專用cv計算硬件接收來自所述傳感器陣列的所述傳感器數(shù)據(jù)包括：接收來自所述傳感器陣列的原始傳感器數(shù)據(jù)且其中在所述接收之前不對所述傳感器數(shù)據(jù)執(zhí)行任何圖像信號處理。

根據(jù)描述，一種用于確定臉部檢測事件的方法可包含：運用專用計算機視覺(cv)計算硬件接收來自傳感器陣列的傳感器數(shù)據(jù)；使用來自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來計算一或多個cv特征；及使用第一處理單元：依據(jù)由基于所述一或多個所計算cv特征的操作所產(chǎn)生的一或多個信號而確定已檢測到臉部；及響應(yīng)于所述確定，產(chǎn)生臉部檢測事件以由第二處理單元接收。運用所述專用cv計算硬件接收來自所述傳感器陣列的所述傳感器數(shù)據(jù)可包括：接收來自所述傳感器陣列的原始傳感器數(shù)據(jù)且其中在所述接收之前不對所述傳感器數(shù)據(jù)執(zhí)行任何圖像信號處理。

附圖說明

可通過參考以下圖來實現(xiàn)對各種實施例的性質(zhì)及優(yōu)點的進一步理解。

圖1說明其中用戶可與并有本文中所描述的特征及技術(shù)的移動裝置交互的實例設(shè)置。

圖2a為根據(jù)一個實施例的包含傳感器系統(tǒng)及主處理器的配置的框圖。

圖2b為根據(jù)一個實施例的具有傳感器陣列單元、微處理器及實例外圍電路214的傳感器系統(tǒng)的框圖。

圖3a到3c為根據(jù)一些實施例說明可如何利用傳感器系統(tǒng)的組件來提供低功率傳感器處理的框圖。

圖4為根據(jù)實施例的感測動態(tài)的基于場景的情況的方法的流程圖。

圖5為實例傳感器陣列的簡化說明。

圖6為圖5的傳感器陣列的實例配置的簡化說明。

圖7到9為說明用于使用傳感器系統(tǒng)進行計算機視覺計算及較低功率光學(xué)傳感器讀數(shù)的實例方法的流程圖。

圖10a到10b為說明用于計算機視覺計算及較低功率光學(xué)傳感器讀數(shù)的傳感器系統(tǒng)的實例狀態(tài)的狀態(tài)圖。

圖11a到11c說明根據(jù)一些實施例的將傳感器讀數(shù)從多個傳感器元件轉(zhuǎn)換到cv特征的過程。

圖12為可利用本文中所描述的技術(shù)及特征的移動裝置的實例的框圖。

具體實施方式

后續(xù)描述僅提供實施例，且并不意欲限制本發(fā)明的范圍、適用性或配置。確切地說，實施例的后續(xù)描述將為所屬領(lǐng)域的技術(shù)人員提供用于實施實施例的啟用性描述。應(yīng)理解，可在不脫離本發(fā)明的范圍的情況下對元件的功能及配置作出各種改變。

圖1說明其中用戶130可與并有本文中所描述的特征及技術(shù)的移動裝置105交互的實例設(shè)置100。此處，用戶130可至少部分地經(jīng)由傳感器系統(tǒng)與移動裝置105互動，所述傳感器系統(tǒng)具有專用相機、專用計算機視覺(cv)計算硬件及專用低功率微處理器，如下文中所描述。這些特征使得移動裝置105能夠檢測、跟蹤、辨識及/或分析主體(例如，用戶130)及相機的視野105內(nèi)的其它對象及場景。所述傳感器系統(tǒng)使用所述所包含嵌入式處理器來處理從所述相機檢索的信息且僅在需要時或如由應(yīng)用程序定義及配置時發(fā)送用于主處理器的“事件”(或已發(fā)生一或多個參考情況的指示)。此允許通用微處理器(其通常為相對高速且高功率以支持各種應(yīng)用程序)以如常規(guī)大部分時間保持處于低功率(例如，睡眠模式)，而僅在從所述傳感器系統(tǒng)接收事件時才變成作用中的。雖然參考移動裝置105說明及描述，但應(yīng)理解，能夠執(zhí)行對象檢測、辨識等的智能傳感器可用于各種應(yīng)用(包含物聯(lián)網(wǎng)(iot)應(yīng)用)中。

如本文中所描述，專用cv計算硬件至少部分地基于與相鄰傳感器元件相關(guān)聯(lián)的信號而計算或能夠計算傳感器陣列單元中的每一傳感器元件或像素的cv特征或局部cv特征。(本文中，術(shù)語“局部”指基于一或多個相鄰傳感器元件而非整個圖像的統(tǒng)計或其它數(shù)學(xué)評估所計算的特征。)如本文中所描述，包含主體傳感器元件的傳感器元件及相對靠近于主體傳感器元件的其它傳感器元件可被稱作相鄰傳感器元件。在本發(fā)明的某些方面中，相鄰傳感器元件可包含主體傳感器元件及緊鄰近主體傳感器元件的傳感器元件。在本發(fā)明的某些其它方面中，相鄰傳感器元件還可包含相對靠近于主體傳感器元件且并非緊相鄰的傳感器元件。例如，在某些情況中，從主體傳感器元件起三個傳感器元件內(nèi)的傳感器元件在多個傳感器的寬度或高度為六十四個傳感器元件時仍可被視為相鄰傳感器元件。

如本文中所描述，cv特征或局部cv特征可指檢測低級計算機視覺標記或指示符，例如與每一傳感器元件或傳感器的像素相關(guān)聯(lián)的標簽。如下文進一步詳細指示，此些cv特征可包含例如符號梯度直方圖(hsg)及/或局部二進制模式(lbp)的輸出。lbp計算可基于相鄰傳感器元件，例如，參考或主體傳感器像素及其八個緊鄰近的相鄰傳感器像素。lbp計算可基于參考像素的緊鄰近的相鄰像素的相應(yīng)強度差而對其每一者進行評分。(將針對不同顏色通道(例如，紅色、藍色及綠色)使用不同lbp處理顏色。)hsg計算還使用相鄰傳感器元件，例如，參考像素及一或多個緊鄰近的相鄰像素以檢測場景內(nèi)的各種特征。

例如，在圖1的設(shè)置100中，用戶130可已在移動裝置105的通用微處理器處于睡眠模式時拿起所述移動裝置。然而，移動裝置105的傳感器系統(tǒng)可保持作用中且可能夠(例如)辨識用于130的臉部、手勢、場景中的其它對象，及/或其類似者。在辨識已發(fā)生某些參考情況時—在此狀況下，用戶130的特殊臉部特征在傳感器系統(tǒng)的視野110內(nèi)—傳感器系統(tǒng)可將指示已辨識用戶130的臉部特征及/或致使移動裝置的通用微處理器退出低功率模式且變得完全作用中的事件發(fā)送到移動裝置的通用微處理器。

致使傳感器系統(tǒng)將事件發(fā)送到移動裝置的通用微處理器的參考情況可取決于所要功能性而包含各種可cv檢測情況中的任一者。這些情況可包含(例如)臉部及/或?qū)ο髾z測、臉部及/或?qū)ο蟊孀R、手勢辨識，及/或其類似者。在一些實施例中，一或多個參考情況可由用戶130配置。下文中提供參考情況的額外實例。

因為專用相機專用于傳感器系統(tǒng)，所以其可能并非主要用于拍攝照片或錄制視頻。因此，專用相機可不能產(chǎn)生基于強度的圖像。替代地，專用相機可包含像素級計算機視覺特征計算，如同lbp、梯度、邊緣、hsg及/或其它運算，其中來自專用相機的相鄰傳感器像素用于計算cv特征以用于所述特征的低功率的基于硬件的計算。

也就是說，盡管可使用包括專用相機的傳感器系統(tǒng)，但實施例并不限于此。更廣泛來說，傳感器系統(tǒng)可包含傳感器陣列單元，所述傳感器陣列單元包含用于感測化學(xué)、視覺、聽覺、生物、機械及/或其它類型的輸入的傳感器單元。

另外，盡管圖1及其它實施例描述經(jīng)并入到移動裝置中的傳感器系統(tǒng)，但實施例并不限于此。由本文中所描述的技術(shù)及特征帶來的功率節(jié)省可對移動裝置(例如，移動電話、平板計算機、膝上型計算機、便攜式媒體播放器及/或其類似者)具有特別益處，但其它裝置(例如，電視、桌上型計算機及/或可通常并不視為移動的其它裝置)可利用本文中所描述的特征及技術(shù)。

圖2a為根據(jù)一個實施例說明傳感器系統(tǒng)210(其在本文中還被稱作“智能傳感器”)可如何經(jīng)配置以在主處理器220可以低功率(例如，“睡眠”或“備用”)模式操作的同時實現(xiàn)高級感測操作的框圖。圖2a的組件可并入到較大電子裝置。下文關(guān)于圖5描述可傳感器系統(tǒng)210可并入其中的移動裝置的實例。

此外，應(yīng)理解，替代實施例可不同于圖2a中所展示的組件。例如，如下文所描述，傳感器系統(tǒng)210的實施例可或可不包含外圍電路214、微處理器216及/或存儲器218。另外或替代地，實施例可取決于所要功能性而組合、分離、添加、省略及/或重新布置圖2a的組件。例如，在傳感器系統(tǒng)210包括傳感器陣列(例如，像素陣列或相機)，可利用一些光學(xué)器件來在輸入(例如，光)到達傳感器陣列之前操縱所述輸入(例如，光)。應(yīng)注意，盡管實施例在本文中描述“圖像陣列”的使用，但實施例并不限于此，可更廣泛地使用未必產(chǎn)生或捕獲圖像的傳感器陣列。(圖2b(在下文更詳細描述)根據(jù)一個實施例說明具有傳感器陣列單元212、微處理器216及實例外圍電路214的傳感器系統(tǒng)210。)

如圖2a中所說明，接收輸入的傳感器系統(tǒng)210可包括傳感器陣列單元212、外圍電路214、微處理器216及/或存儲器218。電子傳感器可通過有線或無線連接與電子裝置的主處理器220(例如，移動電話的應(yīng)用程序處理器)以通信方式耦合，此可提供查詢到傳感器系統(tǒng)210且從傳感器系統(tǒng)210接收事件及/或其它觸發(fā)。在一些實施例中，“主處理器”220可簡單地對應(yīng)于比微處理器216大(例如，在處理能力方面較大及/或在電力使用方面較大)的處理單元。在一些實施方案中，微處理器216可對應(yīng)于專用微處理器或第一處理單元且可經(jīng)配置以消耗比主處理器220(其可對應(yīng)于第二處理單元)少的功率。

取決于電子傳感器的所要功能性，所使用傳感器陣列單元212的類型可變化。如先前所指示，傳感器陣列單元212可包含用于感測化學(xué)、視覺、聽覺、生物、機械及/或其它類型的輸入的傳感器單元的陣列(例如，一維或二維陣列)。例如，傳感器陣列單元212可包括相機傳感器或其它視覺及/或傳感器陣列，其中多個傳感器單元形成像素網(wǎng)格。

在一些實施例中，傳感器陣列單元212可包含“智能”陣列，所述“智能”陣列包含借以可對傳感器單元的一或多個輸出執(zhí)行操作的一些額外存儲器及/或邏輯電路。在一些實施例中，傳感器陣列中的每一傳感器像素可與存儲器及/或邏輯電路耦合，所述存儲器及/或邏輯電路可為或可并非外圍電路214的部分(下文更詳細地論述)。除傳感器單元的原始傳感器讀數(shù)外或作為其替代方案，傳感器陣列單元212及/或外圍電路的輸出可包含輸出。例如，在一些實施例中，傳感器陣列單元212及/或外圍電路可包含專用cv計算硬件，所述專用cv計算硬件經(jīng)配置以從包括多于一個傳感器像素的傳感器陣列單元212的傳感器陣列接收圖像數(shù)據(jù)?？山又褂脕碜詡鞲衅麝嚵械南噜弬鞲衅飨袼氐淖x數(shù)通過專用cv計算硬件來計算或提取cv特征，從而提供例如所計算hsg及/或lbp特征、標簽或描述符的輸出。在一些實施例中，傳感器陣列單元212與專用cv計算硬件之間可未安置任何圖像信號處理電路。換句話說，專用cv計算硬件可在對原始傳感器數(shù)據(jù)執(zhí)行任何圖像信號處理之前從傳感器陣列單元212接收原始傳感器數(shù)據(jù)。其它cv計算基于其它cv計算算法(包含邊緣檢測、拐角檢測、標度不變特征變換(或sift)、快速魯棒特征(surf)、定向梯度直方圖(hog)、局部三進制模式(ltp)等，以及上述中的任何者的擴展)也是可能的。

傳感器陣列單元212的同步性(或異步性)也可取決于所要功能性。在一些實施例中，例如，傳感器陣列單元212可包括傳統(tǒng)(即，“基于幀”)相機，其中讀出電路經(jīng)定時以基于某些時序要求而提供對每一像素的周期性采樣。在一些實施例中，傳感器陣列單元212可包括事件驅(qū)動陣列，通過所述事件驅(qū)動陣列可在傳感器讀數(shù)或其它輸出到達某一閾值及/或改變某一閾值時確定傳感器輸出，而非按照特定采樣率(或除特定采樣率外)針對“智能”陣列，如上文所論述，傳感器讀數(shù)或其它輸出可包含額外存儲器及/或邏輯的輸出(例如，來自智能傳感器陣列的hsg或lbp輸出)。在一個實施例中，智能傳感器陣列可包括動態(tài)視覺傳感器(dvs)，其中針對智能傳感器陣列中的每一像素，在像素值從先前值改變閾值量時異步地輸出所述值。在一些實施方案中，傳感器陣列單元212可為混合幀事件驅(qū)動陣列，其以給定幀速率讀取值，但因僅讀取從上一讀取起已改變的陣列中的元件的值而節(jié)省功率。

外圍電路214還可取決于電子傳感器的所要功能性而變化。外圍電路214可經(jīng)配置以接收來自傳感器陣列單元212的信息。在一些實施例中，外圍電路214可接收來自傳感器陣列單元212內(nèi)的一些或所有像素、傳感器陣列電壓212的像素中電路的一些或全部(在具有顯著像素中電路的實施方案)或兩者的信息。針對其中傳感器陣列單元212提供同步輸出的實施例，例如，外圍電路可對傳感器陣列單元輸出提供定時及/或控制操作(例如，執(zhí)行基于幀及/或類似定時)。由外圍電路214提供的其它功能性可包含事件排隊及/或處理操作、模擬處理、模/數(shù)轉(zhuǎn)換、積分操作(例如，像素值的一維或二維積分)、cv特征計算、對象分類(例如，基于級聯(lián)分類器的分類或基于直方圖的分類)，或直方圖操作、存儲器緩沖或其任何組合，“像素框值總和”、“相鄰像素值比較及取閾值”、“矢量點積計算”，及其類似者。在各種實施方案中，用于執(zhí)行此功能性的裝置可包含(例如)外圍電路214。在一些實施例中，外圍電路214耦合到傳感器陣列單元212的傳感器單元輸出且并不包含微處理器或其它處理單元。關(guān)于圖2b，下文中包含外圍電路214的一些實例。

這就是說，一些實施例可進一步包含耦合到外圍電路214的輸出的微處理器216。微處理器216通?？砂ㄌ幚韱卧?，所述處理單元相對于主處理器220以相對低功率操作。在一些實施方案中，微處理器216可使用其特有程序(例如，基于軟件)及數(shù)據(jù)存儲器來進一步執(zhí)行計算機視覺及/或機器學(xué)習(xí)算法(其可基于幀及/或基于事件)。因此，微處理器216能夠在主處理器220以低功率模式操作的同時基于由傳感器陣列單元212接收的輸入執(zhí)行計算機視覺及/或機器學(xué)習(xí)功能。在微處理器216確定已發(fā)生需要到主處理器220的輸出的事件時，微處理器216可將事件傳達到主處理器220，此可使主處理器220離開其低功率模式且進入正常操作模式。

任選地，在一些實施例中，可在將微處理器216的輸出中繼到主處理器220之前進一步將其提供到存儲器218。存儲器218可包含由微處理器216基于將哪些事件或觸發(fā)發(fā)送到主處理器220所維持的工作存儲器及/或數(shù)據(jù)結(jié)構(gòu)。存儲器可用于(例如)存儲圖像、跟蹤所檢測對象，及/或執(zhí)行如下文關(guān)于圖2b更詳細論述的其它操作。另外或替代地，存儲器218可包含主處理器220可從傳感器系統(tǒng)210查詢的信息。主處理器220可執(zhí)行應(yīng)用程序軟件、算法等222，其中的一些可進一步利用從傳感器系統(tǒng)210接收的信息。

如先前所述，傳感器系統(tǒng)210獨立于主處理器220執(zhí)行某些功能的能力(例如，圖像處理及/或計算機視覺功能)可在電子裝置中提供大量功率、速度及存儲器節(jié)省，所述電子裝置原本必須利用主處理器220來執(zhí)行傳感器系統(tǒng)210的功能中的一些或全部。特定來說，傳感器陣列單元212、外圍電路214及微處理器216的組合允許能夠在由圖像陣列捕獲的動態(tài)改變場景中檢測情況的場景理解。

在一個實例中，具有圖2a中所展示的配置的移動電話可使用臉部檢測來退出備用模式。在此實例中，移動電話進入備用模式中，在所述備用模式中，移動電話的顯示器被斷電，且主處理器220以低功率睡眠模式操作。然而，傳感器系統(tǒng)210及作為傳感器陣列單元212的圖像陣列繼續(xù)操作，從而在對象進入及退出圖像陣列的視野時處理來自傳感器陣列212的數(shù)據(jù)。當臉部進入圖像陣列的視野時(例如在圖1中，當用戶130的臉部進入移動裝置105的視野110中時)，其可能被傳感器陣列單元212、外圍電路214、微處理器216或其任何組合檢測到。如果所檢測到的臉部保持在圖像陣列的視野中達閾限時間周期(例如，0.5秒、1秒、2秒等)，那么微處理器216可將臉部檢測事件發(fā)送到主處理器220，指示已發(fā)生臉部檢測。主處理器220及移動電話的顯示器可接著切換回到正常操作模式。

如本文中別處所述，事件可為已發(fā)生一或多個參考情況的指示。更廣泛來說，事件可包含與參考情況相關(guān)的數(shù)據(jù)。取決于所要功能性，包含在事件中的數(shù)據(jù)可指示所檢測的參考對象、與參考對象有關(guān)的位置信息、參考對象的數(shù)據(jù)、與所檢測的參考對象相關(guān)聯(lián)的移動，及其類似者。此數(shù)據(jù)可以各種方式中的任一者傳達。例如，在對象檢測的狀況中，事件可為簡單的二進制輸出，其中“0”意味著尚未檢測到參考對象，且“1”意味著已檢測到參考對象。

事件可包含除已發(fā)生參考情況的指示外的信息。例如，事件還可包含與參考情況相關(guān)聯(lián)的一些數(shù)據(jù)。在一些實施例中，事件可包含n位/字節(jié)消息或多域消息，其中每一位或域經(jīng)映射到特定數(shù)據(jù)段。例如，事件可包含輸出，其中第一位/域指示是否已檢測到對象，第二位/域指示對象是在移動還是靜止，第三位/域涉及對象的位置(或與位置相關(guān)的信息，例如，限界對象的最小框的四個拐角，或?qū)ο蟮墓战堑奈恢?，?，第四位/域涉及檢測到的對象的數(shù)目等。一般來說，事件可包含任何數(shù)據(jù)(包含硬件計算cv特征)，或以任何方式與參考情況相關(guān)聯(lián)的圖像(除僅參考情況外還包含與參考情況有關(guān)的測量或計算)。

取決于所要功能性，參考情況可包含各種觸發(fā)(例如臉部或其它對象檢測事件，手勢事件，臉部及/或參考對象檢測及/或辨識，及其類似者)中的任一者?？墒褂酶鞣N臉部檢測算的中的任一者實施的臉部檢測可包含人臉或非人類動物臉部(例如，狗、貓或其它寵物)進入視野，或人體或非人類動物身體進入視野。此對象“進入視野”可為對象的移動及/或相機的移動的結(jié)果。參考情況可能超過臉部檢測以從各種臉部特征及/或指示表情的那些特征的位置的分析來確定人臉的情緒或其它表情。另外或替代地，參考情況可包含對額外對象及/或?qū)ο笠苿拥臋z測及/或辨識，例如，人手進入視野、手勢、參考對象(例如，某些對象、標識或其它參考對象)進入視野，及其類似者。在一些實施例中，傳感器系統(tǒng)210可經(jīng)預(yù)經(jīng)配置以檢測某些參考對象。另外或替代地，由傳感器系統(tǒng)210進行檢測及/或辨識的對象可通過用戶及/或由主處理器220執(zhí)行的應(yīng)用程序選擇。參考情況可包含所檢測到的環(huán)境改變(例如從室內(nèi)環(huán)境到室外環(huán)境的改變)、參考移動、場景中的快速移動(例如，指示降落)、朝向?qū)ο蟮倪\動(例如，指示碰撞的風(fēng)險)、指示危險的場景中的移動或?qū)ο?例如，火災(zāi)或火災(zāi)檢測)，或其任何組合。在一些實施方案中，參考情況可與參考對象的檢測有關(guān)，或基于參考對象的檢測，如下文在圖2b及本文中的別處進一步詳細描述。在一些實施方案中，一旦在圖像幀中檢測到參考對象，那么微處理器216可檢查以查看是否在隨后圖像幀中隨后檢測到相同對象。微處理器216可使用從外圍電路214接收到或由微處理器216自身產(chǎn)生的位置信息及與所檢測到對象相關(guān)聯(lián)的其它數(shù)據(jù)來確定參考情況的情況，此可基于參考對象的檢測。再次參考上一段中的臉部檢測的實例，如果對臉部(參考對象)的檢測保持在圖像陣列的視野達閾限時間周期，那么可發(fā)生臉部檢測(參考情況)，導(dǎo)致將對應(yīng)的臉部檢測事件發(fā)送到主處理器220。

圖2b說明例如圖2a的傳感器系統(tǒng)210的傳感器系統(tǒng)的實例實施方案，包含傳感器陣列單元、cv計算硬件及微處理器，所述微處理器包含用于與第二微處理器進行通信的接口。傳感器陣列單元212可包含相關(guān)雙采樣電路。例如，在其中使用組合式像素值或較低分辨率改進cv計算的實施方案中，傳感器陣列單元212還可包含用以在將傳感器元件或像素信號或值輸出到線緩沖器230之前對所述信號進行組合、求和或求平均的電路。線緩沖器230可包含一或多個線緩沖器以將表示圖像或圖像的部分的信號從傳感器陣列單元212傳送到視覺傳感器的其它部分。在一些實施方案中，傳感器元件陣列212(與更多常規(guī)傳感器陣列單元不同)可不包含用于圖像信號處理(isp)電路，且因此圖2b說明其中未使用中間isp電路來連接傳感器陣列單元212及cv計算硬件242的實施方案，因此，在一些實施方案中，傳感器陣列單元212與硬件掃描窗口陣列238或?qū)Ｓ胏v計算硬件242之間未安置任何isp電路。例如，在一些實施方案中，由cv計算硬件242從傳感器陣列單元212接收的信號尚未經(jīng)受isp，例如，信號尚未經(jīng)受缺陷校正、白色平衡、顏色平衡、自動聚焦、透鏡衰減、去馬賽克、去拜耳化或圖像清晰化或其任何組合中的一或多者。然而，在一些此類無isp實時方案中，一些處理可發(fā)生，例如聚焦或自動曝光校正。尚未經(jīng)歷isp的此些信號可被稱作原始信號或原始傳感器讀數(shù)或原始傳感器數(shù)據(jù)。原始信號、原始傳感器讀數(shù)或原始傳感器數(shù)據(jù)可經(jīng)轉(zhuǎn)換成數(shù)字，經(jīng)積分以形成積分圖像，經(jīng)存儲在掃描窗口中，且專用cv計算硬件可經(jīng)配置以接收原始信號、原始傳感器讀數(shù)，或原始傳感器數(shù)據(jù)，但應(yīng)理解原始信號、原始傳感器讀數(shù)或原始傳感器數(shù)據(jù)已經(jīng)歷某一數(shù)據(jù)操縱(包含求和或積分)，但尚未經(jīng)歷isp。在一個實施方案中，傳感器陣列單元212為無isp電路的四分之一視頻圖形陣列(qvga)相機傳感器，其中陣列包括216×240個傳感器元件。

在各種實施方案中，cv計算硬件242可在數(shù)字或模擬域中執(zhí)行cv計算。因此，任選地，在數(shù)字實施方案中，模/數(shù)轉(zhuǎn)換器(adc)234可安置在線緩沖器230與cv計算硬件242之間。在一些實施方案中，cv計算硬件242在其為經(jīng)設(shè)計以幾乎不具有除計算cv特征、標簽或描述符外的功能性的硬件的意義上為專用cv計算硬件。

在一些實施方案中，cv計算硬件242可使用與傳感器元件或像素的塊相關(guān)聯(lián)的信號的組合、和或平均數(shù)。在此些實施方案中，積分圖像可在輸入到cv計算硬件242之前用于計算此些組合、和或平均數(shù)。例如，為對多于四個像素進行求和(例如，針對大于2×2(例如，3×3或11×11)的塊)，使用積分圖像，求和可能快得多，這是因為僅需要進行加或減四個值來確定積分圖像中的像素值的和，而非針對相應(yīng)3×3或11×11圖像塊對9或121個值進行求和。因此，任選地，視覺傳感器還可包含二維積分硬件236，所述二維積分硬件用于基于表示由傳感器陣列單元中的至少一子組傳感器元件(例如，像素)取樣的圖像的信號中的至少一子集來計算圖像的至少一部分的積分圖像。如所說明，二維積分計算硬件236可與專用cv計算硬件242通信。如先前所述，與直接加總傳感器元件的塊的信號值相比，可使用表示由傳感器陣列單元取樣的圖像的積分圖像及/或由傳感器陣列單元取樣的圖像的一部分的積分圖像來對所述信號值進行更快速地組合、求和或求平均。二維積分硬件236可包含能夠基于來自傳感器陣列212的原始信號而在數(shù)字或模擬域中產(chǎn)生表示由傳感器陣列單元取樣的圖像的全部或部分的積分圖像的信號的電路。在一些實施方案中，由二維積分硬件236產(chǎn)生的積分圖像(其可為的由傳感器陣列單元取樣的圖像的僅一部分或取樣窗口的積分圖像)可經(jīng)存儲在硬件掃描窗口陣列238中，如圖2b中所說明。例如，硬件掃描窗口陣列可包含用于存儲積分圖像的隨機存取存儲器(ram)陣列或其它形式的模擬或數(shù)字存儲器。在其中計算對應(yīng)于傳感器元件的塊的信號的組合、和或平均數(shù)沒有用(例如，像素級lbp)的實施方案中，應(yīng)理解，可不包含二維積分硬件236，且因此包含來自傳感器陣列單元230的模擬原始信號或來自adc234的經(jīng)轉(zhuǎn)換成數(shù)字的原始信號的取樣窗口可經(jīng)直接地存儲在硬件掃描窗口陣列238中。此外，應(yīng)理解，在一些實施方案中，二維積分硬件236另外或替代地可執(zhí)行一維積分。類似地，硬件掃描窗口陣列238可存儲對應(yīng)于由傳感器陣列230捕獲的圖像的取樣窗口的一維積分圖像。使用一維積分圖像可允許(例如)使用旋轉(zhuǎn)塊來計算多塊lbp以便檢測旋轉(zhuǎn)參考對象(例如，臉部)。任選地，可在二維積分硬件236之前或之后使用幀緩沖器(未說明)。在幀緩沖器經(jīng)安置在二維積分硬件236之前的實施方案中，可將整個幀或圖像從傳感器陣列單元212傳送到幀緩沖器中。二維積分硬件236可接著產(chǎn)生經(jīng)存儲在幀緩沖器中的圖像的部分或窗口的積分圖像并將此些窗口存儲在硬件掃描窗口陣列238中。替代地，二維積分硬件236可積分整個圖像并將整個積分圖像存儲在安置在二維積分硬件236與硬件掃描窗口陣列238之間的幀緩沖器中，在此狀況下，存儲在幀緩沖器中的積分圖像的窗口可存儲在掃描窗口陣列238中。然而，應(yīng)理解，幀緩沖器為選用的，且二維積分硬件236可接收來自的傳感器陣列單元212的對應(yīng)于圖像的窗口或部分的數(shù)據(jù)且立即積分窗口或部分且將此些積分圖像窗口存儲在硬件掃描窗口陣列238中。

視覺傳感器還可包含cv計算硬件242。在一些實施方案中，cv計算硬件可至少部分地基于與接近于傳感器元件塊的多個相鄰傳感器元件相關(guān)聯(lián)的信號而計算一或多個主體傳感器元件塊的局部cv特征。例如，在cv計算硬件的局部二進制模式(lbp)實施方案中，cv計算硬件可包含硬件，所述硬件接收對應(yīng)于原始圖像信號的信號值—或原始圖像信號的組合、和或平均數(shù)(例如，使用積分圖像產(chǎn)生)—且基于原始圖像信號而產(chǎn)生數(shù)字lbp標簽或矢量。在其中計算多塊lbp的實施方案中，一或多個主體傳感器元件的塊可包含m×n個傳感器元件(例如，11×11個傳感器元件)的塊。還應(yīng)理解，也可進行像素級lbp計算，其中其局部cv特征經(jīng)計算的一或多個主體傳感器元件的塊為單個主體傳感器元件。盡管上文所提及的cv計算硬件312經(jīng)描述為與專用微處理器320分離，但應(yīng)理解在一些實施方案中，專用cv計算硬件312可以專用微處理器320內(nèi)的硬件實施。

與在處理器(例如，通用處理器，例如應(yīng)用程序處理器或甚至微處理器216)中計算cv特征(例如，上文所論述的lbp標簽)相比，在專用硬件中產(chǎn)生所述cv特征可降低視覺傳感器的功率。然而，視覺傳感器可仍包含耦合到cv計算硬件242的微處理器216以執(zhí)行除cv特征計算外的功能，例如，除cv特征計算外與cv相關(guān)操作或計算，或執(zhí)行與使用cv特征計算硬件242執(zhí)行的計算有關(guān)的額外cv特征計算。微處理器216接收來自cv計算硬件238的硬件計算cv特征且可執(zhí)行較高級計算機視覺操作，例如，對象分類檢測(其中臉部檢測可被視為特定狀況，而其它實例包含上部軀干、行人及汽車)，其中任務(wù)為發(fā)現(xiàn)圖像中屬于給定分類的所有對象的位置及大小，以及其它計算機視覺操作。此外，微處理器216可將控制信號提供到線緩沖器230、adc234、二維積分硬件236、硬件掃描窗口陣列238及cv計算硬件242。在一些實施方案中，為執(zhí)行對象分類檢測或其它計算機視覺操作，微處理器216可使用級聯(lián)分類器算法來執(zhí)行對象分類檢測，例如，臉部檢測。在任選實施方案中，進一步功率節(jié)省是通過在硬件中實施級聯(lián)分類器來進一步減少微處理器216上的計算負擔(dān)變得可能。

任選級聯(lián)分類器硬件244包含的級聯(lián)分類器的硬件實施方案。在一些實施方案中，使用機器學(xué)習(xí)技術(shù)就包含參考對象的實例的圖像的數(shù)據(jù)集對級聯(lián)分類器進行訓(xùn)練，級聯(lián)分類器將經(jīng)訓(xùn)練以檢測或分類非對象的實例(例如，臉部及非臉部的圖像)，或汽車及非汽車的圖像，或上部軀干及非上部軀干的圖像等。例如，在第一階段中，級聯(lián)分類器硬件可請求cv計算硬件242計算關(guān)于存儲在(例如)硬件掃描窗口陣列238中的特定數(shù)目(l)個主體傳感器元件的lbp特征。另外，級聯(lián)分類器硬件244還將提供主體傳感器元件的位置{(x11,y11),…(x1l,y1l)}。一旦cv計算硬件242計算并提供所請求lbp特征(其可被視為矢量值)，級聯(lián)分類器硬件執(zhí)行l(wèi)bp特征中的每一者的點積與一或多個權(quán)數(shù)的求和以產(chǎn)生第一經(jīng)加權(quán)重標量和值。一般來說，將使每一lbp特征(lbp11,…,lbp1l)乘以給定權(quán)數(shù)(w11,…,w1l)，每一權(quán)數(shù)可不同。接著將第一經(jīng)加權(quán)重標量和值與第一閾值進行比較。如果標量和小于閾值，那么根據(jù)給定概率，由存儲在硬件掃描窗口陣列238中的信號表示的圖像的部分中不存在任何參考對象，且因此級聯(lián)分類器硬件244發(fā)送信號到硬件掃描窗口陣列238，且任選地，到視覺傳感器的其它組件(例如，線緩沖器230及傳感器陣列單元212)以指示硬件掃描窗口陣列238應(yīng)繼續(xù)掃描及加總一或多個新列及/或行以及移除一或多個舊列及/或行。在圖像的后續(xù)窗口或?qū)?yīng)于傳感器陣列單元的后續(xù)傳感器元件子組的后續(xù)多個信號經(jīng)存儲在硬件掃描窗口陣列238中的情況下，過程可重新開始。應(yīng)理解，圖像的后續(xù)窗口可與圖像的上一窗口大部分重疊。在一些實施方案中，從左到右掃描圖像且一旦到達傳感器陣列單元212的末端，即可在向下移動一或多個行之后再次從左到右掃描圖像。在另一實施方案中，可在向下移位一或多個行之后從右到左掃描圖像，此可允許與先前圖像的增加重疊。

如果標量和相反地大于第一閾值，那么級聯(lián)分類器硬件244移動到下一階段。在下一(在此實例中，第二)階段中，級聯(lián)分類器硬件再次請求cv計算硬件242提供存儲在硬件掃描窗口陣列238中的關(guān)于位置{(x21,y21),…(x2m,y2m)}處的m個主體傳感器元件的lbp特征。一旦cv計算硬件242計算并提供所請求lbp特征(lbp21,…,lbp2m)，級聯(lián)分類器硬件244執(zhí)行l(wèi)bp特征中的每一者的點積與一或多個權(quán)數(shù)(w21,…,w2m)的另一求和以產(chǎn)生第二經(jīng)加權(quán)重標量和值。接著將第二經(jīng)加權(quán)重標量和值與第二閾值進行比較。如果標量和小于第二閾值，那么存在參考對象存在于由存儲在硬件掃描窗口陣列238中的信號表示的圖像的部分中的低可能性，且級聯(lián)分類器將信號發(fā)送到視覺傳感器陣列中的其它組件以繼續(xù)掃描且移動到圖像的下一部分。如果第二經(jīng)加權(quán)標量和值大于第二閾值，那么處理繼續(xù)到第三階段，如上文所描述。在最終階段(例如n階段級聯(lián)分類器中的第n階段)結(jié)束時，如果第n經(jīng)加權(quán)標量和值大于第n閾值，那么在存儲在硬件掃描窗口陣列238中的圖像的部分中檢測參考對象。級聯(lián)分類器硬件244可接著向微處理器216指示已檢測到參考對象，且可進一步任選地指示其中檢測到參考對象或參考對象的部分的圖像的部分的位置。一般來說，級聯(lián)分類器硬件244可經(jīng)配置以將檢測到參考對象的指示連同與參考對象相關(guān)聯(lián)的數(shù)據(jù)(例如，在檢測參考對象的過程中計算的cv特征、那些cv特征在圖像內(nèi)的位置或與由cv計算硬件242及/或級聯(lián)分類器硬件244執(zhí)行的計算或操作相關(guān)聯(lián)的任何其它數(shù)據(jù)中的全部或一些)一起發(fā)送到微處理器216。

硬件掃描窗口陣列238內(nèi)的主體傳感器元件(在每一階段計算其lbp特征、標簽或矢量)的數(shù)目及位置經(jīng)大體編程到級聯(lián)分類器硬件244中且從上文所論述的機器學(xué)習(xí)訓(xùn)練得出。類似地，用以乘以lbp特征中的每一者的權(quán)數(shù)也是大體在機器學(xué)期訓(xùn)練期間經(jīng)確定且接著經(jīng)編程到級聯(lián)分類器硬件244中。階段的數(shù)目也由訓(xùn)練得出，且經(jīng)編程到級聯(lián)分類器硬件244。在一些實施方案中，級聯(lián)分類器可包含1到31個階段，例如，15個階段。在一些實施方案中，級聯(lián)分類器可包含1到31個階段，例如，15個階段。在一些實施方案中，級聯(lián)分類器硬件244可在其為經(jīng)設(shè)計以執(zhí)行級聯(lián)分類器功能且?guī)缀醪粓?zhí)行其它顯著功能的硬件的意義下被視為專用級聯(lián)分類器硬件。雖然上文所描述的實施方案涉及級聯(lián)分類器基于經(jīng)編程權(quán)數(shù)及閾值(基于先前在實驗室中訓(xùn)練及機器學(xué)習(xí))以產(chǎn)生模型，但應(yīng)理解級聯(lián)分類器硬件244，或經(jīng)設(shè)計以基于從cv計算硬件242接收的硬件計算cv特征執(zhí)行cv操作的的外圍電路中的其它硬件可經(jīng)設(shè)計以現(xiàn)場執(zhí)行機器學(xué)習(xí)。

在剛所描述的實施方案中，微處理器216可接著確定如何處理(例如)參考對象檢測事件。例如，其可將事件發(fā)送到第二微處理器。在一些實施方案中，微處理器216及第二微處理器可對應(yīng)于圖2a的微處理器216及主處理器220。如圖2b中所說明，微處理器216包含用于與第二微處理器通信的接口246。另外或替代地，微處理器216可隨時間跟蹤所檢測參考對象的位置(例如，在多個圖像上)以確定(例如)用于手勢辨識的移動、碰撞的風(fēng)險、危險及/或其它事件。

更特定來說，一些實施例可通過首先檢測對象接著確定其它特征來實現(xiàn)廣泛范圍的功能性。在此些實施例，可經(jīng)由外圍電路(例如，級聯(lián)分類器硬件244及/或其它專用硬件)進行對象檢測，且可由微處理器216執(zhí)行額外操作。例如，可首先通過對象的檢測，接著(例如，使用微處理器)在對象已處于相機的視野中達臨限時間周期的確定來確定對象進入視野。如上文所述，可通過檢測手勢控制對象(例如，手)，接著確定手的移動來進行手勢檢測?？赏ㄟ^檢測對象及確定指示與對象碰撞的風(fēng)險的移動(例如，通過相機、通過相機的視野內(nèi)的第二對象，等)來確定碰撞風(fēng)險。所屬領(lǐng)域的技術(shù)人員將認識到實施例可包含上述特征的任何組合，及/或這些特征的變化。

盡管上文的描述將級聯(lián)分類器硬件244稱作與微處理器216分離，但應(yīng)理解在一些實施方案中，級聯(lián)分類器硬件244可在微處理器216內(nèi)的硬件中實施。此外，級聯(lián)分類器硬件244可在一些實施方案中經(jīng)賦予某一控制功能性以允許其(如所說明)控制cv計算硬件242及硬件掃描窗口陣列238。如此，級聯(lián)分類器硬件242可自動從微處理器216檢測特征，且因此微處理器216可在級聯(lián)分類器硬件244執(zhí)行其功能的同時處于低功率狀態(tài)。如此，智能傳感器可基于一或多個所計算cv特征而執(zhí)行較低功率操作，且在(例如)檢測到對象時，級聯(lián)分類器硬件242可提供事件(包含數(shù)據(jù)，例如到微處理器216的傳感器讀數(shù))以喚醒微處理器216。微處理器216可接著確定下一動作過程，例如，將通過接口246將事件發(fā)送到第二微處理器。應(yīng)理解，甚至在低功率狀態(tài)中，微處理器216可在一些實施方案中仍將控制信號提供到傳感器陣列單元212、線緩沖器230，等，或另外或替代地，此些控制信號可通過較低功率控制邏輯來提供。替代地，級聯(lián)分類器可在微處理器216上作為軟件算法運行。此外，其它軟件算法可替代級聯(lián)分類器在微處理器上運行。例如，可使用直方圖來執(zhí)行參考對象檢測，如圖11c中所描述。在一些此類實施方案中，可將針對存儲在掃描窗口陣列238中的圖像的樣本窗口所計算的所有l(wèi)bp標簽的直方圖與參考直方圖進行比較以檢測存儲在掃描窗口陣列238的樣本窗口中的臉部的存在。在一些實施方案中，專用硬件可經(jīng)實施以使用直方圖檢測(例如)臉部。替換級聯(lián)分類器硬件244或除其外，此實施方案可包含此類專用硬件。

在圖2b中所說明的實施方案中，線緩沖器230、adc234、二維積分硬件236、硬件掃描窗口陣列238、cv計算硬件242、級聯(lián)分類器硬件244或其任何組合中的一者或多者可被視為外圍電路，所述外圍電路為在傳感器陣列單元212外部的電路且可對應(yīng)于圖2a的外圍電路214。還應(yīng)理解，剛剛所列舉的各種組件或其任何組合可經(jīng)實施代替作為傳感器陣列單元212內(nèi)的像素中電路。

圖3a到3c為說明可如何利用傳感器系統(tǒng)210的組件來提供低功率傳感器處理的框圖。此處，僅說明某些組件。應(yīng)理解，傳感器系統(tǒng)可具有額外組件，如圖2a及2b中所展示。

在圖3a中，外圍電路214與傳感器陣列單元212的多個傳感器單元輸出耦合。傳感器陣列單元212及/或外圍電路214包含專用cv計算硬件以使用多個傳感器單元輸出中的至少一子集來執(zhí)行特征檢測計算，其中多個傳感器單元輸出中的所述子集對應(yīng)于包括相鄰傳感器單元或像素的傳感器陣列單元212的區(qū)域(例如，圖像陣列)。因此，外圍電路214的輸出基于(至少部分地)特征檢測計算。此特征檢測計算可包含使用可提供特征檢測(例如，邊緣檢測、線檢測，等)的傳感器陣列單元212的相鄰傳感器單元或像素的各種計算中的任何者。此些特征檢測計算包含(例如)lbp、hsg，及其類似者。在一些實施例中，專用cv計算硬件可包括集成電路。

在圖3b中，第一處理單元217與智能圖像陣列213的一或多個輸出以通信方式耦合，其中多個傳感器像素與存儲器及/或邏輯電路耦合。此處，第一處理單元217可對應(yīng)于圖2a及2b的微處理器216，且智能圖像陣列213可對應(yīng)于圖2a及圖2b的傳感器陣列單元212。智能圖像陣列213可包含用于計算cv特征的專用cv計算硬件，所述cv特征使用來自相鄰傳感器像素的讀數(shù)來計算，如上文關(guān)于圖3a及/或圖2b所描述。如圖2a及2b中所展示，這兩個組件可并非彼此直接耦合，而是可具有中間電路。第一處理單元217處理從智能圖像陣列的一或多個輸出接收的信號以檢測參考情況。第一處理單元217接著產(chǎn)生事件(指示參考情況)以由第二處理單元(例如，圖2a的主處理器220)接收。

事件可基于處理由基于一或多個所計算cv特征的操作所產(chǎn)生的信號而產(chǎn)生。此些操作可在一些實施方案中包含由級聯(lián)分類器(例如，圖2b的級聯(lián)分類器硬件244)執(zhí)行以檢測臉部的操作或計算。事件是基于處理由那些操作所產(chǎn)生的信號而產(chǎn)生可因此包含微處理器處理信號，例如來自級聯(lián)分類器的檢測參考對象的指示。指示可包含與所檢測對象相關(guān)聯(lián)的數(shù)據(jù)，例如，位置、相關(guān)聯(lián)lbp特征及其位置，及/或圖像數(shù)據(jù)自身。此使得微處理器能夠通過在未檢測到任何參考對象時不分析圖像數(shù)據(jù)來節(jié)省能量。

在圖3c中，設(shè)置類似于圖3b。此處，第一處理單元217與圖像陣列215的一或多個輸出以通信方式耦合。此外，第一處理單元217可對應(yīng)于圖2a及/或2b的微處理器216，且圖像陣列215可類似地對應(yīng)于圖2a及/或2b的傳感器陣列單元212。然而，在此實施例中，第一處理單元217確定已檢測到臉部且產(chǎn)生用于第二處理單元的臉部檢測事件。取決于所要功能性，第一處理單元217可操作以使用從圖像陣列215的一或多個輸出接收的一或多個信號來檢測臉部。

圖4為根據(jù)實施例說明感測動態(tài)的基于場景的情況的方法400的流程圖。如同本文中所提供的其它圖，圖4經(jīng)提供作為非限制性實例。替代實施例可包含圖中所展示的功能性額外的功能性，及/或圖中的塊中的一或多者所展示的功能性可同時被省略、組合、分離及/或執(zhí)行。用于執(zhí)行塊的功能性的裝置可包含電子裝置的一或多個硬件及/或軟件組件，例如，圖5中所說明及下文所描述的移動裝置的一或多個組件。熟習(xí)此項技術(shù)者將認識到許多變化。

方法400可在方框410處開始，其中專用cv硬件接收來自傳感器陣列的圖像數(shù)據(jù)。圖像數(shù)據(jù)可包含來自傳感器陣列的多個圖像像素的傳感器讀數(shù)。如先前所指示，專用cv硬件可實施于及/或并入到圖2a的傳感器陣列單元212及/或外圍電路214中。(傳感器陣列可被包含在傳感器陣列單元212中。)

在方框420處，通過專用cv計算硬件使用來自傳感器陣列的相鄰傳感器像素的讀數(shù)來計算一或多個cv特征。此處，cv特征可包含邊緣、線及其類似者，其可使用(例如)lbp、hsg及/或其它計算來計算。專用cv計算硬件的使用可實現(xiàn)快速及高效計算而無需使用相對較高量的能量及/或處理功率。

在方框425處，基于一或多個cv特征執(zhí)行一或多個cv操作。如先前所述，在外圍電路中可進行此些操作。例如，如關(guān)于圖2b所描述，級聯(lián)分類器可執(zhí)行操作以檢測臉部或其它對象，且將指示對臉部或其它對象的檢測的信號提供到微處理器。然而，如下文所述，基于一或多個cv特征執(zhí)行cv操作可通過外圍電路(例如，專用硬件)及/或微處理器或兩者來執(zhí)行。執(zhí)行cv操作的硬件及/或軟件組件可產(chǎn)生輸出信號(例如，級聯(lián)分類器的輸出，直接從cv計算hw接收的指示lbp計算的信號，在微處理器內(nèi)內(nèi)部產(chǎn)生的信號，等)。微處理器將使用這些信號中的一或多者來確定已發(fā)生參考情況(例如，臉部檢測)。

在方框430處，確定已發(fā)生參考情況。如先前所指示，參考情況可包含各種事件中的一或多者。這些事件可包含(例如)人臉進入視野、人臉上表達的情緒、非人類動物臉部進入視野、人手進入視野、手勢、參考對象進入視野、從室內(nèi)環(huán)境到室外環(huán)境的改變、參考移動、場景中指示下落的快速移動、指示碰撞風(fēng)險的朝向?qū)ο蟮倪\動、場景中指示危險的移動或?qū)ο螅蚱淙魏谓M合。在一些實施例中，這些參考情況可為預(yù)定義及/或用戶可配置的。

在方框440處，產(chǎn)生用于第二處理單元的事件，其中事件指示參考情況。如本文中所使用，術(shù)語“事件”描述經(jīng)提供到處理單元指示參考情況的信息。此處，將事件提供到第二處理單元。在一些實施例中，事件可簡單地包含已發(fā)生參考情況的指示。在一些實施例中，事件可進一步包含檢測到的參考情況的類型的指示。事件可由第一處理單元產(chǎn)生且發(fā)送到第二處理單元。在一些實施例中，在第一處理單元與第二處理單元之間可存在中間電路。

可注意，由圖4中所說明的各種方框執(zhí)行的功能性可由傳感器系統(tǒng)(例如，圖2a及2b的傳感器系統(tǒng)210)的各種組件執(zhí)行，此取決于所要功能性。方框410及420的功能性(例如)可由像素中或外圍電路(例如，cv計算硬件)執(zhí)行。方框425的功能性(例如)可由微處理器或?qū)Ｓ糜布?例如，級聯(lián)分類器或其它專用硬件)執(zhí)行。在一些實施例中，方框425、430及440的功能性可全部由微處理器執(zhí)行。替代地，一些實施例可運用外圍電路執(zhí)行方框425的功能性，且運用微處理器執(zhí)行方框430及440的功能性。所屬領(lǐng)域的技術(shù)人員將認識到數(shù)個變化形式。

再次參考圖2a，本文中所描述的傳感器系統(tǒng)210的實施例可進一步執(zhí)行涉及在相應(yīng)較低功率及較高功率模式中所使用的功率或能量消耗的不同類型的功能(例如，較低功率操作及較高功率操作)。在較高功率模式中，例如，傳感器系統(tǒng)可通過利用如本文中所描述非專用cv計算硬件來在傳感器系統(tǒng)210自身內(nèi)提供圖像處理能力。應(yīng)理解，本文中“較低功率”及“較高功率”的使用意欲為相對的。換句話說，甚至在較高功率模式中，所描述的傳感器系統(tǒng)仍可能夠使用比運用在軟件中運行cv算法的微處理器來執(zhí)行那些相同基于cv計算低的功率來基于硬件計算cv特征執(zhí)行強大的基于cv的計算。如先前所詳述，專用cv計算硬件可包含并入到傳感器陣列單元212中的像素中電路，其可包含用于一些或全部像素的電路，能夠?qū)γ恳幌鄳?yīng)像素執(zhí)行處理，例如，檢測相對于一或多個相鄰像素的經(jīng)感測光強度，基于經(jīng)感測光的顏色或強度相對于相鄰像素的差異而檢測對象的邊緣，及/或進行l(wèi)bp、hsg及/或其它cv計算。專用cv計算硬件可進一步包含外圍電路214，所述外圍電路可另外或替代地用于像素中電路來執(zhí)行這些計算中的一些或全部。實施例可在不需要較高功率操作時禁用或以其它方式以低功率模式操作傳感器系統(tǒng)210的此專用cv計算硬件中的一些或全部，此可節(jié)省功率。因此，如本文中所描述，較高功率操作涉及專用cv計算硬件(例如，傳感器陣列單元212中的像素中電路及/或外圍電路214)，而在專用cv計算硬件中的一些或全部經(jīng)禁用或處于減少功率狀態(tài)中時執(zhí)行較低功率操作。

在一個實例中，傳感器系統(tǒng)210可配置傳感器陣列單元212以作為單個像素操作。在此狀況下，傳感器系統(tǒng)210可禁用所有像素中電路及/或外圍電路214。在此配置中，陣列的個別像素中的每一者有助于整個傳感器陣列的單個感測值。

圖5展示對圖2a的傳感器陣列單元212的簡化說明。在傳感器陣列單元212中，像素510經(jīng)布置成行及列且放置在接收光學(xué)器件的聚焦平面中以提供圖像捕獲。(為清楚起見，僅圖5中的一些像素510具有數(shù)個標簽。)應(yīng)理解，傳感器陣列單元的特征(例如，像素大小、縱橫比、分辨率及其類似者)可取決于所要功能性而變化。例如，圖5的簡化說明展示10×10像素陣列，但實施例可具有數(shù)百、數(shù)千或數(shù)百萬像素(或更多)。

如先前所指示，每一像素510可包含傳感器以及像素中電路以對像素510執(zhí)行cv計算。另外或替代地，外圍電路可經(jīng)包含以對像素執(zhí)行cv計算，如本文中別處所指示。繼續(xù)上述實例，傳感器陣列單元212的像素中電路及/或外圍電路中的一或多個組件可經(jīng)禁用以使得傳感器陣列單元212能夠以功率高效方式執(zhí)行較低功率操作以(例如)關(guān)斷除一個像素外的所有像素，或讀取并組合來自所有像素的感測值以僅作為單個像素有效地操作(被稱作“單像素模式”)。在此配置中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行一或多個較低功率操作，例如，環(huán)境光感測(als)、接近度檢測(pd)、接近參考對象檢測，或運動檢測。在一些狀況下，可使用具有僅單個像素的傳感器陣列來充分地執(zhí)行這些功能中的每一者。

另外或替代地，傳感器陣列單元212可在較低分辨率配置中實現(xiàn)傳感器陣列單元212可作為多個像素操作，而非實際上僅作為單個像素操作。如在圖6中所展示，傳感器陣列單元212的像素510的子群組610可各自以類似于上文所描述的單像素模式的方式操作，因此作為具有多個像素的傳感器有效地操作(在圖6的配置中，四個子群組610有效地形成2×2像素陣列)。再次，例如，傳感器系統(tǒng)210的專用cv計算硬件中的一些或全部(例如，外圍電路214及/或傳感器陣列單元212的像素中電路)可在此模式期間被禁用。在此配置中，傳感器系統(tǒng)210可執(zhí)行一或多個較低功率操作，例如als、pd、改變檢測(cd)，或運動檢測。雖然圖6的實例使用2×2像素的視在分辨率，但可配置其它降低的分辨率。此外，此降低的分辨率可包含聚集多個個別像素510以共同作為一些數(shù)目個像素操作，或可包含禁用傳感器陣列單元212中的像素510中的一或多者使得像素不感測光或在其經(jīng)禁用時不提供輸出。

如同關(guān)于圖3a到3c所描述的操作，傳感器系統(tǒng)210可經(jīng)配置以在其以較低功率操作的同時檢測一或多個參考情況且產(chǎn)生一或多個對應(yīng)的事件。例如，傳感器系統(tǒng)210可并入到移動電話中且經(jīng)配置以在單個像素310的感測值指示由傳感器系統(tǒng)210檢測的光的量顯著增加時檢測參考情況。所檢測的光的量的此改變可指示移動電話已被從用戶的口袋取出或已被從桌子或床頭柜拿起。傳感器系統(tǒng)210可在較低功率操作的同時確定發(fā)生此參考并產(chǎn)生向主處理器220指示參考情況的事件。在檢測到此事件，傳感器系統(tǒng)210可進一步激活專用cv計算硬件來使得較高功率操作能夠執(zhí)行不同類型的cv操作，例如，臉部檢測及臉部辨識。

圖7為說明用于使用傳感器系統(tǒng)作為光學(xué)傳感器的實例方法700的簡化流程圖。如同本文中所提供的其它圖，圖7經(jīng)提供作為非限制性實例。另外，方法700可廣泛地應(yīng)用于本文中所描述的實施例，包含圖4中所展示的感測動態(tài)的基于場景的情況的方法400。用于執(zhí)行圖7中所說明的方方框的功能性的裝置可包含傳感器系統(tǒng)(例如，圖2a的傳感器系統(tǒng)210)的一或多個硬件組件。在一些實施例中，裝置可進一步包含主處理器，例如圖2a的主處理器220。盡管方法500在下文經(jīng)描述為由圖2a的傳感器系統(tǒng)210執(zhí)行，但實施例并不限于此傳感器系統(tǒng)。

方法700可當傳感器系統(tǒng)210起始較低功率操作時在方框710處開始。例如，在一個方面中，傳感器系統(tǒng)210起始als操作、pd操作、cd操作或md操作中的一者。在此方面中，傳感器系統(tǒng)210通過禁用專用cv計算硬件來起始較低功率操作，且配置傳感器陣列單元212從而以降低分辨率操作。如上文所論述，在不同實例中，降低分辨率可包含單個像素模式。在一些實施例中，傳感器系統(tǒng)210可起始多個較低功率操作，例如als操作及pd操作兩者、cd操作及md操作，或als操作、pd操作、cd操作及md操作中的全部四者。在起始較低功率操作之后，方法700繼續(xù)進行到方框720。

在方框720處，在執(zhí)行較低功率操作的同時，傳感器系統(tǒng)210檢測參考情況。在其中傳感器系統(tǒng)210經(jīng)配置以執(zhí)行als功能的一個實例中，傳感器系統(tǒng)210產(chǎn)生至少一個較低功率光學(xué)傳感器讀數(shù)，所述低功率光學(xué)傳感器讀數(shù)可用于檢測參考情況。例如，較低功率光學(xué)傳感器讀數(shù)可指示環(huán)境光的量的改變，且傳感器系統(tǒng)210可在光的感測水平以超過參考閾值的速率改變，或以超過參考閾值的速率改變顏色時基于所述較低功率光學(xué)傳感器讀數(shù)而檢測參考情況。

在另一實例中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行pd功能。在此實例中，傳感器系統(tǒng)210進一步包括光發(fā)射器，例如，發(fā)光二極管(led)，且傳感器陣列單元212經(jīng)配置以檢測反射光的量。當所檢測反射光的量超過閾值時，傳感器系統(tǒng)210檢測參考情況。例如，傳感器系統(tǒng)210可檢測指示對象在傳感器系統(tǒng)210附近的參考情況。在一個方面中，當所檢測反射光的量低于閾值時，傳感器系統(tǒng)210可檢測參考情況。例如，傳感器系統(tǒng)210可檢測對象不再在傳感器系統(tǒng)210附近的事件。

在一個實例中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行cd功能。改變檢測可檢測超過閾值的場景的改變，其中此場景改變對應(yīng)于參考情況，例如，如圖7的方框720中所描述。參考圖2b，在一些實施方案中，硬件掃描窗口陣列238、cv計算硬件242、級聯(lián)分類器244，及/或?qū)Ｓ梦⑻幚砥?16或其任何組合可經(jīng)禁用或處于低功率模式中。如此處所使用，經(jīng)禁用意欲指示此些組件在其功能性未被使用或其功能性較之其正常操作大幅度降低時處于降低功率狀態(tài)。因此，在此狀態(tài)中，與涉及cv特征計算及后續(xù)cv操作的正常操作相比，傳感器系統(tǒng)可以較低功率模式操作。關(guān)于傳感器陣列單元212中的大像素塊(例如，如在圖6中說明，對應(yīng)于子群組610的塊)的像素值可經(jīng)求和以得到表示每一塊中的所有像素值的單一值。此求和可使用由二維積分硬件236提供的積分圖像計算并存儲(例如)在積分圖像幀緩沖器(圖2b中未展示)中。可接著及時逐幀比較塊求和。在給定塊中，如果與上一幀相比當前幀的求和值的改變比參考改變閾值大，那么可檢測場景改變參考情況。在替代實施方案中，僅當參考最小數(shù)目個塊登記此改變，才將檢測場景改變參考情況。例如，在具有經(jīng)劃分成81個塊(像素經(jīng)分組成9×9陣列，其中9×9陣列中的每一塊包含像素子陣列)的傳感器元件陣列的系統(tǒng)中，可如上文所描述檢測每一塊的改變，且在三個、四個或另一數(shù)目個塊寄存改變時，才可觸發(fā)場景改變參考情況。在檢測到場景改變時，傳感器系統(tǒng)210可進一步激活硬件掃描窗口陣列238、cv計算硬件242、級聯(lián)分類器244及/或?qū)Ｓ梦⑻幚砥?16的任一組合。應(yīng)理解，上文所描述的cd操作可在無需使用積分圖像或二維積分硬件的情況下實施，但可使用其它硬件來確定總塊值。

在一個實例中，傳感器系統(tǒng)210可經(jīng)配置以執(zhí)行md功能。在此實例中，傳感器系統(tǒng)210配置傳感器陣列單元212以具有大于2×2像素分辨率的降低分辨率，但比傳感器陣列單元212中的像素的最大分辨率小。在此實例中，傳感器系統(tǒng)210經(jīng)配置以檢測不同有效像素處的感測光的相對改變。在此實例中，傳感器系統(tǒng)210分析在有效像素(例如，如圖6中所展示的子群組610)中的每一者處感測的光的量，確定在每一有效像素處感測的光的量相對于至少另一有效像素之間的第一組差。傳感器系統(tǒng)210接著檢測有效像素中的每一者處的感測光的第二量，且確定每一有效像素處感測的光的量相對于至少另一有效像素之間第二組差。傳感器系統(tǒng)210接著基于第一組差及第二組差而確定差的改變。如果差的改變超過參考運動閾值，那么傳感器系統(tǒng)210檢測參考情況。在一個方面中，如果第一有效像素指示所感測光相對于第二有效像素的正改變，且所述第一有效像素指示所感測光相對于第二有效像素的負改變，那么傳感器系統(tǒng)210可檢測運動事件。

在方框720處檢測參考情況可接著觸發(fā)至少一個較高功率操作的指示。在方框730中，傳感器系統(tǒng)210通過啟用專用cv計算硬件來起始較高功率操作。例如，傳感器系統(tǒng)210可起始臉部檢測操作或臉部辨識操作，或手勢辨識操作。替代地，傳感器系統(tǒng)210可起始對象檢測操作以檢測參考對象在由傳感器系統(tǒng)210捕獲的圖像中的存在。

在其中觸發(fā)較高功率操作的參考情況為pd操作的情況中，檢測由傳感器系統(tǒng)210捕獲的圖像中的參考對象可指示參考對象的接近度。因此，在此實例方法中，較高功率操作基于較低功率操作與較高功率操作之間的單向相依關(guān)系。單向相依關(guān)系在此實例中與僅在較低功率操作檢測參考情況之后發(fā)生的較高功率操作有關(guān)。

此外，較高功率操作可基于評估所述至少一個較低功率光學(xué)傳感器讀數(shù)。例如，如上文所論述，傳感器系統(tǒng)210可執(zhí)行較低功率als操作且起始較高功率操作。在一些實例中，較高功率操作還可評估較低功率als操作的傳感器讀數(shù)。例如，較高功率操作可包含臉部檢測或辨識功能。在一個方面中，傳感器系統(tǒng)210可在執(zhí)行臉部辨識功能時評估als傳感器讀數(shù)以確定環(huán)境光水平并調(diào)整曝光時間或光圈大小?；蛟谝恍┓矫嬷?，pd功能可產(chǎn)生較高功率操作可評估以確定所檢測對象的估計范圍的傳感器讀數(shù)。在一些方面中，傳感器系統(tǒng)210可起始其它或多個較高功率操作。在一些方面中，傳感器系統(tǒng)210可重復(fù)地執(zhí)行方法700。例如，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可重新開始方法700且在方框710處通過起始較低功率操作來執(zhí)行功能性。在檢測場景改變時，例如，傳感器系統(tǒng)210可進一步激活額外組件(例如，硬件掃描窗口陣列238、cv計算硬件242、級聯(lián)分類器244及/或微處理器216)的任何組合以執(zhí)行一或多個較高功率操作。一旦執(zhí)行較高功率操作，傳感器系統(tǒng)210可接著返回到較低功率模式。

雖然圖7的方法700已經(jīng)描述為一系列較低功率及較高功率操作，但在一些實例中，傳感器系統(tǒng)210可基本上同時執(zhí)行較低功率操作及較高功率操作兩者。例如，在方框730處，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可起始較低功率操作但繼續(xù)執(zhí)行較高功率操作。因此，在一些實例中，在方框710處，在傳感器系統(tǒng)210正執(zhí)行較低功率操作時，傳感器系統(tǒng)210可還執(zhí)行額外功能，例如，較高功率操作，且通過起始較低功率操作，傳感器系統(tǒng)210可未專有地執(zhí)行較低功率操作。此外，當傳感器系統(tǒng)210在方框730處起始較高功率操作時，傳感器系統(tǒng)210在一些實例中可繼續(xù)執(zhí)行較低功率操作。

圖8展示用于使用傳感器系統(tǒng)作為光學(xué)傳感器的實例方法800。此外，方法800將關(guān)于圖2a中所展示的實例傳感器系統(tǒng)210進行論述，但并不限于此傳感器系統(tǒng)。

方法800在方框810處開始，其中傳感器系統(tǒng)210如上文關(guān)于圖7的方法700所論述起始較低功率操作。在方框820處，在執(zhí)行較低功率操作的同時，傳感器系統(tǒng)210如上文關(guān)于圖7的方法700所論述檢測參考情況。在檢測到參考情況之后，方法800繼續(xù)進行到方框830。

在方框830處，傳感器系統(tǒng)210提供用于較高功率操作的參數(shù)值。在一個實例中，傳感器系統(tǒng)210提供環(huán)境光的水平作為較高功率操作的配置設(shè)置。在此實例中，傳感器系統(tǒng)210可提供所述參數(shù)值作為與光強度或自動曝光參數(shù)或與圖像的積分時間相關(guān)聯(lián)的配置設(shè)置。在另一實例中，傳感器系統(tǒng)210提供距對象的估計距離。在一個此實例中，如果傳感器系統(tǒng)210執(zhí)行pd操作且檢查對象，那么傳感器系統(tǒng)210提供到對象的估計距離或所檢測的反射光的量。在另一實例中，傳感器系統(tǒng)210提供較高功率操作的運動方向。在一個此實例中，傳感器系統(tǒng)210可經(jīng)配置以執(zhí)行塊登記改變(參見上文對cd的論述)的較低功率md操作及/或移動且基于隨時間感測到的光的相對量的改變而檢測運動方向?？蓪⑦\動方向提供到較高功率操作，例如手勢檢測操作。

在一些實施例中，傳感器系統(tǒng)210可經(jīng)配置以提供指示由傳感器系統(tǒng)210觀看的場景可能為室內(nèi)場景還是室外場景的參數(shù)。例如，如果環(huán)境光的水平超過預(yù)定義閾值，那么傳感器系統(tǒng)210可提供指示場景為室外場景的參數(shù)，而如果環(huán)境光低于第二預(yù)定義閾值，那么傳感器系統(tǒng)210可提供指示場景為室內(nèi)場景的參數(shù)。在一些實例中，可基于以一或多個頻率檢測的峰值強度作出室內(nèi)/室外確定。

在一些實施例中，傳感器系統(tǒng)210可經(jīng)配置以提供指示場景中所關(guān)注的區(qū)域的參數(shù)。在一個實例中，傳感器系統(tǒng)210已配置傳感器陣列單元212從而以3×3有效像素的降低的分辨率操作。在此實例中，傳感器系統(tǒng)210可確定所關(guān)注的有效像素，此可基于所檢測到的環(huán)境光的改變、接近度檢測參考情況、有效像素中的一或多者的改變檢測，及/或所檢測的運動方向。在一個實例中，傳感器系統(tǒng)210可經(jīng)配置以提供與參考情況頻率相關(guān)聯(lián)的參數(shù)。在此實例中，傳感器系統(tǒng)210檢測事件的多個情況且確定發(fā)生事件的頻率。

根據(jù)一些實施例，可使用參數(shù)來確定較高功率操作。在一個實例中，參數(shù)可指示cv特征選擇操作。例如，參數(shù)可基于光強度而指示是使用lbp功能、hsg功能還是cv功能。在傳感器系統(tǒng)210提供參數(shù)之后，方法繼續(xù)進行到方框840。

在方框840處，傳感器系統(tǒng)210如上文所論述使用參數(shù)(在方框830處提供)來起始較高功率操作。

如上文關(guān)于圖7的方法700所描述，雖然圖8的方法800已經(jīng)描述為一系列較低功率及較高功率操作，但在一些實例中，傳感器系統(tǒng)210可基本上同時地執(zhí)行較低功率操作及較高功率操作兩者。例如，在方框840處，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可起始較低功率操作但繼續(xù)執(zhí)行較高功率操作。因此，在一些實例中，在方框810處，在傳感器系統(tǒng)210正執(zhí)行較低功率操作時，傳感器系統(tǒng)210可還執(zhí)行額外功能，例如，較高功率操作，且通過起始較低功率操作，傳感器系統(tǒng)210可未專有地執(zhí)行較低功率操作。此外，當傳感器系統(tǒng)210在方框840處起始較高功率操作時，傳感器系統(tǒng)210在一些實例中可繼續(xù)執(zhí)行較低功率操作。此處，傳感器系統(tǒng)210可繼續(xù)運用經(jīng)啟用的專用cv計算硬件操作，而非禁用專用cv計算硬件以執(zhí)行較低功率操作。然而，較低功率操作可簡單地不利用專用cv計算硬件。

圖9展示用于使用傳感器系統(tǒng)作為光學(xué)傳感器的實例方法。如同本文中所描述的其它方法，方法900將關(guān)于圖2a中所展示的實例傳感器系統(tǒng)進行論述，但并不限于此傳感器系統(tǒng)。

方法900在方框910處開始，其中傳感器系統(tǒng)210如上文所論述起始較高功率。在方框920處，傳感器系統(tǒng)210基于方框910處的較高功率操作而檢測參考情況，例如，臉部檢測或臉部辨識。在檢測到參考情況之后，方法900繼續(xù)進行到方框930。

在塊930處，傳感器系統(tǒng)210提供關(guān)于較低功率操作的參數(shù)。在一個實施例中，較高功率操作可檢測在傳感器系統(tǒng)210附近的對象，且在一些實例中，系統(tǒng)可還確定距對象的估計距離。傳感器系統(tǒng)210可將指示對象的存在的包括參數(shù)的事件提供到較低功率操作，或還可(或替代地)提供指示距對象的距離的參數(shù)。此參數(shù)可由較低功率操作用于輔助或增強pd功能。例如，pd功能可能夠基于參數(shù)更準確地檢測在傳感器附近的對象，例如，通過確立或調(diào)整臨限強度水平。

在一些實施例中，傳感器系統(tǒng)210可提供指示到光源的方向的參數(shù)。例如，較高功率操作可檢測所說明對象或反射對象，及對象的位置或方向。傳感器系統(tǒng)210可基于指示光源的方向的較高功率操作而提供參數(shù)。較低功率操作可使用此參數(shù)，例如，在執(zhí)行als時。在一個實例中，較高功率操作可確定由傳感器系統(tǒng)210觀看的場景為室內(nèi)或室外場景。傳感器系統(tǒng)210可將參數(shù)提供到較低功率操作。例如，參數(shù)可輔助或增強較低功率操作，例如通過輔助als功能，通過提供與用于檢測環(huán)境照明的改變的閾值相關(guān)聯(lián)的信息。

在一些實施例中，實例傳感器系統(tǒng)210提供指示在由傳感器系統(tǒng)210觀看的場景中可見的房間的占用的指示符或人數(shù)的參數(shù)。例如，較高功率操作可在由傳感器系統(tǒng)210觀看的場景中檢測一或多個臉部，或一或多個人。傳感器系統(tǒng)210可接著提供指示場景中的人或臉部的數(shù)目或區(qū)域的占用程度的指示符的參數(shù)。在一個實例中，較低功率操作(例如，md功能)可使用此信息來更佳地檢測運動，或降低md功能對運動的敏感性。例如，如果傳感器系統(tǒng)210提供指示高占用程度的參數(shù)，那么md功能可切換到需要較強運動指示的預(yù)定閾值且因此md功能對運動較不敏感。替代地，如果傳感器系統(tǒng)210提供指示低占用程度的參數(shù)，那么md功能可增加其在檢測運動事件時的敏感度。在另一實例中，較高功率操作可設(shè)置用于上文所描述的cd操作的塊的閾值及/或最小數(shù)目。

在方框940處，傳感器系統(tǒng)210使用參數(shù)來起始較低功率操作。例如，傳感器系統(tǒng)210可指示如上文關(guān)于圖7及8所描述的較低功率操作。在此實例中，較低功率操作在起始之后經(jīng)配置以使用參數(shù)。例如，如上文所論述，pd功能可能夠基于參數(shù)更準確地檢測在傳感器附近的對象，例如，通過確立或調(diào)整臨限強度水平。在一個實例中，參數(shù)可輔助或增強較低功率操作，例如通過輔助als功能，通過提供與用于檢測環(huán)境照明的改變的閾值相關(guān)聯(lián)的信息。

一些實施例可重復(fù)地執(zhí)行方法900。例如，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可重新開始方法900且在方框910處起始較低功率操作。

如上文關(guān)于圖7及8的方法700、800所描述，雖然圖9的方法900已經(jīng)描述為一系列較高功率及較低功率操作，但在一些實例中，傳感器系統(tǒng)210可基本上同時地執(zhí)行較低功率操作及較高功率操作兩者。例如，在方框940處，在執(zhí)行較低功率操作之后，傳感器系統(tǒng)210可起始較高功率操作但繼續(xù)執(zhí)行較低功率操作。因此，在一些實例中，在方框910處，在傳感器系統(tǒng)210正執(zhí)行較高功率操作時，傳感器系統(tǒng)210可還執(zhí)行額外操作，例如，較低功率操作，且通過起始較高功率操作，傳感器系統(tǒng)210可未專有地執(zhí)行較高功率操作。此外，當傳感器系統(tǒng)210在方框940處起始較低功率操作時，傳感器系統(tǒng)210在一些實例中可繼續(xù)執(zhí)行較高功率操作。

在一些實施例中，可組合一或多個方法。例如，圖7或8的方法可與圖9的方法組合。例如，在完成圖7的方法700的方框730之后，方法可繼續(xù)進行到圖9的方法900的方框920。在一個實例中，在完成圖8的方法800的方框840之后，方法可繼續(xù)進行到圖9的方法900的方框920。還預(yù)取其它組合。

圖10a展示關(guān)于可由傳感器系統(tǒng)210執(zhí)行的計算機視覺計算及較低功率光學(xué)傳感器讀數(shù)的實例狀態(tài)圖。圖10a包含兩個狀態(tài)，較低功率操作狀態(tài)1010及較高功率操作狀態(tài)1020。在較低功率操作狀態(tài)1010中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行一或多個較低功率操作且可獲得一或多個傳感器讀數(shù)。在較高功率操作狀態(tài)1020中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行一或多個較高功率操作(例如，計算機視覺計算及操作)，且可獲得一或多個傳感器讀數(shù)。在一些實施例中，傳感器系統(tǒng)210經(jīng)配置以處于較低功率操作狀態(tài)1010或較低功率操作狀態(tài)1020中，但不能同時地處于兩者中。在一個此實例中，傳感器系統(tǒng)210經(jīng)配置以基于傳感器讀數(shù)從一個狀態(tài)過渡到另一狀態(tài)，此可在狀態(tài)之間建立單向相依關(guān)系。例如，在一個實例中，較高功率操作的執(zhí)行取決于來自較低功率操作的傳感器讀數(shù)，或較低功率操作的執(zhí)行取決于來自較高功率操作的傳感器讀數(shù)。

然而，在一些實例中，傳感器系統(tǒng)210可經(jīng)配置以基本上同時地在兩個狀態(tài)1010、1020中操作。例如，在一個實例中，傳感器系統(tǒng)210可包括多個傳感器陣列單元212，其中的一者可經(jīng)配置以執(zhí)行較低功率操作且其中的另一者可經(jīng)配置以執(zhí)行較高功率操作。在一些實例中，傳感器系統(tǒng)210可細分傳感器陣列單元212使得傳感器陣列單元212的一部分經(jīng)配置以執(zhí)行一或多個較低功率操作，而傳感器陣列單元212的另一部分經(jīng)配置以執(zhí)行一或多個較高功率操作。在傳感器系統(tǒng)210經(jīng)配置以基本上同時地在兩個狀態(tài)1010、1020中操作的一個實例中，可基于來自狀態(tài)中的一者的傳感器讀數(shù)而建立單向相依關(guān)系，所述傳感器讀數(shù)致使起始另一狀態(tài)中的特定操作或致使重新配置另一狀態(tài)中的操作。在一些實施例中，一個狀態(tài)中的操作可提供由另一狀態(tài)中的操作使用的一或多個參數(shù)，例如，在圖10b中可見。

圖10b展示關(guān)于可由傳感器系統(tǒng)210執(zhí)行的計算機視覺計算及較低功率光學(xué)傳感器讀數(shù)的實例狀態(tài)圖。圖10b包含上文關(guān)于圖10a所描述的狀態(tài)，但還包含響應(yīng)于狀態(tài)1010、1020中的一者或兩者中的事件檢測而在狀態(tài)1010、1020之間的狀態(tài)過渡或信息傳遞。如同圖10a中的狀態(tài)圖，傳感器系統(tǒng)210可依序在兩個狀態(tài)1010、1020之間過渡，或可同時在兩個狀態(tài)1010、1020中操作。傳感器系統(tǒng)210可經(jīng)配置以檢測狀態(tài)中的每一者中的事件。在本發(fā)明中較早地描述參考情況的實例。如在圖10b中所展示，傳感器系統(tǒng)210基于從一個狀態(tài)中的功能到另一狀態(tài)中的一或多個功能的檢測事件而提供一或多個參數(shù)值。

例如，如果傳感器系統(tǒng)210在較低功率操作狀態(tài)1010中執(zhí)行pd操作且檢測到對象在傳感器系統(tǒng)210附件，那么傳感器系統(tǒng)210將參數(shù)值(例如指示檢測到對象的旗標值或?qū)ο蟮墓烙嫹秶?提供到較高功率操作狀態(tài)1020中的計算機視覺功能(例如，臉部檢測功能)。在一些情況中，傳感器系統(tǒng)210還可從較低功率操作狀態(tài)1010過渡到較高功率操作狀態(tài)1020；然而，傳感器系統(tǒng)210可使用一或多個參數(shù)值激活或繼續(xù)執(zhí)行較高功率操作狀態(tài)1020中的操作。傳感器系統(tǒng)210還可檢測較高功率操作狀態(tài)1020中的事件且將一或多個參數(shù)值提供到較低功率操作且傳感器系統(tǒng)可過渡到較低功率操作狀態(tài)或使用一或多個參數(shù)值來激活或繼續(xù)執(zhí)行較低功率操作狀態(tài)1020中的操作。

圖11a、11b及11c說明根據(jù)一些實施例的將傳感器讀數(shù)從多個傳感器元件轉(zhuǎn)換到cv特征的過程。

圖11a說明來自經(jīng)考慮用于產(chǎn)生直方圖及檢測特征的傳感器陣列單元(例如，圖2a或2b的傳感器陣列單元212)的多個傳感器元件的傳感器讀數(shù)群組(窗口1102)。

圖11b說明產(chǎn)生關(guān)于用于產(chǎn)生lbp標簽的中心傳感器元件1104的二進制閾值的過程。圖2b的cv計算硬件242可包含用于計算lbp標簽的硬件。經(jīng)產(chǎn)生用于中心傳感器元件的標簽可由二進制值1111000表示。類似地，針對窗口1102的九個感覺元件中的每一者產(chǎn)生lbp標簽。每一標簽可從諸圖傳感器元件的角度提供cv特征的指示?？舍槍?yīng)于傳感器陣列中的多個主體傳感器元件的信號重復(fù)用以產(chǎn)生標簽的閾值化。圖11b中所說明的像素集lbp可經(jīng)擴展以包含多塊lbp，其中通過將對應(yīng)于含有一或多個主體傳感器元件的塊的值(例如，與塊中的一或多個主體傳感器元件相關(guān)聯(lián)的值的和)與其相鄰傳感器元件塊進行比較來針對所述含有一或多個主體傳感器元件的塊產(chǎn)生所說明的二進制閾值。可通過計算積分圖像來促進對應(yīng)于傳感器元件塊中的每一者的值的計算。類似地，應(yīng)理解，還可類似地計算lbp的擴展，例如局部三進制模式(ltp)，此取決于主體傳感器元件與相鄰傳感器元件之間的差以而提供三個輸出。例如，在ltp的一個實施方案中，輸出在對應(yīng)于相鄰傳感器元件的信號比對應(yīng)于主體傳感器元件的信號加閾值大的情況下為一，輸出在對應(yīng)于相鄰傳感器元件的信號與對應(yīng)于主體傳感器元件的信號相比在閾值范圍內(nèi)的情況下為零，且輸出在對應(yīng)于相鄰傳感器元件的信號比對應(yīng)于主體傳感器元件的信號減去閾值小的情況下為負一。

圖11c說明窗口(例如，表示來自傳感器元件陣列的某一子組傳感器元件的窗口)的歸一化直方圖，由關(guān)于來自窗口(例如，存儲在圖2b的硬件掃描窗口陣列238中的樣本窗口)的傳感器元件中的每一者的多個標簽產(chǎn)生。在圖11c中所展示，來自窗口1102的傳感器讀數(shù)的lbp標簽中的每一者可以(例如)256個時隙落在直方圖上任何處。因此，例如，當將主體傳感器元件與其八個鄰居相比時，將產(chǎn)生8位數(shù)字，意指256個不同lbp標簽可行。直方圖可表示在窗口中實際上產(chǎn)生給定lbp標簽中的每一者的次數(shù)。為確定臉部是否存在與窗口中，在一個實施方案中，可將所產(chǎn)生直方圖與臉部的參考直方圖進行比較?？捎嬎闼a(chǎn)生直方圖與參考直方圖之間的交集，且從交集的和產(chǎn)生標量和。如果標量和比閾值大，那么根據(jù)給定概率，在窗口內(nèi)檢測到臉部。參考直方圖及閾值通常是在訓(xùn)練階段在(在此實例中)樣本臉部及樣本非臉部及其lbp直方圖的數(shù)據(jù)集上使用機器學(xué)習(xí)算法所確定的。一旦在訓(xùn)練階段針對相同架構(gòu)確定參考直方圖及閾值，即可將其編程在(例如)圖2a或2b的微處理器216中，或替代地，上述直方圖過程可由專用硬件執(zhí)行以針對圖像內(nèi)的給定窗口計算直方圖且確定窗口內(nèi)是否存在臉部或其它對象，類似于上文在圖2b中所論述的級聯(lián)是分類器硬件244。應(yīng)理解，替代將lbp標簽用于直方圖產(chǎn)生，或除將lbp標簽用于直方圖產(chǎn)生外，lbp標簽也可由級聯(lián)分類其用于對象檢測，如圖2b中所論述。

圖12說明可如上文所描述利用傳感器系統(tǒng)210的移動裝置105的實施例。應(yīng)注意，圖12僅意欲提供對各種組件的廣義說明，其中的任何者或全部可視情況使用?？勺⒁?，在一些情況中，由圖12所說明的組件可經(jīng)定位到單個物理裝置及/或分布于各種網(wǎng)絡(luò)裝置間，所述各種網(wǎng)絡(luò)裝置可經(jīng)安置在不同物理位置處。

移動裝置105經(jīng)展示包括可經(jīng)由總線1205電耦合(或可視情況以其它方式通信)的硬件元件。硬件元件可包含處理單元1210，所述處理單元可包含(非限制)一或多個通用處理器、一或多個專用處理器(例如數(shù)字信號處理(dsp)芯片、圖形加速處理器、專用集成電路(asic)及/或其類似者)，及/或其它處理結(jié)構(gòu)或構(gòu)件。在上文所描述的實施例中，處理單元1210可對應(yīng)于圖2a的主處理器220及/或關(guān)于圖4所描述的第二處理單元。如圖12中所展示，一些實施例可取決于所要功能性而具有單獨dsp1220。移動裝置105還可包含一或多個輸入裝置1270(其可包含(非限制)觸摸屏、觸摸墊、麥克風(fēng)、按鈕、轉(zhuǎn)盤、開關(guān)及/或其類似者)；及一或多個輸出裝置1215(其可包含(非限制)顯示器、發(fā)光二極管(led)、揚聲器及/或其類似者)。

移動裝置105還可包含無線通信接口1230，其可包含(非限制)調(diào)制解調(diào)器、網(wǎng)卡、紅外線通信裝置、無線通信裝置，及/或芯片集(諸如藍牙裝置、ieee802.11裝置、ieee802.15.4裝置、wifi裝置、wimax裝置、蜂窩式通信設(shè)施，等)，及/或其類似者。無線通信接口1230可準許與網(wǎng)絡(luò)、無線接入點、其它計算機系統(tǒng)及/或本文中所描述的任何其它電子裝置交換數(shù)據(jù)?？山?jīng)由發(fā)送及/或接收無線信號1234的一或多個無線通信天線1232實施通信。

取決于所要功能性，無線通信接口1230可包含單獨收發(fā)器以與基站收發(fā)器臺(蜂窩式網(wǎng)絡(luò)的基站)及/或接入點進行通信。這些不同數(shù)據(jù)網(wǎng)絡(luò)可包含各種網(wǎng)絡(luò)類型。另外，無線廣域網(wǎng)絡(luò)(wwan)可為碼分多址接入(“cdma”)網(wǎng)絡(luò)、時分多址接入(“tdma”)網(wǎng)絡(luò)、頻分多址接入(“fdma”)網(wǎng)路、正交頻分多址接入(“ofdma”)系統(tǒng)、單波頻分多址接入(“sc-fdma”)網(wǎng)絡(luò)，wimax(ieee802.16)，等等。cdm網(wǎng)絡(luò)可實施一或多個無線電接入技術(shù)(“rat”)，例如cdma2000、寬帶-cdma(“w-cdma”)，等等。cdma2000包含is-95、is-2000及/或is-856標準。tdma網(wǎng)絡(luò)可實施全球移動通信系統(tǒng)(“gsm”)、數(shù)字高級移動電話系統(tǒng)(“d-amps”)，或一些其它rat。ofdma網(wǎng)絡(luò)可使用lte、高級lte，等等。lte、高級lte、gsm及w-cdma經(jīng)描述于來自3gpp的文檔中。cdma2000被描述于來自名稱為“第3代合作伙伴計劃2”(3gpp2)的社團的文件中。3gpp及3gpp2文檔可公開獲得。無線局域網(wǎng)(wlan)也可為ieee802.11x網(wǎng)絡(luò)，且無線個人區(qū)域網(wǎng)絡(luò)(wpan)可為藍牙網(wǎng)絡(luò)、ieee802.15x，或某一其它類型的網(wǎng)絡(luò)。本文中所描述的技術(shù)還可用于wwan、wlan及/或wpan的任一組合。

移動裝置105可進一步包含傳感器1240。此些傳感器可包含(非限制)一或多個加速度計、陀螺儀、相機、磁力計、高度計、麥克風(fēng)、鄰近傳感器、光傳感器及其類似者。另外或替代地，傳感器1240可包含圖2a或2b的傳感器系統(tǒng)210及/或類似電子傳感器。因此，本文中所描述的實施例可在傳感器1240的傳感器系統(tǒng)210中包含第一處理器(例如，圖2a或2b中的微處理器216)，所述第一處理器產(chǎn)生關(guān)于圖12的處理單元1210(對應(yīng)于圖2a的主處理器220)中所包含的第二處理單元的事件。在一些實施例中，傳感器1240的第一處理單元(例如，圖2a或2b中的傳感器系統(tǒng)210的微處理器216)可依據(jù)從圖像陣列(例如，圖2a或2b的傳感器陣列單元212)的一或多個輸出接收的一或多個信號確定已檢測到臉部，且響應(yīng)于所述確定，產(chǎn)生用于第二處理單元(例如，圖12的處理單元1210)的臉部檢測事件。在一些實施例中，處理單元1210可以低功率模式操作，且在處理單元1210以低功率模式操作的同時，傳感器1240的第一處理單元(例如，圖2a或2b中的傳感器系統(tǒng)210的微處理器216)可操作以產(chǎn)生待由處理單元1210接收的事件及/或?qū)⑹录鬟_到處理單元1210。

移動裝置的實施例還可包含衛(wèi)星定位系統(tǒng)(sps)接收器1280，所述衛(wèi)星定位系統(tǒng)(sps)接收器能夠使用sps天線1282從一或多個sps衛(wèi)星接收信號1284。sps接收器1280可使用常規(guī)技術(shù)從sps系統(tǒng)的衛(wèi)星(例如，全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)(例如，全球定位系統(tǒng)(gps))、伽利略、格洛納斯、羅盤、日本的準天頂衛(wèi)星系統(tǒng)(qzss)、印度的印度區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)(irnss)、中國的北斗衛(wèi)星導(dǎo)航系統(tǒng)，及或其類似者)提取移動裝置的位置。此外，sps接收器1280可用于各種增強系統(tǒng)(例如，星基增強系統(tǒng)(sbas)，所述增強系統(tǒng)可與一或多個全球及/或區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)相關(guān)聯(lián)或以其它方式啟用供與一或多個全球及/或區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)使用。通過實例但非限制，sbas可包含增強系統(tǒng)，其提供完整性信息、差分校正等，例如，廣域增強系統(tǒng)(waas)、歐洲地球靜止導(dǎo)航重疊服務(wù)(egnos)、多功能衛(wèi)星增強系統(tǒng)(msas)、gps輔助型靜地增強導(dǎo)航或gps及靜地增強導(dǎo)航系統(tǒng)(gagan)，及/或其類似者。因此，如本文中所使用，sps可包含一或多個全球及/或區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)及/或增強系統(tǒng)的任何組合，且sps信號可包含sps、類sps及/或與此一或多個sps相關(guān)聯(lián)的其它信號。

移動裝置105可進一步包含存儲器1260及/或與其通信。存儲器1260可包含(非限制)本地及/或網(wǎng)絡(luò)可存取存儲器、磁盤驅(qū)動、驅(qū)動陣列、光學(xué)存儲裝置、固態(tài)存儲裝置，例如可編程、可快閃更新及/或其類似者的隨機存取存儲器(“ram”)及/或只讀存儲器(“rom”)。此些存儲裝置可經(jīng)配置以實施任何適當數(shù)據(jù)存儲，包含(非限制)各種文件系統(tǒng)、數(shù)據(jù)庫結(jié)構(gòu)及/或其類似者。圖2a的存儲器218(其可包含先前所列舉的存儲器類型中的任一者)可被包含在存儲器1260中或可不同于存儲器1260，此取決于所要功能性。

移動裝置105的存儲器1260還可包括軟件元件(未展示)，包含操作系統(tǒng)、裝置驅(qū)動、可執(zhí)行庫，及/或嵌入于計算機可讀媒體中的其它代碼，例如一或多個應(yīng)用程序，其可包括由各種實施例提供的計算機程序，及/或可經(jīng)設(shè)計以實施方法及/或配置系統(tǒng)，由其它實施例提供，如本文中所描述。在一方面中，接著此代碼及/或指令可用于配置及/或調(diào)適通用計算機(或其它裝置)以執(zhí)行根據(jù)所描述方法的一或多個操作。

熟習(xí)此項技術(shù)者將了解，可根據(jù)特定要求作出大量變化。舉例而言，還可使用自訂硬件，及/或特定元件可以硬件、軟件(包含便攜式軟件，諸如小程式，等)或兩者實施。此外，可使用到例如網(wǎng)絡(luò)輸入/輸出裝置的其它計算裝置的連接。

參考附圖，可包含存儲器的組件可包含非暫時性機器可讀媒體。如本文中所使用的術(shù)語“機器可讀媒體”及“計算機可讀媒體”指參與提供致使機器以特定方式操作的機器的數(shù)據(jù)的任何存儲媒體。在上文中所提供的實施例中，各種機器可讀媒體可經(jīng)涉及于將指令/代碼提供到處理單元及/或其它裝置以進行執(zhí)行。另外或替代地，機器可讀媒體可用于存儲及/或載運此些指令/代碼。在許多實施方案中，計算機可讀媒體為物理及/或有形存儲媒體。此媒體可呈許多形式，包含但不限于非易失性媒體、易失性媒體及傳輸媒體。計算機可讀媒體的共同形式包含(例如)磁性及/或光學(xué)媒體、打孔卡、紙帶、具有孔洞模式的任何其它物理體媒體、ram、prom、eprom、flash-eprom、任何其它存儲器芯片或卡匣、如下文中所描述的載波，或計算機可自其讀取指令及/或代碼的任何其它媒體。

本文中所論述的方法、系統(tǒng)及裝置為實例。各種實施例可在適當時省略、取代或添加各種程序或組件。舉例來說，可將關(guān)于某些實施例所描述的特征組合于其它實施例中。實施例的不同方面及元件可以類似方式組合。本文中所提供的圖的各種組件可以硬件及/或軟件體現(xiàn)。此外，技術(shù)演進，且因此元件中的許多者為并不將本發(fā)明的范圍限制于那些特定實例的實例。

將此些信號稱作位、信息、值、元素、符號、字符、變數(shù)、項、數(shù)字、編號或其類似者有時已證明是便利的(主要出于共用的原因)。然而，應(yīng)理解，所有這些或相似術(shù)語應(yīng)與適當物理量相關(guān)聯(lián)且僅為便利標簽。除非另有具體規(guī)定，如從上文中的論述顯而易見，應(yīng)了解貫穿本說明書，利用例如“處理”、“運算”、“計算”、“確定”、“確認”、“識別”、“相關(guān)聯(lián)”、“測量”、“執(zhí)行”或其類似者的術(shù)語的描述指特定設(shè)備(例如，專用計算機或類似專用電子計算裝置)的動作或過程。因此，在本說明書的上下文中，專用計算機或類似專用電子計算裝置能夠操縱或變換信號，通常在專用計算機或類似專用電子計算裝置的存儲器、寄存器或其它信息存儲裝置、傳輸裝置或顯示裝置內(nèi)表示為物理電子、電或磁量。

如本文中所使用，術(shù)語“及”與“或”可包含各種意義，其還預(yù)期至少部分地取決于其所使用的上下文。通常，“或”如果用于關(guān)聯(lián)列表(例如，a、b或c)意欲意指a、b及c(此處以包含意義下使用)，以及a、b或c(此處以不包含意義使用)。另外，如本文中所使用的術(shù)語“一或多個”可用于以單數(shù)形式描述任何特征、結(jié)構(gòu)或特性或可用于描述特征、結(jié)構(gòu)或特性的某一組合。然而，應(yīng)注意，此僅為說明性實例且所主張標的物并不限于此實例。此外，術(shù)語“中的至少一者”在用于關(guān)聯(lián)例如a、b或c的列表的條件下可經(jīng)解釋為意指a、b及/或c的任何組合，例如a、ab、aa、aab、aabbccc，等。

已描述數(shù)個實施例，可在不背離本發(fā)明的精神的情況下使用各種修改、替代構(gòu)造及等效物。舉例來說，上述元件可僅為較大系統(tǒng)的組件，其中其它規(guī)則可優(yōu)于各種實施例的應(yīng)用或以其它方式修改所述應(yīng)用。此外，可在考慮上述元件之前、期間或之后進行多個步驟。因此，上述描述并不限制本發(fā)明的范圍。