優(yōu)先權(quán)聲明

本申請(qǐng)要求于2015年3月06日提交的名稱為“conveyanceofhiddenimagedatabetweenoutputpanelanddigitalcamera(在輸出面板與數(shù)字相機(jī)之間傳送隱藏圖像數(shù)據(jù))”的美國(guó)專利申請(qǐng)序列號(hào)14/641,062的優(yōu)先權(quán)，所述專利申請(qǐng)出于所有目的通過引用以其全文結(jié)合在此。

背景技術(shù)：

數(shù)字相機(jī)是經(jīng)常包括在商用電子媒體裝置平臺(tái)中的部件。數(shù)字相機(jī)現(xiàn)在以可穿戴形狀因子可獲得(例如，視頻采集耳機(jī)、視頻采集頭戴裝置、視頻采集眼鏡等)，并且嵌入在智能電話、平板計(jì)算機(jī)和筆記本計(jì)算機(jī)等之內(nèi)。

數(shù)字顯示器是經(jīng)常用于向最終用戶傳送對(duì)媒體內(nèi)容的視覺表示的部件。數(shù)字顯示器包括多個(gè)空間排列以形成輸出面板的可尋址圖像元素(像素)。根據(jù)顯示器技術(shù)，每個(gè)像素元件可以包括用于輸出對(duì)媒體內(nèi)容的視覺表示的電子管或光源。

考慮到數(shù)字相機(jī)和數(shù)字顯示器的普遍存在的性質(zhì)，可以在更大程度上協(xié)同利用其對(duì)應(yīng)能力的系統(tǒng)可以向用戶提供增強(qiáng)的娛樂和效用體驗(yàn)。

附圖說明

在附圖中通過示例的方式而非通過限制的方式展示了在此所描述的材料。為了圖示的簡(jiǎn)明和清晰，圖中所展示的元件不一定按比例繪制。例如，為清晰起見，某些元件的尺寸可以相對(duì)于其他元件被放大。另外，在認(rèn)為適當(dāng)?shù)那闆r下，在附圖之間對(duì)參考標(biāo)記加以重復(fù)以指示相應(yīng)的或類似的元件。在附圖中：

圖1a和圖1b是示意圖，根據(jù)一些實(shí)施例描繪了在顯示器與相機(jī)之間傳送隱藏圖像數(shù)據(jù)；

圖2a是流程圖，根據(jù)一些實(shí)施例展示了一種接收隱藏圖像數(shù)據(jù)的方法；

圖2b是示意圖，根據(jù)一些實(shí)施例描繪了使用待存儲(chǔ)或顯示的第二像素顏色對(duì)來替換所感測(cè)到的第一像素顏色對(duì)；

圖3a是曲線圖，根據(jù)一些實(shí)施例展示了繪制像素值編碼空間的頻率響應(yīng)曲線；

圖3b、圖3c、圖3d是時(shí)序圖，根據(jù)一些實(shí)施例展示了基于顯示像素刷新頻移調(diào)制來對(duì)邏輯電平進(jìn)行解碼；

圖4a、圖4b、圖4c、圖4d、圖4e根據(jù)一些實(shí)施例展示了隱藏圖像數(shù)據(jù)編碼結(jié)構(gòu)；

圖5是流程圖，根據(jù)一些實(shí)施例展示了一種光學(xué)地傳輸隱藏圖像數(shù)據(jù)的方法；

圖6a是根據(jù)實(shí)施例的圖像相機(jī)通信接收器的功能框圖；

圖6b是根據(jù)實(shí)施例的圖像相機(jī)通信發(fā)射器的功能框圖；

圖7是根據(jù)一些實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖；

圖8是根據(jù)一些實(shí)施例的包括隱藏圖像數(shù)據(jù)解碼器的示例性超低功率系統(tǒng)的圖示；并且

圖9是根據(jù)一些實(shí)施例安排的示例性移動(dòng)手持平臺(tái)的圖示。

具體實(shí)施方式

參照附圖描述了一個(gè)或多個(gè)實(shí)施例。雖然對(duì)特定配置和安排進(jìn)行了詳細(xì)的描繪和討論，但應(yīng)當(dāng)理解這樣做僅僅是出于說明性目的。相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，在不背離本說明書的精神和范圍的情況下，其他配置和安排是可能的。將對(duì)相關(guān)領(lǐng)域的技術(shù)人員明顯的是，本文描述的技術(shù)和/或安排可以在本文詳細(xì)描述的系統(tǒng)和應(yīng)用之外的各種各樣的其他系統(tǒng)和應(yīng)用中被采用。

在以下具體實(shí)施方式中對(duì)附圖進(jìn)行參考，所述附圖形成其一部分并且展示了示例性實(shí)施例。進(jìn)一步地，應(yīng)當(dāng)理解，在不背離要求保護(hù)的主題的范圍的情況下，可以利用其他實(shí)施例并且可以作出結(jié)構(gòu)和/或邏輯改變。因此，以下具體實(shí)施方式不應(yīng)以限制的含義來理解并且要求保護(hù)的主題的范圍僅由所附權(quán)利要求書及其等效物來限定。

在以下描述中，闡述了許多細(xì)節(jié)，然而，將對(duì)本領(lǐng)域技術(shù)人員明顯的是，可以在沒有這些特定細(xì)節(jié)的情況實(shí)踐實(shí)施例。以框圖形式而非詳細(xì)地示出了眾所周知的方法和裝置以避免模糊更顯著的方面。貫穿本說明書對(duì)“實(shí)施例(anembodiment)”或“一個(gè)實(shí)施例(oneembodiment)”的引用意味著在至少一個(gè)實(shí)施例中包括了與所述實(shí)施例結(jié)合描述的特定特征、結(jié)構(gòu)、功能或特性。因此，貫穿本說明書在各處出現(xiàn)的短語“在實(shí)施例中(inanembodiment)”或在“在一個(gè)實(shí)施例中(inoneembodiment)”不一定指同一個(gè)實(shí)施例。此外，在實(shí)施例的上下文中描述的特定特征、結(jié)構(gòu)、功能或特性可以用任何適當(dāng)?shù)姆绞浇M合在一個(gè)或多個(gè)實(shí)施例中。例如，第一實(shí)施例可以與第二實(shí)施例在任何地方進(jìn)行組合，其中，與這兩個(gè)實(shí)施例相關(guān)聯(lián)的特定特征、結(jié)構(gòu)、功能或特性不相互排斥。

如在示例性實(shí)施例和隨附的權(quán)利要求書的描述中所使用的，除非上下文明確指示，否則單數(shù)形式“一個(gè)(a)”、“一個(gè)(an)”和“所述(the)”旨在同樣包含復(fù)數(shù)形式。還將理解的是，如本文使用的術(shù)語“和/或”指代并且包括相關(guān)聯(lián)的列舉項(xiàng)的一個(gè)或多個(gè)項(xiàng)的任何和所有可能組合。

如貫穿本說明書并且在權(quán)利要求書中使用的，由術(shù)語“的至少一個(gè)(atleastoneof)”或“的一個(gè)或多個(gè)(oneormoreof)”聯(lián)接的項(xiàng)列表可以意味著所例舉的項(xiàng)的任何組合。例如，短語“a、b或c中的至少一項(xiàng)”可意指a；b；c；a和b；a和c；b和c；或a、b和c。

術(shù)語“耦合”和“連接”連同其衍生詞在此可以用于描述部件之間的功能關(guān)系或結(jié)構(gòu)關(guān)系。應(yīng)當(dāng)理解的是，這些術(shù)語并不意為彼此的同義詞。相反，在特定實(shí)施例中，“連接”可以用于指示兩個(gè)或更多個(gè)元件彼此直接進(jìn)行物理的、光學(xué)的或電學(xué)的接觸?！榜詈稀笨梢杂糜谥甘緝蓚€(gè)或更多個(gè)元件彼此進(jìn)行直接的或間接的(在它們之間具有介入元件)物理的、光學(xué)的或電學(xué)的接觸，和/或指示兩個(gè)或更多個(gè)元件彼此協(xié)作或交互(例如，由于因果關(guān)系的原因)。

就對(duì)計(jì)算機(jī)存儲(chǔ)器內(nèi)的數(shù)據(jù)位進(jìn)行的操作的算法和符號(hào)表示而言，呈現(xiàn)在此提供的具體實(shí)施方式的一些部分。如從以下討論中明顯的是，除非另外特別聲明，否則應(yīng)認(rèn)識(shí)到，貫穿本說明書，利用諸如“運(yùn)算”、“計(jì)算”、“確定”、“估計(jì)”、“存儲(chǔ)”、“收集”“顯示”、“接收”、“合并”、“生成”、“更新”等術(shù)語的討論是指計(jì)算機(jī)系統(tǒng)或類似電子計(jì)算裝置的動(dòng)作和過程，所述計(jì)算機(jī)系統(tǒng)或類似電子計(jì)算裝置對(duì)表示為計(jì)算機(jī)系統(tǒng)的包括寄存器和存儲(chǔ)器的電路系統(tǒng)中的物理(電子)量的數(shù)據(jù)進(jìn)行操縱并且將其轉(zhuǎn)換成類似地表示為計(jì)算機(jī)系統(tǒng)存儲(chǔ)器或寄存器或其他此類信息存儲(chǔ)、傳輸或顯示裝置中的物理量的其他數(shù)據(jù)。

雖然以下描述闡述可以在如例如片上系統(tǒng)(soc)架構(gòu)的架構(gòu)中顯現(xiàn)的實(shí)施例，但是在此描述的技術(shù)和/或安排的實(shí)施方式不局限于具體的架構(gòu)和/或計(jì)算系統(tǒng)，并且出于類似目的可以由任何架構(gòu)和/或計(jì)算系統(tǒng)實(shí)施。使用例如多個(gè)集成電路(ic)芯片和/或封裝體、和/或各種計(jì)算裝置和/或消費(fèi)電子產(chǎn)品(ce)裝置(諸如機(jī)頂盒、智能電話等)的各架構(gòu)可以實(shí)施在此描述的技術(shù)和/或安排。此外，雖然以下描述可能闡述許多特定的細(xì)節(jié)(諸如邏輯實(shí)施方式、系統(tǒng)部件的類型和內(nèi)在關(guān)系、邏輯劃分/集成選擇等)，但可以在沒有這些特定細(xì)節(jié)的情況下實(shí)踐要求保護(hù)的主題。此外，可以不詳細(xì)示出某些材料(如例如，控制結(jié)構(gòu)和完整的軟件指令序列)，以便不模糊在此公開的材料。

在此公開的材料的某些部分可以是在硬件(例如，如圖像處理器中的邏輯電路系統(tǒng))中實(shí)施的。某些其他部分可以在硬件、固件、軟件、或其任何組合中實(shí)施。在此公開的至少一些材料還可以被實(shí)施為存儲(chǔ)于機(jī)器可讀介質(zhì)上的指令，這些指令可以被一個(gè)或多個(gè)處理器(圖形處理器和/或中央處理器)讀取或執(zhí)行。機(jī)器可讀介質(zhì)可以包括用于存儲(chǔ)或傳輸具有由機(jī)器(例如，計(jì)算裝置)可讀的形式的信息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀介質(zhì)可以包括只讀存儲(chǔ)器(rom)；隨機(jī)存取存儲(chǔ)器(ram)；磁盤存儲(chǔ)介質(zhì)；光學(xué)存儲(chǔ)介質(zhì)；閃存裝置；電氣、光學(xué)、聲學(xué)或其他類似的非瞬態(tài)、有形介質(zhì)。

下面描述了用于光學(xué)相機(jī)通信的示例性系統(tǒng)、方法和計(jì)算機(jī)可讀介質(zhì)。在一些實(shí)施例中，在顯示器與相機(jī)之間傳送隱藏圖像數(shù)據(jù)。如在此進(jìn)一步描述的，一些實(shí)施例利用高相機(jī)傳感器截止頻率和高頻顯示像素刷新能力，這兩者可能遠(yuǎn)高于人眼的響應(yīng)時(shí)間。在一些實(shí)施例中，通過相對(duì)于目標(biāo)相機(jī)圖像傳感器幀速率而對(duì)顯示像素輸出幅度進(jìn)行頻率調(diào)制預(yù)定量來傳送隱藏圖像數(shù)據(jù)。因?yàn)閷?duì)信息的調(diào)制編碼可以使圖像數(shù)據(jù)無法用肉眼看到，所以所傳送的信息在本文中被稱為“隱藏”或“間接”圖像數(shù)據(jù)。在進(jìn)一步實(shí)施例中，相機(jī)模塊用于檢測(cè)顯示像素的狀態(tài)和/或邏輯電平的與像素幅度輸出中的頻移調(diào)制相關(guān)聯(lián)的一個(gè)或多個(gè)變化。然后，對(duì)所述邏輯電平進(jìn)行解碼以推導(dǎo)出所述隱藏圖像數(shù)據(jù)。在一些實(shí)施例中，隱藏圖像數(shù)據(jù)指示待輸出至相機(jī)取景器顯示器的一個(gè)或多個(gè)像素的顏色。在進(jìn)一步實(shí)施例中，接收裝置具有用于將所檢測(cè)到的像素輸出頻移調(diào)制解碼成對(duì)隱藏?cái)?shù)據(jù)的視覺表示的邏輯。所述裝置進(jìn)一步包括輸出面板，所述輸出面板用于向用戶輸出對(duì)通過顯示器傳送的可以以其他方式從平面視圖隱藏的隱藏?cái)?shù)據(jù)的視覺表示。

圖1a和圖1b是示意圖，根據(jù)一些實(shí)施例描繪了在顯示器與相機(jī)之間傳送隱藏圖像數(shù)據(jù)。傳送包括起始或發(fā)射(tx)源顯示器和接收器(rx)相機(jī)?？梢酝ㄟ^用于對(duì)相機(jī)輸出執(zhí)行圖像信號(hào)處理(例如，如由相機(jī)通信應(yīng)用軟件配置成用于接收隱藏圖像數(shù)據(jù))的平臺(tái)來承載相機(jī)。在一些示例性實(shí)施例中，相機(jī)被嵌入到移動(dòng)裝置(例如，智能電話相機(jī))中。

首先參照?qǐng)D1a，發(fā)射顯示器101可以被配置成用于空間的一般照明(例如，吊燈)或用于媒體內(nèi)容顯示或兩者。顯示器101包括例如在2-d(xy)顯示平面上的多個(gè)空間排列的像素。每個(gè)顯示像素可以包括多個(gè)光閥或光源。在一個(gè)示例性實(shí)施例中，顯示器101采用發(fā)光二極管(led)技術(shù)。在一些實(shí)施例中，顯示像素中的一個(gè)或多個(gè)可以在“高”與“低”輸出幅度狀態(tài)之間循環(huán)。按“高”、“低”“高”狀態(tài)序列進(jìn)行的調(diào)制在本文中被稱為“像素刷新”。因此，在可以輸出相同或不同的源顯示像素顏色的兩個(gè)連續(xù)的“高”輸出幅度狀態(tài)之間，在像素“低”狀態(tài)期間，光輸出處于顯著更低的幅度。在一些實(shí)施例中，像素在像素高幅度狀態(tài)期間“點(diǎn)亮”，并且在像素低幅度狀態(tài)期間“熄滅”。在其他實(shí)施例中，像素可以被分類為在高和低輸出幅度狀態(tài)兩者期間保持“點(diǎn)亮”。

例如，在每個(gè)led顯示像素包括紅、綠和藍(lán)(rgb)二極管的情況下，向所有三個(gè)二極管施加以便輸出給定像素顏色值(例如，rgb通道的混合)的電壓在像素高(例如，點(diǎn)亮)與低(例如，熄滅)狀態(tài)之間變化。在其他實(shí)施例中，顯示器101采用也與通過相機(jī)通信來進(jìn)行的對(duì)隱藏?cái)?shù)據(jù)的傳送相兼容的替代性顯示器技術(shù)。例如，具有可控的點(diǎn)亮/熄滅或高/低狀態(tài)的任何其他顯示器都可以被適配成可通過相機(jī)來辨識(shí)，以便在示例性led顯示器的情境下通過基于本文所描述的實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的像素刷新頻移調(diào)制(即，“鍵控”)來傳送隱藏圖像數(shù)據(jù)。

在一些實(shí)施例中，像素循環(huán)或像素刷新可以與面板刷新相關(guān)聯(lián)。面板刷新通常與垂直消隱間隔(vbi)相關(guān)聯(lián)，在vbi期間，可以翻轉(zhuǎn)幀緩沖器，從而使得像素點(diǎn)亮狀態(tài)值隨著面板刷新而變化。在像素刷新與面板刷新相關(guān)聯(lián)的一些實(shí)施例中，一個(gè)或多個(gè)led在vbi期間被置于熄滅狀態(tài)，從而使得像素刷新與面板刷新一起進(jìn)行。對(duì)于這種實(shí)施例，然后，可以出于傳送隱藏圖像數(shù)據(jù)的(附加)目的而調(diào)制面板刷新速率。因此，除了出于任何常規(guī)目的(例如，顯示電力消耗控制、顯示亮度控制、圖像幀撕裂和/或掃描殘跡減輕)而改變面板刷新速率之外，可以進(jìn)一步如根據(jù)本文中的實(shí)施例的傳送隱藏圖像數(shù)據(jù)的手段那樣對(duì)面板刷新速率進(jìn)行調(diào)制。

在其他實(shí)施例中，用于傳送隱藏圖像數(shù)據(jù)的像素刷新獨(dú)立于面板刷新。同樣，像素刷新可以獨(dú)立于幀緩沖器翻轉(zhuǎn)。例如，在沒有任何vbi的情況下驅(qū)動(dòng)顯示器并且顯示器的像素甚至在幀緩沖器被翻轉(zhuǎn)的同時(shí)保持處于“點(diǎn)亮”狀態(tài)的情況下，可以出于根據(jù)本文中的實(shí)施例的傳送隱藏圖像數(shù)據(jù)的目的根據(jù)需要在“高”幅度輸出與“低”幅度輸出狀態(tài)之間獨(dú)立地循環(huán)像素?？梢砸允芸氐姆绞?例如，通過圖形流水線)對(duì)在限定“低”狀態(tài)像素值的輸出圖像幀與限定“低”狀態(tài)像素值的像素刷新幀之間的幀緩沖器翻轉(zhuǎn)的速率進(jìn)行調(diào)制，以便對(duì)隱藏圖像數(shù)據(jù)進(jìn)行編碼。

根據(jù)由顯示器101輸出(生成或反射)的電磁輻射的波長(zhǎng)，肉眼可以在視覺上感知到或感知不到顯示器101的輸出。例如，在一些實(shí)施例中，由顯示器101輸出可見波段內(nèi)的光。在這種實(shí)施例中的第一實(shí)施例中，顯示器101的所有像素輸出相同的顏色，諸如但不限于白色。然后，用戶115僅感知均勻照亮的白色面板，白色面板是扁平面板照明應(yīng)用的典型。在其他實(shí)施例中，由顯示器101輸出可見波段外的光。在一些這種實(shí)施例中，顯示器101輸出在跨越波長(zhǎng)的近紅外波段內(nèi)肉眼無法看到的光。然后，用戶115將顯示器101感知為暗的(黑色)或未均勻點(diǎn)亮。在仍其他實(shí)施例中，在顯示器101內(nèi)的各個(gè)像素在輸出可見光譜內(nèi)的光的第一狀態(tài)與輸出可見光譜外的光的第二狀態(tài)之間切換。例如，在任何給定時(shí)間，顯示器101中的第一像素子集輸出可見光(例如，白色)，而顯示器101中的第二像素子集輸出近紅外波段內(nèi)的光。包括在第一和第二子集中的顯示像素群可能隨著時(shí)間變化，從而使得用戶115僅感知顯示器101上的噪聲或雪花。

對(duì)于顯示器101輸出可見波段內(nèi)的光的一些實(shí)施例，顯示器101的各個(gè)像素可以輸出不同的顏色(例如，涵蓋任何顏色空間域)以生成對(duì)具有各種圖形對(duì)象、紋理等的一個(gè)或多個(gè)第一圖像幀的視覺表示。例如，如圖1b中進(jìn)一步展示的，顯示器101輸出包括圖形對(duì)象102(例如，化身)和103(例如，樹)的第一圖像。用戶115具有觀看包括對(duì)象102和103的常規(guī)媒體(例如，靜態(tài)圖像或視頻)顯示器的感知118。

在一些實(shí)施例中，顯示器對(duì)一個(gè)或多個(gè)顯示像素的像素幅度調(diào)制速率(刷新頻率)進(jìn)行調(diào)制，以便對(duì)隱藏輸出數(shù)據(jù)進(jìn)行編碼。參照?qǐng)D1a和圖1b，顯示器101用于將一個(gè)或多個(gè)像素的像素刷新頻率相對(duì)于目標(biāo)相機(jī)幀速率調(diào)制預(yù)定量。在一個(gè)示例中，像素以大約相機(jī)110的標(biāo)稱視頻幀速率的一半刷新，以便對(duì)隱藏圖像數(shù)據(jù)進(jìn)行編碼。在一些進(jìn)一步實(shí)施例中，一個(gè)或多個(gè)顯示像素的最小像素刷新速率高于肉眼的響應(yīng)截止(例如，至少80hz以及有利地100hz或更多)。在顯示器101的最小像素刷新速率高于90hz到100hz的人眼響應(yīng)截止的情況下，用戶的感知118可能不受像素輸出幅度調(diào)制速率的影響。然而，即使在像素以低于人眼響應(yīng)截止的某個(gè)速率被刷新的情況下，用戶也可以將像素輸出調(diào)制感知為顯示器101中的純粹閃爍。

相機(jī)通信(camcom)接收器裝置105包括數(shù)字相機(jī)110，所述數(shù)字相機(jī)用于對(duì)來自顯示器101的輸出進(jìn)行采樣。相機(jī)110包括具有有利地遠(yuǎn)高于顯示器101所采用的最大刷新速率的響應(yīng)截止的光學(xué)傳感器。許多可商購(gòu)獲得的相機(jī)傳感器具有大約1khz或更大的截止頻率。相機(jī)110可以在多個(gè)像素刷新周期(以及可能地，多個(gè)面板刷新和/或幀緩沖器翻轉(zhuǎn))內(nèi)記錄顯示器的視頻。在此期間，相機(jī)110用于檢測(cè)顯示器101中的一個(gè)或多個(gè)像素的像素輸出幅度調(diào)制速率的變化或偏移。

接收器裝置105包括負(fù)責(zé)處理由相機(jī)100輸出的圖像的一個(gè)或多個(gè)處理器。在一些實(shí)施例中，可編程處理器執(zhí)行相機(jī)通信應(yīng)用軟件以配置能夠?qū)υ谙袼剌敵龇日{(diào)制變化內(nèi)所編碼的隱藏圖像數(shù)據(jù)進(jìn)行解碼的成像處理流水線。在操作期間，圖像處理流水線生成包括圖形125的一個(gè)或多個(gè)輸出圖像幀。由接收器裝置顯示器120輸出(生成或反射)的光包括對(duì)基于隱藏圖像數(shù)據(jù)生成的圖形125的視覺表示。對(duì)由顯示器120輸出的圖形125的視覺表示可由用戶120的肉眼感知。因此，用戶120具有由與顯示器101的基于相機(jī)的通信而產(chǎn)生的增強(qiáng)感知119。

在由圖1b進(jìn)一步展示的一些實(shí)施例中，由圖像處理流水線基于來自相機(jī)110的輸出而生成的一個(gè)或多個(gè)輸出圖像幀122可以包括待進(jìn)一步存儲(chǔ)和/或顯示為隱藏在對(duì)用戶115直接可見的對(duì)象103后面的圖像數(shù)據(jù)的圖形135。如此，可由用戶115直接感知的各種圖像數(shù)據(jù)可以與隱藏圖像數(shù)據(jù)組合以實(shí)現(xiàn)基于camcom的輸出圖像幀122。

在本文詳細(xì)描述的示例性實(shí)施例中，隱藏圖像數(shù)據(jù)是由圖像處理流水線用于構(gòu)建除了通過起始(源)顯示器的顏色值直接輸出的圖像之外的圖像。在一些這種實(shí)施例中，隱藏圖像數(shù)據(jù)包括關(guān)于如何修改由起始顯示器輸出的顏色像素值以生成對(duì)用戶可見的衍生圖像的信息。因此，在顯示像素輸出第一顏色集(例如，第一rgb通道值集)的情況下，對(duì)像素刷新速率的調(diào)制對(duì)針對(duì)圖像處理流水線的信息進(jìn)行編碼以生成第二顏色集(例如，第二rgb通道值集)，以便存儲(chǔ)或顯示在接收裝置的下游。然而，值得注意的是，本文所描述的用于圖像數(shù)據(jù)的隱蔽傳送的技術(shù)可以應(yīng)用于傳送包括任何形式的消息的非圖像數(shù)據(jù)。

圖2a是流程圖，根據(jù)一些實(shí)施例展示了用于使用隱藏圖像數(shù)據(jù)來替換可見圖像數(shù)據(jù)的方法201的流程圖。圖2b是示意圖，根據(jù)方法201的一些實(shí)施方式描繪了使用待存儲(chǔ)或顯示的第二輸出像素顏色對(duì)來替換第一源像素顏色對(duì)。

首先參照?qǐng)D2a，方法201在操作205處開始，其中，使用已知對(duì)相關(guān)波長(zhǎng)敏感的圖像傳感器(即，光檢測(cè)器)來對(duì)源電磁輻射(例如，光)進(jìn)行采樣。所采樣的(多道)源光與隨著(多個(gè))發(fā)射光源而變化的一個(gè)或多個(gè)刷新頻率相關(guān)聯(lián)。如以下進(jìn)一步所描述的，在一些實(shí)施例中，源光像素刷新頻率與對(duì)一道或多道源光的某個(gè)預(yù)定輸出幅度調(diào)制(即，閃爍)相關(guān)聯(lián)。

在示例性實(shí)施例中，在操作205處所采用的光采樣傳感器是對(duì)可見光波段的至少一部分敏感的光學(xué)相機(jī)圖像傳感器。傳感器還可進(jìn)一步對(duì)近紅外波段等敏感。在一些實(shí)施例中，圖像傳感器包括在空間上以2-d相機(jī)傳感器陣列排列的多個(gè)傳感器像素。與每個(gè)傳感器像素相關(guān)聯(lián)的一個(gè)或多個(gè)像素光檢測(cè)器用于生成與在對(duì)傳感器陣列的掃描期間被積分并保持的光強(qiáng)度成比例的信號(hào)。光檢測(cè)器具有非常高的檢測(cè)帶寬(例如，>數(shù)百khz)。在充分的照明下，光學(xué)圖像傳感器的積分時(shí)間可以足夠短(例如，500μs到5ms)，以使相機(jī)快門截止頻率大大超過人眼的響應(yīng)頻率。如圖3a中進(jìn)一步所展示的，本文所描述的相機(jī)通信技術(shù)可以在人眼響應(yīng)曲線301(例如，大約100hz的截止)與相機(jī)圖像傳感器響應(yīng)曲線302(例如，大約1000hz的快門截止頻率)之間的頻率范圍內(nèi)對(duì)隱藏圖像數(shù)據(jù)進(jìn)行編碼(例如，替換像素值)。根據(jù)應(yīng)用，圖3a中所展示的曲線之外的操作空間也是可接受的。

在一些實(shí)施例中，在操作205處采用的傳感器具有足以分辨源光的像素化的分辨率。換句話說，傳感器像素子集可以與源照明像素子集空間關(guān)聯(lián)。例如，如在圖2b中進(jìn)一步展示的，圖像傳感器210包括能夠分辨顯示像素202的多個(gè)傳感器像素212。由一個(gè)或多個(gè)第一源顯示像素206照亮一個(gè)或多個(gè)第一傳感器像素216，而由一個(gè)或多個(gè)第二源顯示像素208照亮一個(gè)或多個(gè)第二傳感器像素218。

返回圖2a，方法201在操作210處繼續(xù)，其中，基于圖像傳感器采樣指定原始傳感器像素值。來自傳感器像素的輸出被空間映射到2-d圖像幀上。例如，可以輸出每個(gè)傳感器像素位置在rgb顏色空間中的原始圖像數(shù)據(jù)值。在示例性實(shí)施例中，在傳感器可以分辨源光像素的情況下，源像素顏色與傳感器像素的輸出原始像素值之間存在關(guān)聯(lián)性。例如，進(jìn)一步參照?qǐng)D2b，一個(gè)或多個(gè)第一傳感器像素216基于由一個(gè)或多個(gè)源像素206輸出的顏色輸出原始像素值。

返回到圖2a，方法201繼續(xù)操作215，其中，檢測(cè)源光幅度調(diào)制速率(即，像素刷新頻率)的變化。對(duì)于圖像傳感器可以分辨源光像素的實(shí)施例，在操作215處，圖像傳感器可以同時(shí)對(duì)多個(gè)像素刷新頻率進(jìn)行采樣。例如，進(jìn)一步參照?qǐng)D2b，一個(gè)或多個(gè)第一傳感器像素216可以檢測(cè)與一個(gè)或多個(gè)源像素206相關(guān)聯(lián)的第一像素刷新頻率調(diào)制偏移，而一個(gè)或多個(gè)第二傳感器像素218可以檢測(cè)與一個(gè)或多個(gè)第二源像素208相關(guān)聯(lián)的第二像素刷新頻率調(diào)制偏移。因此，對(duì)隱藏圖像數(shù)據(jù)的多輸入/多輸出(mimo)傳輸?shù)膸捴辽偃Q于來源的分辨率、圖像傳感器的分辨率、相機(jī)光學(xué)器件以及來源與傳感器之間的相隔距離。以下進(jìn)一步表征每個(gè)可分辨的源像素的隱藏圖像數(shù)據(jù)傳輸帶寬。

在操作215處(圖2a)，可以通過任何已知的技術(shù)檢測(cè)源光輸出幅度調(diào)制頻率偏移。在一些實(shí)施例中，源光由圖像傳感器進(jìn)行子采樣，并且確定每次采樣時(shí)的一個(gè)或多個(gè)源像素的狀態(tài)。在相對(duì)于相機(jī)幀速率以適當(dāng)頻率進(jìn)行源光切換的情況下，圖像傳感器可以在源像素點(diǎn)亮-熄滅(高-低)鍵控頻率之間進(jìn)行區(qū)分。在一些實(shí)施例中，采用頻移鍵控(fsk)來對(duì)隱藏圖像數(shù)據(jù)進(jìn)行編碼。對(duì)數(shù)字波形進(jìn)行欠采樣可能會(huì)導(dǎo)致混疊分量。在方法201中將發(fā)生混疊，其中，像素刷新速率大于視頻相機(jī)幀速率(fps)的一半。對(duì)于源顯示像素刷新速率和相機(jī)幀速率滿足此條件的示例性實(shí)施例，可以通過更具體地稱為欠采樣頻移開關(guān)鍵控(ufsook)的技術(shù)來傳送隱藏圖像數(shù)據(jù)。然而，仍可以以小于1/2fps的像素刷新速率來實(shí)踐方法201。例如，在30fps的相機(jī)幀速率的情況下，以下像素刷新速率全都是合法的：0hz和15hz；15hz和30hz；30hz和45hz；45hz和60hz；60hz和75hz；75hz和90hz；90hz和105hz；105hz和120hz等。對(duì)于<大約100hz的頻率，源光中的閃爍可能對(duì)人類觀察者是可感知的。然而，以明顯閃爍進(jìn)行操作的源光不一定是不利的。例如，閃爍可以通知用戶，源顯示器正在發(fā)送隱藏圖像，從而提示用戶調(diào)用camcom裝置。如果圖像傳感器采樣率低于源刷新頻率，則發(fā)生有利的源光混疊。

在發(fā)生混疊的實(shí)施例中，利用所產(chǎn)生的欠采樣圖像偽影來對(duì)源光輸出幅度頻率調(diào)制進(jìn)行解碼。對(duì)于以超過100hz的源光切換，圖像傳感器采樣可以處于低于100hz的頻率。在一些實(shí)施例中，相機(jī)圖像傳感器采樣率是固定的，例如以生成固定數(shù)量的幀/秒(例如，30fps)。在其他實(shí)施例中，圖像傳感器采樣率是可變的，例如以根據(jù)采樣幀速率控制器生成15至60fps。在進(jìn)一步實(shí)施例中，外部信號(hào)或用戶通知指示圖像傳感器應(yīng)或者被自動(dòng)地或通過用戶交互控制到什么采樣頻率以有效地將源像素刷新頻率混疊下降至更低頻率。

圖3b至圖3d是時(shí)序圖，根據(jù)一些實(shí)施例展示了基于顯示像素輸出幅度頻移調(diào)制對(duì)邏輯電平進(jìn)行解碼。在圖3b中，源像素輸出數(shù)字波形305表示在兩個(gè)連續(xù)符號(hào)間隔期間的圖像符號(hào)n和n+1。圖像傳感器在采樣選通310處對(duì)波形305進(jìn)行采樣。采樣以1/fps的規(guī)則時(shí)間間隔發(fā)生，并且可以具有任意相位。如圖3b中所描繪的，符號(hào)n與第一波形頻率相關(guān)聯(lián)。符號(hào)n+1與第二波形頻率相關(guān)聯(lián)。在第一像素輸出幅度調(diào)制頻率下，在符號(hào)間隔期間發(fā)生7個(gè)源光像素低/高轉(zhuǎn)換(6次像素刷新)。在第二像素輸出幅度調(diào)制頻率下，在符號(hào)間隔期間發(fā)生8個(gè)源光像素低/高轉(zhuǎn)換(7次像素刷新)。由于存在每位兩次采樣，所以通過頻移調(diào)制傳送的圖像數(shù)據(jù)位率是采樣率的一半或15位/秒(針對(duì)30fps相機(jī))。在圖3b中所示出的示例中，源像素輸出幅度調(diào)制頻率在相機(jī)幀速率的3.5倍與4倍(例如，針對(duì)30fps相機(jī)的105hz與120hz)之間變化。還可以使用其他像素輸出幅度調(diào)制頻率和相機(jī)幀速率組合。

如果發(fā)生混疊，則迅速刷新源像素對(duì)相機(jī)圖像傳感器而言好像緩慢變化狀態(tài)。如圖3b中所示出的，在選通310處將光采樣為點(diǎn)亮(高)、熄滅(低)、熄滅(低)、熄滅(低)。因此，在像素輸出波形305具有第一頻率(例如，105hz)的情況下，圖像傳感器像素將光感測(cè)為與每個(gè)幀(即，以15fps進(jìn)行循環(huán))一起切換點(diǎn)亮(高)和熄滅(低)。在一些實(shí)施例中，源像素光輸出狀態(tài)在符號(hào)間隔內(nèi)的變化對(duì)第一邏輯電平(例如，邏輯1)進(jìn)行編碼。在像素輸出波形305具有第二頻率(例如，120hz)的情況下，圖像傳感器像素將光輸出感測(cè)為具有恒定狀態(tài)(例如，在圖3b中保持熄滅)。在一些實(shí)施例中，符號(hào)間隔內(nèi)的恒定光輸出狀態(tài)對(duì)第二邏輯電平(例如，邏輯0)進(jìn)行編碼。圖3c和圖3d展示了具有不同采樣相位的其他示例。如圖3c中所示出的，像素光輸出被采樣為點(diǎn)亮(高)、熄滅(低)、點(diǎn)亮(高)、點(diǎn)亮(高)，這可以再次對(duì)第一邏輯電平(例如，邏輯1)然后對(duì)第二邏輯電平(例如，邏輯0)進(jìn)行編碼。如圖3d中所示出的，像素光輸出被采樣為熄滅(低)、點(diǎn)亮(高)、點(diǎn)亮(高)、點(diǎn)亮(高)，這可以再次對(duì)第一邏輯電平(例如，邏輯1)然后對(duì)第二邏輯電平(例如，邏輯0)進(jìn)行編碼。在相機(jī)的空間分辨率足以分辨單獨(dú)的源像素的示例性實(shí)施例中，可以以此方式對(duì)來自每個(gè)源像素的邏輯電平流進(jìn)行解碼。

返回至圖2a，方法201繼續(xù)至操作220，其中，通過對(duì)像素輸出幅度調(diào)制頻率偏移進(jìn)行解碼來確定隱藏圖像數(shù)據(jù)。在具有檢測(cè)源像素刷新速率的變化的能力的情況下，可以對(duì)由相機(jī)模塊輸出的原始數(shù)據(jù)進(jìn)行處理以根據(jù)像素刷新頻移調(diào)制對(duì)邏輯電平流進(jìn)行編碼。在進(jìn)行以上編碼的情況下，在操作220處應(yīng)用的解碼規(guī)則用于響應(yīng)于在位時(shí)間期間源像素輸出改變狀態(tài)而生成第一邏輯電平(邏輯1)，并且響應(yīng)于源像素輸出在位時(shí)間期間保持相同狀態(tài)而生成第二邏輯電平(邏輯0)。

在進(jìn)一步實(shí)施例中，可以應(yīng)用任何已知的糾錯(cuò)(例如，fec)算法來補(bǔ)償相移、邊緣采樣錯(cuò)誤等。在進(jìn)一步實(shí)施例中，通過像素刷新頻移調(diào)制來傳送的隱藏圖像數(shù)據(jù)可以通過添加適當(dāng)?shù)钠鹗紟ń绶?sfd)被組織成數(shù)據(jù)幀。就同步協(xié)議(例如，rs232等)來說，sfd有助于源像素輸出調(diào)制與傳感器像素采樣之間的同步。可以使用任何已知的sfd數(shù)據(jù)結(jié)構(gòu)來建立位定時(shí)。圖4a中展示了簡(jiǎn)單的隱藏圖像數(shù)據(jù)幀，其中，sfd字段415界定時(shí)期的開始，并且有效負(fù)載420包括在所述時(shí)期期間傳輸?shù)碾[藏圖像數(shù)據(jù)符號(hào)。圖4b進(jìn)一步展示了根據(jù)一些實(shí)施例的sfd的示例性實(shí)施方式。如所示出的，sfd可以包括高頻像素刷新部分415a(例如，兩個(gè)幀)，在所述高頻像素刷新部分期間，相機(jī)將像素視為點(diǎn)亮和熄滅兩者。在示例性的兩位實(shí)施例中，sfd的第一位以遠(yuǎn)遠(yuǎn)超出應(yīng)用(例如，智能電話)的典型圖像傳感器的響應(yīng)時(shí)間的頻率發(fā)送。然后，像素積分器將提取平均光強(qiáng)度的一半。sfd的第二部分415b包括邏輯1的被發(fā)送以判定源像素和傳感器像素是否足夠同步的接下來兩個(gè)幀。相反，如果邏輯0被讀取，則丟棄幀。圖4b進(jìn)一步展示了適合于跳時(shí)(例如，具有三幀第一部分415c)、長(zhǎng)sfd(例如，具有四幀第一部分415d)以及數(shù)據(jù)定界符(例如，具有包括非法或零頻率的四幀第二部分415e)的替代性sfd結(jié)構(gòu)。

圖4c進(jìn)一步根據(jù)一些實(shí)施例展示了隱藏圖像數(shù)據(jù)代碼分組結(jié)構(gòu)。起始顯示器的任何給定像素可以輸出具有所展示的結(jié)構(gòu)的分組。在示例性時(shí)空代碼分組中，數(shù)據(jù)定界符417使sfd415(例如，正常的sfd415a/415b)與隱藏圖像數(shù)據(jù)420分離。在采用空間復(fù)用的進(jìn)一步實(shí)施例中，代碼分組包括與有效負(fù)載相關(guān)聯(lián)的id字段416?？梢栽趍imo實(shí)施例中利用id字段416來標(biāo)記空間復(fù)用的有效負(fù)載。id字段416可以例如標(biāo)識(shí)圖像幀內(nèi)隱藏圖像數(shù)據(jù)420適用的一個(gè)或多個(gè)像素位置或位置范圍。id字段416可以為顯示幀內(nèi)的源像素位置與輸出圖像像素位置之間的映射提供基礎(chǔ)。圖4d進(jìn)一步展示了根據(jù)空間編碼實(shí)施例的隱藏圖像數(shù)據(jù)代碼分組結(jié)構(gòu)?？捎蓤D像傳感器分辨的任何給定的源顯示像素對(duì)可以一起傳送指定隱藏圖像數(shù)據(jù)和要應(yīng)用隱藏圖像數(shù)據(jù)的一個(gè)或多個(gè)像素位置的第一和第二數(shù)據(jù)分組。在一些實(shí)施例中，一個(gè)或多個(gè)第一像素傳送sfd415(例如，長(zhǎng)sfd415d/415b)，而一個(gè)或多個(gè)第二像素傳送一定量(例如，1位)隱藏圖像數(shù)據(jù)421。多個(gè)第二像素可以用于同時(shí)傳輸多個(gè)位的隱藏圖像數(shù)據(jù)。例如，在多個(gè)第二像素中的每個(gè)像素重復(fù)地從一個(gè)指定的空間位置傳輸位的情況下，所述位可以一起傳輸“空間編碼”的多位隱藏圖像數(shù)據(jù)。

返回至圖2a，方法201在操作225處繼續(xù)，其中，在邏輯電平中的一個(gè)或多個(gè)邏輯電平中編碼的隱藏圖像數(shù)據(jù)映射到輸出圖像幀的像素值上。在一些實(shí)施例中，隱藏圖像數(shù)據(jù)是用于構(gòu)造輸出圖像的替換信息。基于替換信息來替換或修改與像素位置相關(guān)聯(lián)的原始像素值，隱藏?cái)?shù)據(jù)與所述像素位置相關(guān)聯(lián)。在示例性實(shí)施例中，像素值替換信息指示應(yīng)被生成、存儲(chǔ)和/或顯示為經(jīng)處理的相機(jī)輸出幀的輸出顏色。然后，此輸出幀是對(duì)在操作230處存儲(chǔ)和/或顯示在相機(jī)取景器顯示器上的相機(jī)傳達(dá)隱藏圖像數(shù)據(jù)的視覺表示。

在相機(jī)的空間分辨率足以分辨單獨(dú)源像素的示例性實(shí)施例中，可以對(duì)經(jīng)編碼的隱藏?cái)?shù)據(jù)進(jìn)行映射以便確定待顯示在由發(fā)送信息的特定源像素照亮的所有圖像傳感器像素位置上的輸出顏色。例如，進(jìn)一步參照?qǐng)D2b，多個(gè)源顯示像素202中的多個(gè)或所有源顯示像素經(jīng)歷可變頻率的刷新頻率調(diào)制(例如，在高與低輸出幅度狀態(tài)之間切換)以便對(duì)像素級(jí)隱藏圖像數(shù)據(jù)進(jìn)行編碼。然后，隱藏圖像數(shù)據(jù)解碼器確定與一個(gè)或多個(gè)傳感器像素212相關(guān)聯(lián)的不同邏輯電平流。傳感器像素216和218例如分別由源像素206和208照亮。然后，將像素級(jí)隱藏圖像數(shù)據(jù)消息映射到輸出圖像幀220內(nèi)的相應(yīng)像素位置。

圖2b展示了一個(gè)示例性實(shí)施例，其中，通過源像素輸出幅度調(diào)制頻移指示的顏色顯示在映射到經(jīng)刷新頻率調(diào)制的源像素照亮的圖像傳感器像素上的像素位置處。然而，源像素位置與輸出圖像像素位置之間的多個(gè)其他空間映射是可能的。對(duì)于說明性示例，在第一源像素位置(例如，像素208)處的刷新頻率調(diào)制照亮了第一傳感器像素位置(例如，像素218)并可以對(duì)待顯示在不同于源和傳感器像素位置的第二像素位置(例如，像素226)處的顏色進(jìn)行編碼。在一些實(shí)施例中，包括在隱藏圖像數(shù)據(jù)代碼分組中的id字段為隱藏圖像數(shù)據(jù)提供空間映射。

如在圖2b中進(jìn)一步展示的，可以基于與一個(gè)或多個(gè)像素位置相關(guān)聯(lián)的隱藏圖像數(shù)據(jù)來替代或修改由傳感器210輸出的與所述一個(gè)或多個(gè)像素位置相關(guān)聯(lián)的原始rgb值。對(duì)于所展示的實(shí)施例，使用隱藏rgb數(shù)據(jù)來替代由(多個(gè))源顯示像素208照亮的(多個(gè))圖像傳感器像素218相關(guān)聯(lián)的原始rgb數(shù)據(jù)，所述隱藏rgb數(shù)據(jù)通過對(duì)顯示器220內(nèi)的相應(yīng)像素位置處的(多個(gè))源像素208的像素輸出幅度調(diào)制頻移來傳輸。因此，(多個(gè))顯示像素228具有通過源顯示器201的像素刷新頻移來確定的顏色(例如，rgb通道值集)。因此，對(duì)于一些實(shí)施例，隱藏圖像數(shù)據(jù)分組的有效負(fù)載字段包括指示將為輸出圖像幀內(nèi)的特定像素和/或像素位置指定什么樣的(多個(gè))像素顏色值的代碼。圖4e根據(jù)一些實(shí)施例展示了隱藏圖像數(shù)據(jù)字段430與輸出像素顏色440之間的映射。在此說明性示例中，第一隱藏圖像數(shù)據(jù)00映射到像素值1(例如，黑色、綠色、藍(lán)色、紅色、白色等)上。可以設(shè)計(jì)利用更大數(shù)量的隱藏?cái)?shù)據(jù)位的更多復(fù)雜代碼以提供任何期望顏色定義范圍。

圖5是流程圖，展示了用于以適合于相機(jī)通信的方式來光學(xué)地傳輸隱藏圖像數(shù)據(jù)的方法501。在一些實(shí)施例中，方法501由包括源顯示器(例如，圖1a中的顯示器101)的源裝置平臺(tái)執(zhí)行。方法501在操作505處以接收或生成第一圖像數(shù)據(jù)開始。第一圖像數(shù)據(jù)將是在視覺上被呈現(xiàn)為來自方法501的輸出的第一部分的一個(gè)或多個(gè)明顯圖像幀的基礎(chǔ)。第一圖像數(shù)據(jù)可以采用任何適當(dāng)形式，諸如但不限于原生數(shù)據(jù)、頂點(diǎn)數(shù)據(jù)、像素?cái)?shù)據(jù)等。在操作520處，進(jìn)一步接收或生成第二(隱藏)圖像數(shù)據(jù)。第二圖像數(shù)據(jù)將是被編碼為來自方法501的輸出的第二部分的一個(gè)或多個(gè)隱蔽圖像幀的基礎(chǔ)。第二圖像數(shù)據(jù)可以采用任何適當(dāng)形式，諸如但不限于原生數(shù)據(jù)、頂點(diǎn)數(shù)據(jù)、像素?cái)?shù)據(jù)等。

在操作515處，通過任何已知的圖形和/或圖像處理流水線來處理第一圖像數(shù)據(jù)。例如，可以通過頂點(diǎn)著色器、幾何著色器、紋理采樣器和像素渲染器中的一項(xiàng)或多項(xiàng)來處理包括基元的第一圖像數(shù)據(jù)。在一個(gè)示例性實(shí)施例中，圖形流水線生成第一數(shù)據(jù)輸出幀內(nèi)的一個(gè)或多個(gè)像素位置中的每個(gè)像素位置的一個(gè)或多個(gè)“高”狀態(tài)像素值。所生成的第一圖像數(shù)據(jù)可以作為第一輸出圖像幀而存儲(chǔ)到圖像幀緩沖器中。在操作530處，通過任何已知的圖形和/或圖像處理流水線來處理第二圖像數(shù)據(jù)。例如，可以通過頂點(diǎn)著色器、幾何著色器、紋理采樣器和像素渲染器中的一項(xiàng)或多項(xiàng)來處理包括基元的第二圖像數(shù)據(jù)，以得到由替換像素顏色值組成的隱藏圖像數(shù)據(jù)。

在操作540處，將隱藏圖像數(shù)據(jù)編碼為像素刷新頻率調(diào)制。采用任何適當(dāng)配置的調(diào)制器可以執(zhí)行上述刷新頻移調(diào)制。在示例性實(shí)施例中，以隨著第二圖像數(shù)據(jù)而變化的變化頻率對(duì)各自與輸出面板的一個(gè)或多個(gè)像素相關(guān)聯(lián)的多個(gè)輸出信號(hào)進(jìn)行獨(dú)立調(diào)制。像素刷新頻率調(diào)制由嵌入在顯示器中的硬件實(shí)施。這種硬件可能需要電路系統(tǒng)來控制單獨(dú)顯示像素的電壓。在一些實(shí)施例中，利用圖形流水線能力來控制表示一個(gè)或多個(gè)“高”像素值的(多個(gè))輸出圖像幀與表示一個(gè)或多個(gè)“低”像素值的(多個(gè))參考圖像幀之間的切換。在一個(gè)示例性實(shí)施例中，圖形流水線生成隱藏?cái)?shù)據(jù)參考輸出幀內(nèi)的一個(gè)或多個(gè)像素位置中的每個(gè)像素位置的一個(gè)或多個(gè)“低”狀態(tài)像素值，諸如但不限于黑色(例如，rgb0,0,0)。所述一個(gè)或多個(gè)參考輸出幀可以與(多個(gè))第一數(shù)據(jù)輸出幀交替以對(duì)各個(gè)像素的輸出幅度進(jìn)行調(diào)制。然后，可以改變這種調(diào)制的頻率以對(duì)在操作530處生成的隱藏圖像數(shù)據(jù)進(jìn)行編碼。在一些實(shí)施例中，幀緩沖器控制器用于控制所述一個(gè)或多個(gè)隱藏?cái)?shù)據(jù)參考輸出幀與在操作515處生成的緩沖器幀之間的翻轉(zhuǎn)。然后，通過速率圖像幀緩沖器翻轉(zhuǎn)以及在操作515處生成的圖像幀與隱藏?cái)?shù)據(jù)參考輸出幀之間的像素值的差異限定特定像素的明顯像素刷新頻率。

在操作550處，對(duì)第一圖像數(shù)據(jù)的視覺表示例如由多個(gè)空間排列的顯示像素使用任何已知的技術(shù)來輸出。在一些實(shí)施例中，多個(gè)像素中的每個(gè)像素包括一個(gè)或多個(gè)led。基于在操作540處生成的所述多個(gè)輸出信號(hào)來刷新顯示像素中的一個(gè)或多個(gè)顯示像素。在操作550處，第一圖像數(shù)據(jù)的一個(gè)幀輸出例如為靜止圖像或?yàn)闀r(shí)間連續(xù)序列的一部分(例如，視頻)。當(dāng)呈現(xiàn)第一圖像數(shù)據(jù)時(shí)，對(duì)顯示像素中的一個(gè)或多個(gè)顯示像素的輸出調(diào)制進(jìn)行頻移例如約相機(jī)標(biāo)準(zhǔn)的幀速率的一半。作為一個(gè)示例，15hz偏移調(diào)制(例如，在105hz與120hz之間)將適合于30fps相機(jī)接收。對(duì)于與更高速度(例如，100fps)相機(jī)的通信，更高調(diào)制(例如，50hz)也將是可能的。在一些實(shí)施例中，呈現(xiàn)一系列(多個(gè))第一圖像數(shù)據(jù)幀和(多個(gè))隱藏圖像數(shù)據(jù)參考幀，以對(duì)與第一圖像數(shù)據(jù)幀相關(guān)聯(lián)的像素刷新速率進(jìn)行調(diào)制。

圖6a是根據(jù)實(shí)施例的包括相機(jī)模塊硬件110和隱藏圖像數(shù)據(jù)解碼器601的圖像/視頻camcom接收器(rx)裝置600的功能框圖。圖6a進(jìn)一步展示了隱藏圖像數(shù)據(jù)解碼器可以如何與各種其他部件整合以提供增強(qiáng)的視頻相機(jī)輸出。camcomrx裝置600例如可以是移動(dòng)計(jì)算裝置平臺(tái)的一部分。例如，移動(dòng)計(jì)算裝置可以指具有處理系統(tǒng)和移動(dòng)電源或供電(諸如一個(gè)或多個(gè)電池)的任何裝置。移動(dòng)計(jì)算裝置的示例可以包括膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(pda)、蜂窩電話、組合式蜂窩電話/pda、電視、智能裝置(例如，智能電話、平板計(jì)算機(jī)或智能電視)、移動(dòng)互聯(lián)網(wǎng)裝置(mid)、消息裝置、數(shù)據(jù)通信裝置等。移動(dòng)計(jì)算裝置的示例還包括被配置成以由人穿戴的計(jì)算機(jī)和/或媒體捕獲/傳輸裝置(諸如手腕計(jì)算機(jī)、手指計(jì)算機(jī)、戒指計(jì)算機(jī)、眼鏡計(jì)算機(jī)、皮帶夾計(jì)算機(jī)、臂帶計(jì)算機(jī)、鞋計(jì)算機(jī)、服裝計(jì)算機(jī)、以及其他可穿戴計(jì)算機(jī))。在各實(shí)施例中，例如移動(dòng)計(jì)算裝置可以被實(shí)施為能夠執(zhí)行計(jì)算機(jī)應(yīng)用、以及語音通信和/或數(shù)據(jù)通信的智能電話。盡管一些實(shí)施例可以用作為以示例的方式實(shí)施為智能電話的移動(dòng)計(jì)算裝置來進(jìn)行描述，但應(yīng)理解，其他實(shí)施例也可以使用其他無線移動(dòng)計(jì)算裝置實(shí)施。實(shí)施例并不局限于此上下文中。

camcomrx600包括至少一個(gè)相機(jī)模塊(cm)。在示例性實(shí)施例中，cm110進(jìn)一步包括相機(jī)傳感器658。例如，傳感器658可以是hd、fhd、qxga、wqxga、qsxga或uhd格式的數(shù)字光學(xué)成像裝置。在一個(gè)實(shí)施例中，傳感器658具有800萬像素分辨率。相機(jī)傳感器658可以提供8位的顏色分辨率(或每像素更多)，可操作用于逐漸捕獲連續(xù)視頻幀。傳感器658可以具有170mhz的像素或更多的頻率。相機(jī)傳感器658可以包括rgb拜耳濾色器、模擬放大器、a/d轉(zhuǎn)換器、用于將入射光轉(zhuǎn)換成與原始圖像數(shù)據(jù)相對(duì)應(yīng)的數(shù)字信號(hào)的其他部件。傳感器658可以被控制為操作卷簾式快門或電子焦平面快門過程，在所述過程中，針對(duì)幀以線序方式逐漸讀出像素。在示例性視頻實(shí)施例中，傳感器658輸出多個(gè)連續(xù)曝光的幀。cm110可以輸出與符合任何已知的流傳輸協(xié)議(諸如mipi)的連續(xù)采樣幀相關(guān)聯(lián)的原始數(shù)據(jù)。將原始圖像數(shù)據(jù)輸入至isp675。isp675用于在與cm110相關(guān)聯(lián)的水平和/或垂直消隱期期間接收并分析原始圖像數(shù)據(jù)。例如，在原始圖像數(shù)據(jù)處理期間，isp675可以執(zhí)行顏色空間轉(zhuǎn)換、降噪、像素線性化和遮蔽補(bǔ)償中的一項(xiàng)或多項(xiàng)。

可以進(jìn)一步處理由cm110輸出的原始數(shù)據(jù)和/或由isp675輸出的經(jīng)預(yù)處理的視頻數(shù)據(jù)以結(jié)合隱藏圖像數(shù)據(jù)。在所展示的實(shí)施例中，處理器650實(shí)施隱藏圖像數(shù)據(jù)解碼器601和隱藏圖像數(shù)據(jù)處理流水線602。在一些實(shí)施例中，處理器650包括一個(gè)或多個(gè)(可編程的)邏輯電路，所述一個(gè)或多個(gè)邏輯電路用于執(zhí)行用于使用由cm110收集的隱藏圖像數(shù)據(jù)來替換由cm110輸出的原始圖像數(shù)據(jù)的方法的一個(gè)或多個(gè)階段。例如，處理器650可以根據(jù)上述的一些實(shí)施例執(zhí)行方法201(圖2a)。操作系統(tǒng)(os)的內(nèi)核空間內(nèi)由處理器650實(shí)例化的子系統(tǒng)驅(qū)動(dòng)器615可以響應(yīng)于由例如在用戶空間中執(zhí)行的camcom軟件應(yīng)用層生成的命令而傳達(dá)各種相機(jī)模塊參數(shù)(諸如，相機(jī)快門速率、積分時(shí)間等)。在一些實(shí)施例中，處理器650用于訪問存儲(chǔ)在主存儲(chǔ)器610中的隱藏圖像數(shù)據(jù)碼本612并且用于在所檢測(cè)到的像素刷新頻移調(diào)制與隱藏圖像數(shù)據(jù)之間進(jìn)行映射。

在實(shí)施例中，隱藏圖像數(shù)據(jù)解碼器601包括用于執(zhí)行如在本文其他地方所描述的解碼操作和算法的邏輯。在進(jìn)一步實(shí)施例中，隱藏圖像數(shù)據(jù)處理流水線602包括用于執(zhí)行用于使用從解碼器601接收的隱藏圖像數(shù)據(jù)來替換原始圖像數(shù)據(jù)的方法的一個(gè)或多個(gè)階段的邏輯。在一些實(shí)施例中，使用已經(jīng)通過(多個(gè))軟件指令配置的可編程電路系統(tǒng)來實(shí)施圖像處理流水線邏輯。在一些實(shí)施例中，圖像處理流水線602包括用于基于從解碼器601接收的解碼的隱藏圖像數(shù)據(jù)確定輸出圖像幀的多個(gè)像素的像素值的邏輯。

軟件或硬件實(shí)施方式或其組合適合于實(shí)施用于使用由cm110收集的隱藏圖像數(shù)據(jù)替換由cm110輸出的原始圖像數(shù)據(jù)的方法的一個(gè)或多個(gè)階段。對(duì)于硬件實(shí)施方式，隱藏圖像數(shù)據(jù)解碼器601和/或圖像處理流水線602可以由例如isp675中提供的功能邏輯實(shí)施。對(duì)于軟件實(shí)施方式，可以利用任何已知的可編程處理器(諸如，處理器650核或圖形處理器的執(zhí)行單元)來實(shí)施隱藏圖像數(shù)據(jù)解碼器601和/或圖像處理流水線602的邏輯。處理器650可以僅負(fù)責(zé)從由cm110收集或從isp675輸出的輸入圖像數(shù)據(jù)中生成隱藏圖像數(shù)據(jù)。在一個(gè)示例性實(shí)施例中，通過由處理器650實(shí)例化的軟件棧的用戶空間調(diào)用隱藏圖像數(shù)據(jù)解碼器601和/或隱藏圖像數(shù)據(jù)處理流水線602。在一些實(shí)施例中，處理器650執(zhí)行在軟件棧的內(nèi)核空間中實(shí)例化的隱藏圖像數(shù)據(jù)解碼算法。在一些實(shí)施例中，使用存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的指令來對(duì)處理器650進(jìn)行編程以使處理器執(zhí)行一種或多種隱藏圖像數(shù)據(jù)解碼方法。

如圖6a中進(jìn)一步展示的，可以將隱藏圖像數(shù)據(jù)輸出至存儲(chǔ)/顯示/傳輸流水線695。在一個(gè)示例性存儲(chǔ)流水線實(shí)施例中，包括經(jīng)解碼的隱藏圖像數(shù)據(jù)的輸出圖像數(shù)據(jù)被寫入到電子存儲(chǔ)器620(例如，ddr等)中以補(bǔ)充和/或替代原始圖像數(shù)據(jù)。存儲(chǔ)器620可以是單獨(dú)的或主存儲(chǔ)器610的一部分?？商娲鼗蛄硗獾?，存儲(chǔ)/顯示/傳輸流水線695用于傳輸隱藏圖像數(shù)據(jù)和/或輸出包括camcomrx裝置600的隱藏圖像數(shù)據(jù)的圖像數(shù)據(jù)。

圖6b是根據(jù)實(shí)施例的包括顯示像素輸出幅度頻移調(diào)制器633的圖像/視頻camcomtx裝置625的功能框圖。在一些實(shí)施例中，圖像/視頻camcomtx裝置625用于執(zhí)行用于光學(xué)地傳輸適合于相機(jī)通信的隱藏圖像數(shù)據(jù)的方法(例如，方法501)。

camcomtx裝置625例如可以是固定信息媒體裝置平臺(tái)或移動(dòng)計(jì)算裝置平臺(tái)的一部分。固定媒體裝置平臺(tái)的示例包括大屏電視機(jī)、臺(tái)式計(jì)算裝置、機(jī)頂盒、數(shù)字廣告牌或標(biāo)識(shí)裝置、普通照明裝置以及自動(dòng)自助服務(wù)裝置(例如，自動(dòng)柜員機(jī)、自動(dòng)數(shù)字照片沖印機(jī)、自動(dòng)信息終端)。在一些實(shí)施例中，camcomtx裝置625包括顯示器101，諸如，任何大小(例如，長(zhǎng)度為厘米至數(shù)百米)的扁平面板led顯示器。在其他實(shí)施例中，camcomtx裝置625僅包括用于傳達(dá)經(jīng)編碼的像素刷新頻率調(diào)制信號(hào)的適合于耦合至外部顯示器101的輸出端。顯示器101耦合至顯示像素輸出幅度調(diào)制器633的輸出端并且用于接收對(duì)隱藏圖像數(shù)據(jù)進(jìn)行編碼的偏移調(diào)制信號(hào)。在示例性實(shí)施例中，顯示器101進(jìn)一步耦合至圖像數(shù)據(jù)顯示流水線695的輸出端以接收?qǐng)D像數(shù)據(jù)。顯示器101用于顯示對(duì)所接收的圖像數(shù)據(jù)的視覺表示。在進(jìn)一步實(shí)施例中，顯示器101用于基于所接收的偏移調(diào)制信號(hào)刷新一個(gè)或多個(gè)顯示像素。顯示器101可以包括用于獨(dú)立于一個(gè)或多個(gè)其他顯示像素而在低與高狀態(tài)之間切換一個(gè)或多個(gè)顯示像素的像素級(jí)尋址邏輯電路系統(tǒng)。在一些實(shí)施例中，像素級(jí)刷新尋址邏輯電路系統(tǒng)耦合至刷新頻率調(diào)制器633。

在一些實(shí)施例中，處理器651用于生成和/接收待包括在(多個(gè))輸入幀中的圖形對(duì)象和/或圖像(視頻)數(shù)據(jù)。在所展示的示例中，圖像數(shù)據(jù)處理流水線632和或isp675將圖像數(shù)據(jù)輸出至顯示流水線695。在進(jìn)一步實(shí)施例中，處理器651用于生成將編碼在像素刷新頻率調(diào)制信號(hào)中的圖形對(duì)象和/或圖像(視頻)數(shù)據(jù)。在所展示的示例中，由圖像數(shù)據(jù)處理流水線632和/或isp675生成和/或接收的隱藏圖像數(shù)據(jù)輸出至進(jìn)一步用于將隱藏圖像數(shù)據(jù)編碼成一個(gè)或多個(gè)像素級(jí)刷新頻移調(diào)制的刷新頻率調(diào)制器633。在所展示的實(shí)施例中，處理器651實(shí)施刷新頻率調(diào)制器601以及圖像數(shù)據(jù)處理流水線632。在一些實(shí)施例中，處理器651包括一個(gè)或多個(gè)(可編程的)邏輯電路，所述一個(gè)或多個(gè)邏輯電路用于執(zhí)行用于使用經(jīng)刷新頻移調(diào)制編碼的圖像數(shù)據(jù)來顯示圖像數(shù)據(jù)的方法的一個(gè)或多個(gè)階段。例如，處理器651可以執(zhí)行根據(jù)上述的一些實(shí)施例的方法501(圖5)。os的內(nèi)核空間內(nèi)由處理器651實(shí)例化的子系統(tǒng)驅(qū)動(dòng)器615可以響應(yīng)于由例如在用戶空間中執(zhí)行的camcom軟件應(yīng)用層生成的命令而傳達(dá)包括刷新頻移調(diào)制信號(hào)的各種顯示參數(shù)。在一些實(shí)施例中，處理器651用于訪問存儲(chǔ)在主存儲(chǔ)器611中的隱藏圖像數(shù)據(jù)碼本612并且用于基于碼本612在隱藏圖像數(shù)據(jù)與刷新頻移調(diào)制之間進(jìn)行映射。

在實(shí)施例中，刷新頻率調(diào)制器633包括用于執(zhí)行如在本文其他地方所描述的編碼操作和算法的邏輯。

或者軟件或硬件實(shí)施方式或者其組合適合于實(shí)施用于使用被編碼成刷新頻移調(diào)制信號(hào)的隱藏圖像數(shù)據(jù)來顯示圖像數(shù)據(jù)的方法的一個(gè)或多個(gè)階段。對(duì)于硬件實(shí)施方式，刷新頻率調(diào)制器633可以由例如在isp675中提供的固定功能邏輯實(shí)施。對(duì)于軟件實(shí)施方式，可以利用任何已知的可編程處理器(諸如，處理器651的核或圖形處理器的執(zhí)行單元)來實(shí)施刷新頻率調(diào)制器633和/或圖像處理流水線632的邏輯。處理器651可以僅負(fù)責(zé)對(duì)由顯示器101輸出的隱藏圖像數(shù)據(jù)進(jìn)行編碼。在一個(gè)示例性實(shí)施例中，通過由處理器651實(shí)例化的軟件棧的用戶空間來調(diào)用刷新頻率調(diào)制器633。在一些實(shí)施例中，處理器651執(zhí)行在軟件棧的內(nèi)核空間中實(shí)例化的隱藏圖像數(shù)據(jù)編碼算法。在一些實(shí)施例中，使用存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的指令來對(duì)處理器651進(jìn)行編程以使處理器執(zhí)行一種或多種隱藏圖像數(shù)據(jù)編碼方法。

圖7是可以用于使用待存儲(chǔ)或顯示的一個(gè)或多個(gè)經(jīng)解碼的像素顏色來替換一個(gè)或多個(gè)所感測(cè)到的像素顏色的數(shù)據(jù)處理系統(tǒng)700的框圖。數(shù)據(jù)處理系統(tǒng)700包括一個(gè)或多個(gè)處理器702以及一個(gè)或多個(gè)圖形處理器708，并且可以是單處理器桌面系統(tǒng)、多處理器工作站系統(tǒng)或具有大量處理器702或處理器核707的服務(wù)器系統(tǒng)。在一個(gè)實(shí)施例中，數(shù)據(jù)處理系統(tǒng)700是用于移動(dòng)式、手持式、或嵌入式裝置的片上系統(tǒng)(soc)集成電路。

數(shù)據(jù)處理系統(tǒng)700的實(shí)施例可以包括或并入基于服務(wù)器的游戲平臺(tái)、游戲控制臺(tái)(包括游戲和媒體控制臺(tái)、移動(dòng)游戲控制臺(tái)、手持式游戲控制臺(tái)或在線游戲控制臺(tái))。在一些實(shí)施例中，數(shù)據(jù)處理系統(tǒng)700是移動(dòng)電話、智能電話、平板計(jì)算裝置或移動(dòng)互聯(lián)網(wǎng)裝置。數(shù)據(jù)處理系統(tǒng)700還可包括可穿戴裝置(諸如，智能手表可穿戴裝置、智能眼鏡裝置、增強(qiáng)現(xiàn)實(shí)裝置、或虛擬現(xiàn)實(shí)裝置)、與所述可穿戴裝置耦合、或者集成在所述可穿戴裝置中。在一些實(shí)施例中，數(shù)據(jù)處理系統(tǒng)700是電視或機(jī)頂盒裝置，所述電視或機(jī)頂盒裝置具有一個(gè)或多個(gè)處理器702以及由一個(gè)或多個(gè)圖形處理器708生成的圖形界面。

在一些實(shí)施例中，所述一個(gè)或多個(gè)處理器702各自包括用于處理當(dāng)被執(zhí)行時(shí)執(zhí)行系統(tǒng)和用戶軟件的操作的指令的一個(gè)或多個(gè)處理器核707。在一些實(shí)施例中，所述一個(gè)或多個(gè)處理器核707中的每個(gè)處理器核被配置成用于處理特定的指令集709。在一些實(shí)施例中，指令集709可以促進(jìn)復(fù)雜指令集計(jì)算(cisc)、精簡(jiǎn)指令集計(jì)算(risc)、或經(jīng)由超長(zhǎng)指令字(vliw)的計(jì)算。多個(gè)處理器核707可以各自處理不同的指令集709，所述指令集可以包括用于促進(jìn)對(duì)其他指令集進(jìn)行仿真的指令。處理器核707還可以包括其他處理裝置(諸如，數(shù)字信號(hào)處理器(dsp))。

在一些實(shí)施例中，處理器702包括高速緩存存儲(chǔ)器704。取決于架構(gòu)，處理器702可以具有單個(gè)內(nèi)部高速緩存或內(nèi)部高速緩存的多個(gè)級(jí)。在一些實(shí)施例中，在處理器702的各部件當(dāng)中共享高速緩存存儲(chǔ)器。在一些實(shí)施例中，處理器702還使用外部高速緩存(例如，3級(jí)(l3)高速緩存或末級(jí)高速緩存(llc))(未示出)，可以使用已知的高速緩存一致性技術(shù)來在處理器核707當(dāng)中共享外部高速緩存。另外地，寄存器組706包括在處理器702中，所述處理器可以包括用于存儲(chǔ)不同類型的數(shù)據(jù)的不同類型的寄存器(例如，整數(shù)寄存器、浮點(diǎn)寄存器、狀態(tài)寄存器、和指令指針寄存器)。一些寄存器可以是通用寄存器，而其他寄存器可以特定于處理器702的設(shè)計(jì)。

在一些實(shí)施例中，處理器702耦合至用于在處理器702與系統(tǒng)700內(nèi)的其他部件之間傳輸數(shù)據(jù)信號(hào)的處理器總線710。系統(tǒng)700具有“中樞”系統(tǒng)架構(gòu)，包括存儲(chǔ)器控制器中樞716和輸入輸出(i/o)控制器中樞730。存儲(chǔ)器控制器中樞716促進(jìn)存儲(chǔ)器裝置與系統(tǒng)700的其他部件之間的通信，而i/o控制器中樞(ich)730經(jīng)由本地i/o總線提供至i/o裝置的連接。

存儲(chǔ)器720可以是動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)裝置、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)裝置、閃存裝置或具有適當(dāng)性能以用作進(jìn)程存儲(chǔ)器的其他存儲(chǔ)器裝置。存儲(chǔ)器720可以存儲(chǔ)數(shù)據(jù)722和指令721，以供在處理器702執(zhí)行過程時(shí)使用。存儲(chǔ)器控制器中樞716還與可選的外部圖形處理器712耦合，所述可選的外部圖形處理器可以與處理器702中的所述一個(gè)或多個(gè)圖形處理器708通信，以執(zhí)行圖形和媒體操作。

在一些實(shí)施例中，ich730使得外圍設(shè)備能夠經(jīng)由高速i/o總線連接至存儲(chǔ)器720和處理器702。i/o外圍裝置包括音頻控制器746、固件接口728、無線收發(fā)器726(例如，wi-fi、藍(lán)牙)、數(shù)據(jù)存儲(chǔ)裝置724(例如，硬盤驅(qū)動(dòng)器、閃存等)、以及用于將傳統(tǒng)(例如，個(gè)人系統(tǒng)2(ps/2))裝置耦合至所述系統(tǒng)的傳統(tǒng)i/o控制器。一個(gè)或多個(gè)通用串行總線(usb)控制器742連接輸入裝置(諸如，鍵盤和鼠標(biāo)744組合)。網(wǎng)絡(luò)控制器734還可以耦合至ich730。在一些實(shí)施例中，高性能網(wǎng)絡(luò)控制器(未示出)耦合至處理器總線710。

圖8是根據(jù)一個(gè)或多個(gè)實(shí)施例的采用圖像/視頻camcomrx裝置的示例性超低功率系統(tǒng)800的圖示。盡管系統(tǒng)800不局限于此上下文，但系統(tǒng)800可以是移動(dòng)裝置。系統(tǒng)800可以并入可穿戴計(jì)算裝置、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、觸摸板、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、蜂窩電話、智能裝置(例如，智能電話、智能平板計(jì)算機(jī)或移動(dòng)電視)、移動(dòng)互聯(lián)網(wǎng)裝置(mid)、消息裝置、數(shù)據(jù)通信裝置等。系統(tǒng)800還可以是基礎(chǔ)設(shè)施裝置。例如，系統(tǒng)800可以并入大畫幅電視、機(jī)頂盒、臺(tái)式計(jì)算機(jī)或其他家用或商用網(wǎng)絡(luò)裝置中。

系統(tǒng)800包括裝置平臺(tái)802，所述裝置平臺(tái)可以實(shí)施以上在圖1a至圖4e的上下文中描述的隱藏圖像接收和解碼方法中的全部方法或其子集。在各個(gè)示例性實(shí)施例中，視頻處理器815執(zhí)行例如如在本文其他地方所描述的刷新頻率檢測(cè)和/或圖像數(shù)據(jù)解碼方法。視頻處理器815包括實(shí)施隱藏圖像數(shù)據(jù)解碼器601的邏輯電路系統(tǒng)，所述隱藏圖像數(shù)據(jù)解碼器用于基于例如如本文中其他地方描述的像素刷新頻移調(diào)制來對(duì)輸出圖像的替換像素值進(jìn)行解碼。在一些實(shí)施例中，一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)指令，所述指令當(dāng)由cpu810和/或視頻處理器815執(zhí)行時(shí)使(多個(gè))處理器執(zhí)行在本文中其他地方描述的圖像數(shù)據(jù)解碼和/或替換操作中的一項(xiàng)或多項(xiàng)操作。然后，由cm110輸出的一個(gè)或多個(gè)圖像數(shù)據(jù)幀可以存儲(chǔ)在與替換圖像數(shù)據(jù)相關(guān)聯(lián)的存儲(chǔ)器812中。

在實(shí)施例中，裝置平臺(tái)802耦合至人機(jī)接口裝置(hid)820。平臺(tái)802可以使用cm110和211來采集原始圖像數(shù)據(jù)，所述原始圖像數(shù)據(jù)被處理并輸出到hid820。包括一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器850可以用于例如與裝置平臺(tái)802和/或hid820進(jìn)行交互。在實(shí)施例中，hid820可以包括經(jīng)由無線電818和/或網(wǎng)絡(luò)860耦合至平臺(tái)802的任何監(jiān)視器或顯示器。hid820可以包括例如計(jì)算機(jī)輸出面板、觸摸屏顯示器、視頻監(jiān)視器、類似電視機(jī)的裝置和/或電視機(jī)。

在實(shí)施例中，裝置平臺(tái)802可以包括cm110；芯片組805；處理器810、815；存儲(chǔ)器/存儲(chǔ)裝置812；應(yīng)用816和/或無線電818的任何組合。芯片組805可以提供處理器810、815、存儲(chǔ)器812、視頻處理器815、應(yīng)用816、或無線電818當(dāng)中的相互通信。

處理器810、815中的一個(gè)或多個(gè)處理器可以被實(shí)施為一個(gè)或多個(gè)復(fù)雜指令集計(jì)算機(jī)(cisc)或精簡(jiǎn)指令集計(jì)算機(jī)(risc)處理器；x86指令集兼容處理器；多核或任何其他微處理器或中央處理單元(cpu)。

存儲(chǔ)器812可以被實(shí)施為易失性存儲(chǔ)器裝置，諸如但不限于：隨機(jī)存取存儲(chǔ)器(ram)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)或靜態(tài)ram(sram)。存儲(chǔ)器812還可以被實(shí)施為非易失性存儲(chǔ)裝置，諸如但不限于：閃存、電池備用sdram(異步dram)、磁性存儲(chǔ)器、相變存儲(chǔ)器等。

無線電818可以包括能夠使用各種適當(dāng)?shù)臒o線通信技術(shù)來發(fā)射并接收信號(hào)的一個(gè)或多個(gè)無線電。這種技術(shù)可以涉及跨一個(gè)或多個(gè)無線網(wǎng)絡(luò)的通信。示例無線網(wǎng)絡(luò)包括(但不限于)無線局域網(wǎng)(wlan)、無線個(gè)人局域網(wǎng)(wpan)、無線城域網(wǎng)(wman)、蜂窩網(wǎng)和衛(wèi)星網(wǎng)。在跨這種網(wǎng)絡(luò)進(jìn)行通信時(shí)，無線電618可以根據(jù)任何版本中的一個(gè)或多個(gè)可適用標(biāo)準(zhǔn)進(jìn)行操作。

在實(shí)施例中，系統(tǒng)800可以被實(shí)施為無線系統(tǒng)、有線系統(tǒng)、或兩者的組合。當(dāng)被實(shí)施為無線系統(tǒng)時(shí)，系統(tǒng)800可以包括適合于通過無線共享介質(zhì)(諸如，一個(gè)或多個(gè)天線、發(fā)射器、接收器、收發(fā)器、放大器、濾波器、控制邏輯等)進(jìn)行通信的部件和接口。無線共享介質(zhì)的示例可以包括無線頻譜部分(諸如rf頻譜等)。當(dāng)被實(shí)施為有線系統(tǒng)時(shí)，系統(tǒng)800可以包括適用于通過有線通信介質(zhì)(諸如，輸入/輸出(i/o)適配器、使用對(duì)應(yīng)有線通信介質(zhì)連接i/o適配器的物理連接器、網(wǎng)絡(luò)接口卡(nic)、光盤控制器、視頻控制器、音頻控制器等)進(jìn)行通信的部件和接口。有線通信介質(zhì)的示例可以包括導(dǎo)線、電纜、金屬引線、印刷電路板(pcb)、背板、交換光纖、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等。

可以在各種硬件架構(gòu)、單元設(shè)計(jì)或“ip核”中實(shí)施與本文描述的示例性實(shí)施例一致的隱藏圖像數(shù)據(jù)解碼和圖像數(shù)據(jù)替換方法。

如上所述，可以以變化的物理風(fēng)格或形狀因子來具體化系統(tǒng)800。圖9進(jìn)一步展示了可以在其中具體化平臺(tái)802和/或系統(tǒng)800的移動(dòng)手持裝置900的實(shí)施例。在實(shí)施例中，例如，裝置900可以被實(shí)施為具有無線能力的移動(dòng)計(jì)算手持裝置。如圖9中所示出的，移動(dòng)手持裝置900可以包括具有前面901和背面902的殼體。裝置900包括顯示器904、輸入/輸出(i/o)裝置906、和集成天線908。裝置900還可以包括導(dǎo)航特征912。顯示器904可以包括適合于移動(dòng)計(jì)算裝置的用于顯示信息的任何適當(dāng)?shù)娘@示單元。i/o裝置906可以包括用于將信息輸入移動(dòng)計(jì)算裝置中的任何適當(dāng)?shù)膇/o裝置。i/o裝置906的示例可以包括字母數(shù)字鍵盤、數(shù)字小鍵盤、觸摸板、輸入建、按鈕、開關(guān)、麥克風(fēng)、揚(yáng)聲器、話音識(shí)別裝置和軟件等。信息還可以經(jīng)由麥克風(fēng)(未示出)輸入到裝置900中或者可以由話音識(shí)別裝置數(shù)字化。實(shí)施例并不局限于本上下文中。集成到至少背面902的是相機(jī)模塊910(例如，包括一個(gè)或多個(gè)鏡頭、光圈和成像傳感器)，通過所述相機(jī)模塊，圖像數(shù)據(jù)被采樣并輸出至例如如在本文其他地方所描述的隱藏圖像數(shù)據(jù)解碼器。

如以上例示的，可以使用硬件元件、軟件元件或兩者的組合來實(shí)施本文描述的實(shí)施例。硬件元件或模塊的示例包括：處理器、微處理器、電路系統(tǒng)、電路元件(例如，晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(asic)、可編程邏輯器件(pld)、數(shù)字信號(hào)處理器(dsp)、現(xiàn)場(chǎng)可編程門陣列(fpga)、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片組等。軟件元件或模塊的示例包括：應(yīng)用、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、例程、子例程、函數(shù)、方法、過程、軟件接口、應(yīng)用程序接口(api)、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、數(shù)據(jù)字、值、符號(hào)、或其任何組合。判定是否是使用硬件元件和/或軟件元件來實(shí)施實(shí)施例可以根據(jù)針對(duì)設(shè)計(jì)選擇所考慮的任何數(shù)量的因數(shù)而變化，諸如但不限于：期望的計(jì)算速率、功率水平、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲(chǔ)器資源、數(shù)據(jù)總線速度以及其他設(shè)計(jì)或性能約束。

至少一個(gè)實(shí)施例的一個(gè)或多個(gè)方面可以由存儲(chǔ)在機(jī)器可讀存儲(chǔ)介質(zhì)上的代表性指令實(shí)施。這種指令在由機(jī)器對(duì)其進(jìn)行執(zhí)行的過程中可以完全地或至少部分地駐留在主存儲(chǔ)器內(nèi)和/或在處理器內(nèi)，存儲(chǔ)指令的主存儲(chǔ)器和處理器部分然后還組成機(jī)器可讀存儲(chǔ)介質(zhì)。可編程邏輯電路可以具有由實(shí)施計(jì)算機(jī)可讀介質(zhì)的處理器配置的寄存器、狀態(tài)機(jī)等。然后，這種邏輯電路系統(tǒng)當(dāng)被編程時(shí)可以被理解為被物理地轉(zhuǎn)換成落入本文描述的實(shí)施例的范圍內(nèi)的系統(tǒng)。表示處理器內(nèi)的各邏輯的指令當(dāng)由機(jī)器讀取時(shí)還可以使機(jī)器制造遵循本文描述的架構(gòu)的邏輯和/或執(zhí)行本文描述的技術(shù)。被稱為元件設(shè)計(jì)或ip核的這種表示可以存儲(chǔ)在有形的、機(jī)器可讀的介質(zhì)上或被供應(yīng)至不同的消費(fèi)者或制造設(shè)施以加載到實(shí)際上制造邏輯的制造機(jī)器或處理器中。

雖然已經(jīng)參照實(shí)施例描述了本文闡述的某些特征，并不旨在以限制的含義解釋本說明書。因此，本公開涉及的對(duì)本領(lǐng)域技術(shù)人員而言明顯的對(duì)本文描述的實(shí)施方式以及其他實(shí)施方式的各種修改被視為是在本公開的精神和范圍內(nèi)。

以下段落簡(jiǎn)要描述了一些示例性實(shí)施例。

在一個(gè)或多個(gè)實(shí)施例中，一種設(shè)備包括相機(jī)模塊，所述相機(jī)模塊用于對(duì)與一個(gè)或多個(gè)顯示像素相關(guān)聯(lián)的光進(jìn)行采樣；基于所述采樣為輸入圖像幀的一個(gè)或多個(gè)像素指定原始像素值；并且檢測(cè)所述顯示像素中的至少一個(gè)顯示像素的輸出調(diào)制速率的一個(gè)或多個(gè)變化。所述設(shè)備進(jìn)一步包括圖像處理模塊，所述圖像處理模塊耦合至所述相機(jī)模塊，用于：基于所述一個(gè)或多個(gè)輸出調(diào)制速率變化來確定隱藏圖像數(shù)據(jù)；以及通過基于所述隱藏圖像數(shù)據(jù)來替換或修改所述原始像素值從而從所述輸入圖像幀中生成輸出圖像幀。

在第一實(shí)施例的進(jìn)一步方案中，所述圖像處理模塊用于：基于所述一個(gè)或多個(gè)像素輸出調(diào)制速率變化來確定與所述輸入圖像幀的一個(gè)或多個(gè)像素相關(guān)聯(lián)的一個(gè)或多個(gè)邏輯電平；以及基于所述一個(gè)或多個(gè)邏輯電平來確定隱藏像素值。

在第一實(shí)施例的進(jìn)一步方案中，所述相機(jī)模塊用于基于對(duì)所述光的采樣與像素輸出調(diào)制頻率之間的時(shí)域混疊的偏移調(diào)制偽像來檢測(cè)所述一個(gè)或多個(gè)像素輸出調(diào)制速率變化。

在第一實(shí)施例的進(jìn)一步方案中，所述圖像處理模塊用于根據(jù)像素輸出頻移調(diào)制對(duì)邏輯電平流進(jìn)行解碼；確定通過所述邏輯電平流編碼的隱藏像素值；并且通過將所述原始像素值改變成所述隱藏像素值來生成所述輸出圖像幀。

在第一實(shí)施例的進(jìn)一步方案中，所述設(shè)備進(jìn)一步包括以下各項(xiàng)中至少一個(gè)項(xiàng)：電子存儲(chǔ)器，所述電子存儲(chǔ)器用于存儲(chǔ)所述輸出圖像幀；或輸出面板，所述輸出面板用于輸出所述輸出圖像幀。

在第一實(shí)施例的進(jìn)一步方案中，所述圖像處理模塊用于：響應(yīng)于所述采樣率比像素輸出調(diào)制速率小第一量而對(duì)與所述輸入圖像幀的所述一個(gè)或多個(gè)像素相關(guān)聯(lián)的第一邏輯電平進(jìn)行解碼；響應(yīng)于所述采樣率比像素輸出調(diào)制速率小不同于所述第一量的第二量而對(duì)與所述輸入圖像幀的所述一個(gè)或多個(gè)像素相關(guān)聯(lián)的第二邏輯電平進(jìn)行解碼。

在第一實(shí)施例的進(jìn)一步方案中，所述相機(jī)模塊用于：在包括所述輸入圖像幀的多個(gè)像素上空間地映射原始像素值。所述成像處理模塊用于：基于與所述多個(gè)像素中的每個(gè)像素相關(guān)聯(lián)的像素輸出調(diào)制速率的一個(gè)或多個(gè)變化來對(duì)與所述多個(gè)像素中的每個(gè)像素相關(guān)聯(lián)的一個(gè)或多個(gè)邏輯電平進(jìn)行解碼；并且通過響應(yīng)于對(duì)與所述像素中的第一像素相關(guān)聯(lián)的一個(gè)或多個(gè)第一邏輯電平進(jìn)行解碼而使用隱藏像素值來替代所述像素中的所述第一像素的所述原始像素值從而生成所述輸出圖像幀。

在上文緊接的實(shí)施例的進(jìn)一步方案中，所述圖像處理模塊用于響應(yīng)于對(duì)與所述像素中的第二像素相關(guān)聯(lián)的一個(gè)或多個(gè)第二邏輯電平進(jìn)行解碼而保留所述像素中的所述第二像素的所述原始像素值。

在一個(gè)或多個(gè)第二實(shí)施例中，一種用于確定像素值的方法包括：對(duì)與一個(gè)或多個(gè)顯示像素相關(guān)聯(lián)的光進(jìn)行采樣；基于樣本為輸入圖像幀的一個(gè)或多個(gè)像素指定原始像素值；檢測(cè)所述一個(gè)或多個(gè)顯示像素的輸出調(diào)制速率的一個(gè)或多個(gè)變化；基于所述一個(gè)或多個(gè)像素輸出調(diào)制速率變化來確定隱藏圖像數(shù)據(jù)；以及通過基于所述隱藏圖像數(shù)據(jù)來替換或修改所述原始像素值從而從所述輸入圖像幀中生成輸出圖像幀。

在第二實(shí)施例的進(jìn)一步方案中，生成所述輸出圖像幀進(jìn)一步包括：根據(jù)所述像素輸出調(diào)制速率變化對(duì)邏輯電平流進(jìn)行解碼；根據(jù)所述邏輯電平流確定隱藏像素值；以及通過將所述原始像素值改變?yōu)樗鲭[藏像素值來生成所述輸出圖像幀。

在上文緊接的實(shí)施例的進(jìn)一步方案中，確定所述一個(gè)或多個(gè)邏輯電平進(jìn)一步包括：響應(yīng)于所述采樣率比像素輸出調(diào)制速率小第一量而對(duì)與所述輸入圖像幀的所述一個(gè)或多個(gè)像素相關(guān)聯(lián)的第一邏輯電平進(jìn)行解碼；以及響應(yīng)于所述采樣率比像素輸出調(diào)制速率小不同于所述第一量的第二量而對(duì)與所述輸入圖像幀的所述一個(gè)或多個(gè)像素相關(guān)聯(lián)的第二邏輯電平進(jìn)行解碼。

在第二實(shí)施例的進(jìn)一步方案中，為所述輸入圖像幀的一個(gè)或多個(gè)像素指定原始像素值進(jìn)一步包括：在包括所述輸入圖像幀的多個(gè)像素上空間地映射原始像素值。確定隱藏圖像數(shù)據(jù)進(jìn)一步包括：基于對(duì)所述光的采樣與所述光中與刷新所述多個(gè)像素中的每個(gè)像素相關(guān)聯(lián)的幅度調(diào)制之間的時(shí)域混疊來對(duì)與所述多個(gè)像素中的每個(gè)像素相關(guān)聯(lián)的一個(gè)或多個(gè)邏輯電平進(jìn)行解碼。生成所述輸出圖像幀進(jìn)一步包括：響應(yīng)于對(duì)與所述像素中的第一像素相關(guān)聯(lián)的一個(gè)或多個(gè)第一邏輯電平進(jìn)行解碼而使用隱藏像素值來替代所述像素中的所述第一像素的所述原始像素值。

在上文緊接的實(shí)施例的進(jìn)一步方案中，生成所述輸出圖像幀進(jìn)一步包括：響應(yīng)于對(duì)與所述像素中的第二像素相關(guān)聯(lián)的一個(gè)或多個(gè)第二邏輯電平進(jìn)行解碼而保留所述像素中的所述第二像素的所述原始像素值。

在一個(gè)或多個(gè)第三實(shí)施例中，一種設(shè)備包括用于執(zhí)行所述第二實(shí)施例中的任一項(xiàng)的裝置。

在一個(gè)或多個(gè)第四實(shí)施例中，一種或多種計(jì)算機(jī)可讀介質(zhì)包括存儲(chǔ)于其上的指令，所述指令當(dāng)由處理系統(tǒng)執(zhí)行時(shí)使所述系統(tǒng)執(zhí)行所述第二實(shí)施例中的任一項(xiàng)。

在第四實(shí)施例的進(jìn)一步方案中，所述介質(zhì)進(jìn)一步包括存儲(chǔ)于其上的指令，所述指令當(dāng)由處理系統(tǒng)執(zhí)行時(shí)使所述系統(tǒng)執(zhí)行一種方法，所述方法包括：根據(jù)所述像素輸出調(diào)制速率變化對(duì)邏輯電平流進(jìn)行解碼；根據(jù)所述邏輯電平流確定所述隱藏像素值；以及通過將所述原始像素值改變?yōu)樗鲭[藏像素值來生成所述輸出圖像幀。

在一個(gè)或多個(gè)第五實(shí)施例中，一種設(shè)備包括圖像處理流水線，所述圖像處理流水線用于生成包括多個(gè)像素位置的輸出圖像幀；顯示像素輸出調(diào)制器，所述顯示像素輸出調(diào)制器用于將與所述多個(gè)像素位置中的一個(gè)或多個(gè)像素位置相關(guān)聯(lián)的隱藏?cái)?shù)據(jù)編碼為像素輸出調(diào)制速率的一個(gè)或多個(gè)變化；以及輸出面板，耦合至所述刷新調(diào)制器并且包括多個(gè)空間排列的像素，所述輸出面板用于：在所述像素中的一個(gè)或多個(gè)像素以像素輸出調(diào)制速率被調(diào)制的同時(shí)輸出對(duì)所述輸出圖像幀的視覺表示。

在第五實(shí)施例的進(jìn)一步方案中，所述設(shè)備進(jìn)一步包括圖像流水線，所述圖像流水線用于使第一像素值和第二像素值與所述輸出圖像幀相關(guān)聯(lián)；所述輸出面板用于至少部分地基于所述第一像素值而發(fā)射表示所述輸出圖像幀的光；并且所述顯示像素輸出調(diào)制器用于利用對(duì)所述空間排列的像素的至少一部分進(jìn)行的時(shí)變幅度調(diào)制來對(duì)所述第二像素值的傳輸進(jìn)行編碼。

在上文緊接的第五實(shí)施例的進(jìn)一步方案中，所述圖像流水線用于：使所述第一像素值和所述第二像素值兩者與所述第一和第二圖像幀兩者內(nèi)的第一像素位置相關(guān)聯(lián)；所述空間排列的像素中與所述第一像素位置相關(guān)聯(lián)的一個(gè)或多個(gè)像素用于發(fā)射指示所述第一像素值的光；并且所述顯示像素輸出調(diào)制器用于：通過改變對(duì)由所述空間排列的像素中與所述第一像素位置相關(guān)聯(lián)的一個(gè)或多個(gè)像素發(fā)射的光被調(diào)制的速率來對(duì)所述第二像素值進(jìn)行編碼。

在上文緊接的第五實(shí)施例的進(jìn)一步方案中，所述圖像流水線用于針對(duì)所述第一和第二圖像幀內(nèi)的多個(gè)像素位置中的每個(gè)像素位置關(guān)聯(lián)所述第一像素值和所述第二像素值兩者；所述顯示像素輸出調(diào)制器用于確定指示所述第二像素值的多個(gè)邏輯電平；并且空間地映射到所述多個(gè)像素位置的所述輸出面板像素用于：以取決于與相應(yīng)像素位置相關(guān)聯(lián)的邏輯電平的不同像素輸出調(diào)制速率來發(fā)射指示所述相應(yīng)第一像素值的光。

在上文緊接的第五實(shí)施例的進(jìn)一步方案中，所述圖像流水線用于：接收指示第一圖形對(duì)象的第一輸入；基于所述第一輸入來確定所述第一像素位置的所述第一像素值；接收指示第二圖形對(duì)象的第二輸入；以及基于所述第二輸入來確定所述第一像素位置的所述第二像素值。

在第五實(shí)施例的進(jìn)一步方案中，響應(yīng)于來自所述顯示像素輸出調(diào)制器的一個(gè)或多個(gè)輸入，所述輸出面板像素用于：以至少90hz的像素輸出調(diào)制速率在第一多個(gè)像素刷新周期內(nèi)發(fā)射光；以及以第二輸出調(diào)制速率在第二多個(gè)像素刷新周期內(nèi)發(fā)射光，所述第二輸出調(diào)制速率為至少90hz且至少大10hz。

在一個(gè)或多個(gè)第六實(shí)施例中，一種光學(xué)地傳輸隱藏圖像數(shù)據(jù)的方法包括：將多個(gè)像素位置中的每個(gè)像素位置的一個(gè)或多個(gè)像素值編碼為像素輸出調(diào)制速率的一個(gè)或多個(gè)變化；以及利用空間排列的多個(gè)像素來輸出對(duì)包括所述多個(gè)像素位置的輸出圖像幀的視覺表示，所述空間排列的多個(gè)像素中的一個(gè)或多個(gè)像素是以所述像素輸出調(diào)制速率來進(jìn)行調(diào)制的。

在第六實(shí)施例的進(jìn)一步方案中，輸出所述視覺表示進(jìn)一步包括：使用多個(gè)空間排列的光源來發(fā)射表示第一圖像幀的光，其中，每個(gè)光源發(fā)射以至少90hz但小于1khz的速率被幅度調(diào)制的光；并且所述編碼進(jìn)一步包括：通過改變所述光源中的至少一些光源的幅度調(diào)制來對(duì)從所述視覺表示中排除的一個(gè)或多個(gè)像素值進(jìn)行編碼。

在第六實(shí)施例的進(jìn)一步方案中，所述編碼進(jìn)一步包括：通過將所述像素中的一個(gè)或多個(gè)像素的所述像素輸出調(diào)制速率改變至少10hz來在與所述像素位置中的一個(gè)或多個(gè)像素位置相關(guān)聯(lián)的第一邏輯電平與第二邏輯電平之間進(jìn)行區(qū)分；并且所述改變所述像素中的至少一些像素的所述刷新速率對(duì)指示從所述視覺表示中排除的所述不同像素值的所述第一邏輯電平與所述第二邏輯電平之間的多個(gè)偏移進(jìn)行編碼。

在第六實(shí)施例的進(jìn)一步方案中，第一像素值和第二像素值兩者與所述輸出圖像幀內(nèi)的第一像素位置相關(guān)聯(lián)；由所述像素中與所述第一像素位置相關(guān)聯(lián)的一個(gè)或多個(gè)像素發(fā)射的光指示所述第一像素值；并且影響由所述像素中與所述第一像素位置相關(guān)聯(lián)的一個(gè)或多個(gè)像素發(fā)射的所述光的幅度調(diào)制的所述像素輸出調(diào)制速率的變化對(duì)所述第二像素值進(jìn)行編碼。

在一個(gè)或多個(gè)第四實(shí)施例中，一種設(shè)備包括用于執(zhí)行所述第六實(shí)施例中的任一項(xiàng)的裝置。

在一個(gè)或多個(gè)第七實(shí)施例中，一種或多種計(jì)算機(jī)可讀介質(zhì)包括存儲(chǔ)在于其上的指令，所述指令當(dāng)由處理系統(tǒng)執(zhí)行時(shí)使所述系統(tǒng)執(zhí)行所述第四實(shí)施例中的任一項(xiàng)。

在第七實(shí)施例的進(jìn)一步方案中，所述介質(zhì)具有存儲(chǔ)于其上的指令，所述指令當(dāng)由處理系統(tǒng)執(zhí)行時(shí)進(jìn)一步使所述系統(tǒng)執(zhí)行一種方法，所述方法包括：使用多個(gè)空間排列的光源來輸出所述視覺表示，光表示所述第一圖像幀，其中，每個(gè)光源發(fā)射以至少90hz但小于1khz的速率來幅度調(diào)制的光；以及通過改變所述光源中的至少一些光源的幅度調(diào)制來對(duì)從所述視覺表示中排除的一個(gè)或多個(gè)像素值進(jìn)行編碼。

將理解的是，實(shí)施例不限于如此描述的示例性實(shí)施例，而是能夠在不偏離所附權(quán)利要求的范圍的情況下通過修改和變更來實(shí)踐。例如，以上實(shí)施例可以包括特征的特定組合。然而，以上實(shí)施例不局限于這個(gè)方面，并且在實(shí)施例中，以上實(shí)施例可以包括僅采取這類特征的子集、采取這類特征的不同順序、采取這類特征的不同組合和/或采取除了明確例舉的那些特征之外的附加特征。因此，范圍連同被授予權(quán)利的這些權(quán)利要求書的等效物的全部范圍應(yīng)參照所附權(quán)利要求書來確定。