本申請涉及諸如在2013年10月4日提交的題為“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback”的美國專利申請No.14/046,823、2013年3月15日提交的題為“Low-LatencyTouchSensitiveDevice”的美國專利申請No.13/841,436、2013年10月4日提交的題為“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback”的美國專利申請No.14/046,819、2013年3月15日提交的題為“FastMulti-TouchStylus”的美國專利申請No.61/798,948、2013年3月15日提交的題為“FastMulti-TouchSensorWithUser-IdentificationTechniques”的美國專利申請No.61/799,035、2013年3月15日提交的題為“FastMulti-TouchNoiseReduction”的美國專利申請No.61/798,828、2013年3月15日提交的題為“ActiveOpticalStylus”的美國專利申請No.61/798,708、2012年10月5日提交的題為“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback”的美國專利申請No.61/710,256、2013年7月12日提交的題為“FastMulti-TouchPostProcessing”的美國專利申請No.61/845,892、2013年7月12日提交的題為“ReducingControlResponseLatencyWithDefinedCross-ControlBehavior”的美國專利申請No.61/845,879、2013年9月18日提交的題為“SystemsAndMethodsForProvidingResponseToUserInputUsingInformationAboutStateChangesAndPredictingFutureUserInput”的美國專利申請No.61/879,245、2013年9月21日提交的題為“SystemsAndMethodsForProvidingResponseToUserInputUsingInformationAboutStateChangesAndPredictingFutureUserInput”的美國專利申請No.61/880,887、2013年11月1日提交的題為“FastMulti-TouchPostProcessing”的美國專利申請No.14/069,609、2013年10月7日提交的題為“TouchAndStylusLatencyTestingApparatus”的美國專利申請No.61/887,615、2014年1月16日提交的題為“FastMulti-TouchUpdateRateThrottling”的美國專利申請No.61/928,069、2014年1月22日提交的題為“DynamicAssignmentOfPossibleChannelsInATouchSensor”的美國專利申請No.61/930,159和2014年1月27日提交的題為“DecimationStrategiesForInputEventProcessing”的美國專利申請No.61/932,047中披露的快速多觸摸傳感器以及其他界面之類的用戶界面。那些申請的完整公開內(nèi)容以引用的方式并入本文中。此申請包括受版權(quán)保護(hù)的材料。版權(quán)所有者不反對任何人對本專利公開進(jìn)行影印，就像它出現(xiàn)在專利和商標(biāo)局文件或記錄中，但在別的方面保留所有版權(quán)。
技術(shù)領(lǐng)域：
：本發(fā)明總體涉及用戶輸入的領(lǐng)域，尤其涉及給予低等待時(shí)間用戶體驗(yàn)的用戶輸入系統(tǒng)。附圖說明下列對如附圖所示的各實(shí)施例的更加較具體的描述，本公開的前述的及其他目標(biāo)、特征，和優(yōu)點(diǎn)將變得顯而易見，在附圖中，各個(gè)圖中的附圖標(biāo)記表示相同部分。附圖不一定按比例繪制，而是著重于所公開實(shí)施例的原理。圖1示出觸摸用戶界面中的拖動(dòng)等待時(shí)間在100ms、50ms、10ms和1ms時(shí)的效果的演示。圖2示出收件箱的用戶界面元件的示例，其中該元件具有對觸摸用戶交互的低等待時(shí)間、低保真響應(yīng)以及對觸摸用戶交互的高等待時(shí)間、高保真響應(yīng)。圖3示出滑動(dòng)雙態(tài)元件(toggleelement)的用戶界面的示例。光標(biāo)310(由含有“十字”字符的框所表示)可被拖動(dòng)到目標(biāo)320(第二個(gè)空框，在右邊)以激活UI元件。使用低等待時(shí)間和高等待時(shí)間系統(tǒng)兩者來啟用此元件以便提供觸摸交互，其中加速了移動(dòng)的元件310，因此提供低等待時(shí)間體驗(yàn)。圖4示出用于等待時(shí)間感知研究的原型(prototype)高性能觸摸系統(tǒng)的基本架構(gòu)的說明性實(shí)施例。圖5示出使用圖4的原型設(shè)備的等待時(shí)間感知研究的結(jié)果。圖6示出按鈕的用戶界面元件的示例，其中該元件具有對觸摸用戶交互的低等待時(shí)間、低保真響應(yīng)以及對觸摸用戶交互的高等待時(shí)間、高保真響應(yīng)。圖7示出可變尺寸框的用戶界面元件的示例，其中該元件具有對觸摸用戶交互的低等待時(shí)間、低保真響應(yīng)以及對觸摸用戶交互的高等待時(shí)間、高保真響應(yīng)。圖8示出滾動(dòng)列表的用戶界面元件的示例，其中該元件具有對觸摸用戶交互的低等待時(shí)間、低保真響應(yīng)以及對觸摸用戶交互的高等待時(shí)間、高保真響應(yīng)。圖9示出低等待時(shí)間輸入設(shè)備的基本構(gòu)架和信息流的說明性實(shí)施例。圖10示出用于音量控制的UI。當(dāng)拖動(dòng)滑動(dòng)件時(shí)，工具提示(tooltip)出現(xiàn)，顯示當(dāng)前設(shè)置的數(shù)字表示。使用提供觸摸交互的低等待時(shí)間和高等待時(shí)間系統(tǒng)兩者來啟用此元件，其中加速了移動(dòng)的元件，因此提供低等待時(shí)間體驗(yàn)。圖11示出與本混合反饋用戶界面系統(tǒng)中的筆輸入的UI的實(shí)施例相比的現(xiàn)有技術(shù)系統(tǒng)中的筆輸入的系統(tǒng)的響應(yīng)。在此混合系統(tǒng)中，墨水筆劃對筆輸入有低等待時(shí)間響應(yīng)，以及對筆用戶輸入有高等待時(shí)間響應(yīng)。圖12示出本系統(tǒng)的實(shí)施例，其中數(shù)據(jù)流過經(jīng)過系統(tǒng)的組件的兩個(gè)重疊路徑以支持高與低等待時(shí)間反饋。圖13示出本領(lǐng)域公知的編程范式，稱為模型視圖控制器(ModelViewController)。圖14示出系統(tǒng)的架構(gòu)的實(shí)施例，該系統(tǒng)的架構(gòu)支持開發(fā)和運(yùn)行對用戶輸入有混合的高與低等待時(shí)間響應(yīng)的應(yīng)用。圖15是示出根據(jù)現(xiàn)有技術(shù)的GUI視圖和中間數(shù)據(jù)的分級結(jié)構(gòu)的框圖。圖16是示出中間數(shù)據(jù)的執(zhí)行的時(shí)間線視圖。圖17是示出GUI視圖和中間數(shù)據(jù)的分級結(jié)構(gòu)的框圖。圖18-19是示出根據(jù)本公開系統(tǒng)和方法的實(shí)施例的GUI視圖和中間數(shù)據(jù)的分級結(jié)構(gòu)的框圖。圖20-23是示出根據(jù)本公開系統(tǒng)和方法的GPU、CPU、輸入設(shè)備控制器和顯示器的操作的框圖。具體實(shí)施方式以下描述和附圖是說明性的，并且不解釋為限制性的。描述了眾多特定的細(xì)節(jié)以提供透徹的理解。然而，在某些實(shí)例中，不描述公知的或常規(guī)的細(xì)節(jié)以避免使描述變得模糊。在本公開中，對一個(gè)實(shí)施例或?qū)嵤├囊貌灰欢ㄊ菍ν粋€(gè)實(shí)施例的引用；此類引用意味著至少一個(gè)實(shí)施例。在本說明書中對“一個(gè)實(shí)施例”或“一實(shí)施例”的引用表示結(jié)合該實(shí)施例描述的特定特征、結(jié)構(gòu)或特性被包括在本公開的至少一個(gè)實(shí)施例中。在本說明書中的不同位置出現(xiàn)短語“在一個(gè)實(shí)施例中”不一定都是指同一個(gè)實(shí)施例，也不是指與其他實(shí)施例互相排斥的單獨(dú)的或備選實(shí)施例。此外，還描述了可由一些實(shí)施例呈現(xiàn)而不可由其他實(shí)施例呈現(xiàn)的各種特征。類似地，還描述了可能是對于一些實(shí)施例但不是對于其他實(shí)施例的要求的各種要求。本申請涉及諸如在2013年3月15日提交的題為“Low-LatencyTouchSensitiveDevice”的美國專利申請No.13/841,436、2013年3月15日提交的題為“FastMulti-TouchStylus”的美國專利申請No.61/798,948、2013年3月15日提交的題為“FastMulti-TouchSensorWithUser-IdentificationTechniques”的美國專利申請No.61/799,035、2013年3月15日提交的題為“FastMulti-TouchNoiseReduction”的美國專利申請No.61/798,828、2013年3月15日提交的題為“ActiveOpticalStylus”的美國專利申請No.61/798,708、2012年10月5日提交的題為“HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback”的美國專利申請No.61/710,256、2013年7月12日提交的題為“FastMulti-TouchPostProcessing”的美國專利申請No.61/845,892、2013年7月12日提交的題為“ReducingControlResponseLatencyWithDefinedCross-ControlBehavior”的美國專利申請No.61/845,879和2013年9月18日提交的題為“SystemsAndMethodsForProvidingResponseToUserInputUsingInformationAboutStateChangesAndPredictingFutureUserInput”的美國專利申請No.61/879,245中披露的快速多觸摸傳感器以及其他界面之類的用戶界面。那些申請的完整公開內(nèi)容以引用的方式并入本文中。在各種實(shí)施例中，本公開針對提供具有低等待時(shí)間的直接操控用戶界面的系統(tǒng)和方法。偽“真實(shí)世界”物體的直接物理操控是針對很多類型的輸入設(shè)備(諸如實(shí)現(xiàn)直接觸摸輸入、觸筆輸入、空中手勢輸入(in-airgestureinput)的那些輸入設(shè)備)以及間接設(shè)備(包括鼠標(biāo)、觸摸板、手寫平板(pentablet)等)所使用的普通用戶界面隱喻。出于本公開的目的，用戶界面中的等待時(shí)間涉及為用戶呈現(xiàn)出對物理輸入動(dòng)作的響應(yīng)所花費(fèi)的時(shí)間。測試已表明用戶偏愛低等待時(shí)間且用戶確實(shí)能感知到低至5-10ms的等待時(shí)間，如將在下文更加詳細(xì)地描述。圖1示出示例性觸摸用戶界面中的等待時(shí)間分別在100ms(附圖標(biāo)記110)、50ms(附圖標(biāo)記120)、10ms(附圖標(biāo)記130)和1ms(附圖標(biāo)記140)時(shí)的效果的演示。當(dāng)拖動(dòng)對象時(shí)，增加的等待時(shí)間被反映為用戶的手指與正在被拖動(dòng)的物體(在此情況中為正方形用戶界面元件)之間增加的距離。如可觀察到，等待時(shí)間的效果在100ms(附圖標(biāo)記110)和50ms(附圖標(biāo)記120)時(shí)顯著，而在10ms(附圖標(biāo)記130)時(shí)變得逐漸較不顯著，且實(shí)際上在1ms(附圖標(biāo)記140)時(shí)消失。圖11示出等待時(shí)間在示例性觸筆或筆用戶界面(1110、1120)中的效果。在此示例中，滯后1120是可見的，作為觸筆1100尖與所計(jì)算筆劃1110之間的增加的距離。利用低等待時(shí)間系統(tǒng)的引入，觸筆1100尖與所計(jì)算筆劃1130之間的距離將顯著減小。在以實(shí)施例中，本公開的系統(tǒng)和方法提供了混合觸摸用戶界面，其提供了具有少于10ms的等待時(shí)間的即時(shí)視覺反饋，交織或疊加有在更高水平的等待時(shí)間上的附加視覺響應(yīng)。在一些實(shí)施例中，這兩組響應(yīng)的設(shè)計(jì)可被設(shè)計(jì)成在視覺上統(tǒng)一的，使得用戶不能夠區(qū)分它們。在一些實(shí)施例中，“低等待時(shí)間”響應(yīng)可在等待時(shí)間上超過10ms。等待時(shí)間的原因在不同實(shí)施例中，用戶輸入設(shè)備和處理其輸入的等待時(shí)間可以有許多來源，包括(1)捕捉觸摸事件的物理傳感器；(2)處理觸摸事件并為顯示器產(chǎn)生輸出的軟件；(3)顯示器本身；(4)包括總線的組件之間的數(shù)據(jù)傳輸；(5)存儲(chǔ)器存儲(chǔ)或短暫緩沖區(qū)器中的數(shù)據(jù)內(nèi)部存儲(chǔ)；(6)系統(tǒng)資源的中斷與競爭；(7)可引入等待時(shí)間的電路的其他來源；(8)物理限制，諸如光速及其在電路構(gòu)架中的余波(repercussion)；(9)機(jī)械限制，諸如阻性觸摸傳感器彎曲回到其“中性”狀態(tài)所需的時(shí)間。在不同實(shí)施例中，可通過改進(jìn)這些組件中的一個(gè)或多個(gè)中的等待時(shí)間來降低系統(tǒng)等待時(shí)間。在實(shí)施例中，當(dāng)前公開的系統(tǒng)和方法提供一種輸入設(shè)備，該輸入設(shè)備可通過將低等待時(shí)間輸入傳感器與具有專用處理系統(tǒng)的顯示器結(jié)合來獲得1ms或更低的等待時(shí)間。在實(shí)施例中，當(dāng)前公開的系統(tǒng)和方法提供一種輸入設(shè)備，該輸入設(shè)備可通過將低等待時(shí)間輸入傳感器與具有專用處理系統(tǒng)的顯示器結(jié)合來獲得5ms或更低的等待時(shí)間。在進(jìn)一步實(shí)施例中，當(dāng)前公開的系統(tǒng)和方法提供一種輸入設(shè)備，該輸入設(shè)備可通過將低等待時(shí)間輸入傳感器與具有專用處理系統(tǒng)的顯示器結(jié)合來獲得0.1ms或更低的等待時(shí)間。在進(jìn)一步實(shí)施例中，當(dāng)前公開的系統(tǒng)和方法提供一種輸入設(shè)備，該輸入設(shè)備可通過將這種低等待時(shí)間輸入傳感器與具有專用處理系統(tǒng)的顯示器結(jié)合來獲得10ms或更低的等待時(shí)間。在實(shí)施例中，為了獲得這種極低的等待時(shí)間，當(dāng)前公開的系統(tǒng)和方法可用專用的定制編程的現(xiàn)場可編程門陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)來替換常規(guī)的操作系統(tǒng)(OS)和計(jì)算硬件。在實(shí)施例中，F(xiàn)PGA或ASIC替換常規(guī)的OS和計(jì)算硬件以提供低等待時(shí)間響應(yīng)，同時(shí)將傳統(tǒng)的OS和計(jì)算硬件保留在位以提供較高的等待時(shí)間響應(yīng)(在除了低等待時(shí)間響應(yīng)的另外情況中使用)。在另一實(shí)施例中，可通過將附加的邏輯集成到現(xiàn)有組件(諸如但不限于圖形處理單元(GPU)、輸入設(shè)備控制器、中央處理器(CPU)或芯片上的系統(tǒng)(SoC))中來替換所描述的FPGA或ASIC的功能中的一些或全部。可將低等待時(shí)間邏輯編碼在硬件中或在由那些組件或其他組件所儲(chǔ)存和/或執(zhí)行的軟件中。在需要多種組件的實(shí)施例中，可通過使用共享的存儲(chǔ)器來幫助通信和/或同步化。在這些實(shí)施例的任何一個(gè)中，以高或低等待時(shí)間提供的響應(yīng)可被混合在一起，或者響應(yīng)于任何給定輸入事件，可僅提供高等待時(shí)間或低等待時(shí)間。在不同的實(shí)施例中，所公開的系統(tǒng)和方法提供的在本文中被稱為“混合反饋”。在混合反饋系統(tǒng)中，對輸入的基本系統(tǒng)響應(yīng)中的一些在邏輯上與較寬泛的應(yīng)用邏輯分開。此結(jié)果提供具有靈敏輸入處理器的系統(tǒng)，能夠?qū)τ脩糨斎胧录峁缀趿⒓吹南到y(tǒng)反饋，基于以傳統(tǒng)水平的等待時(shí)間所提供的應(yīng)用邏輯具有更多的反饋。在一些實(shí)施例中，在視覺上提供了這些系統(tǒng)響應(yīng)。在不同的實(shí)施例中，可通過音頻或震動(dòng)觸覺反饋來提供混合反饋系統(tǒng)的低等待時(shí)間組件。在一些實(shí)施例中，可在與應(yīng)用邏輯反饋相同的模態(tài)中提供幾乎立即的反饋。在一些實(shí)施例中，可在不同的模態(tài)或多個(gè)模態(tài)中提供低等待時(shí)間反饋。圖2中示出了全視覺實(shí)施例的示例，在此情況中示出觸摸輸入設(shè)備的使用。具體地，圖2示出在用戶觸摸然后拖動(dòng)表示收件箱的圖標(biāo)210后的結(jié)果。當(dāng)用戶觸摸圖標(biāo)210時(shí)，可顯示邊框220或其他適當(dāng)?shù)幕?primitive)。在實(shí)施例中，在全視覺低等待時(shí)間反饋中，由于其容易呈現(xiàn)，可選擇適當(dāng)?shù)牡偷却龝r(shí)間表示。在實(shí)施例中，可使用可提供適當(dāng)?shù)偷却龝r(shí)間表示的一個(gè)或多個(gè)基元來提供低等待時(shí)間反饋。在實(shí)施例中，如果用戶在觸摸顯示器200上將圖標(biāo)拖動(dòng)到另一個(gè)地方，則顯示低保真邊界230且可用例如1ms的低等待時(shí)間來操控(例如，移動(dòng))低保真邊界230。同時(shí)地，可用較高的等待時(shí)間來示出圖標(biāo)210的移動(dòng)。在實(shí)施例中，用戶可感知到幾乎立即的低等待時(shí)間響應(yīng)與可能較慢的應(yīng)用邏輯反饋之間在響應(yīng)中的差異。在另一實(shí)施例中，低等待時(shí)間與傳統(tǒng)響應(yīng)之間在響應(yīng)中的此差異被混合且對于用戶是較不容易看見的或不可容易看見的。在實(shí)施例中，與傳統(tǒng)路徑應(yīng)用邏輯反饋相比，可以以較低的等待時(shí)間提供幾乎立即的反饋。在實(shí)施例中，至少在一些情況中，與應(yīng)用邏輯反饋相比，可以以類似的或甚至較高的保真度提供低等待時(shí)間響應(yīng)。在實(shí)施例中，低等待時(shí)間幾乎立即的反饋的形式由應(yīng)用邏輯所規(guī)定，或者由存在于系統(tǒng)軟件(諸如用戶界面工具箱)中的邏輯所規(guī)定。例如，在實(shí)施例中，應(yīng)用邏輯可預(yù)渲染多種圖形基元，然后低等待時(shí)間子系統(tǒng)可使用該圖形基元。類似地，在實(shí)施例中，軟件工具箱可提供開發(fā)圖形基元的工具，可在低等待時(shí)間系統(tǒng)需要之前渲染圖形基元。在實(shí)施例中，可預(yù)先確定低等待時(shí)間響應(yīng)，或者在其他情況下不考慮應(yīng)用和/或系統(tǒng)軟件邏輯來確定低等待時(shí)間響應(yīng)。在實(shí)施例中，單個(gè)預(yù)渲染或部分渲染的低等待時(shí)間響應(yīng)，或預(yù)渲染或部分渲染的低等待時(shí)間響應(yīng)可被預(yù)加載到存儲(chǔ)器中以便被需要用來響應(yīng)于用戶輸入事件之前可被低等待時(shí)間子系統(tǒng)訪問。在實(shí)施例中，低等待時(shí)間輸出的模態(tài)可以是音頻的。在實(shí)施例中，例如，可使用低等待時(shí)間系統(tǒng)以向音頻輸出系統(tǒng)快速發(fā)送麥克風(fēng)輸入，可為用戶提供說出到系統(tǒng)的用戶自己聲音的“回聲”。這樣的低等待時(shí)間輸出可提供具有與傳統(tǒng)模擬電話相同類型的回聲特征的效果，允許用戶聽見它們自己的聲音。在實(shí)施例中，響應(yīng)于用戶輸入事件(例如，觸摸、手勢、筆輸入或口頭輸入)，可提供低等待時(shí)間音頻反饋，如果在視覺上則具有較高的等待時(shí)間響應(yīng)。在圖3中示出采用本方法和系統(tǒng)的系統(tǒng)的另一說明性實(shí)施例。在該說明性實(shí)施例中，光標(biāo)310(由含有“十字”字符的框表示)可被拖動(dòng)到設(shè)備的屏幕300上的任何地方。當(dāng)光標(biāo)310被拖動(dòng)到目標(biāo)框320時(shí)，接受UI動(dòng)作。如果光標(biāo)310被拖動(dòng)到屏幕300上的其他地方，則拒絕該動(dòng)作。在實(shí)施例中，當(dāng)被拖動(dòng)時(shí)，用低等待時(shí)間拖拽光標(biāo)310，因此該光標(biāo)310跟蹤用戶的手指而沒有可感知的等待時(shí)間。在實(shí)施例中，可用較高的等待時(shí)間拖拽目標(biāo)320而不影響用戶感知。類似地，在實(shí)施例中，“拒絕”或“接受”的響應(yīng)330隨后可容易感知地發(fā)生，因此可以以較高的等待時(shí)間來拖拽(例如，不使用低等待時(shí)間子系統(tǒng))而不影響用戶感知。應(yīng)該理解到，圖示的實(shí)施例是示例性的。圖3中示出的原理可被應(yīng)用到任意種類的UI元件，包括本領(lǐng)域中現(xiàn)今已知的或以后開發(fā)的所有UI元件。類似地，基本上可在不同類型的輸入設(shè)備和/或輸出設(shè)備上與任意種類的輸入事件一起使用圖3中示出的原理。例如，在實(shí)施例中，除了如上所述的“觸摸”事件之外，輸入事件可包括而不限于，空中或表面上手勢、語言、故意的(或非故意的)眼睛運(yùn)動(dòng)、以及筆。在實(shí)施例中，一旦發(fā)生手勢，任何UI元件的響應(yīng)就可分為兩部分，其中，低等待時(shí)間響應(yīng)(例如，UI元件的低等待時(shí)間表示被表示且快速地響應(yīng)，例如，在0.01ms內(nèi))，以及用由系統(tǒng)所普通呈現(xiàn)的等待時(shí)間提供非低等待時(shí)間響應(yīng)(例如，UI元件的進(jìn)一步細(xì)化表示)，該系統(tǒng)不提供加速的輸入。在實(shí)施例中，在混合系統(tǒng)中可不分離響應(yīng)，響應(yīng)代替地可以是完全低等待時(shí)間，而另外用較高的等待時(shí)間執(zhí)行不負(fù)責(zé)低等待時(shí)間響應(yīng)的應(yīng)用邏輯。在實(shí)施例中，可使用多種技術(shù)來獲得觸摸和/或手勢輸入事件，包括而不限于：阻式、直接照明、受抑(frustrated)全內(nèi)反射、漫射照明、投射電容、電容耦合、聲波、以及像素傳感器。在實(shí)施例中，可使用阻式、視覺的、電容的、磁的、紅外的、光成像、色散信號、聲脈沖或其他技術(shù)來實(shí)現(xiàn)筆輸入。在實(shí)施例中，也可使用視覺傳感器或手持物體(包括含有傳感器的那些和僅用于跟蹤的那些)或者諸如用2D和3D傳感器之類的不需要手持的物體來實(shí)現(xiàn)手勢輸入。也預(yù)期用于識別輸入事件的傳感器或技術(shù)的組合，如作為事件類型(即，觸摸、筆、手勢、視網(wǎng)膜運(yùn)動(dòng)等)的組合。識別或捕捉輸入事件的技術(shù)共有的一個(gè)屬性是它們有助于用戶動(dòng)作與系統(tǒng)對動(dòng)作的響應(yīng)之間的等待時(shí)間。此貢獻(xiàn)的衡量隨著技術(shù)和實(shí)施而變化。在典型的多觸摸系統(tǒng)中，在輸入設(shè)備與可包括通信的顯示器、操作系統(tǒng)、UI工具箱、應(yīng)用層和/或最終的音頻或圖形控制器之間存在信息流的路徑，這些中的每一個(gè)可增加等待時(shí)間。此外，由操作系統(tǒng)，尤其是非實(shí)時(shí)操作系統(tǒng)所引入的等待時(shí)間是可變的。Windows、iOS、OSX、Android等不是實(shí)時(shí)操作系統(tǒng)，因此使用這些操作系統(tǒng)，不保證響應(yīng)將在某一時(shí)期內(nèi)發(fā)生。例如，如果大量地加載處理器，那么等待時(shí)間可急劇增加。此外，一些操作在軟件棧中非常低的級別處被處置且具有高優(yōu)先級。例如，通常高度優(yōu)化鼠標(biāo)指針從而即使當(dāng)處理器處于大量負(fù)載下時(shí)，感知的負(fù)載也相對較低。相比之下，諸如在觸摸或手勢系統(tǒng)上用兩個(gè)手指調(diào)制照片大小之類的操作通常是更加計(jì)算密集的，因?yàn)樗枰趹?yīng)用和/或UI工具箱等級處持續(xù)改變圖像尺寸。因此，當(dāng)處理器處于大量負(fù)載下時(shí)，這樣的操作幾乎不能夠具有低感知的等待時(shí)間。在典型的多觸摸系統(tǒng)中，顯示器系統(tǒng)(包括圖像系統(tǒng)以及顯示器本身)也可貢獻(xiàn)等待時(shí)間。具有高幀速率的系統(tǒng)可使經(jīng)過該系統(tǒng)的實(shí)際等待時(shí)間不明顯。例如，60Hz監(jiān)視器可包括一幀或多幀的緩沖器以允許復(fù)雜的圖像處理效果。類似地，諸如投影儀之類的一些顯示器設(shè)備在電子設(shè)備中包含雙緩沖，實(shí)際上加倍顯示器等待時(shí)間。對3D電視和降低的運(yùn)動(dòng)偽像的期望推動(dòng)較快LCD的發(fā)展，然而，液晶本身的物理性質(zhì)不大可能使傳統(tǒng)LCD的性能超過480Hz。在實(shí)施例中，本文中所述的低等待時(shí)間系統(tǒng)可使用LCD顯示器。與LCD顯示器的性能相反，OLED或AMOLED顯示器能夠良好地有1ms以下的響應(yīng)時(shí)間。因此，在實(shí)施例中，本文中所述的高性能觸摸(或手勢)系統(tǒng)可被實(shí)現(xiàn)在具有快速響應(yīng)時(shí)間的顯示器上，包括而不限于，基于以下技術(shù)中的一個(gè)或多個(gè)的顯示器：OLED、AMOLED、等離子體、電濕潤、彩色場序(color-field-sequential)LCD、光學(xué)補(bǔ)償彎曲模式(OCB或Pi-Cell)LCD、電子墨水等。等待時(shí)間感知研究著手一些研究以確定用戶將直接觸摸界面中什么程度的等待時(shí)間感知為基本上同時(shí)發(fā)生的。圖4中的框圖所表示的原型設(shè)備示出原型高性能觸摸系統(tǒng)400的基本構(gòu)架的說明性實(shí)施例。在實(shí)施例中，高速輸入設(shè)備420是多觸摸阻式觸摸傳感器，其具有24cmx16cm的有效區(qū)域和允許非常高速操作的電子設(shè)備。經(jīng)過此傳感器的延遲微微小于1ms。在實(shí)施例中，可在光鏈路上連續(xù)地發(fā)送觸摸數(shù)據(jù)。在說明性測試系統(tǒng)中，顯示器460是基于德州儀器的數(shù)字光處理技術(shù)的DLP顯像4100套件(DLPDiscovery4100kit)。說明性測試系統(tǒng)在觸摸傳感器上利用前投影，因此消除可擾亂手指與圖像對準(zhǔn)的用戶感知的視差。所采用DLP投影儀使用數(shù)字微鏡設(shè)備(DMD)，即以非常高的速度有效地接通和斷開像素的鏡子矩陣。鏡子的高速可被用于改變接通相對于斷開的時(shí)間百分比以創(chuàng)建連續(xù)的彩色圖像的表現(xiàn)。在實(shí)施例中，其中僅使用了簡單的二值圖像，可以以更高的速率來產(chǎn)生這些圖像。在說明性測試系統(tǒng)中，投影儀開發(fā)系統(tǒng)用低于40性測的等待時(shí)間以1024x768分辨率顯示32,000個(gè)二值幀/秒。在為了獲得此速度的說明性測試系統(tǒng)中，視頻數(shù)據(jù)以25.6Gbps流向DMD。在說明性測試系統(tǒng)中，為了獲得最小的等待時(shí)間，所有觸摸處理被執(zhí)行在專用的FPGA440上，在觸摸輸入與低等待時(shí)間輸出的顯示器之間沒有采用PC或操作系統(tǒng)。DLP套件的板載XC5VLX50應(yīng)用FPGA可被用于處理觸摸數(shù)據(jù)并渲染視頻輸出。與FPGA串聯(lián)的USB允許參數(shù)被動(dòng)態(tài)地改變。在說明性測試系統(tǒng)中，可用1ms分辨率將等待時(shí)間從1ms調(diào)節(jié)到數(shù)百ms。可獲得不同的測試模式，且端口允許收集觸摸數(shù)據(jù)以供分析。在說明性測試系統(tǒng)中，為了從傳感器420接收觸摸數(shù)據(jù)，系統(tǒng)通過定制高速UART通信。為了最小化等待時(shí)間，可使用2Mbps的波特率，這表示可使用的高波特率而不會(huì)由于通信信道上的高頻噪聲損失信號完整性。在說明性測試系統(tǒng)中，然后由在FPGA440上實(shí)現(xiàn)的觸摸檢測有限狀態(tài)機(jī)來處理壓縮的觸摸數(shù)據(jù)的各個(gè)字節(jié)。有限狀態(tài)機(jī)(FSM)同時(shí)地對數(shù)據(jù)解碼并執(zhí)行質(zhì)心團(tuán)塊檢測(blob-detection)算法以識別觸摸的坐標(biāo)。在說明性測試系統(tǒng)中，系統(tǒng)是流水線式的使得FSM的每次迭代運(yùn)行在最終接收的字節(jié)上從而不發(fā)生觸摸數(shù)據(jù)的緩沖。在說明性測試系統(tǒng)中，觸摸坐標(biāo)然后被發(fā)送到10級可變延遲塊。每個(gè)延遲階段是具有計(jì)數(shù)器的簡單FSM并采用指示時(shí)鐘周期的數(shù)量的控制信號以使觸摸坐標(biāo)延遲，允許不同等級的等待時(shí)間。延遲塊在迭代的開始處閉鎖觸摸樣本，且在發(fā)送樣本并鎖閉下一個(gè)樣本之前等待適當(dāng)數(shù)量的周期。延遲塊因此通過延遲計(jì)數(shù)的系數(shù)降低了樣本速率。在實(shí)施例中，為了將樣本速率保持在合理的等級處，可使用10個(gè)延遲階段，從而使得，例如，為了獲得100ms的等待時(shí)間，對于100Hz的樣本速率，塊在樣本之間等待10ms。在說明性測試系統(tǒng)中，為了運(yùn)行基本的應(yīng)用，MicroBlaze軟處理器被用于渲染顯示器。在實(shí)施例中，測試系統(tǒng)可使用硬編碼控制FSM來代替MicroBlaze以便改進(jìn)性能。在實(shí)施例中，可使用另一個(gè)軟處理器。在說明性測試系統(tǒng)中，MicroBlaze是32位哈佛構(gòu)架RISC處理器，其被優(yōu)化為在XilinxFPGA中合成。MicroBlaze軟處理器實(shí)例化允許僅所需的核、外圍設(shè)備和存儲(chǔ)器結(jié)構(gòu)的選擇。在說明性測試系統(tǒng)中，除了基礎(chǔ)MicroBlaze配置之外，可使用中斷控制器，例如用于觸摸數(shù)據(jù)的多個(gè)GPIO、設(shè)置可變等待時(shí)間的GPIO、用于圖像緩沖的BRAM存儲(chǔ)器控制器、以及與PC通信的UART單元。在說明性測試系統(tǒng)中，以100MHz來時(shí)鐘控制MicroBlaze。MicroBlaze使用中斷系統(tǒng)來檢測有效的觸摸坐標(biāo)。當(dāng)觸摸數(shù)據(jù)從延遲塊到達(dá)GPIO時(shí)，產(chǎn)生觸摸準(zhǔn)備中斷事件，并且對應(yīng)的圖像被寫入圖像緩沖器。由于基于中斷的系統(tǒng)的非一致性質(zhì)，不可計(jì)算準(zhǔn)確的等待時(shí)間，但通過設(shè)計(jì)，與歸因于輸入設(shè)備的1ms等待時(shí)間相比，這是無關(guān)緊要的。在說明性測試系統(tǒng)中，圖像緩沖器被合成在芯片上的BRAM塊中。這些塊可提供雙端口高速可配置的存儲(chǔ)器緩沖器，其具有足夠的帶寬以支持高幀速率顯示。在說明性測試系統(tǒng)中，對于25.6Gbps的總帶寬，用128位的總線寬度以200MHz來時(shí)鐘控制圖像緩沖器，如DLP所需。最后，DMD控制器從圖像緩沖器連續(xù)地讀出幀并產(chǎn)生具有適當(dāng)定時(shí)的信號以控制DMD。在說明性測試系統(tǒng)中，用戶輸入被同時(shí)地發(fā)送到傳統(tǒng)的PC并被處理以產(chǎn)生傳統(tǒng)的較高等待時(shí)間響應(yīng)。此較高等待時(shí)間響應(yīng)被傳統(tǒng)的數(shù)據(jù)投影儀輸出，且被對齊以與投射的較低等待時(shí)間響應(yīng)重疊。進(jìn)行了一些研究以確定當(dāng)在觸摸屏界面上執(zhí)行普通任務(wù)時(shí)用戶能夠感知的表現(xiàn)的精確等級。為此目的，進(jìn)行了一些研究以確定不同表現(xiàn)等級的剛好可注意到的差異(JND)。JND是可由觀察者檢測到的刺激的兩個(gè)等級之間差異的度量。在此情況下，JND被定義為參與者能夠在兩個(gè)不等的刺激之間做出區(qū)分的閾值等級，一個(gè)刺激始終表現(xiàn)在同一等級，稱為參考，而一個(gè)刺激的值在整個(gè)實(shí)驗(yàn)期間動(dòng)態(tài)變化，稱為探查(probe)。針對某一任意參考值處的JND的一般接收值是參與者可在75％的時(shí)間正確地識別參考的探查。不能與參考區(qū)分的探查值且具有此準(zhǔn)確度等級的探查值被認(rèn)為是與參考沒有顯著差異的。進(jìn)行了一些研究以當(dāng)與用作參考的1ms的等待時(shí)間的最大表現(xiàn)相比時(shí)確定探查等待時(shí)間的JND等級。盡管這種確定不提供最大可感知表現(xiàn)的絕對值，但它可用作我們的“最好情況”下限條件，假定它是我們的原型可獲得的最快速度，相對于該條件可測量等待時(shí)間的其他等級。發(fā)現(xiàn)參與者能夠分辨顯著較低(<20ms)的等待時(shí)間值，典型的電流產(chǎn)生硬件(例如，電流平板和觸摸計(jì)算機(jī))提供顯著較低的等待時(shí)間值(～50-200ms)。從本地社區(qū)招募十位用右手的參與者(3位女性)。年齡范圍在24和40之間(平均27.80，標(biāo)準(zhǔn)差4.73)。所有的參與者有過觸摸屏設(shè)備的在先經(jīng)驗(yàn)，且所有的參與者擁有一個(gè)或多個(gè)觸摸設(shè)備(諸如基于iOS或Android的電話或平板)。參與者被重復(fù)地呈現(xiàn)多對等待時(shí)間條件：參考值(1ms)和探查(在1和65ms的等待時(shí)間之間)。參與者在觸摸屏顯示器上從左向右拖動(dòng)他們的手指，然后從右向左。盡管任何拖動(dòng)任務(wù)是適當(dāng)?shù)?，但?右運(yùn)動(dòng)降低高等待時(shí)間情況中的阻塞。參與者被請求在兩個(gè)方向上移動(dòng)以確保他們不“匆忙做完”此研究。在用戶的觸點(diǎn)之下，系統(tǒng)渲染了實(shí)線白色2cm×2cm正方形，如圖1所示。留給參與者來決定運(yùn)動(dòng)的速度。對于每對隨機(jī)化條件的順序。此研究被設(shè)計(jì)成雙項(xiàng)必選實(shí)驗(yàn)；指示參與者在每次試驗(yàn)內(nèi)選擇哪個(gè)情況是參考(1ms)值且不允許做出“不知道”或“不確定”選擇。在每對之后，參與者告知實(shí)驗(yàn)者兩個(gè)中的哪一個(gè)“更快”。為了使每次試驗(yàn)向75％的期望JND等級收斂，根據(jù)自適應(yīng)階梯算法來控制增加的等待時(shí)間的量。對參考值的每一次正確識別導(dǎo)致探查中的等待時(shí)間的量減小，而每次不正確的響應(yīng)導(dǎo)致探查的等待時(shí)間增加。為了達(dá)到75％置信度等級，增加與減小遵循由Kaernbach所描述的簡單加權(quán)的自上而下(up-down)方法(Kaernbach,C.1991.Perception&Psychophysics(知覺和心理物理學(xué))49,227-229)，其中，增加具有施加到基礎(chǔ)步長的三倍乘法器，而減小是基礎(chǔ)步長(最初8ms)。當(dāng)參與者在正確響應(yīng)之后不正確地響應(yīng)時(shí)，或者在不正確響應(yīng)之后正確地響應(yīng)時(shí)，這被稱為反轉(zhuǎn)，因?yàn)樗鼘?dǎo)致階梯(增加或減小)的方向反轉(zhuǎn)。最初8ms的步長在每次反轉(zhuǎn)時(shí)二等分，直到1ms的最小步長。這繼續(xù)直到總共10個(gè)反轉(zhuǎn)發(fā)生為止，結(jié)果是收斂到75％正確性。每個(gè)參與者完成八個(gè)階梯“運(yùn)行”。這些中的四個(gè)起始于最小探查等待時(shí)間(1ms)而另外四個(gè)于最大(65ms)。選擇階梯的較高起始值，因?yàn)樗c商業(yè)提供的粗略地相符，且因?yàn)橐龑?dǎo)(pilot)測試使得該值與1ms參考以接近100％準(zhǔn)確度來清楚地區(qū)分，避免天花板效應(yīng)?？稍诮豢椀膶χ幸淮芜\(yùn)行兩個(gè)階梯以防止響應(yīng)偏差，該響應(yīng)偏差是由參與者在連續(xù)刺激之間跟蹤他們的進(jìn)展的能力導(dǎo)致的。為這些對中的每一對隨機(jī)地選擇階梯條件而沒有來自可能性的替代(2起始等級×4重復(fù))。每個(gè)參與者在單個(gè)1小時(shí)時(shí)間內(nèi)完成整個(gè)實(shí)驗(yàn)，包括階梯之間的休息。此研究被設(shè)計(jì)成針對大于1ms的等待時(shí)間值找到剛好可注意到的差異(JND)等級。此JND等級一般被約定為參與者能夠在75％的時(shí)間正確識別參考的等級。參與者JND等級范圍從2.38ms到11.36ms，對于所有參與者有6.04ms的平均JND(標(biāo)準(zhǔn)差4.33ms)。對于每個(gè)參與者，JND等級在階梯的8次運(yùn)行上沒有顯著地變化。圖5中呈現(xiàn)每個(gè)參與者的結(jié)果。此結(jié)果示出參與者能夠分辨遠(yuǎn)遠(yuǎn)低于消費(fèi)者設(shè)備的典型閾值(50-200ms)的等待時(shí)間的差異。注意到，參與者很可能經(jīng)常通過當(dāng)手指在觸摸屏上移動(dòng)時(shí)估計(jì)屏幕上物體與他們的手指之間的距離來確定等待時(shí)間；這是在UI中使用的輸入基元的偽像(具體地，拖動(dòng))。測試不同的輸入基元(輕觸(tapping)，例如)將呈現(xiàn)等待時(shí)間的不同感知。結(jié)果證實(shí)觸摸設(shè)備的用戶將注意到并感激等待時(shí)間的數(shù)量級改進(jìn)。用于低等待時(shí)間直接觸摸輸入設(shè)備的構(gòu)架在實(shí)施例中，給定低等待時(shí)間系統(tǒng)的存在，軟件界面可被設(shè)計(jì)成使應(yīng)用開發(fā)者能夠繼續(xù)使用基于工具箱的應(yīng)用設(shè)計(jì)過程，而且使那些工具箱能夠以極低的等待時(shí)間提供反饋。在實(shí)施例中，本公開所概括的系統(tǒng)和方法可被實(shí)現(xiàn)在UI開發(fā)的模型視圖控制器(“MVC模)模型上，很多UI工具箱是基于該模型的。MVC允許應(yīng)用邏輯與應(yīng)用的視覺表示分開。在實(shí)施例中，MVC可包括該應(yīng)用的第二個(gè)重疊的實(shí)際視圖。具體地，在實(shí)施例中，觸摸輸入從UI控件接收立即響應(yīng)，該立即響應(yīng)部分地基于做出觸摸的時(shí)刻處該應(yīng)用的狀態(tài)。目標(biāo)是提供與底層應(yīng)用前后聯(lián)系的幾乎立即的響應(yīng)。在對觸摸的應(yīng)用無關(guān)的視覺響應(yīng)上的先前工作是甚至與UI的視覺元件完全分開的，增加視覺復(fù)雜性。在實(shí)施例中，根據(jù)本文中所概括的系統(tǒng)和方法，一組視覺響應(yīng)更加完整地集成到UI元件本身中以減少視覺復(fù)雜性。因此，在實(shí)施例中，其中示出的特定視件(visual)為觸摸提供實(shí)際“鼠標(biāo)指針”，目標(biāo)是將高性能響應(yīng)集成到控件本身中，提供更加統(tǒng)一的可視化。依然在實(shí)施例中，系統(tǒng)和方法通過低等待時(shí)間子系統(tǒng)允許前后無關(guān)的響應(yīng)的渲染，該前后無關(guān)的響應(yīng)隨后與來自高等待時(shí)間子系統(tǒng)的響應(yīng)融合。在實(shí)施例中，不需要在與剩余的系統(tǒng)的響應(yīng)相同的渲染管道中表示視件。相反，除了由傳統(tǒng)系統(tǒng)所產(chǎn)生的較高等待時(shí)間響應(yīng)之外，利用如本文中所討論的混合反饋的系統(tǒng)或方法可對用戶輸入表現(xiàn)較低的等待時(shí)間響應(yīng)。因此，在實(shí)施例中，設(shè)計(jì)加速的輸入交互從而使得傳統(tǒng)的直接觸摸軟件如同它一般具有高等待時(shí)間響應(yīng)那樣運(yùn)行，同時(shí)以較低的等待時(shí)間提供針對UI元件定制的一組附加的反饋；具有用戶感知不到的等待時(shí)間的目標(biāo)。在實(shí)施例中，通過疊加兩個(gè)或多個(gè)圖像來組合這兩層。在實(shí)施例中，兩個(gè)組合的圖像可包括來自低等待時(shí)間觸摸設(shè)備的一個(gè)投射圖像，和來自與桌面計(jì)算機(jī)連接的傳統(tǒng)投影儀的第二圖像，該桌面計(jì)算機(jī)運(yùn)行定制的觸摸軟件并從低等待時(shí)間子系統(tǒng)接收輸入。以上所述的兩個(gè)投影儀解決方案僅僅表示用作將低等待時(shí)間響應(yīng)與傳統(tǒng)響應(yīng)組合的更通用思想的一個(gè)特定實(shí)施例。在實(shí)施例中，來自低等待時(shí)間與高等待時(shí)間子系統(tǒng)的視覺輸出在被發(fā)送到顯示器之前在系統(tǒng)中的顯示器緩沖器或其他地方中邏輯地組合。在實(shí)施例中，透明的重疊的顯示向用戶呈現(xiàn)低等待時(shí)間與高等待時(shí)間輸出。在實(shí)施例中，使顯示器的像素交錯(cuò)(interlace)從而使得一些像素由低等待時(shí)間子系統(tǒng)來控制，一些像素由高等待時(shí)間子系統(tǒng)來控制；通過交錯(cuò)，這些顯示可對用戶顯得重疊。在實(shí)施例中，使顯示器上呈現(xiàn)的幀交錯(cuò)從而使得一些幀由低等待時(shí)間子系統(tǒng)來控制，一些幀由高等待時(shí)間子系統(tǒng)來控制；由于幀交錯(cuò)，顯示可對用戶表現(xiàn)為含有組合的圖像。在實(shí)施例中，可在硬件中主要地或完全地產(chǎn)生低等待時(shí)間響應(yīng)。在實(shí)施例中，可從輸入傳感器直接接收的輸入傳感器數(shù)據(jù)來產(chǎn)生低等待時(shí)間響應(yīng)。在實(shí)施例中，由至顯示器硬件的高帶寬鏈路來顯示低等待時(shí)間響應(yīng)。在為低等待時(shí)間子系統(tǒng)設(shè)計(jì)用戶界面中，可考慮以下約束中的一個(gè)或多個(gè)：·信息：高等待時(shí)間子系統(tǒng)用來形成系統(tǒng)對輸入的響應(yīng)所需要的任何信息或處理將必然具有高等待時(shí)間，除非例如預(yù)先渲染或預(yù)先供給了這種信息或處理?！ば阅埽阂缘偷却龝r(shí)間形成響應(yīng)所允許的時(shí)間必然受限。即使利用硬件加速，必須謹(jǐn)慎地性能驅(qū)動(dòng)響應(yīng)的設(shè)計(jì)以保證響應(yīng)滿足期望的低等待時(shí)間。·保真度：所渲染的低等待時(shí)間圖像的保真度可與較高等待時(shí)間渲染(實(shí)際上，它被高等待時(shí)間系統(tǒng)預(yù)渲染)難以區(qū)分；附加的約束可被設(shè)置在保真度上以改善性能，諸如例如，視件僅僅是單色的，和/或?qū)σ曈X基元進(jìn)行限制，和/或限制音頻或觸覺響應(yīng)的持續(xù)時(shí)間或特性?？捎上到y(tǒng)的不同元件來引入此類型的約束，包括加速硬件或由輸出硬件(諸如顯示器、觸摸輸出設(shè)備、或揚(yáng)聲器)?！o干擾：在響應(yīng)是混雜組合的實(shí)施例中，可在低等待時(shí)間層中產(chǎn)生應(yīng)用的響應(yīng)中的一些，在高等待時(shí)間層中產(chǎn)生一些，考量可以是怎樣混合這兩者，例如，為了向用戶的輸入提供無縫響應(yīng)。在實(shí)施例中，低等待時(shí)間響應(yīng)不干擾任何可能的應(yīng)用響應(yīng)，這必然將在隨后發(fā)生。在實(shí)施例中，在低等待時(shí)間響應(yīng)與傳統(tǒng)響應(yīng)之間可發(fā)生干擾，但此干擾可通過設(shè)計(jì)或通過響應(yīng)的混合來處置。在實(shí)施例中，進(jìn)行設(shè)計(jì)過程以創(chuàng)建一組視覺UI控件，具有對觸摸有區(qū)別的低等待時(shí)間與高等待時(shí)間視覺響應(yīng)。尋求將實(shí)現(xiàn)兩層響應(yīng)之間的無縫轉(zhuǎn)變的隱喻。這些可視化包括諸如對象位置和狀態(tài)之類的信息。使用上述約束基于可行性來精選設(shè)計(jì)。類似于在軍用飛行器中使用的可視化，這種實(shí)施例的最終設(shè)計(jì)基于抬頭顯示器(HUD)隱喻。HUD是合適的，因?yàn)閭鹘y(tǒng)的HUD在幾何學(xué)上是簡單的，并且它相對容易地以真實(shí)保真度實(shí)現(xiàn)幾何上簡單的顯示器。HUD表示組合的兩個(gè)視覺層的僅一個(gè)示例，然而在很多HUD中，計(jì)算機(jī)化的顯示被疊加在視頻或“真實(shí)世界”本身上。因此，HUD通常被設(shè)計(jì)成無干擾的?；贖UD隱喻，為在很多直接觸摸系統(tǒng)中發(fā)現(xiàn)的一組UI元件開發(fā)了一組示例性的觸摸事件和UI元件特定的低等待時(shí)間層可視化。這些示例性元件是既普通又有代表性的；他們的交互(輕觸、拖動(dòng)、兩手指收聚(pinching))覆蓋在電流直接觸摸設(shè)備中使用的大多數(shù)交互空間。在這樣的實(shí)施例中開發(fā)的低等待時(shí)間響應(yīng)在表1中描述，并且它們在圖6-8中示出。表1：針對每個(gè)元件和觸摸事件的加速視件，補(bǔ)償對觸摸輸入的標(biāo)準(zhǔn)高等待時(shí)間響應(yīng)。這三個(gè)元件表示針對觸摸輸入的標(biāo)準(zhǔn)UI工具箱的廣泛使用范圍。最高階UI元件由這些較簡單的元件組成(例如單選按鈕(radiobutton)和復(fù)選框(checkbox)都是“按鈕”，滾動(dòng)條是具有受限平移和旋轉(zhuǎn)的“滾動(dòng)/可變尺寸件”)。本文中所述的加速的輸入系統(tǒng)和方法依賴于以兩個(gè)明顯不同的等待時(shí)間等級工作的視件的結(jié)合；此等待時(shí)間差異已被納入低等待時(shí)間可視化的設(shè)計(jì)中。在實(shí)施例中，可通知用戶兩個(gè)系統(tǒng)的狀態(tài)，當(dāng)各視覺層取得對齊時(shí)具有相關(guān)的同步性。在實(shí)施例中，用戶能夠在系統(tǒng)反饋的高與低等待時(shí)間部分之間做出區(qū)分。在實(shí)施例中，以在低等待時(shí)間響應(yīng)與傳統(tǒng)響應(yīng)之間提供不明顯差別的方式來混合視覺元件。在實(shí)施例中，應(yīng)用開發(fā)者利用工具箱經(jīng)由組建GUI控件的一般過程來建立他們的應(yīng)用。在執(zhí)行后，UI元件將它們的可視化分為在單個(gè)顯示器上渲染且重疊的高與低等待時(shí)間可視化兩部分。如在圖9中示出通過這種系統(tǒng)的信息流的實(shí)施例。信息從輸入設(shè)備910流到系統(tǒng)中且由輸入處理單元(IPU)920首先處理，經(jīng)由IPU軟件工具箱930來編程。然后由兩個(gè)子系統(tǒng)(低等待時(shí)間低保真度子系統(tǒng)940和高等待時(shí)間子系統(tǒng)950(諸如例如在常規(guī)軟件棧中運(yùn)行的常規(guī)軟件))平行地處理UI事件。在實(shí)施例中，可在硬件(諸如圖4的FPGA440)中實(shí)現(xiàn)低等待時(shí)間低保真度子系統(tǒng)940。在此實(shí)施例中描述的分為兩部分創(chuàng)建了基本的通信問題，其中必須在用戶開始給予輸入之前限定由應(yīng)用邏輯所需的低等待時(shí)間子系統(tǒng)940所提供的初始響應(yīng)的參數(shù)化。需要在由應(yīng)用進(jìn)行表示的時(shí)刻處理的任何響應(yīng)將引入低等待時(shí)間系統(tǒng)940對高等待時(shí)間系統(tǒng)950的依賴性，因此可將滯后引入回到系統(tǒng)中。在實(shí)施例中，低等待時(shí)間系統(tǒng)940對輸入的響應(yīng)的隨后階段可依賴于高等待時(shí)間子系統(tǒng)950。在實(shí)施例中，管理低等待時(shí)間系統(tǒng)940對輸入的響應(yīng)的隨后階段對于高等待時(shí)間子系統(tǒng)950的依賴性從而使得該依賴性不引入附加的等待時(shí)間。在實(shí)施例中，將完全避免該依賴性。在實(shí)施例中，UI元件邏輯可被建立到低等待時(shí)間子系統(tǒng)中。在用戶輸入之間，在高等待時(shí)間子系統(tǒng)950中執(zhí)行的應(yīng)用有機(jī)會(huì)為UI元件的低等待時(shí)間子系統(tǒng)940的模型提供參數(shù)。因此，在實(shí)施例中，可通過提供為低等待時(shí)間反饋負(fù)責(zé)的單獨(dú)控制器來擴(kuò)展UI軟件設(shè)計(jì)的MVC模型。在實(shí)施例中，在軟件設(shè)計(jì)中，可針對每種控件指定以下中的一個(gè)或多個(gè)：·元件類型(例如，按鈕、可拖動(dòng)對象、滾動(dòng)列表等)?！み吔绯叽?例如，x位置、y位置、寬度、高度等)?！び袟l件的：附加的基元信息(例如，滾動(dòng)列表的情況中的列表項(xiàng)的尺寸等)。在實(shí)施例中，給定元件類型對觸摸輸入的響應(yīng)的邏輯被儲(chǔ)存在低等待時(shí)間子系統(tǒng)940中?？捎猛瑯拥姆绞絹韨鬟f低等待時(shí)間子系統(tǒng)對用戶輸入的響應(yīng)的進(jìn)一步參數(shù)化，允許更大程度的定制。在實(shí)施例中，處理傳感器數(shù)據(jù)以產(chǎn)生事件(或輸入流的其他處理形式)，該事件然后被單獨(dú)分配到低等待時(shí)間子系統(tǒng)940和高等待時(shí)間子系統(tǒng)950?？蓪Φ偷却龝r(shí)間子系統(tǒng)940和高等待時(shí)間子系統(tǒng)950以不同速率產(chǎn)生事件，因?yàn)榈偷却龝r(shí)間子系統(tǒng)能夠比高等待時(shí)間子系統(tǒng)更快地處理事件，且以高速率向高等待時(shí)間子系統(tǒng)發(fā)送事件可壓垮該子系統(tǒng)。低與高等待時(shí)間子系統(tǒng)對用戶輸入的響應(yīng)因此是獨(dú)立的且并列的。在實(shí)施例中，一個(gè)子系統(tǒng)擔(dān)當(dāng)主控器摂，在用戶輸入之間設(shè)置另一個(gè)子系統(tǒng)的狀態(tài)。在實(shí)施例中，低等待時(shí)間與高等待時(shí)間子系統(tǒng)之間的關(guān)系包括兩個(gè)子系統(tǒng)之間的同步性。在實(shí)施例中，低等待時(shí)間與高等待時(shí)間子系統(tǒng)之間的關(guān)系包括高等待時(shí)間子系統(tǒng)為低等待時(shí)間子系統(tǒng)940卸載處理的能力。在實(shí)施例中，低等待時(shí)間與高等待時(shí)間子系統(tǒng)之間的關(guān)系包括低等待時(shí)間子系統(tǒng)940減少其處理負(fù)載和/或利用高等待時(shí)間子系統(tǒng)950來預(yù)處理或預(yù)渲染的能力。在實(shí)施例中，第二圖形處理和輸出系統(tǒng)的響應(yīng)依賴于第一圖形處理和輸出系統(tǒng)，并且狀態(tài)信息從第一圖形處理和輸出系統(tǒng)傳遞到第二圖形處理和輸出系統(tǒng)。在這種實(shí)施例中，從第一圖形處理和輸出系統(tǒng)傳遞到第二圖形處理和輸出系統(tǒng)的信息由一片或多片數(shù)據(jù)組成，該一片或多片數(shù)據(jù)描述了用戶界面中的一個(gè)或多個(gè)圖形元件。例如，此數(shù)據(jù)可以是用戶界面中的圖形元件的尺寸、位置、外觀、可選的外觀、對用戶輸入的響應(yīng)、以及類型。從第一圖形處理和輸出系統(tǒng)傳遞到第二圖形處理和輸出系統(tǒng)的數(shù)據(jù)可被儲(chǔ)存在第二圖形處理和輸出系統(tǒng)可用的高速存儲(chǔ)器中。傳遞的數(shù)據(jù)可描述按鈕、滑動(dòng)件、可拖動(dòng)和/或可變尺寸GUI元件、滾動(dòng)列表、旋轉(zhuǎn)件、下拉列表、菜單、工具條、組合框、可移動(dòng)圖標(biāo)、固定圖標(biāo)、樹狀圖、網(wǎng)格視圖、滾動(dòng)條、滾動(dòng)窗或用戶界面元件的外觀和/或行為。在實(shí)施例中，在用戶輸入信號被第一或第二圖形處理和輸出系統(tǒng)中的一個(gè)或兩者接收之前，輸入處理系統(tǒng)在用戶輸入信號上執(zhí)行抽取(decimation)?；趶牡谝粓D形處理和輸出系統(tǒng)發(fā)送的關(guān)于用戶界面的信息從全部輸入信號組中選擇抽取的輸入信號或未抽取的信號?？赏ㄟ^將輸入信號組在邏輯上組合成較小的輸入信號組來執(zhí)行輸入信號的抽取?？赏ㄟ^窗口的求平均值來執(zhí)行輸入信號的邏輯組合。當(dāng)減小輸入信號組的尺寸時(shí)，該抽取考慮用戶輸入信號的時(shí)間?？赏ㄟ^加權(quán)求平均值來執(zhí)行輸入信號的邏輯組合。在實(shí)施例中，已經(jīng)有區(qū)別地處理了由第一和第二圖形處理和輸出系統(tǒng)接收的用戶輸入信號。在實(shí)施例中，高等待時(shí)間和低等待時(shí)間層之間的通信可以是重要的。以下說明在確定高與低等待時(shí)間子系統(tǒng)怎樣保持同步化中要考慮的一些重點(diǎn)：·等待時(shí)間差異：低等待時(shí)間響應(yīng)可使用關(guān)于高與低等待時(shí)間層之間的等待時(shí)間差異的信息以使響應(yīng)同步。在實(shí)施例中，這些等待時(shí)間值是靜態(tài)的，且因此被預(yù)編程到FPGA中。在等待時(shí)間等級可在任一子系統(tǒng)中變化的實(shí)施例中，可有利地將等待時(shí)間等級固定在始終可達(dá)到的常數(shù)，而不是具有可變得不同步的動(dòng)態(tài)值，或者有利地提供明確的同步化機(jī)制。在等待時(shí)間等級可在任一子系統(tǒng)中變化的實(shí)施例中，可使用動(dòng)態(tài)值，然而應(yīng)該當(dāng)心避免變得不同步。在等待等級可在任一子系統(tǒng)中變化的實(shí)施例中，可在子系統(tǒng)940、950之間提供明確的同步化機(jī)制?！c(diǎn)擊測試：點(diǎn)擊測試決定通常以關(guān)于可見UI元件的視覺層次和屬性的數(shù)據(jù)為條件。在實(shí)施例中，通過不允許邊界矩形重疊、要求UI的平面的“點(diǎn)擊測試友好的”映射。在實(shí)施例中，單獨(dú)的點(diǎn)擊測試可為低等待時(shí)間子系統(tǒng)提供必要的信息(物體狀態(tài)、z順序、和收聽站)。在實(shí)施例中，低等待時(shí)間與高等待時(shí)間子系統(tǒng)可并列地進(jìn)行點(diǎn)擊測試。在實(shí)施例中，低等待時(shí)間子系統(tǒng)進(jìn)行點(diǎn)擊測試，并且向高等待時(shí)間子系統(tǒng)提供結(jié)果?！l件響應(yīng)：很多界面可視化不僅以立即用戶輸入為條件，而且以應(yīng)用邏輯中所限定的進(jìn)一步做出決定邏輯為條件。條件響應(yīng)邏輯的兩個(gè)說明性示例如下：考慮信用卡購買提交按鈕，其被編程為當(dāng)按壓時(shí)禁用(為了防止雙重記賬)，而且僅基于輸入表單的數(shù)據(jù)的有效性。在這種情況中，按鈕的行為不僅依賴于立即用戶交互，而且進(jìn)一步以附加的信息和處理為條件。還考慮關(guān)聯(lián)的可視化，諸如圖10中示出的一個(gè)。在此情況中，不僅由用戶操控的UI元件1010，而且還由第二UI元件1020來為用戶提供反饋。這些示例可被直接編程到低等待時(shí)間子系統(tǒng)中。在實(shí)施例中，高與低等待時(shí)間子系統(tǒng)之間的劃分可與任意用戶界面元素?zé)o關(guān)。實(shí)際上，子系統(tǒng)之間責(zé)任的劃分可基于任意數(shù)量的因素來定制，且仍有可能存在于缺乏用戶界面工具箱的系統(tǒng)中，或者包括在使用和不使用可能獲得的UI工具箱兩者來開發(fā)應(yīng)用的機(jī)制的系統(tǒng)中。在實(shí)施例中，可在子系統(tǒng)運(yùn)行時(shí)動(dòng)態(tài)地改變兩個(gè)子系統(tǒng)之間的責(zé)任的劃分。在實(shí)施例中，UI工具箱自身可被包括在低等待時(shí)間子系統(tǒng)內(nèi)?？捎脭?shù)個(gè)方式來向應(yīng)用開發(fā)者提供定制響應(yīng)的能力而不脫離本文所述的系統(tǒng)和方法。在實(shí)施例中，響應(yīng)可被定制為要在UI控件中調(diào)節(jié)的參數(shù)。在實(shí)施例中，可在低等待子系統(tǒng)中本身執(zhí)行的代碼中或者在其他高或低等待時(shí)間組件中，通過允許向低等待時(shí)間子系統(tǒng)直接提供指令的能力來定制響應(yīng)。在實(shí)施例中，可使用由應(yīng)用代碼(例如,在運(yùn)行時(shí)間)所產(chǎn)生的數(shù)據(jù)來設(shè)置低等待時(shí)間子系統(tǒng)的狀態(tài)。盡管以上所述的示例是在觸摸輸入的情況下提供的，但預(yù)期其他的實(shí)施例，包括但不限于，筆輸入、鼠標(biāo)輸入、間接觸摸輸入(例如，觸摸板)、空中手勢輸入、口頭輸入和/或其他輸入模態(tài)。所述的架構(gòu)同等地可應(yīng)用到任何種類的用戶輸入事件，包括但不限于混合輸入事件(即支持來自超過一個(gè)模態(tài)的輸入)。在實(shí)施例中，混合輸入設(shè)備可導(dǎo)致相同數(shù)量的用于低和高等待時(shí)間子系統(tǒng)中的每一個(gè)來處理的被產(chǎn)生的事件。在實(shí)施例中，將以所產(chǎn)生的事件的數(shù)量來區(qū)別混合輸入設(shè)備，如此例如，觸摸輸入可比筆輸入具有較少的事件。在實(shí)施例中，每個(gè)輸入模態(tài)包含其自己的低等待時(shí)間子系統(tǒng)。在實(shí)施例中，在包含針對多個(gè)輸入模態(tài)的多個(gè)低等待時(shí)間子系統(tǒng)的系統(tǒng)中，各子系統(tǒng)可通信以配合他們的響應(yīng)。在實(shí)施例中，在包含針對多個(gè)輸入模態(tài)的多個(gè)低等待時(shí)間子系統(tǒng)的系統(tǒng)中，多個(gè)子系統(tǒng)可共享公共存儲(chǔ)器區(qū)域以實(shí)現(xiàn)協(xié)作。輸入處理在本發(fā)明的實(shí)施例中，來自輸入硬件的低等待時(shí)間輸入數(shù)據(jù)被最小程度地處理為快速的輸入事件流。此事件流被直接發(fā)送到低等待時(shí)間子系統(tǒng)以便進(jìn)一步處理。然后在事件流被發(fā)送到高等待時(shí)間子系統(tǒng)之前，可刪除來自這同一流的事件，或者可縮減或過濾該流。因?yàn)榈偷却龝r(shí)間子系統(tǒng)能夠比高等待時(shí)間子系統(tǒng)更快地處理事件且以高速率向高等待時(shí)間子系統(tǒng)發(fā)送事件,這可能壓垮該子系統(tǒng),所以對于低等待時(shí)間子系統(tǒng)940和高等待時(shí)間子系統(tǒng)950可以以不同速率產(chǎn)生事件。低等待時(shí)間與高等待時(shí)間子系統(tǒng)對用戶輸入的響應(yīng)因此可以是獨(dú)立的且協(xié)調(diào)的。可優(yōu)化事件的縮減。在實(shí)施例中，可基于與應(yīng)用、UI元件、輸入設(shè)備等中的一個(gè)或多個(gè)相關(guān)聯(lián)的標(biāo)準(zhǔn)在候選事件之中選擇代表性事件。對于當(dāng)用戶繪制數(shù)字墨水筆劃的筆輸入的這個(gè)示例可包括選擇最適于用戶所繪筆劃的事件。對于語言輸入的另一個(gè)示例是偏向于其中輸出流中的隨后事件將具有類似音量的事件，由此“均勻化”來自麥克風(fēng)的聲音。對于觸摸輸入的另一個(gè)示例是偏向于將產(chǎn)生具有一致速度的輸出事件流的事件，從而提供更加“光滑的”輸出。這種形式的智能縮減擔(dān)當(dāng)智能過濾器，而不會(huì)降低高等待時(shí)間子系統(tǒng)的性能。在實(shí)施例中，可產(chǎn)生新的事件(例如，合并的事件或虛事件)，代表輸入流中其他事件的聚集。在實(shí)施例中，可產(chǎn)生新的事件(例如，校正的事件、合并的事件或虛事件)，代表更加期望的輸入流，例如校正或平滑化。例如，對于空中手勢輸入，對于來自高速輸入設(shè)備的每10次事件，可對高等待時(shí)間子系統(tǒng)發(fā)送相同數(shù)量或更少的事件，這些事件提供實(shí)際輸入事件的“平均”，因此平滑化輸入并去除抖動(dòng)。還可產(chǎn)生新的事件，作為輸入設(shè)備的不同參數(shù)的多個(gè)“期望”等級的混合(amalgam)。例如，如果筆的傾斜和壓力屬性的智能縮減將導(dǎo)致不同事件的選擇，則可創(chuàng)建單個(gè)新的事件對象(或者一個(gè)或多個(gè)現(xiàn)有事件對象被修改)以包括這些屬性中的每一個(gè)的期望值。在實(shí)施例中，IPU或低等待時(shí)間子系統(tǒng)系統(tǒng)可被用于向高等待時(shí)間系統(tǒng)提供經(jīng)處理的輸入信息。一個(gè)或多個(gè)方法可被用于協(xié)調(diào)兩個(gè)子系統(tǒng)的活動(dòng)。這些方法包括：a.在實(shí)施例中，低等待時(shí)間子系統(tǒng)可立即響應(yīng)于所有用戶輸入，但在向高等待時(shí)間系統(tǒng)提供輸入之前等待用戶停止輸入(例如抬起手指或筆，終止手勢)。這在用戶交互期間具有避免阻塞系統(tǒng)同時(shí)仍處理全體數(shù)據(jù)的優(yōu)點(diǎn)。b.在實(shí)施例中，低等待時(shí)間系統(tǒng)可幾乎實(shí)時(shí)提供輸入的縮減估計(jì)；并且可任選地儲(chǔ)存完整的輸入隊(duì)列，高等待時(shí)間系統(tǒng)可在請求時(shí)獲得該完整的輸入隊(duì)列。c.在實(shí)施例中，用戶反饋可被分成兩個(gè)步驟。第一，低等待時(shí)間反饋將提供圖11中用戶輸入1130的粗略的立即的表示。第二，只要高等待時(shí)間系統(tǒng)能夠計(jì)算細(xì)化的響應(yīng)，例如在筆1150尖提起之后，高等待時(shí)間系統(tǒng)響應(yīng)1140就可替代第一響應(yīng)1130?？蛇x地，高等待時(shí)間反饋可連續(xù)地“追趕”(且有可能包含)低等待時(shí)間反饋。d.在實(shí)施例中，低等待時(shí)間系統(tǒng)可從輸入流中推斷簡單的手勢動(dòng)作，且因此產(chǎn)生不同于或者代替原始事件的手勢事件，該手勢事件被包括在輸入隊(duì)列中。e.在實(shí)施例中，IPU或低等待時(shí)間子系統(tǒng)可使用多個(gè)輸入位置來預(yù)測進(jìn)一步輸入位置。此預(yù)測可被傳遞到高等待時(shí)間子系統(tǒng)以減小其有效等待時(shí)間。f.在實(shí)施例中，在IPU或低等待時(shí)間子系統(tǒng)中執(zhí)行可受益于附加樣本或早期檢測的算法。在實(shí)施例中，可在時(shí)間上限制這些事件的執(zhí)行。例如，可使用最初的50個(gè)事件以將輸入分類為特定手指，或在手指與筆輸入之間做出區(qū)分。在實(shí)施例中，這些算法可連續(xù)運(yùn)行。g.在實(shí)施例中，將事件流傳遞到高等待時(shí)間子系統(tǒng)的低等待時(shí)間子系統(tǒng)的過程可被延遲以接收并處理附加的連續(xù)或同時(shí)的相關(guān)輸入，不然此相關(guān)輸入可能被不正確地視為不相關(guān)輸入。例如，字母“t如通常被繪制為兩個(gè)單獨(dú)的，但相關(guān)的筆劃。在一般進(jìn)程中，從低等待時(shí)間系統(tǒng)傳遞到高等待時(shí)間系統(tǒng)的輸入流的一部分將包括繪制第一條線的端處的“抬筆”信號。在實(shí)施例中，縮減過程等待樣本窗口內(nèi)的輸入的最后幀以傳遞到“抬起”事件，以免在窗口內(nèi)的顯示器上再次檢測到筆，因此排除對事件的需要。硬件架構(gòu)在實(shí)施例中，數(shù)據(jù)流過經(jīng)過系統(tǒng)的組件的兩個(gè)重疊路徑以同時(shí)支持高等待時(shí)間與低等待時(shí)間反饋。圖12示出一個(gè)這樣的系統(tǒng)，包括輸入設(shè)備1210、IPU1220、系統(tǒng)總線1230、CPU1240和連接到顯示器1290的GPU1280。用戶1200使用輸入設(shè)備1210執(zhí)行輸入。此輸入由IPU1220來感測，在不同的實(shí)施例中，IPU1220可以是FPGA、ASIC或者集成到GPU1280、MPU或SoC的附加軟件和硬件邏輯。此時(shí)，控制流分成且跟隨經(jīng)過系統(tǒng)的兩個(gè)單獨(dú)的路徑。對于輸入的低等待時(shí)間響應(yīng)，IPU1220將輸入事件經(jīng)由系統(tǒng)總線1230發(fā)送到GPU1280，繞過CPU1240。GPU1280然后快速地顯示對用戶1200的反饋。對于輸入的高等待時(shí)間響應(yīng)，IPU1220將輸入事件經(jīng)由系統(tǒng)總線1230發(fā)送到CPU1240，CPU1230運(yùn)行圖形應(yīng)用且可與其他系統(tǒng)組件交互。CPU1240然后將指令經(jīng)由系統(tǒng)總線1230發(fā)送到GPU1280以向用戶1200提供圖形反饋。從輸入設(shè)備1210到IPU1220到系統(tǒng)總線1230到GPU1280的低等待時(shí)間路徑主要是硬件且用低等待時(shí)間來運(yùn)行。從輸入設(shè)備1210到IPU1220到系統(tǒng)總線1230到CPU1240再回到系統(tǒng)總線1230到GPU1280的高等待時(shí)間路徑是高等待時(shí)間的，由于在此說明書早先所述的因素。在相關(guān)實(shí)施例中，輸入設(shè)備1210與GPU1280之間通信且繞過系統(tǒng)總線1230。圖13示出慣用的編程范例，稱為模型視圖控制器。在此范例中，用戶1300在控制器1310上執(zhí)行輸入，控制器1310進(jìn)而基于此輸入來操控模型1320。模型1320中的變化導(dǎo)致視圖1330變化，這被用戶1300觀察到。本發(fā)明所解決的等待時(shí)間中的一些是由于輸入、這些組件之間的通信、以及由視圖1300組件所產(chǎn)生的圖形的顯示中的等待時(shí)間。圖14示出支持在系統(tǒng)上開發(fā)并運(yùn)行應(yīng)用的架構(gòu)的實(shí)施例，此系統(tǒng)對用戶輸入有混合的高等待時(shí)間與低等待時(shí)間響應(yīng)。用戶1400用輸入設(shè)備1410執(zhí)行輸入。此輸入由IPU1420接收。IPU1420同時(shí)將輸入事件經(jīng)由傳統(tǒng)機(jī)制發(fā)送到高等待時(shí)間子系統(tǒng)中運(yùn)行的控制器1430并發(fā)送到低等待時(shí)間中運(yùn)行的視圖模型(L)1490。輸入由控制器1430來處置，該控制器1430操控高等待時(shí)間子系統(tǒng)中運(yùn)行的模型1440，該模型1440可與易失性存儲(chǔ)器1450、固定存儲(chǔ)器1470、網(wǎng)絡(luò)資源1460等中的數(shù)據(jù)交互(所有交互引入滯后)。由視圖模型(L)1490接收的輸入事件導(dǎo)致視圖模型(L)變化，該變化體現(xiàn)在視圖(L)1491的變化中，這被用戶1400觀察到。模型1440的變化導(dǎo)致高等待時(shí)間子系統(tǒng)的視圖(H)1480變化，這也被用戶1400觀察到。在實(shí)施例中，在同一顯示器上示出用戶所觀察到這兩種類型的變化。在實(shí)施例中，這兩種類型的變化經(jīng)由其他輸出模態(tài)(諸如例如，聲音或振動(dòng))體現(xiàn)到用戶。在實(shí)施例中，在輸入之間，模型1440更新視圖模型(L)1490和視圖(L)1491的狀態(tài)，從而使得視圖模型(L)1490包含需要的數(shù)據(jù)以在系統(tǒng)的顯示器上的正確位置中呈現(xiàn)GUI的組件且使得視圖模型(L)1490可以以模型1440的當(dāng)前狀態(tài)的情況來正確地解釋來自IPU1420的輸入；且使得視圖(L)1491可以以模型1440的當(dāng)前狀態(tài)的情況來正確地產(chǎn)生用于顯示的圖形。借助示例，考慮具有按鈕的觸摸敏感的應(yīng)用，在按鈕的功能之中，通過改變其外觀對用戶的觸摸進(jìn)行響應(yīng)，指示它已被激活。當(dāng)應(yīng)用運(yùn)行時(shí)，應(yīng)用從存儲(chǔ)器和編譯的應(yīng)用代碼中讀取按鈕的位置、尺寸和外觀的細(xì)節(jié)。視圖(H)1480代碼產(chǎn)生必要的圖形，該必要的圖形被呈現(xiàn)給用戶以顯示按鈕。模型1440更新視圖模型(L)1490的狀態(tài)以記錄此圖形元件是按鈕，以及當(dāng)它被觸摸時(shí)應(yīng)該將外觀從“正常”外觀改變到“按壓”外觀。模型1440還更新視圖(L)1491的狀態(tài)以記錄針對視圖模型(L)1490中的“正常”和“按壓”狀態(tài)的正確外觀。此外觀可以是低保真度圖形元件的描述或完整的柵格(raster)以用于顯示。在此示例中，通過在按鈕的位置周圍顯示白框來表示“按壓”狀態(tài)。用戶觸摸觸摸屏顯示器，且描述該觸摸的輸入數(shù)據(jù)在小于1ms之后由IPU1420接收。IPU1420從輸入數(shù)據(jù)創(chuàng)建代表觸下事件的輸入事件并將此輸入發(fā)送到應(yīng)用控制器1430。控制器1430操控模型1440。在此情況下，控制器1430對模型1440指示按鈕已被觸摸且應(yīng)用應(yīng)該執(zhí)行與此按鈕有關(guān)聯(lián)的任何命令。在IPU1420向控制器1430發(fā)送事件的同一時(shí)刻，它向視圖模型(L)1490發(fā)送事件，指示按鈕已被觸摸。先前模型1440對視圖模型(L)1490下在觸摸的情況下做什么的指令，且在此情況中它通過將其狀態(tài)改變?yōu)椤鞍磯骸眮眄憫?yīng)觸摸事件。視圖(L)1491通過在按鈕周圍顯示白框(對應(yīng)于其“按壓”外觀的反饋)來響應(yīng)此變化。觸摸按鈕給模型1440帶來的改變引起視圖(H)1480的更新，從而它也反映了現(xiàn)在按鈕被觸摸。觀察到視圖(H)1480和視圖(L)1491兩者的輸出的用戶，通過視圖(L)1491觀察到他們的觸摸的立即反饋，在一秒內(nèi)跟隨著來自視圖(H)1480的反饋。貫穿此申請的文本，詞語“事件”被用于描述說明用戶輸入的屬性的信息。一般使用此項(xiàng)，且此項(xiàng)包括采用事件驅(qū)動(dòng)架構(gòu)的實(shí)施例(實(shí)際事件對象在軟件元件之間傳遞)，以及正在描述的“事件”的更加基本的輸入流僅存在于信息流中。例如，這種事件可以是非面向?qū)ο箢愋偷氖录蛎嫦驅(qū)ο笮褪录Ｍㄟ^預(yù)生成應(yīng)用元件的替代的圖形表示來對輸入做出低等待時(shí)間視覺響應(yīng)以及在圖形處理單元上的輸入處置背景圖15是示出根據(jù)現(xiàn)有技術(shù)的圖形用戶界面(GUI)視圖和中間數(shù)據(jù)的分級結(jié)構(gòu)的框圖。在CPU上運(yùn)行的應(yīng)用包括多個(gè)GUI元件，通常但不是必須地，以樹狀排布。這些“視圖”(也被稱作小部件、組件、元件等)可以包括諸如滑塊、按鈕、面板等熟悉的元件，其中的每一個(gè)擁有當(dāng)前狀態(tài)和相關(guān)的應(yīng)用代碼，該應(yīng)用代碼在用戶輸入作用在該元件上時(shí)運(yùn)行。當(dāng)應(yīng)用更新其任何狀態(tài)并且對應(yīng)用的視覺外觀的改變需要向用戶顯示的時(shí)候，應(yīng)用執(zhí)行“繪制(paint)”命令(在某些系統(tǒng)中也被稱作繪圖(draw)、渲染(render)等)，該“繪制”命令行走此樹(或其他數(shù)據(jù)結(jié)構(gòu)：例如‘場景圖(scenegraph)’)并從應(yīng)用的GUI元件中產(chǎn)生中間繪圖數(shù)據(jù)。此中間數(shù)據(jù)可以包括用于應(yīng)用中的每個(gè)元件的單獨(dú)的位圖(又名，柵格、像素?cái)?shù)據(jù))，可以包括繪圖指令來產(chǎn)生應(yīng)用中的每個(gè)元件的最終像素(被渲染的)外觀，或可以包括允許計(jì)算機(jī)在顯示器上產(chǎn)生像素(或?qū)τ陲@示技術(shù)適合的基礎(chǔ)圖形基元)的任何表示(像素?cái)?shù)據(jù)、顯示列表、繪圖指令、向量數(shù)據(jù)等)，所述像素在存儲(chǔ)器中表示應(yīng)用的視覺外觀。在圖15中示出的示例中，此中間數(shù)據(jù)包括繪圖指令，該繪圖指令被執(zhí)行來產(chǎn)生GUI元件的最終像素外觀。此中間數(shù)據(jù)駐留在存儲(chǔ)器中，并且可以被計(jì)算機(jī)的CPU或?qū)Ｓ脠D形處理單元(GPU)中的任一或二者訪問。為了產(chǎn)生最終渲染的GUI，此中間數(shù)據(jù)被執(zhí)行或被復(fù)制到將被發(fā)送到顯示器的像素緩沖區(qū)并對于用戶可見。見圖16。在包括用來渲染的CPU和GPU二者的系統(tǒng)中，處置用戶輸入并產(chǎn)生/更新中間數(shù)據(jù)的過程(由CPU執(zhí)行)通常比執(zhí)行中間指令以產(chǎn)生最終像素緩沖區(qū)的過程(由GPU執(zhí)行)花費(fèi)顯著更長的時(shí)間。圖17示出如何使得GUI元件的視覺外觀的變化對于用戶可見。在此示例中，在CPU上運(yùn)行的應(yīng)用接收來自用戶的要求“視圖G”的視覺外觀變化的輸入。對于此示例，假設(shè)視圖G是一按鈕并且用戶按壓該按鈕，要求在顯示器上該按鈕呈現(xiàn)“被按壓”。用戶輸入修改了應(yīng)用中視圖G的狀態(tài)，其觸發(fā)了產(chǎn)生G的更新的中間數(shù)據(jù)的“繪制”命令。為了產(chǎn)生最終渲染的GUI(包括G的新的視覺外觀)，此中間數(shù)據(jù)被執(zhí)行或被復(fù)制到將被發(fā)送到顯示器的像素緩沖區(qū)并對于用戶可見。此顯示器包括修改的視圖G的外觀。雖然現(xiàn)代操作系統(tǒng)執(zhí)行許多步驟來有效地僅僅更新要求更新的中間數(shù)據(jù)，但接收用戶輸入、修改應(yīng)用狀態(tài)并產(chǎn)生中間數(shù)據(jù)的過程依然是耗時(shí)的并且將等待時(shí)間引入對用戶輸入的視覺響應(yīng)中。因此，期望創(chuàng)建一種在對GUI的用戶顯示對輸入的視覺響應(yīng)所要求的時(shí)間上做出改進(jìn)的系統(tǒng)。通過預(yù)生成應(yīng)用元件的替代的圖形表示來對輸入做出低等待時(shí)間視覺響應(yīng)本文描述了一個(gè)發(fā)明，其中GUI中的元件用來產(chǎn)生一個(gè)或多個(gè)中間數(shù)據(jù)，所述一個(gè)或多個(gè)中間數(shù)據(jù)對應(yīng)于GUI元件的一個(gè)或多個(gè)可能的視覺狀態(tài)。這些多個(gè)視覺表示與控制邏輯配對，該控制邏輯選擇恰當(dāng)?shù)闹虚g數(shù)據(jù)以便在渲染最終像素圖像來向用戶顯示時(shí)使用。圖18示出本發(fā)明的實(shí)施例，其中應(yīng)用的GUI中的每個(gè)GUI元件根據(jù)元件的類型和元件的可能的視覺狀態(tài)的數(shù)目來產(chǎn)生一個(gè)或多個(gè)中間數(shù)據(jù)。在此示例中，視圖G和視圖H是此GUI中僅有的擁有多個(gè)可能的視覺外觀的視圖，并且視圖G產(chǎn)生對應(yīng)于兩個(gè)替代的視覺外觀的兩個(gè)替代的中間數(shù)據(jù)，視圖H產(chǎn)生用于三個(gè)可能的視覺外觀的三個(gè)中間數(shù)據(jù)。在優(yōu)選實(shí)施例中，本發(fā)明記錄對應(yīng)于當(dāng)前替代物的索引以便在執(zhí)行中間數(shù)據(jù)以產(chǎn)生向用戶顯示的最終像素緩沖區(qū)時(shí)使用。圖19示出了擁有對于視圖G的更新索引的中間數(shù)據(jù)。在此示例中，假設(shè)視圖G是一按鈕，并且“繪圖指令G”給出繪制其未被按壓的外觀的指令以及“替代的繪圖指令G”給出繪制其被按壓的外觀的指令。在此示例中，當(dāng)用戶按壓按鈕時(shí)，系統(tǒng)更新對于G的索引以便“替代的繪圖指令G”被選擇。此選擇確保：當(dāng)中間數(shù)據(jù)之后被執(zhí)行或復(fù)制到將被發(fā)送到顯示器的像素緩沖區(qū)并對于用戶可見時(shí)，視圖G正確地呈現(xiàn)。由于GUI中的元件的繪圖指令被預(yù)先計(jì)算，對用戶輸入的視覺響應(yīng)可以非?？焖俚匕l(fā)生且具有低的等待時(shí)間，因?yàn)榇藭r(shí)不需要執(zhí)行耗時(shí)的“繪制”操作?？赡芘c替代的繪圖指令綁定的UI視圖狀態(tài)的其他示例包括：窗口的當(dāng)前/最大化的狀態(tài)、任何UI元件的按壓-非按壓狀態(tài)、當(dāng)被其他元件影響時(shí)所呈現(xiàn)的UI元件(例如：如果一個(gè)視圖在另一個(gè)視圖上方通過并且示出落影(drop-shadow)，在該視圖‘下面’的視圖上的陰影的外觀)、或可能在環(huán)境中應(yīng)用的替代的‘皮膚’(例如：在游戲中可能被‘擊中’的未損壞和損壞版本的UI對象)。實(shí)際上，可以影響視圖視覺外觀的視圖的任何屬性可以被綁定和預(yù)先計(jì)算。更進(jìn)一步，那些值相互影響的屬性可以又提供更多的替代的渲染(例如，禁用且未被按壓、禁用且被按壓等)。擁有大量可能值的屬性可以用可能已知的值來預(yù)先計(jì)算，例如基于給定的替代的外觀是否表示可以從當(dāng)前狀態(tài)直接轉(zhuǎn)換成的狀態(tài)、基于過去的用戶行為、基于其他用戶的行為、或由應(yīng)用的開發(fā)者明確地指示。在這些示例中，利用替代的元件繪制的視圖是樹中的“葉片”節(jié)點(diǎn)。在本發(fā)明的某些實(shí)施例中，相關(guān)的視圖可以是非葉片節(jié)點(diǎn)，諸如圖18和圖19中的視圖E。在這種情況中，子節(jié)點(diǎn)(或?qū)嶋H上，當(dāng)理解此示例的遞歸屬性時(shí)的所有后代)可能有或可能沒有與它們母體的替代的繪圖指令綁定的替代的繪圖指令。例如，如果視圖E是包含視圖H、I和J的集合的UI面板，則對于E的一個(gè)替代的繪圖指令可以包括給予其“被禁用”的外觀。雖然不是一貫，一般地在GUI中，如果母視圖設(shè)為禁用，那么子視圖也是。因此，用于視圖E的給予其‘禁用’外觀的替代的繪圖指令可以包含對于視圖H、I和J的類似替代的指令的指針以便給予它們類似的被禁用的外觀。此指針(或其他指示器)可以存儲(chǔ)在某些中央登記表中，或?qū)ψx取器已知的任何數(shù)目的其他地方。在某些實(shí)施例中，視圖樹的根(通常但不是一貫地，其被包含在內(nèi)的窗口)可以被預(yù)先計(jì)算，并且因此在樹內(nèi)的視圖的某些子集(或全部)也可以被預(yù)先計(jì)算。這將幫助前景窗口的快速切換。應(yīng)該理解的是，維護(hù)替代的繪圖指令可能在某些點(diǎn)上變得艱巨。這些指令可以被存儲(chǔ)用于之后的恢復(fù)，例如在應(yīng)用被編譯/準(zhǔn)備以便分配時(shí)、其被載入到設(shè)備上時(shí)、程序被首次執(zhí)行時(shí)、視圖被首次置入場景中時(shí)、或空閑計(jì)算周期可用的空閑時(shí)刻。同樣應(yīng)該理解的是，替代的繪圖指令可以包括(或被包括于其中)動(dòng)畫。已知UI的變化的動(dòng)畫可以幫助用戶來理解狀態(tài)之間的轉(zhuǎn)換。在某些實(shí)施例中，全部的替代的指令集可以被預(yù)先確定來加速動(dòng)畫。在某些實(shí)施例中，特定的視圖可以被渲染而不將任何其他視圖(例如，母或子)重新繪制。這可以要求系統(tǒng)僅渲染視圖的不被其他視圖遮擋的部分。將被繪制的元件的部分的限制可以被包含在相關(guān)的繪圖指令中(和/或替代的繪圖指令)。在某些實(shí)施例中，取決于不同的遮擋區(qū)域，全部的替代的指令可以被包含。在圖形處理單元中的輸入處置雖然描述的發(fā)明顯著地減少了對于用戶輸入的視覺響應(yīng)中的等待時(shí)間，計(jì)算機(jī)的CPU依然負(fù)責(zé)接收來自輸入設(shè)備的用戶輸入事件、將這些事件分派到正確的應(yīng)用、執(zhí)行點(diǎn)擊測試來將事件發(fā)送到GUI中正確的元件、運(yùn)行可以執(zhí)行任何量的代碼以及改變GUI元件的視覺外觀的回調(diào)等。圖20示出了概括現(xiàn)有技術(shù)中顯示對用戶輸入的視覺響應(yīng)所采取的步驟的概念圖。雖然現(xiàn)有技術(shù)中單獨(dú)的系統(tǒng)與圖20中概括的具體步驟有所不同，但它們都遵循基本的模式：在CPU中接收并處置輸入、在CPU中更新圖形元件的屬性、在CPU中產(chǎn)生中間數(shù)據(jù)、并且然后將最終的渲染交給GPU。為了本公開的目的，應(yīng)該假設(shè)我們的發(fā)明應(yīng)用于所有這些變型。圖21示出實(shí)施例，其中輸入事件不僅發(fā)送給CPU，而且發(fā)送給GPU，其中它們用來對用戶輸入執(zhí)行低等待時(shí)間響應(yīng)。在GPU中，“點(diǎn)擊測試”操作首先被執(zhí)行來判定哪個(gè)圖形元件需要在顯示器上更新。對于擁有多個(gè)外觀的圖形元件(在圖21中，我們看到擁有三個(gè)替代的外觀的元件，每個(gè)替代的外觀用單獨(dú)的中間數(shù)據(jù)集來表示)，“臨時(shí)數(shù)據(jù)采集器”操作然后判定將在繪制GUI并且將像素傳送到對于用戶可見的顯示器時(shí)使用哪個(gè)中間數(shù)據(jù)集。因?yàn)镚PU和CPU并列運(yùn)行，由于CPU工作來“追趕”并執(zhí)行與GUI元件的視覺外觀中的變化無關(guān)的用戶輸入的編程的副作用，GPU中的這些步驟可以非?？焖俚貓?zhí)行。最終結(jié)果是對于用戶的低等待時(shí)間視覺響應(yīng)。雖然附圖示出CPU和GPU之間某些重復(fù)(例如，點(diǎn)擊測試在兩個(gè)地方均被執(zhí)行)，在某些實(shí)施例中，通過在GPU中執(zhí)行這些操作并且將它們的結(jié)果傳送回CPU而在不降低性能的情況下消除此重復(fù)。例如，輸入可以僅傳送給GPU，并且點(diǎn)擊測試可以僅在GPU中完成，將其結(jié)果傳送到CPU用于進(jìn)一步處理。我們已經(jīng)描述了使用本發(fā)明來響應(yīng)于用戶輸入，在GUI元件的替代的外觀之間快速地切換。圖22示出通過直接修改GPU中的其中間數(shù)據(jù)結(jié)構(gòu)對GUI元件的視覺外觀進(jìn)行快速改變。GUI元件的外觀的許多普通改變通過它們的位置(例如，滾動(dòng)、拖動(dòng)、搖攝(panning))、尺寸(例如，將元件改變尺寸或縮放)、旋轉(zhuǎn)、扭曲或其他視覺屬性的改變來發(fā)生。同樣的，在此發(fā)明的實(shí)施例中，GPU接收用戶輸入，并且執(zhí)行點(diǎn)擊測試來判定用戶正在輸入哪個(gè)GUI元件。接下來，正在被作用的元件的臨時(shí)數(shù)據(jù)在GPU中被直接地修改。例如，在垂直滾動(dòng)的情況中，元件的Y位置可以在此步驟中直接地更新，消除重新產(chǎn)生該元件的整個(gè)臨時(shí)數(shù)據(jù)的需要。在更新后，臨時(shí)數(shù)據(jù)的執(zhí)行可以繼續(xù)，并且GUI可以被渲染并在為用戶觀看的屏幕上顯示。在某些實(shí)施例中，更新受限于圖形變換。在某些實(shí)施例中，這些變換可以取決于應(yīng)用邏輯。在某些實(shí)施例中，此邏輯可以僅對CPU可用，因此要求使得交互放緩的‘報(bào)到’，或執(zhí)行曾經(jīng)在GPU中的操作，但然后之后將其用CPU中的操作的繪圖的結(jié)果替換。在其他實(shí)施例中，機(jī)制可以存在來讓應(yīng)用的開發(fā)者將應(yīng)用邏輯置于GPU中。此機(jī)制可以包括在UI元件上的屬性集合(例如，轉(zhuǎn)換的最大范圍、或諸如允許在一個(gè)方向但不在其他方向上的轉(zhuǎn)換的條件操作)、從一組預(yù)先定義的方法之間的選擇、或?qū)嶋H上提供指令，以GPU的自身編程語言或被翻譯成‘本地’指令的其他語言。由應(yīng)用開發(fā)者指定的這些指令可以跟隨點(diǎn)擊測試被執(zhí)行。事實(shí)上，這些將相當(dāng)于在GPU內(nèi)執(zhí)行的事件處置的形式。在某些實(shí)施例中，由GPU和CPU處置的輸入可以導(dǎo)致沖突。例如，如果GPU不了解其范圍，用戶可能滾動(dòng)超過列表的末尾，CPU將在事件處置中將其捕獲并防止。然而，因?yàn)镚PU節(jié)點(diǎn)比CPU執(zhí)行得更快，此防止將在滾動(dòng)已經(jīng)發(fā)生后到來。在某些實(shí)施例中，關(guān)于公共UI視圖的基本邏輯將作為對GPU的指令被編碼，從而在最初就防止許多此類沖突發(fā)生。然而，在應(yīng)用開發(fā)者能夠?qū)懭隒PU代碼來改變視圖的外觀和/或行為的實(shí)施例中，沖突可能無法避免。在這種實(shí)施例中，可以包含機(jī)制來將其緩解。這些機(jī)制可以包括將‘事件’回調(diào)提供給CPU和GPU部分中的一個(gè)或兩者，以允許開發(fā)者指定應(yīng)該如何處置沖突。這些機(jī)制也可以包括關(guān)于其被處置的策略(規(guī)定的或開發(fā)者可選擇的)。這些策略可以包括從‘非法的’GPU創(chuàng)建狀態(tài)到‘適合的’CPU創(chuàng)建狀態(tài)(或反之)的轉(zhuǎn)換的動(dòng)畫或其他圖形效果的調(diào)用。沖突的另一示例可以包括輸入流的處理。例如，某些交互系統(tǒng)包括用于處理輸入的機(jī)制來判定手勢是否已經(jīng)發(fā)生。在某些實(shí)施例中，手勢檢測機(jī)制可以駐留在GPU中，在其他實(shí)施例中駐留在CPU中，在其他實(shí)施例中同時(shí)駐留在兩個(gè)地方，在其他實(shí)施例中駐留在系統(tǒng)內(nèi)的另一位置。在該實(shí)例中的沖突解決可以使用與上文描述的那些類似的機(jī)制。如果手勢被檢測到，該事實(shí)被編碼為狀態(tài)信息，并且傳播到CPU和GPU表示中的一個(gè)或兩者。在某些實(shí)施例中，此狀態(tài)信息可以直接地或通過復(fù)制存儲(chǔ)器的其他途徑傳送。在其他實(shí)施例中，可以通過傳送用于CPU和GPU之一或兩者執(zhí)行的指令來傳播。由于點(diǎn)擊測試和中間數(shù)據(jù)的修改是可以在GPU上被極端快速地執(zhí)行的操作，本發(fā)明的結(jié)果是對于用戶輸入的低等待時(shí)間視覺響應(yīng)來修改GUI元件的視覺屬性。圖23示出替代的實(shí)施例，其中GPU響應(yīng)于運(yùn)行的動(dòng)畫而不是響應(yīng)于用戶輸入來修改臨時(shí)數(shù)據(jù)。在此情況中，過程“屬性動(dòng)畫”以規(guī)律的時(shí)間間隔對臨時(shí)數(shù)據(jù)執(zhí)行更新，以便隨時(shí)間影響GUI元件的外觀的視覺變化。在每次更新之后，GPU執(zhí)行臨時(shí)數(shù)據(jù)，并且更新顯示器以供用戶觀看。此實(shí)施例將CPU從運(yùn)行動(dòng)畫中解放出來，并且因此當(dāng)CPU的資源被操作系統(tǒng)的其他方面消耗時(shí)動(dòng)畫不被妨礙。一般地，在CPU/GPU的一“側(cè)”的視圖的實(shí)際的或表現(xiàn)的狀態(tài)(即，向用戶示出的狀態(tài))的任何修改將要求兩側(cè)之間的某種程度的協(xié)作。在某些實(shí)施例中，此協(xié)作通過以下方式來發(fā)生：在兩者之間傳送狀態(tài)信息；可能使用沖突解決機(jī)制(諸如上文描述的那些)來判定和設(shè)置‘正確的’狀態(tài)，并且將屏幕上所示的轉(zhuǎn)換為正確的狀態(tài)(如果需要的話)。在其他實(shí)施例中，狀態(tài)沖突通過將指令從一側(cè)傳送到另一側(cè)(或通過某種沖突解決單元)來解決。在其他實(shí)施例中，可簡單地將狀態(tài)全部從一側(cè)復(fù)制到另一側(cè)。在又一實(shí)施例中，應(yīng)用的多個(gè)實(shí)例可以被實(shí)例化，每個(gè)實(shí)例擁有不同的狀態(tài)，擁有用來覆寫當(dāng)前狀態(tài)的‘經(jīng)選擇的’那些實(shí)例之一(例如根據(jù)上文描述的策略)。當(dāng)前系統(tǒng)和方法已在前面參照包含能夠接收用戶輸入并對其做出響應(yīng)的計(jì)算機(jī)系統(tǒng)的方法和設(shè)備的框圖和操作示圖進(jìn)行了描述。應(yīng)該理解，框圖或操作說明中的每一個(gè)框，以及框圖或操作說明中的方框的組合，可以通過模擬或數(shù)字硬件和計(jì)算機(jī)程序指令來實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以被提供到通用計(jì)算機(jī)、專用計(jì)算機(jī)、ASIC，或其他可編程數(shù)據(jù)處理設(shè)備的處理器，以便通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令實(shí)現(xiàn)在框圖或操作框所指定的功能/動(dòng)作。在某些可選實(shí)施方式中，在框中所指出的功能/動(dòng)作可以不按照操作說明中所說明的順序發(fā)生。例如，取決于所涉及的功能/動(dòng)作，連續(xù)示出的兩個(gè)框?qū)嶋H上可以基本上同時(shí)執(zhí)行，或者這些框有時(shí)可以按相反的次序來執(zhí)行。雖然已經(jīng)參照優(yōu)選實(shí)施例具體示出和描述了本發(fā)明，但本領(lǐng)域內(nèi)技術(shù)人員可在形式上和細(xì)節(jié)上對其做出多種改變，而不背離本發(fā)明的精神和范圍。當(dāng)前第1頁1 2 3 當(dāng)前第1頁1 2 3