具有非對稱處理內(nèi)核之間實(shí)時(shí)角色協(xié)商的可調(diào)節(jié)的觸摸屏處理的制作方法
【專利說明】具有非對稱處理內(nèi)核之間實(shí)時(shí)角色協(xié)商的可調(diào)節(jié)的觸摸屏 處理
【背景技術(shù)】
[0001] 諸如移動智能電話和平板設(shè)備之類的現(xiàn)代計(jì)算設(shè)備，可以使用觸摸屏能力來收集 和處理用戶觸摸輸入數(shù)據(jù)。這些觸摸感應(yīng)設(shè)備可以包含由觸摸屏控制器進(jìn)行管理的數(shù)百個(gè) 觸摸傳感器（或節(jié)點(diǎn)），其中觸摸屏控制器對檢測到的觸摸輸入進(jìn)行處理，基于輸入來執(zhí)行 有關(guān)的命令。對觸摸輸入數(shù)據(jù)進(jìn)行處理所需要的功率，可以與觸摸屏的大?。矗姘宕??。┏杀壤?，因?yàn)檩^大的觸摸屏具有較大的觸摸節(jié)點(diǎn)容量。隨著計(jì)算設(shè)備上的觸摸屏尺寸 和保真度增加以及應(yīng)用于這些設(shè)備的相應(yīng)用戶輸入變得更加復(fù)雜（例如，實(shí)現(xiàn)多指觸摸手 勢），觸摸屏控制器可能變得不足以令人滿意地處理這些數(shù)據(jù)。例如，觸摸屏控制器可能不 能夠跟上屏幕上的多個(gè)和快速用戶觸摸（例如，軟QWERTY(標(biāo)準(zhǔn)的傳統(tǒng)鍵盤）鍵盤上的雙 手多點(diǎn)觸摸），這導(dǎo)致用戶輸入的遺漏和性能的下降，這兩種情形都將影響用戶體驗(yàn)。雖然 這些計(jì)算設(shè)備也包含其它處理器（特別是能夠處理更多的資源密集型操作的主機(jī)或內(nèi)核 處理器），但這些處理器通常具有高環(huán)境功率需求，并且不能夠高效地進(jìn)行觸摸輸入數(shù)據(jù)處 理。

【發(fā)明內(nèi)容】

[0002] 各個(gè)方面提供了用于根據(jù)觸摸屏輸入的復(fù)雜度，選擇性地使用觸摸屏控制器或主 機(jī)處理器，對來自觸摸屏的觸摸輸入數(shù)據(jù)進(jìn)行處理的系統(tǒng)、設(shè)備和方法。一個(gè)方面的方法可 以包括：確定從所述觸摸屏接收的觸摸輸入數(shù)據(jù)的復(fù)雜度；當(dāng)所確定的復(fù)雜度在預(yù)先規(guī)定 的容許門限之內(nèi)時(shí)，利用所述觸摸屏控制器來處理所述觸摸輸入數(shù)據(jù)；以及當(dāng)所確定的復(fù) 雜度超過所述預(yù)先規(guī)定的容許門限時(shí)，利用所述主機(jī)處理器來處理所述觸摸輸入數(shù)據(jù)，并 將所述觸摸屏控制器置于低功率狀態(tài)。此外，一個(gè)方面的方法還包括：當(dāng)所確定的所述觸摸 輸入數(shù)據(jù)的復(fù)雜度下降到低于所述預(yù)先規(guī)定的容許門限時(shí)，將對所述觸摸輸入數(shù)據(jù)的處理 從所述主機(jī)處理器返回到所述觸摸屏控制器。在一個(gè)方面，確定所接收的觸摸輸入數(shù)據(jù)的 復(fù)雜度可以包括：對觸摸屏計(jì)算設(shè)備先前接收和處理的觸摸輸入數(shù)據(jù)的直方圖進(jìn)行評估， 其中，當(dāng)所述直方圖指示觸摸輸入數(shù)據(jù)的量在一段時(shí)間內(nèi)快速改變時(shí)，和/或當(dāng)所述直方 圖表示觸摸輸入數(shù)據(jù)在一段時(shí)間內(nèi)的均勻分布時(shí)，向所述觸摸輸入數(shù)據(jù)分配高復(fù)雜度值。 在一個(gè)方面，確定所接收的觸摸輸入數(shù)據(jù)的復(fù)雜度，包括對以下各項(xiàng)中的一項(xiàng)或多項(xiàng)進(jìn)行 分析：在所述觸摸輸入數(shù)據(jù)中表示的所述觸摸屏的區(qū)域；所述觸摸輸入數(shù)據(jù)的特性；存儲 器訪問；所述觸摸屏控制器的空閑狀態(tài)；在所述觸摸輸入數(shù)據(jù)中表示的觸摸的快速性；觸 摸動力學(xué)；隨時(shí)間過去的服務(wù)質(zhì)量估計(jì)。在一個(gè)方面，對所述預(yù)先規(guī)定的容許門限進(jìn)行規(guī) 定，使得通過所述觸摸屏控制器來處理具有低于所述預(yù)先規(guī)定的容許門限的復(fù)雜度的觸摸 輸入數(shù)據(jù)將產(chǎn)生可接受的用戶體驗(yàn)。一個(gè)方面的方法還包括：基于對所接收的觸摸輸入數(shù) 據(jù)的分析，判斷所接收的觸摸輸入數(shù)據(jù)是否是噪聲；以及當(dāng)確定所述觸摸輸入數(shù)據(jù)是噪聲 時(shí)，忽略所接收的觸摸輸入數(shù)據(jù)，其中，噪聲包括表示以下各項(xiàng)的數(shù)據(jù)：環(huán)境噪聲、接近觸摸 噪聲、假觸摸噪聲和/或靜態(tài)觸摸噪聲。一個(gè)方面的方法還可以包括：當(dāng)沒有接收到觸摸輸 入數(shù)據(jù)時(shí)，將所述觸摸屏控制器置于低功率狀態(tài)；以及當(dāng)由所述主機(jī)處理器對觸摸輸入數(shù) 據(jù)進(jìn)行處理時(shí)，將所述觸摸屏控制器置于低功率狀態(tài)。
[0003] -個(gè)方面的方法還可以包括：響應(yīng)于確定所接收的觸摸輸入數(shù)據(jù)的復(fù)雜度超過所 述預(yù)先規(guī)定的容許門限，判斷所述主機(jī)處理器是否可用于對所接收的觸摸輸入數(shù)據(jù)進(jìn)行處 理。在該方面，當(dāng)所確定的復(fù)雜度超過所述預(yù)先規(guī)定的容許門限時(shí)，利用所述主機(jī)處理器來 處理所述觸摸輸入數(shù)據(jù)，并將所述觸摸屏控制器置于低功率狀態(tài)可以包括：當(dāng)所確定的復(fù) 雜度超過所述預(yù)先規(guī)定的容許門限并且確定所述主機(jī)處理器是可用的時(shí)，利用所述主機(jī)處 理器來處理所述觸摸輸入數(shù)據(jù)，并且將所述觸摸屏控制器置于低功率狀態(tài)。在該方面，基于 對以下各項(xiàng)中的至少一項(xiàng)的評估，來判斷所述主機(jī)處理器是否是可用的：所述主機(jī)處理器 的工作負(fù)荷、可用的電池電量、所述主機(jī)處理器的休眠狀態(tài)、所述觸摸輸入數(shù)據(jù)的復(fù)雜度、 以及對所述觸摸輸入數(shù)據(jù)是否是噪聲的評估。一個(gè)方面的方法還可以包括：響應(yīng)于確定所 述主機(jī)處理器不可用于對接收的觸摸輸入數(shù)據(jù)進(jìn)行處理，配置所述觸摸屏計(jì)算設(shè)備以使用 以下各項(xiàng)中的至少一項(xiàng)：增加的量化、增加的過濾、以及降低的掃描速率。在一個(gè)方面，判斷 所述主機(jī)處理器是否可用于對所接收的觸摸輸入數(shù)據(jù)進(jìn)行處理可以包括：當(dāng)所確定的復(fù)雜 度超過所述預(yù)先規(guī)定的容許門限時(shí)，由所述觸摸屏控制器向所述主機(jī)處理器發(fā)送用于接管 所述觸摸輸入數(shù)據(jù)的活動處理的請求；響應(yīng)于從所述主機(jī)處理器接收到接受響應(yīng)，確定所 述主機(jī)處理器是可用的；以及響應(yīng)于從所述主機(jī)處理器接收到拒絕響應(yīng)，確定所述主機(jī)處 理器是不可用的。
[0004] 在一個(gè)方面，一種裝備有觸摸屏的電子設(shè)備可以包括：觸摸屏顯示器、觸摸屏控制 器和耦接到所述觸摸屏顯示器和所述觸摸屏控制器的主機(jī)處理器，其中，所述觸摸屏控制 器和所述主機(jī)處理器被配置為執(zhí)行上面所描述的方面的方法的操作。在另一個(gè)方面，一種 裝備有觸摸屏的電子設(shè)備可以包括：用于執(zhí)行上面所描述的方面的方法的功能的單元。在 另外的方面，一種非臨時(shí)性處理器可讀存儲介質(zhì)可以存儲有處理器可執(zhí)行指令，其中該處 理器可執(zhí)行指令被配置為使得觸摸屏控制器和主機(jī)處理器執(zhí)行上面所描述的方面的方法 的操作。
【附圖說明】
[0005] 被并入本申請并且構(gòu)成本說明書一部分的附圖，示出了本發(fā)明的示例性方面，并 且連同上面給出的概括描述以及下面給出的詳細(xì)描述一起來解釋本發(fā)明的特征。
[0006] 圖1是示出了適合于結(jié)合各個(gè)方面使用的觸摸屏設(shè)備的組件框圖。
[0007] 圖2是示出了用于觸摸屏計(jì)算設(shè)備處理觸摸輸入數(shù)據(jù)的一個(gè)方面的方法的過程 流程圖。
[0008] 圖3是示出了用于觸摸屏計(jì)算設(shè)備檢測噪聲數(shù)據(jù)的一個(gè)方面的方法的過程流程 圖。
[0009] 圖4是示出了用于觸摸屏計(jì)算機(jī)設(shè)備評估直方圖數(shù)據(jù)，以判斷觸摸輸入數(shù)據(jù)對于 觸摸屏控制器進(jìn)行處理來說是否太復(fù)雜的一個(gè)方面的方法的過程流程圖。
[0010] 圖5是示出了用于觸摸屏計(jì)算機(jī)設(shè)備評估觸摸輸入數(shù)據(jù)以確定復(fù)雜度的一個(gè)方 面的方法的過程流程圖。
[0011] 圖6是示出了用于觸摸屏計(jì)算機(jī)設(shè)備判斷主機(jī)處理器是否可用于處理觸摸輸入 數(shù)據(jù)的一個(gè)方面的方法的過程流程圖。
[0012] 圖7是示出了用于觸摸屏計(jì)算機(jī)設(shè)備以信號形式告知各個(gè)處理器處理觸摸輸入 數(shù)據(jù)的一個(gè)方面的方法的過程流程圖。
[0013] 圖8是適合于結(jié)合各個(gè)方面使用的示例性無線平板設(shè)備的組件框圖。
[0014] 圖9是適合于結(jié)合各個(gè)方面使用的示例性無線移動計(jì)算設(shè)備的組件框圖。
【具體實(shí)施方式】
[0015] 現(xiàn)在參照附圖來詳細(xì)地描述各個(gè)方面。在任何可能的情況下，貫穿附圖使用相同 的附圖標(biāo)記來指代相同或者類似的部件。對于特定示例和實(shí)施例的引用只是用于說明目 的，而不是旨在限制本發(fā)明或者權(quán)利要求的保護(hù)范圍。
[0016] 本申請所使用的"示例性的"一詞意味著"用作示例、實(shí)例或說明"。本申請中描述 為"示例性"的任何實(shí)施例不應(yīng)被解釋為比其它實(shí)施例更優(yōu)選或更具優(yōu)勢。
[0017] 本申請所使用的術(shù)語"移動設(shè)備"指代下面中的任何一種或全部：蜂窩電話、智能 電話、個(gè)人或移動多媒體播放器、個(gè)人數(shù)據(jù)助理（PDA的）、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能 本、掌上型計(jì)算機(jī)、無線電子郵件接收機(jī)、具備多媒體互聯(lián)網(wǎng)能力的蜂窩電話、以及包括可 編程處理器、存儲器、觸摸屏顯示器和觸摸屏控制器電路的類似個(gè)人電子設(shè)備。
[0018] 觸摸屏顯示器變成用于計(jì)算設(shè)備（特別是移動設(shè)備）的最通用形式的用戶接口中 的一種。觸摸屏顯示器被配置為檢測顯示器上的用戶觸摸（例如，通過指尖或特殊的指示 器尖端進(jìn)行的），以及產(chǎn)生可以由觸摸屏控制器處理的信號以識別該觸摸在顯示器上的位 置。隨后，用戶接口軟件將該觸摸位置信息處理成針對移動設(shè)備的用戶輸入。為了便于引 用起見，本申請將觸摸屏顯示器上的用戶觸摸稱為"觸摸輸入"，本申請將觸摸屏顯示器響 應(yīng)于用戶的觸摸所產(chǎn)生的信號稱為"觸摸屏觸摸輸入"，并且本申請將觸摸屏觸摸輸入中包 含的信息（即，觸摸屏電路所產(chǎn)生的原始數(shù)據(jù)）稱為"觸摸輸入數(shù)據(jù)"。
[0019] 各個(gè)方面包括用于使裝備觸摸屏的計(jì)算設(shè)備能夠選擇性地使用高效但有限的觸 摸屏控制器（圖形中的"TSC"）或者具有增加的資源的主機(jī)處理器來響應(yīng)于用戶的觸摸以 處理從觸摸屏顯示器接收的觸摸輸入數(shù)據(jù)的方法。在觸摸屏控制器和主機(jī)處理器之間轉(zhuǎn)移 對于觸摸輸入數(shù)據(jù)的處理的過程，可以稱為"角色協(xié)商"。當(dāng)觸摸輸入數(shù)據(jù)具有壓倒觸摸屏 控制器的處理能力的復(fù)雜度時(shí)（即，觸摸輸入數(shù)據(jù)對于觸摸屏控制器來說太復(fù)雜），可以發(fā) 生角色協(xié)商以便將觸摸輸入數(shù)據(jù)的處理轉(zhuǎn)移到主機(jī)處理器（或者位于多核主機(jī)處理器中 的內(nèi)核），直到觸摸輸入數(shù)據(jù)的復(fù)雜度減小到觸摸屏控制器可以對該數(shù)據(jù)進(jìn)行處理的程度 為止。通過將觸摸輸入數(shù)據(jù)的處理轉(zhuǎn)移到主機(jī)處理器，可以在不具有負(fù)面性能影響或者下 降的用戶體驗(yàn)的情況下，對復(fù)雜的觸摸屏觸摸輸入（例如，多指移動手勢）進(jìn)行處理。由 于，復(fù)雜觸摸屏觸摸輸入的頻率和持續(xù)時(shí)間通常較低（這是由于用戶很少會在觸摸屏計(jì)算 設(shè)備上參與復(fù)雜的多觸摸操作），因此將復(fù)雜觸摸輸入數(shù)據(jù)的處理臨時(shí)地轉(zhuǎn)移到主機(jī)處理 器而對電池壽命造成的影響，預(yù)計(jì)非常輕微，并且不會影響用戶體驗(yàn)。
[0020] 通常，隨著觸摸屏計(jì)算設(shè)備從用戶接收到觸摸輸入（例如，手指敲擊、滑動、觸控 筆的相互作用和多點(diǎn)觸摸夾捏），觸摸屏控制器可以對觸摸輸入數(shù)據(jù)進(jìn)行評估，以確定輸入 的復(fù)雜度。輸入復(fù)雜度可以取決于觸摸的數(shù)量、區(qū)域和/或快速性。例如，觸摸屏控制器可 以確定來自用戶的單一敲擊輸入具有普通復(fù)雜度，以及快速的多點(diǎn)觸摸敲擊（例如，打字 或者手指繪畫）具有較高復(fù)雜度或者具有較高復(fù)雜度值。觸摸屏控制器可以將所確定的復(fù) 雜度水平或者復(fù)雜度值與反映該觸摸屏控制器的處理能力和/或狀況的容許門限進(jìn)行比 較。確定的位于容許門限之內(nèi)的觸摸輸入復(fù)雜度值，可以由觸摸屏控制器以典型方式進(jìn)行 處理，這是由于觸摸屏控制器很可能能夠?qū)υ撚|摸輸入數(shù)據(jù)進(jìn)行處理，并維持可接受的用 戶體驗(yàn)。然而，如果所確定的復(fù)雜度值超過可接受的容許門限（即，觸摸輸入數(shù)據(jù)對于該觸 摸屏控制器來說太復(fù)雜），則可以將該觸摸輸入數(shù)據(jù)的處理轉(zhuǎn)移到主機(jī)處理器，所述主機(jī)處 理器具有明顯更大的計(jì)算能力，因此能夠應(yīng)付對該復(fù)雜的觸摸輸入數(shù)據(jù)的處理。
[0021] 觸摸輸入數(shù)據(jù)的復(fù)雜度判斷可以基于多種因素，其包括先前檢測到的（和處理 的）觸摸輸入數(shù)據(jù)。在一個(gè)方面，觸摸屏控制器可以檢查用于描述在一段時(shí)間以來（例如， 前300毫秒）所接收的和/或所處理的觸摸輸入數(shù)據(jù)的圖表或直方圖。觸摸屏控制器可以 分析所接收的觸摸輸入數(shù)據(jù)中的趨勢，以評估當(dāng)前觸摸輸入數(shù)據(jù)的典型性。在檢測到觸摸 輸入數(shù)據(jù)的特性、量或質(zhì)量發(fā)生動態(tài)改變的情況下，觸摸屏控制器可以認(rèn)識到當(dāng)前接收的 觸摸輸入數(shù)據(jù)呈現(xiàn)出高復(fù)雜度。在另一個(gè)方面，觸摸屏控制器可以對觸摸屏控制器的空閑 時(shí)間百分比進(jìn)行評估，以確定觸摸輸入數(shù)據(jù)的復(fù)雜度，類似于動態(tài)時(shí)鐘電壓調(diào)節(jié)（DCVS)算 法如何工作。在其它方面，觸摸輸入數(shù)據(jù)復(fù)雜度判斷可以是基于：在一段時(shí)間中記錄的本地 存儲器訪問的量、與歸一化簡檔相比的檢測到的觸摸輸入的數(shù)量、觸摸輸入特性（例如，觸 摸設(shè)備類型、用途、尺寸、準(zhǔn)確性、線性度等等）、觸摸動力學(xué)（例如，方向、速度和3D觸摸處 理等等）、以及隨時(shí)間過去的服務(wù)質(zhì)量估計(jì)（例如，分辨率、響應(yīng)時(shí)間等等）。在一個(gè)方面， 觸摸屏控制器、與觸摸屏控制器相關(guān)聯(lián)的組件和/或主機(jī)處理器可以執(zhí)行一些操作，來確 定觸摸輸入數(shù)據(jù)復(fù)雜度。
[0022] 在一個(gè)方面，當(dāng)檢測到的觸摸輸入數(shù)據(jù)的復(fù)雜度超過預(yù)先規(guī)定的復(fù)雜度容許門限 時(shí)，觸摸屏控制器可以發(fā)送用于使主機(jī)處理器開始接受和處理該觸摸輸入數(shù)據(jù)的信號。如 果主機(jī)處理器碰巧處于低功率狀態(tài)，則觸摸屏控制器還可以發(fā)送用于使主機(jī)處理器離開低 功率狀態(tài)（或休眠狀態(tài)）的信號。一旦處于活動狀態(tài)（或者蘇醒狀態(tài)），則主機(jī)處理器可以 處理該觸摸輸入數(shù)據(jù)，同時(shí)觸摸屏控制器轉(zhuǎn)換到高效的、低功率休眠狀態(tài)以節(jié)省電池電量。 如果主機(jī)處理器在規(guī)定的采樣時(shí)間之內(nèi)，停止接收觸摸輸入數(shù)據(jù)（其可以指示用戶輸入已 結(jié)束或者暫停），或者如果主機(jī)處理器確定所接收的觸摸輸入數(shù)據(jù)的復(fù)雜度已下降到低于 復(fù)雜度門限，使得觸摸屏控制器可以應(yīng)付工作負(fù)荷，則主機(jī)處理器可以將觸摸輸入數(shù)據(jù)的 處理返回給觸摸屏控制器。
[0023] 在一個(gè)方面，在從觸摸屏控制器接收到用于處理接收的觸摸輸入數(shù)據(jù)的請求時(shí)， 主機(jī)處理器可以獨(dú)立地確定該觸摸輸入數(shù)據(jù)的復(fù)雜度的水平和/或主機(jī)處理器的操作狀 態(tài)（例如，當(dāng)前工作負(fù)荷）。當(dāng)主機(jī)處理器確定該觸摸輸入數(shù)據(jù)適合于在該主機(jī)處理器上 處理時(shí)（例如，該主機(jī)處理器是可用的，并且該觸摸輸入數(shù)據(jù)對于由觸摸屏控制器進(jìn)行處 理來說太過復(fù)雜），則主機(jī)處理器可以向觸摸屏控制器發(fā)送接受信號。另外，主機(jī)處理器也 可以拒絕觸摸屏控制器的針對由該主機(jī)處理器處理復(fù)雜的觸摸輸入數(shù)據(jù)的請求（例如，發(fā) 送拒絕信號）。例如，主機(jī)處理器不堪更高優(yōu)先級的計(jì)算的重負(fù)。當(dāng)主機(jī)處理器不可用時(shí) (例如，主機(jī)處理器沒有完全地離開休眠狀態(tài)，觸摸屏計(jì)算設(shè)備的電池具有少量的剩余電量 等等），觸摸屏控制器可以繼續(xù)對復(fù)雜的觸摸輸入數(shù)據(jù)進(jìn)行處理。然而，觸摸屏控制器可能 對復(fù)雜的觸摸輸入數(shù)據(jù)進(jìn)行不太準(zhǔn)確和/或更加慢速地處理（這是由于該復(fù)雜的觸摸輸入 數(shù)據(jù)超過了觸摸屏控制器的處理能力）。在一個(gè)方面，觸摸屏控制器可以被配置為繼續(xù)對于 已經(jīng)降階或者簡化的復(fù)雜觸摸輸入數(shù)據(jù)進(jìn)行處理。例如，當(dāng)確定觸摸輸入數(shù)據(jù)對于觸摸屏 控制器來說太過復(fù)雜，并且主機(jī)處理器不可用時(shí)，觸摸屏控制器可以增加量化器所使用的 參數(shù)，其可以通過降低數(shù)據(jù)的保真度來使觸摸輸入數(shù)據(jù)簡化。當(dāng)主機(jī)處理器不可用時(shí)，和/ 或直到主機(jī)處理器準(zhǔn)備好對該復(fù)雜的觸摸輸入數(shù)據(jù)進(jìn)行處理為止，觸摸屏計(jì)算設(shè)備可以使 用量化器、水平和垂直積分器來調(diào)節(jié)復(fù)雜的觸摸輸入數(shù)據(jù)，以生成分辨率或者服務(wù)質(zhì)量降 低的觸摸輸入數(shù)據(jù)。
[0024] 在一個(gè)方面，觸摸屏控制器還可以分析觸摸輸入數(shù)據(jù)，以評估該觸摸輸入數(shù)據(jù)是 否指示噪聲或者無意的觸摸輸入（其是觸摸屏控制器和主機(jī)處理器二者均應(yīng)當(dāng)忽略的狀 況）。噪聲（或者噪聲觸摸輸入數(shù)據(jù)）可能是不穩(wěn)定的信息，其不表示有效的觸摸輸入數(shù) 據(jù)，而是多余的或無用的數(shù)據(jù)。例如，觸摸屏控制器可以確定一些快速的敲擊觸摸輸入是噪 聲，因此其并不對應(yīng)于有效的用戶觸摸輸入。再舉一個(gè)例子，如果用戶將他的整只手都放置 在觸摸屏上，則觸摸屏控制器可以將其識別成誤報(bào)。觸摸屏控制器對于噪聲和有效的觸摸 輸入數(shù)據(jù)二者的區(qū)分，可以防止主機(jī)處理器的不必要使用，并因此可以防止不必要的功耗。
[0025] 圖1是適合于結(jié)合各個(gè)方面使用的觸摸屏計(jì)算設(shè)備100的組件框圖。觸摸屏計(jì)算 設(shè)備100可以是連