器260,所述多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器260可以被配置為管理多媒體參數(shù)(例如，分 辨率、幀速率、LoD或者其它參數(shù)），以及跟蹤數(shù)據(jù)流路徑。多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤 器260可以例如跟蹤與多媒體數(shù)據(jù)流相關聯(lián)的數(shù)據(jù)流路徑，并且識別各自數(shù)據(jù)流中涉及的 全部硬件模塊。多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器260可以進一步識別通過網(wǎng)絡連接（例 如，網(wǎng)絡連接207)延伸到另一個設備或多個設備的數(shù)據(jù)流路徑。
[0057] 設備205還可以包括硬件塊270,所述硬件塊270可以包括硬件子塊或者子系統(tǒng)，其 例如可以是SoC的模塊。硬件塊270可以包括照相機模塊262、照相機子系統(tǒng)263、中央處理單 元（CHJ)264、圖形處理單元（GPU)265、視頻編碼器/譯碼器（C0DEC)266和移動開發(fā)平臺 (MDP)模塊267。硬件子塊可以耦合到對應的設備驅(qū)動器258,所述設備驅(qū)動器258可以被具 體地配置用于每個硬件子系統(tǒng)。替代地，設備驅(qū)動器258可以是通用的，或者可以對于與子 系統(tǒng)相關聯(lián)的硬件的類型是通用的。設備驅(qū)動器258可以作為操作系統(tǒng)內(nèi)核或者操作系統(tǒng) 服務的一部分而被安裝，所述一部分允許硬件子塊與操作系統(tǒng)、應用軟件以及設備部件、系 統(tǒng)和子系統(tǒng)的剩余部分一起運行。替代地，設備驅(qū)動器258可以是在運行時間期間由應用程 序鏈接到的庫的一部分。硬件子系統(tǒng)可以能夠根據(jù)各種多媒體參數(shù)(例如，分辨率、幀速率、 細節(jié)層次(LoD)和其它參數(shù))生成多媒體數(shù)據(jù)，這可以由使用硬件子系統(tǒng)的軟件模塊通過與 各自的設備驅(qū)動器258交互來控制。設備驅(qū)動器258可以提供設備自身與軟件之間的接口， 所述軟件可能需要訪問硬件子系統(tǒng)，或者可以向硬件子系統(tǒng)發(fā)送數(shù)據(jù)或者從硬件子系統(tǒng)接 收數(shù)據(jù)。
[0058]與硬件模塊的交互可以通過庫和多媒體框架256以及應用編程接口（API)257來完 成。庫和多媒體框架256可以通過諸如即插即用機制、功率管理機制和其它機制之類的各種 操作系統(tǒng)內(nèi)核級框架來提供對硬件子系統(tǒng)的訪問。庫和多媒體框架256還可以通過各種庫 來提供對硬件子系統(tǒng)的訪問。庫可以包括動態(tài)鏈接庫(DLL)、通用設備驅(qū)動器的庫、設備專 用設備驅(qū)動器的庫、設備驅(qū)動器的支持功能（例如，計時器和調(diào)試器)的庫。API 257可以提 供較高層軟件接口，例如，函數(shù)調(diào)用和提供對硬件子系統(tǒng)的訪問的其它接口。訪問可以通過 包括用戶模式機制（例如，軟件函數(shù)調(diào)用、操作系統(tǒng)服務、直接設備功能調(diào)用）的機制來提 供。訪問機制可以允許通過設備驅(qū)動器、操作系統(tǒng)和支持服務進行的對硬件子系統(tǒng)的軟件 控制。對硬件子系統(tǒng)的訪問不僅可以被提供給多媒體應用，還可以被提供給包括多媒體參 數(shù)管理器和數(shù)據(jù)流跟蹤器的其它應用和系統(tǒng)。在方面中，訪問可以被用于覆蓋硬件子系統(tǒng) 的多媒體參數(shù)。
[0059] 在各種方面中，并發(fā)應用塊250和硬件塊270可以耦合到庫和多媒體框架256以及 API 257。并發(fā)應用塊250、硬件塊270、庫和多媒體框架256以及API 257之間的耦合可以是 以通過操作系統(tǒng)服務、進程間消息和/或從并發(fā)的多媒體應用中的各種多媒體應用對各種 硬件子系統(tǒng)的功能調(diào)用，或者通過類似的機制的軟件耦合為形式的。功能調(diào)用或者其它耦 合機制可以允許并發(fā)應用塊250中的多媒體應用從各種硬件子系統(tǒng)和其它多媒體應用接收 數(shù)據(jù)，向各種硬件子系統(tǒng)和其它多媒體應用、并且在各種硬件子系統(tǒng)和其它多媒體應用之 間以及沿數(shù)據(jù)流路徑傳遞數(shù)據(jù)。功能調(diào)用或者其它耦合機制可以進一步允許并發(fā)應用塊 250中的多媒體應用對硬件塊270中的各種硬件子系統(tǒng)進行配置。由并發(fā)應用塊250中的應 用作出的功能調(diào)用或者其它耦合機制中的一些或者全部功能調(diào)用或者耦合機制，以及被建 立用于多媒體數(shù)據(jù)的流的對應的路徑(包括硬件塊270的硬件單元），可以形成本文所描述 的各種多媒體數(shù)據(jù)流的數(shù)據(jù)流路徑。數(shù)據(jù)流路徑可以進一步包括去往和來自實現(xiàn)通信的網(wǎng) 絡模塊的數(shù)據(jù)流，所述通信包括通過網(wǎng)絡連接207與一個或多個其它設備進行的雙向通信。
[0060] 設備205可以進一步包括傳感器塊206,所述傳感器塊206可以向多媒體參數(shù)管理 器和數(shù)據(jù)流跟蹤器260提供傳感器輸入數(shù)據(jù)206a。盡管為了易于描述，傳感器塊206被示出 為單個塊，但是傳感器塊206可以表示一個或多個諸如溫度輸入、功率輸入或者如上文所描 述的其它輸入之類的傳感器輸入。多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器260可以為與并發(fā)應 用塊250中的應用相關聯(lián)的數(shù)據(jù)流中的各個數(shù)據(jù)流指定優(yōu)先級。優(yōu)先級可以被周期性地更 新或者調(diào)整。當傳感器輸入數(shù)據(jù)206a的值到達或者超過門限值時，多媒體參數(shù)管理器和數(shù) 據(jù)流跟蹤器260可以基于所指定的優(yōu)先級來調(diào)整與數(shù)據(jù)流相關聯(lián)的多媒體參數(shù)(例如，分辨 率、幀速率、LoD)。例如，具有低優(yōu)先級的數(shù)據(jù)流可以在具有較高優(yōu)先級的數(shù)據(jù)流之前，或者 代替具有較高優(yōu)先級的數(shù)據(jù)流，經(jīng)歷降低和多媒體參數(shù)(例如，分辨率、幀速率、LoD或者其 它參數(shù)）。
[0061] 在一個方面中，多媒體參數(shù)的降低、恢復或者調(diào)整可以通過連接261在設備驅(qū)動器 級完成，所述連接261可以是設備驅(qū)動器258中的各個設備驅(qū)動器與多媒體參數(shù)管理器和數(shù) 據(jù)流跟蹤器260之間的軟件或者邏輯連接。具體說來，多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器 260可以被配置為監(jiān)控硬件塊270中的各種硬件子系統(tǒng)的多媒體參數(shù)值。多媒體參數(shù)管理器 和數(shù)據(jù)流跟蹤器260可以進一步被配置具有邏輯單元，以當功率相關的水平(例如，溫度和 功率輸入)超過門限或者限制時，覆蓋或者降低沿數(shù)據(jù)流路徑的硬件設備或者子系統(tǒng)的特 定多媒體參數(shù)的值。多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器260可以在功率相關的水平下降到 門限或者限制之下時恢復多媒體參數(shù)的值。
[0062] 例如，多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器260可以確定與數(shù)據(jù)流路徑相關聯(lián)的優(yōu) 先級，并且可以確定多媒體參數(shù)值是否已經(jīng)針對沿數(shù)據(jù)流路徑的硬件塊被降低。當功率相 關的值下降到門限或者限制之下時，多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器260可以恢復已經(jīng) 經(jīng)歷了多媒體參數(shù)值的降低的最高優(yōu)先級硬件塊的多媒體參數(shù)的原始或者本機值。
[0063]在方面中，設備驅(qū)動器258可以通過連接(例如，軟件連接、進程間通信機制或者到 多媒體應用中的各種多媒體應用的其它邏輯連接)262a至267a向并發(fā)應用塊250中的對應 應用通知多媒體參數(shù)的值的降低或者恢復。例如，可以通過信號或者通過各自的設備驅(qū)動 器258提供的其它機制來通知多媒體應用。替代地，庫和多媒體框架256以及API 257可以提 供一種機制，可以通過所述機制來控制硬件，并且可以通過所述機制向多媒體應用提供對 多媒體參數(shù)改變的通知。由于應用塊250中的多媒體應用所斷言和預期的設置與多媒體參 數(shù)管理器和數(shù)據(jù)流跟蹤器260所斷言的覆蓋設置之間的差別，對應用塊250中的多媒體應用 的通知可能變得必要或者可取。特別地，當應用可以響應于通知而降低多媒體參數(shù)的預期 值時，可以消除額外的處理，所述額外的處理對于補償所預期的和所降低的多媒體參數(shù)的 值之間的差別可能是另外必需的。
[0064]為更好地理解根據(jù)方面的數(shù)據(jù)流路徑跟蹤，圖3A中示出了包括跨越各種硬件子系 統(tǒng)的各種數(shù)據(jù)流和數(shù)據(jù)流路徑的示例300。在方面中，照相機310可以根據(jù)給定的多媒體參 數(shù)(例如，1080p30 YUV 420)來生成未經(jīng)處理的視頻數(shù)據(jù)，以形成視頻數(shù)據(jù)31Oa?？梢砸岳?如照相機310能夠生成的最大幀速率和分辨率來生成視頻數(shù)據(jù)310a。替代地，可以以照相機 310當前在硬件級被配置為生成的任何分辨率和幀速率來生成視頻數(shù)據(jù)310a。視頻數(shù)據(jù) 310a可以耦合到照相機子系統(tǒng)311，所述照相機子系統(tǒng)311可以處理視頻數(shù)據(jù)310a，以形成 在原始多媒體參數(shù)(例如，1080p30 YUV420)條件下的數(shù)據(jù)流1311a和數(shù)據(jù)流2311b。
[0065] 在各種方面中，數(shù)據(jù)流路徑內(nèi)的數(shù)據(jù)可以是分組數(shù)據(jù)，所述分組數(shù)據(jù)包括當所述 分組數(shù)據(jù)穿過各種硬件模塊時的一系列經(jīng)封裝的報頭。分組報頭信息可以被用于識別該分 組已經(jīng)穿過的各種硬件模塊。進一步，可以利用諸如進程標識符、線程標識符、上下文標識 符之類的各種機制來識別應用和數(shù)據(jù)流。設備驅(qū)動器和操作系統(tǒng)服務可以被用于跟蹤與硬 件模塊相關聯(lián)的上下文、進程和線程。使用上面的信息，多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器 可以跟蹤與每個應用和數(shù)據(jù)流相關聯(lián)的各種硬件模塊，以建立通過SoC中的硬件子系統(tǒng)的 數(shù)據(jù)流路徑。
[0066] 數(shù)據(jù)流311a和數(shù)據(jù)流311b可以是具有諸如分辨率和幀速率之類的參數(shù)的視頻數(shù) 據(jù)流，所述參數(shù)可以是如本文中所描述的通過與照相機子系統(tǒng)311的交互可配置的。數(shù)據(jù)流 1311a可以被邏輯地耦合到視頻編碼器a 312,所述視頻編碼器a 312可以生成經(jīng)編碼的數(shù) 據(jù)流312a，所述經(jīng)編碼的數(shù)據(jù)流312a可以進一步被邏輯地耦合到例如視頻聊天或者視頻會 議應用313。經(jīng)編碼的數(shù)據(jù)流312a可以根據(jù)一個或多個多媒體參數(shù)(例如，分辨率和幀速率） 例如通過無線鏈路305作為外部流313x被傳送到另一個設備(例如，在視頻會議應用313的 另一端的設備）。視頻會議應用313還可以從外部流313x接收經(jīng)編碼的視頻，所述經(jīng)編碼的 視頻可以作為經(jīng)編碼的數(shù)據(jù)流313a被傳送給視頻譯碼器314,經(jīng)譯碼的數(shù)據(jù)流314a可以在 所述視頻譯碼器314處生成?？梢栽谌我恻c處對數(shù)據(jù)流311a、311b、312a、313a、313x、314a或 者其它數(shù)據(jù)流的數(shù)據(jù)分組的報頭信息進行檢查以確定信息，例如，分組已經(jīng)去過哪里、分組 去往哪里以及其它信息。每個設備或者硬件子系統(tǒng)可以在分組報頭內(nèi)附加識別其自身的信 息和諸如時間戳之類的其它信息。
[0067] 可以向圖形處理單元（GPU)316傳送經(jīng)譯碼的數(shù)據(jù)流314a，所述圖形處理單元 (GPU)316可以與針對外部設備生成次要圖形合成相關聯(lián)。GPU 316還可以接收從GPU游戲渲 染塊315生成的圖形數(shù)據(jù)流315a，所述GPU游戲渲染塊315可以根據(jù)多媒體參數(shù)(例如，分辨 率、幀速率、LoD或者其它參數(shù))結(jié)合游戲應用等而操作。GPU 316可以生成視頻數(shù)據(jù)流316a， 所述視頻數(shù)據(jù)流316a可以由圖形數(shù)據(jù)流315a和經(jīng)譯碼的數(shù)據(jù)流314組成，以使得可以根據(jù) 與外部顯示設備兼容的多媒體參數(shù)(例如，1080p60YUV)-起顯示并發(fā)的多媒體數(shù)據(jù)。視頻 數(shù)據(jù)流316a可以進一步被邏輯地耦合和傳送到視頻編碼器2317,所述視頻編碼器2317可以 對合成視頻數(shù)據(jù)流316a進行編碼，并且生成視頻比特流。視頻比特流可以包括與外部顯示 設備兼容的Wro視頻比特流(例如，Wro視頻數(shù)據(jù)流317a) Jro視頻數(shù)據(jù)流317可以被傳送給 WLAN模塊318 JLAN模塊318可以將視頻比特流作為無線視頻數(shù)據(jù)流318a傳送給次要無線顯 示器319。數(shù)據(jù)流2311b可以根據(jù)一個或多個多媒體參數(shù)(例如，1080p30 YUV420)進行配置， 并且可以被邏輯地耦合到與為本地主要顯示器生成主要圖形合成相關聯(lián)的GPU 320APU 320還可以從外部數(shù)據(jù)流311x、例如從通過網(wǎng)絡連接而耦合的設備接收數(shù)據(jù)。外部設備可能 正在執(zhí)行一個或多個多媒體應用（例如，游戲應用和電話會議應用），所述一個或多個多媒 體應用可以根據(jù)一個或多個多媒體參數(shù)值(例如，1080p30 ARGB)來為外部數(shù)據(jù)流31 Ix生成 多媒體數(shù)據(jù)。
[0068]當如本文中描述的數(shù)據(jù)流路徑被跟蹤并且優(yōu)先級被評估時，存在于數(shù)據(jù)流路徑中 的具體的硬件子系統(tǒng)可以被識別，并且基于優(yōu)先級與具體的數(shù)據(jù)流相關聯(lián)。如圖3B中所示 的，具有硬件子系統(tǒng)的組的數(shù)據(jù)流路徑可以被包括在數(shù)據(jù)流路徑軌跡330中。如圖中所強調(diào) 的，數(shù)據(jù)流路徑軌跡330可以包括例如游戲渲染塊315、圖形流315a、GPU 316、視頻數(shù)據(jù)流 316a、視頻編碼器2317、Wro視頻數(shù)據(jù)流317a、WLAN模塊318、無線視頻數(shù)據(jù)流318a和次要無 線顯示器319。出于調(diào)整硬件或者軟件塊（例如，圖形渲染模塊315、GPU 316、視頻編碼器 2317、WLAN模塊318和次要顯示器319的）的多媒體參數(shù)的目的，數(shù)據(jù)流路徑軌跡330中的單 元可以被分配了特定的優(yōu)先級，或者可以被另外地識別。通過調(diào)整這些塊的多媒體參數(shù)，數(shù) 據(jù)流的多媒體參數(shù)可以被對應地調(diào)整。進一步，針對與并發(fā)的多媒體應用相關聯(lián)的全部數(shù) 據(jù)流，數(shù)據(jù)流路徑可以被跟蹤并且按優(yōu)先級排列，并且隨著條件改變而被更新。當多媒體應 用新近被執(zhí)行或者終止時，更新數(shù)據(jù)流路徑和優(yōu)先級可能特別有用。
[0069]在方面中，數(shù)據(jù)流路徑軌跡330可以包括硬件模塊(例如，GPU 316)，所述硬件模塊 具有到另一個數(shù)據(jù)流路徑340或者其部分的耦合。數(shù)據(jù)流路徑330和數(shù)據(jù)流路徑340可以都 包括經(jīng)譯碼的視頻流314a。在方面中，經(jīng)譯碼的視頻流314a可以不是數(shù)據(jù)流路徑軌跡330的 一部分，所述數(shù)據(jù)流路徑軌跡330可以被指定為高優(yōu)先級數(shù)據(jù)流。由此，數(shù)據(jù)流路徑軌跡330 的多媒體參數(shù)應當僅在低優(yōu)先級數(shù)據(jù)流路徑被完全降低之后被降低。因為數(shù)據(jù)流路徑軌跡 330是高優(yōu)先級數(shù)據(jù)流，所以經(jīng)譯碼的視頻流314a盡管耦合到高優(yōu)先級數(shù)據(jù)流路徑軌跡330 內(nèi)的硬件模塊，但是可以從數(shù)據(jù)流路徑軌跡330中被省略。作為代替，經(jīng)譯碼的視頻流314a 可以被指定為數(shù)據(jù)流路徑340的一部分，所述數(shù)據(jù)流路徑340可以被指定為具有低優(yōu)先級。 根據(jù)本文所描述的方面，數(shù)據(jù)流路徑340可以在較高優(yōu)先級數(shù)據(jù)流路徑330之前變得服從多 媒體參數(shù)降低。
[0070]在現(xiàn)在的示例中，視頻流314a可以使其多媒體參數(shù)(例如，分辨率、幀速率、LoD或 者其它參數(shù)）降低。視頻流314a可以帶有被降低的多媒體參數(shù)被輸入給GPU 316，盡管GPU 316的輸出的當前多媒體參數(shù)可能未被降低。視頻流314a (例如，帶有被降低的多媒體參數(shù)） 將出現(xiàn)在GPU 316的輸出中，所述輸出可以以完全多媒體參數(shù)值被生成。然而，視頻流314a 的有效輸出將是具有被降低的參數(shù)的那個輸出。替代地，在某些情況下，盡管視頻流314a的 多媒體參數(shù)值被降低，但是GPU 316可以嘗試對視頻流314a進行重新縮放，以提供改進的輸 出?？梢岳帽緳C或者原始多媒體參數(shù)值(例如，分辨率、幀速率、LoD或者其它參數(shù))來顯示 GPU 316的與數(shù)據(jù)流路徑軌跡330相關聯(lián)的部分，包括來自圖形渲染模塊315的圖形流315a， 所述圖形渲染模塊315可以被指定為具有高優(yōu)先級。
[0071]針對沿所跟蹤的數(shù)據(jù)流路徑的硬件子系統(tǒng)中的每個硬件子系統(tǒng)來建立設置可以 根據(jù)如圖3C中所示的邏輯單元來完成。所示的邏輯單元本質(zhì)上是示例性的，并且可以通過 多種方式來實現(xiàn)，所述多種方式包括硬件邏輯單元、處理邏輯單元、用軟件模塊來實現(xiàn)的邏 輯單元或者其它方式。所述邏輯單元可以被多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器用于作出關 于數(shù)據(jù)流路徑中的硬件子系統(tǒng)中的每個硬件子系統(tǒng)的當前的或者現(xiàn)在的多媒體參數(shù)設置 的決策。邏輯塊340可以被配置為接收輸入，并且提供針對當前的硬件子系統(tǒng)的當前多媒體 參數(shù)設置的輸出。邏輯塊340可以接收輸入341，所述輸入341對應于硬件子系統(tǒng)的本機或者 原始多媒體參數(shù)值。原始多媒體參數(shù)值可以包括由對應的應用關于數(shù)據(jù)流而最初指定的、 或者可能由數(shù)據(jù)流來最初指定的值。邏輯塊340可以進一步接收輸入342,所述輸入342對應 于多媒體參數(shù)的覆蓋值。覆蓋值可以是多媒體參數(shù)的經(jīng)調(diào)整的值。經(jīng)調(diào)整的多媒體參數(shù)可 以是由多媒體參數(shù)管理器和數(shù)據(jù)流跟蹤器在溫度和/或功率水平指示需要調(diào)整或者覆蓋以 維持在所建立的熱或者功率預算內(nèi)的操作時建立的。替代地，可以由于其它原因而產(chǎn)生經(jīng) 調(diào)整的多媒體參數(shù)或者覆蓋值。邏輯塊340可以進一步接收輸入343，所述輸入343表示邏輯 塊344的結(jié)果或者輸出。
[0072]邏輯塊344可以接收輸入345,所述輸入345對應于數(shù)據(jù)流路徑中的下一個下游硬 件子系統(tǒng)的當前多媒體參數(shù)設置。邏輯塊344可以進一步接收輸入346,所述輸入346對應于 數(shù)據(jù)流路徑中在下一個下游硬件子系統(tǒng)之后的第二個下游硬件子系統(tǒng)的當前多媒體參數(shù) 設置。邏輯塊344可以接收諸如來自沿數(shù)據(jù)流路徑的第N個下游子系統(tǒng)的輸入347之類的額 外的輸入，所述輸入347對應于第N個下游塊的當前多媒體參數(shù)設置。邏輯塊344可以將多媒 體參數(shù)設置輸入345、346和347中的最大值作為輸入343提供給邏輯塊340。相應地，邏輯塊 344可以允許考慮下游塊的最高多媒體參數(shù)值，以試圖維持最高的可能的用戶體驗質(zhì)量。 [0073]當邏輯塊340正在接收多媒體參數(shù)輸入341、342和