硬件輔助的媒體回放和捕捉同步的制作方法
【專利說(shuō)明】硬件輔助的媒體回放和捕捉同步
[0001] 背景
[0002] 現(xiàn)代的計(jì)算設(shè)備通常包括輸出和/或捕捉媒體流的能力。例如，計(jì)算設(shè)備常常被 配置為用于輸出音頻和/或視頻。另外，計(jì)算設(shè)備還常常被配置為用于捕捉音頻和/或視 頻。通常，計(jì)算設(shè)備被配置成"按需"輸出和/或捕捉媒體。即，計(jì)算設(shè)備可以接收輸出媒 體流或捕捉媒體流的提示。隨后，計(jì)算設(shè)備一有機(jī)會(huì)就啟動(dòng)輸出或捕捉。
[0003] 將理解，正在使用的計(jì)算設(shè)備的數(shù)量快速地增加。在很多情況下，多個(gè)計(jì)算設(shè)備可 以并行地被一個(gè)人或在單個(gè)位置內(nèi)使用。例如，一個(gè)家庭在任何給定時(shí)間可能具有各種計(jì) 算設(shè)備（例如，計(jì)算機(jī)、平板、智能電話、電視機(jī)、內(nèi)容流送設(shè)備、無(wú)線揚(yáng)聲器、無(wú)線顯示器等 等）在使用中。另外，單一計(jì)算設(shè)備還可以配備有多個(gè)輸入和輸出組件（例如，揚(yáng)聲器、顯 示器、話筒、相機(jī)等等）。
[0004] 然而，請(qǐng)注意，計(jì)算平臺(tái)一般被配置成一有機(jī)會(huì)就只輸出媒體流或捕捉媒體流。相 應(yīng)地，計(jì)算平臺(tái)不能跨多個(gè)輸入和輸出設(shè)備或跨多個(gè)計(jì)算設(shè)備同步媒體流的輸出或捕捉。 協(xié)調(diào)媒體流的輸出或捕捉的一個(gè)解決方案是提供對(duì)輸入和輸出設(shè)備進(jìn)行排他地訪問(wèn)的單 一專用硬件組件，以便管理同步。然而，對(duì)于跨不適合于被專用硬件組件進(jìn)行排他地控制的 多個(gè)設(shè)備同步媒體流的輸出或捕捉，這會(huì)有問(wèn)題并且是不切實(shí)際的。
[0005] 正是基于上述內(nèi)容才提出了本公開。
[0006] 附圖簡(jiǎn)述
[0007] 圖1示出了媒體流同步系統(tǒng)的實(shí)施例。
[0008] 圖2-3示出了圖1的媒體流同步系統(tǒng)的某些部分的示例。
[0009] 圖4-6示出了根據(jù)各實(shí)施例的邏輯流的示例。
[0010] 圖7示出了根據(jù)實(shí)施例的存儲(chǔ)介質(zhì)。
[0011] 圖8示出了根據(jù)實(shí)施例的處理架構(gòu)。
【具體實(shí)施方式】
[0012] 各實(shí)施例一般涉及在時(shí)間上協(xié)調(diào)媒體流的輸出和/或捕捉的技術(shù)。在某些示例 中，媒體流的輸出和/或捕捉可以跨多個(gè)輸入設(shè)備、輸出設(shè)備，和/或多個(gè)計(jì)算設(shè)備同步。換 言之，可以提供本公開的各實(shí)施例以導(dǎo)致媒體流在精確的時(shí)間被輸出和/或捕捉。一般而 言，將來(lái)，可以在精確的時(shí)間輸出和/或捕捉媒體流。在某些示例中，本公開提供，可以輸出 和/或捕捉媒體流，其中輸出和/或捕捉在時(shí)間上跨多個(gè)設(shè)備同步。
[0013] 對(duì)于某些示例，同步可以跨多個(gè)計(jì)算設(shè)備進(jìn)行。例如，從多個(gè)不同的計(jì)算設(shè)備的揚(yáng) 聲器的音頻媒體流的輸出可以在時(shí)間上同步。對(duì)于某些示例，同步可以跨來(lái)自單個(gè)計(jì)算設(shè) 備的多個(gè)輸入和/或輸出設(shè)備進(jìn)行。例如，從單個(gè)計(jì)算設(shè)備的揚(yáng)聲器的音頻媒體流的輸出 可以在時(shí)間上同步。此外，可以在未來(lái)協(xié)調(diào)輸出。作為另一個(gè)示例，可以將媒體流的輸出與 媒體流的捕捉（例如，從揚(yáng)聲器和話筒等等）進(jìn)行協(xié)調(diào)。下文更加全面地描述了這些及其 他示例。
[0014] 現(xiàn)在將參考附圖，全部附圖中相似的參考編號(hào)用于表示類似的元件。在下面的描 述中，為了進(jìn)行說(shuō)明，闡述了很多具體細(xì)節(jié)以便提供對(duì)本公開的全面理解。然而，顯而易見， 可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)施各新穎實(shí)施方式。在其他情況下，以框圖形式示出 了各個(gè)公知的結(jié)構(gòu)和設(shè)備以便于描述本公開。本公開將涵蓋落入權(quán)利要求的范圍內(nèi)的所有 修改、等效方案和替換方案。
[0015] 圖1是包括計(jì)算設(shè)備100和計(jì)算設(shè)備200的媒體流同步系統(tǒng)1000的實(shí)施例的框 圖。一般而言，計(jì)算設(shè)備100被描繪為被配置為用于在指定的時(shí)間輸出媒體流和/或?qū)⑤?出在時(shí)間上與另一設(shè)備（例如，設(shè)備200)同步。計(jì)算設(shè)備200被描繪為被配置為用于在指 定的時(shí)間捕捉媒體流和/或?qū)⒉蹲皆跁r(shí)間上與另一設(shè)備（例如，設(shè)備100)同步。然而，應(yīng) 該強(qiáng)調(diào)，這不是限制性的，計(jì)算設(shè)備100可以被配置為用于捕捉媒體流，而計(jì)算設(shè)備200可 以被配置為用于輸出媒體流。另外，雖然只描繪了計(jì)算設(shè)備100和200,但是，系統(tǒng)1000可 以包括任意數(shù)量的可以被配置為用于將媒體流的輸出或捕捉在時(shí)間上與系統(tǒng)1000中的一 個(gè)或多個(gè)其他設(shè)備同步的設(shè)備。此外，還應(yīng)該注意，雖然計(jì)算設(shè)備100和200被描繪成單獨(dú) 的設(shè)備，但是，在某些實(shí)施例中，它們可以被包括到單個(gè)設(shè)備中。此外，還可以實(shí)現(xiàn)多個(gè)計(jì)算 設(shè)備以實(shí)現(xiàn)計(jì)算設(shè)備100和/或200中的每一個(gè)。另外，還應(yīng)該注意，雖然各種示例討論了 同步媒體流的輸出與媒體流的捕捉，但是，這不是限制性的。更具體而言，各實(shí)施例可以用 于跨多個(gè)輸出設(shè)備同步一個(gè)或多個(gè)媒體流的輸出。類似地，各實(shí)施例可以用于跨多個(gè)輸入 設(shè)備同步一個(gè)或多個(gè)媒體流的捕捉。例如，可以部署多個(gè)輸入設(shè)備，并在時(shí)間上協(xié)調(diào)媒體流 的捕捉，以產(chǎn)生多軌媒體流，其中，各種軌道是相位校準(zhǔn)的。
[0016] 應(yīng)該注意，雖然本公開（例如，圖1-3)描繪了涉及幾個(gè)設(shè)備（例如，計(jì)算設(shè)備100 和/或計(jì)算設(shè)備200)和幾個(gè)媒體流（例如，媒體流133和/或媒體流233)的簡(jiǎn)單示例，但 是，本公開適用于多個(gè)媒體流和多個(gè)設(shè)備。在某些示例中，媒體流可以具有多個(gè)通道。如 此，各種設(shè)備可以被配置為用于輸出和/或捕捉這些通道中的一個(gè)或多個(gè)。作為一個(gè)特別 說(shuō)明性示例，第一設(shè)備可以被配置為用于輸出媒體流的第一通道，第二設(shè)備可以被配置為 用于輸出同一媒體流的第二通道，而第三設(shè)備可以被配置為用于輸出同一媒體流的兩個(gè)通 道，其中，每一設(shè)備的輸出可以在時(shí)間上被協(xié)調(diào)和/或同步，如此處詳述的。
[0017] 計(jì)算設(shè)備100和/或200可以是各種類型的計(jì)算設(shè)備中的任何一種，包括，但不僅 限于，臺(tái)式計(jì)算機(jī)系統(tǒng)、數(shù)據(jù)輸入終端、膝上型計(jì)算機(jī)、上網(wǎng)本計(jì)算機(jī)、平板計(jì)算機(jī)、手持式 個(gè)人數(shù)據(jù)助理、智能電話、數(shù)碼相機(jī)、安裝在衣服或可穿戴配件（例如，眼鏡、手表等等）中 的穿戴計(jì)算設(shè)備、集成到交通工具（例如，小汽車、自行車、輪椅等等）中的計(jì)算設(shè)備、服務(wù) 器、服務(wù)器集群、服務(wù)器場(chǎng)、站、無(wú)線站、用戶設(shè)施等等。此外，計(jì)算設(shè)備100和/或200還 可以是傳統(tǒng)上不被視為"計(jì)算機(jī)"的各種類型的顯示設(shè)備中的任何一種，包括，但不僅限于， DVD播放器、便攜式視頻播放器、控制臺(tái)視頻游戲系統(tǒng)、電視接收機(jī)、視頻內(nèi)容流放設(shè)備等 等。這些實(shí)施例不限于這種背景。
[0018] 如所描繪的，計(jì)算設(shè)備100和200可以通過(guò)網(wǎng)絡(luò)999交換傳達(dá)媒體流信息（例如， 輸入或輸出內(nèi)容、開始時(shí)間、全局時(shí)間等等）的信號(hào)。另外，計(jì)算設(shè)備100和/或200可以通 過(guò)網(wǎng)絡(luò)999交換與媒體流信息完全不相關(guān)的其他數(shù)據(jù)。計(jì)算設(shè)備100和/或200可以通過(guò) 網(wǎng)絡(luò)999彼此以及與其他計(jì)算設(shè)備（未示出）交換信號(hào)，包括媒體流信息。在各種實(shí)施例 中，網(wǎng)絡(luò)999可以是可能局限于在單個(gè)建筑物或其他相對(duì)有限區(qū)域內(nèi)延伸的單個(gè)網(wǎng)絡(luò)，可 能延伸相當(dāng)大的距離的連接網(wǎng)絡(luò)的組合，和/或可以包括因特網(wǎng)。如此，網(wǎng)絡(luò)999可以基于 可以用來(lái)交換信號(hào)的各種通信技術(shù)中的任何一種（或組合），包括，但不僅限于，使用電纜 和/或光纜的有線技術(shù)，以及使用紅外線、射頻或其他形式的無(wú)線傳輸?shù)臒o(wú)線技術(shù)。此外， 雖然網(wǎng)絡(luò)999被示為無(wú)線網(wǎng)絡(luò)，但是，在某些示例中，它可以是有線網(wǎng)絡(luò)。
[0019] 在各實(shí)施例中，計(jì)算設(shè)備100包括處理器組件110、GPU120、存儲(chǔ)器130、控制裝置 140、顯示器150、接口 160、揚(yáng)聲器170,以及輸出設(shè)備180中的一項(xiàng)或多項(xiàng)。在各實(shí)施例中， 輸出設(shè)備180可以是顯示器150和/或揚(yáng)聲器170。存儲(chǔ)器130存儲(chǔ)控制例程132、媒體流 133、開始時(shí)間320、輸出流時(shí)鐘137、輸出緩沖器135,以及全局時(shí)間310中的一項(xiàng)或多項(xiàng)。
[0020] 接口 160可以被配置為用于將計(jì)算設(shè)備100耦合到網(wǎng)絡(luò)999。在操作過(guò)程中，計(jì)算 設(shè)備100可以通過(guò)網(wǎng)絡(luò)999,經(jīng)由接口 160,接收和/或傳輸媒體流133、開始時(shí)間320、輸出 流時(shí)鐘137、輸出緩沖器135、全局時(shí)間310中的一項(xiàng)或多項(xiàng)。
[0021] 在計(jì)算設(shè)備100中，控制例程132包括指令序列，該指令序列在其角色作為主處理 器組件的處理器組件110上操作以實(shí)現(xiàn)執(zhí)行各種功能的邏輯。在執(zhí)行控制例程132時(shí)，處 理器組件110接收（例如，通過(guò)網(wǎng)絡(luò)999)媒體流133。媒體流133可以包括開始時(shí)間320 的指示。一般而言，開始時(shí)間320對(duì)應(yīng)于媒體流133將被輸出（例如，呈現(xiàn)）的時(shí)間。對(duì)于 各種示例，可以利用輸出流時(shí)鐘137指定開始時(shí)間320。
[0022] 輸出流時(shí)鐘137可以對(duì)應(yīng)于本地系統(tǒng)時(shí)間或全局時(shí)間310。例如，在媒體流133的 輸出在計(jì)算設(shè)備100內(nèi)被協(xié)調(diào)（例如，由多個(gè)揚(yáng)聲器、多個(gè)顯示器等等）的應(yīng)用中，輸出流 時(shí)鐘137可以對(duì)應(yīng)于本地系統(tǒng)時(shí)間。在媒體流的輸出跨多個(gè)設(shè)備（例如，計(jì)算設(shè)備100和 計(jì)算設(shè)備200等等）協(xié)調(diào)的應(yīng)用中，輸出流時(shí)鐘137可以對(duì)應(yīng)于全局時(shí)間310。
[0023] 全局時(shí)間310可以是通過(guò)網(wǎng)絡(luò)999接收到的時(shí)間，諸如，例如，但不僅限于，通過(guò)網(wǎng) 絡(luò)廣播的時(shí)間等等。
[0024] 媒體流133可以是各種不同類型的媒體流（例如，音頻、視頻等等），并可以由一種 或多種輸出設(shè)備輸出。處理器組件110可以使用一個(gè)或多個(gè)設(shè)備驅(qū)動(dòng)器來(lái)導(dǎo)致媒體流133 由合適的輸出設(shè)備輸出。此外，媒體流還可以使用各種編碼標(biāo)準(zhǔn)來(lái)編碼，并可以包括具有周 期的一個(gè)或多個(gè)樣本。例如，媒體流可以使用特定頻率來(lái)編碼，可以包括具有對(duì)應(yīng)于編碼頻 率的周期的一個(gè)或多個(gè)樣本。處理器組件110可以使用一個(gè)或多個(gè)解碼編解碼器來(lái)在輸出 設(shè)備上輸出媒體流133。
[0025] 如此處所使用的，媒體流（例如，媒體流133、媒體流233等等）可以由多個(gè)通道組 成。例如，媒體流可以包括使用各種編碼標(biāo)準(zhǔn)（例如，PCM、mp3、MPEG等等）編碼的多個(gè)通 道。此外，某些示例還引用了具有"周期"的媒體流?？梢岳斫猓@些示例不是限制性的，本 公開可以應(yīng)用于不具有定義的周期的媒體流（例如，PWM編碼的媒體流、DSD?編碼的媒 體流等等）。此外，還應(yīng)該理解，一般而言，本公開還適用于可以使用各種不同的編碼標(biāo)準(zhǔn)編 碼的媒體流。此處所提供的示例編碼標(biāo)準(zhǔn)是為清楚起見給出的，而不是限制性的。
[0026] 在執(zhí)行控制例程132時(shí)，處理器組件110激活輸出設(shè)備180,并記錄輸出設(shè)備180 啟動(dòng)時(shí)的時(shí)間。對(duì)于某些示例，輸出設(shè)備啟動(dòng)時(shí)的時(shí)間是利用輸出流時(shí)鐘137指定的。另 外，處理器組件基于開始時(shí)間320