用于網絡音樂會話的延遲測量設備和延遲測量方法
【專利摘要】本發(fā)明提供了用于網絡音樂會話的延遲測量設備和延遲測量方法。在本系統(tǒng)中，終端A取回從輸入音頻信號到開始傳送該音頻信號的終端輸入延遲時間Tia、從開始傳送音頻信號到由對方終端B接收該音頻信號的傳送延遲時間Tn、從接收音頻信號到由對方終端B的接收緩沖部分BFb輸出該音頻信號的對方接收緩沖延遲時間Tbfb、以及從輸入音頻信號到由對方終端B的音頻再現部分DRob輸出該音頻信號的對方輸出延遲時間Tob。然后終端A對這些延遲時間進行求和，以確定從由終端A輸入音頻信號到由對方終端B的音頻再現部分DRob輸出該音頻信號的輸入/輸出延遲時間Ttab。
【專利說明】用于網絡音樂會話的延遲測量設備和延遲測量方法
【技術領域】
本發(fā)明涉及用于網絡音樂會話的延遲測量系統(tǒng)，在網絡音樂會話中，在通過諸如互聯網的通信網絡連接的多個電子音樂終端之間執(zhí)行諸如音樂演奏的音樂會話。
【背景技術】
通常，已知這樣的網絡音樂會話，其使得能夠通過諸如互聯網的通信網絡進行諸如樂器的合奏演奏以及諸如二重唱的合唱之類的音樂會話。例如，在日本未審查專利公開第2005-195982號中公開的合奏系統(tǒng)中，基于在一個終端上演奏的音樂演奏的演奏信息被傳輸至對方終端，并且該演奏信息在預定延遲時間段之后還被提供至該一個終端的樂音產生部分，以便使兩個終端在這些終端之間同步地發(fā)出基于在該一個終端上演奏的音樂演奏的樂音。
在該一個終端上產生樂音所要延遲的延遲時間(AT)是通過這樣的方案來確定:測量網絡往返時間RTT (Round Trip Time)以基于測得的往返時間RTT的值(TO)來計算出單向網絡延遲時間(At net)(上述日本未審查專利公開的第[0029]段)。通常，此外，可以通過以下方法計算出兩個終端之間的網絡延遲時間:使各終端的時鐘同步，以從一個終端發(fā)送具有表示記錄時間的時間標記的分組，使得另一終端可以在該另一終端重現該分組時計算出當前時間與所述時間標記所表示的時間之差。
此外，為了實現網絡音樂會話，存在這樣的用戶請求，其請求知道將由用戶終端產生的樂音傳遞至另一終端所需的延遲時間、或者由另一終端產生的樂音傳遞至該用戶所需的延遲時間。在網絡音樂會話中，更具體地，延遲量根據網絡環(huán)境和物理距離而變化。然而，一定時間量或更多時間量的延遲會阻礙網絡音樂會話。因此，網絡音樂會話的用戶期望知道延遲時間，以確定他們是否可以執(zhí)行會話。一般來說，對于約40毫秒或更長的延遲，不能建立網絡音樂會話。然而，對于約30毫秒的延遲，通過稍快定時，合奏可以完全與對方演奏者同步。延遲時間可以用來確定各用戶是否應該作出這樣的努力。
然而，通過測量RTT來計算出網絡延遲時間的方案不包括網絡之外的延遲。因此，該方案不能計算出從一個終端上輸入樂音到另一終端上輸出樂音的準確延遲時間。此外，由于上述的計算出表示輸入樂音的時間的時間標記與輸出樂音的時間之差的方案取決于各終端之間的高精度時鐘同步，因此這樣的方案不能應用于諸如由于常變延遲而具有低可靠性的互聯網之類的通信系統(tǒng)。

【發(fā)明內容】

完成本發(fā)明是為了解決上述問題，并且本發(fā)明的一個目的是提供一種延遲測量系統(tǒng)，其可以對在通過諸如互聯網的通信網絡執(zhí)行的音樂會話中從在一個終端上輸入音頻信號到在其對方終端上輸出音頻信號所需的輸入/輸出延遲時間進行準確測量。此外，對于下面關于本發(fā)明的各個組成特征的描述，稍后描述的實施例的相應組件的參考字母被提供在括號中，以便于理解本發(fā)明。更具體地，基于在會話終端是實施例的“會話終端A”、對方會話終端是實施例的“會話終端B”的情況，各參考字母對應于實施例的各組件。然而，本發(fā)明的組成特征不應被理解為限于由實施例的參考字母表示的相應組件。
作為本發(fā)明的一個特征，提供了一種用于網絡音樂會話的延遲測量設備，所述延遲測量設備被提供在會話終端(TMa)上，所述會話終端與對方會話終端(TMb)執(zhí)行網絡音樂會話，其中該對方會話終端通過通信網絡連接到該會話終端使得所述會話終端與所述對方會話終端進行通信，所述延遲測量設備包括:終端輸入延遲取回裝置(Al)，其用于取回所述會話終端上的從輸入音頻信號到開始傳送該音頻信號的終端輸入延遲時間(Tia);傳送延遲取回裝置(A4)，其用于取回從所述終端到對方終端(TMb)的傳送延遲時間(Tn)，所述傳送延遲時間取自從由所述會話終端開始傳送音頻信號到由所述對方會話終端接收該音頻信號；對方接收緩沖延遲取回裝置(A3)，其用于取回從由所述對方會話終端(TMb)的接收緩沖部分(BFb)接收音頻信號到將該音頻信號輸入至所述對方會話終端的音頻再現部分(DRob)的對方接收緩沖延遲時間(Tbfb);對方輸出延遲取回裝置(Α2)，其用于取回所述對方會話終端(TMb)上的從自所述接收緩沖部分(BFb)輸入音頻信號到由所述音頻再現部分(DRob)輸出該音頻信號的對方輸出延遲時間(Tob);以及輸入/輸出延遲時間確定裝置(Α5)，其用于對由所述終端輸入延遲取回裝置(Al)取回的終端輸入延遲時間(Tia)、由所述傳送延遲取回裝置(A4)取回的從所述終端到對方終端的傳送延遲時間(Τη)、由所述對方接收緩沖延遲取回裝置(A3)取回的對方接收緩沖延遲時間(Tbfb)、以及由所述對方輸出延遲取回裝置(A2)取回的對方輸出延遲時間(Tob)進行求和，并且確定從所述會話終端上輸入音頻信號到由所述對方會話終端(TMb)的音頻再現部分(DRob)輸出該音頻信號的輸入/輸出延遲時間(Ttab)。
根據如上配置的本發(fā)明，在與對方會話終端(TMb)執(zhí)行網絡音樂會話的會話終端(TMa)上(其中對方會話終端(TMb)通過通信網絡(CN)連接到會話終端(TMa)以使會話終端(TMa)與對方會話終端(TMb)進行通信)，獲取從輸入音頻信號到開始傳送該音頻信號的終端輸入延遲時間(Tia)。在對方會話終端(TMb)上，獲取從自接收緩沖部分(BFb)輸入音頻信號到由音頻再現部分(DRob)輸出該音頻信號的對方輸出延遲時間(Tob)。此外,在對方會話終端(TMb)上，獲取從由接收緩沖部分(BFb)接收音頻信號到將該音頻信號輸入至音頻再現部分(DRob)的對方接收緩沖延遲時間(Tbfb)。另外，獲取從由會話終端開始傳送音頻信號到由對方會話終端(TMb)接收該音頻信號的傳送延遲時間(Τη)。將所獲取的終端輸入延遲時間(Tia)、對方輸出延遲時間(Tob)、對方接收緩沖延遲時間(Tbfb)、從所述終端到對方終端的傳送延遲時間(Tn)進行求和，以確定從由所述終端輸入音頻信號到由對方會話終端(TMb)的音頻再現部分(DRob)輸出該音頻信號的輸入/輸出延遲時間(Ttab)。因此，根據本發(fā)明，通過使用執(zhí)行網絡音樂會話的對方會話終端(TMb)的延遲信息(Tob、DRob),終端(TMa)可以準確計算出從由終端(TMa)輸入音頻信號到由對方會話終端(TMb)輸出該音頻信號的輸入/輸出延遲時間(Ttab)。
作為本發(fā)明的另一特征，所述傳送延遲取回裝置(A4)通過使用測量分組來取回更新的從所述終端到對方終端(TMb)的傳送延遲時間，所述測量分組在所述終端與對方會話終端之間以固定間隔被傳送和接收，以監(jiān)視所述測量分組被傳送和接收的時間。該特征允許取回測量從所述終端到對方終端的輸入/輸出延遲時間(Ttab)所需的從所述終端到對方終端的準確傳送延遲時間(Tn)，而無需所述終端與對方終端之間的高精度時鐘同步。 作為本發(fā)明的又一特征，所述對方會話終端(TMb)的接收緩沖部分(BFb)的緩沖器大小自動改變，或者根據用戶操作而改變；并且所述對方接收緩沖延遲取回裝置(A3)從所述對方會話終端(TMb)取回根據所述緩沖器大小而定期算出的更新的對方接收緩沖延遲時間(Tbfb)0該特征允許取回測量從所述終端到對方終端的輸入/輸出延遲時間(Ttab)所需的準確的對方接收緩沖延遲時間(Tbfb)。
此外，在本發(fā)明中，所述終端輸入延遲時間(Tia)包括由音頻輸出部分對輸入音頻信號進行A/D轉換和編碼而引起的延遲時間。作為本發(fā)明的再一特征，所述對方輸出延遲時間(Tob )包括由所述對方會話終端(TMb )的音頻再現部分(DRob )對輸入音頻信號進行解碼和D/A轉換而引起的延遲時間；并且所述對方輸出延遲取回裝置(A2)響應于與所述對方會話終端(TMb)建立連接而從所述對方會話終端(TMb)取回所述對方輸出延遲時間(Tob)。該特征允許取回測量從所述終端到對方終端的輸入/輸出延遲時間(Ttab)所需的準確的終端輸入延遲時間(Tia)和對方輸出延遲時間(Tob)。
本發(fā)明的實施例不限于用于網絡音樂會話的延遲測量設備，其可以是用于網絡音樂會話的延遲測量方法和延遲測量計算機程序。
【專利附圖】

【附圖說明】
圖1示出了根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)的示例網絡構造；
圖2示出了各個會話終端(電子樂器或PC) TM的示例硬件構造；
圖3示出了根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)上測得的音頻輸入/輸出延遲時間；以及
圖4示出了根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)的處理示例的前半部分。
【具體實施方式】
[系統(tǒng)構造概述]
圖1示出了根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)的構造。延遲測量系統(tǒng)包括在由會話管理服務器SV和多個會話終端TM (TMa至TMd)(字母“TM”代表會話終端)形成的網絡音樂會話系統(tǒng)中。會話管理服務器SV和會話終端TMa至TMd分別連接至通信網絡CN。會話管理服務器SV協(xié)助各成員會話終端TM之間的連接。例如，會話管理服務器SV在開始會話之前對用于各個會話終端TM之間的連接進行安排。在諸如會話終端TMa至TMd之類的會話終端TM之間的連接建立之后，在會話終端TMa至TMd之間進行延遲測量，而無需會話管理服務器SV，然后在會話終端TMa至TMd之間傳送并接收諸如音頻數據的演奏信息。由于會話管理服務器SV的操作是公知的，因此在本說明書中將不解釋會話管理服務器SV的詳細操作。用作網絡音樂會話構件的會話終端TMa至TMd是能夠演奏樂器和/或自動伴奏錄音(卡拉OK)的電子音樂設備。圖1示出了四個會話終端TM (會話構件)作為示例。然而，會話終端TM的數量不限于四個(會話終端TM的數量可以是大于4以及小于4)。
圖2是示出了形成網絡音樂會話系統(tǒng)的會話終端的示例硬件構造的框圖。執(zhí)行網絡音樂會話的每個會話終端TM是一種具有電子化處理音樂信息能力的計算機，以及可以是電子樂器或諸如已安裝有音樂信息處理應用程序的個人計算機(PC)之類的電子音樂設備。會話終端TM具有中央處理單元(CPU) 1、隨機存取存儲器(RAM) 2、只讀存儲器(ROM) 3、存儲裝置4、設置操作檢測電路5、音樂演奏操作檢測電路6、模擬-數字(A/D)轉換電路7、顯示電路8、音調產生/效果電路9、通信接口(I/F)10等，其中這些組件I至10經由總線11彼此連接。
CPUl與RAM2和R0M3 —起用作數據處理部分，以根據包括用于網絡音樂會話的延遲測量程序的控制程序來執(zhí)行包括延遲測量處理的各種信息處理。RAM2用作用于保存上述處理所需的數據以使數據可以被使用的存儲管理區(qū)域，以及用作用于暫時存儲各種數據的工作區(qū)域。在R0M3中，事先存儲有包括用于網絡音樂會話的延遲測量程序的各種控制程序以及預設數據，以便執(zhí)行上述處理。CPU1、RAM2、和R0M3是稍后將描述的數據處理部分(計算機部分)。
存儲裝置4包括諸如HD (硬盤)、FD (軟盤)、⑶(壓縮盤)、DVD (數字多功能盤)、半導體存儲器(例如閃存)之類的各種存儲介質及其驅動器，使得可以在期望介質中存儲期望的控制程序和演奏數據。這些存儲介質可以是可拆卸的，或者包含在會話終端TM中。
設置操作檢測電路5與諸如開關和鼠標之類的設置操作元件(面板操作元件)12 一起用作設置操作部分(面板操作部分)，用以檢測設置操作元件12的用戶操作，以將與設置操作對應的設置操作信息提供至數據處理部分(I至3)，而數據處理部分根據設置操作信息來進行各種設置。音樂演奏操作檢測電路6與諸如鍵盤之類的演奏操作元件13 —起用作樂器演奏輸入部分，用以檢測終端用戶對演奏操作元件13的操作，以將與演奏操作對應的演奏操作信息提供至數據處理部分，而數據處理部分將基于演奏操作信息的演奏數據傳送至音調產生/效果電路9。
A/D轉換電路7與麥克風14 一起用作歌唱輸入部分，用以將通過終端用戶的歌唱表演而經由麥克風14輸入的歌唱聲信號轉換成數字信號，以將數字信號提供至數據處理部分，而數據處理部分將基于數字信號的音頻數據傳送至音調產生/效果電路9的效果部分。顯示電路8包括:諸如IXD的顯示器15，用于顯示各種設置、諸如樂器演奏和歌唱表演之類的演奏輸入所需的各種屏幕；和指示器/燈(未示出)，用以根據由數據處理部分作出的指令來控制顯示器15和指示器/燈的顯示和發(fā)光，以提供關于設置和演奏輸入的可視引導。
音調產生/效果電路9具有用于根據演奏數據產生音頻數據的音調產生部分、和包括用于執(zhí)行各種音頻數據處理的DSP的效果部分。例如，音調產生部分根據從音樂演奏操作檢測電路6所提供的演奏操作信息中獲取的演奏數據、或者從R0M3、存儲裝置4或通信I/FlO獲取的演奏數據，來產生音頻數據，而效果部分將效果添加到從麥克風14提供的音頻數據、由音調產生部分產生的音頻數據、或者通過通信I/F10獲取的音頻數據等，并且將這些音頻數據混音以產生音頻輸出數據。音響系統(tǒng)16包括D/A轉換部分、放大器、揚聲器(包括耳機)等，并且基于從音調產生/效果電路9提供的音頻輸出數據來產生樂音(由樂器演奏的樂音和歌唱聲)。音調產生/效果電路9的效果部分和音響系統(tǒng)16用作音頻輸出再現部分(DRo)。
通信I/F10包括以下中的一個或多個:諸如IEEE1394的通用短距離有線I/F、諸如以太網(商標)的通用網絡I/F、和諸如無線LAN和藍牙(商標)之類的通用短距離無線I/F，以使得經由諸如互聯網的通信網絡CN與其他會話終端交換演奏數據和音頻數據，并且從諸如服務器計算機的外部設備接收控制程序和數據以將接收到的程序和數據存儲在存儲裝置4中。通信I/F10的接收部分用作接收緩沖器BF，用于將從不同會話終端傳送的音頻數據進行緩沖，并且將音頻數據提供至音調產生/效果電路9的效果部分，而通信I/F10的傳送部分用作音頻輸入處理部分(DRi)。在輸入音頻信號為歌唱聲信號的情況下，A/D轉換電路7也包括在音頻輸入處理部分(DRi)中。
在電子樂器用作沒有自動伴奏錄音的會話終端TM的情況下，歌聲輸入部分(麥克風14和A/D轉換電路7)不是必須的。在將具有音樂信息處理應用程序的PC用作會話終端TM以便僅執(zhí)行自動伴奏錄音的情況下，樂器演奏輸入部分(演奏操作元件13和演奏操作檢測電路6)不是必須的。盡管會話管理服務器SV具有與圖2幾乎相似的硬件構造，會話管理服務器SV不需要樂器演奏輸入部分(樂器操作元件13和演奏操作檢測電路6)和演奏再現部分(音調產生/效果電路9和音響系統(tǒng)16)。
[音頻(聲音)輸入/輸出延遲時間的測量]
圖3示出了根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)所測得的音頻(聲音)輸入/輸出延遲時間。根據下面信息(因子)(a)至(d)來確定兩個會話終端TM之間的音頻輸入/輸出延遲時間Tt。參考符號“Tt”代表音頻輸入/輸出延遲時間(也被稱為聲音輸入/輸出延遲時間，或被簡稱為輸入/輸出延遲時間或輸入/輸出延遲)。參考符號“Ti”代表音頻輸入延遲時間(也被稱為聲音輸入延遲時間，或被簡稱為輸入延遲時間或輸入延遲)。參考符號“Τη”代表傳送延遲時間(也被簡稱為傳送延遲)。參考符號“Tbf”代表接收緩沖延遲時間(也被簡稱為接收緩沖延遲)。參考符號“To”代表音頻輸出延遲時間(也被稱為聲音輸出延遲時間，或被簡稱為輸出延遲時間或輸出延遲)。添加至各參考符號的字母“ab”、“ba”分別表示從終端TMa到終端TMb的信號傳送、以及從終端TMb到終端TMa的信號傳送，而字母“a”和“b”分別表示終端TMa和終端TMb。
(a)音頻(聲音)輸入延遲時間(也被簡稱為記錄延遲)T1:Tia、Tib等。
音頻輸入延遲時間Ti代表從將音頻信號輸入至一個會話終端TM上的音頻(聲音)輸入處理部分DRi到開始將該音頻信號傳送至通信網絡CN的延遲時間。在還存在由A/D轉換引起的延遲和由編碼引起的延遲的情況下，由A/D轉換和編碼引起的延遲時間也包括在音頻輸入延遲時間Ti中。
(b)傳送延遲時間(也被簡稱為網絡延遲)Tn:Tnab, Tnba等。
傳送延遲時間Tn代表在一個會話終端TM通過通信網絡CN連接至另一會話終端TM的情況下連接這兩個終端的網絡上的純傳送延遲時間。由于通信網絡CN的通信環(huán)境可改變，需要以固定間隔監(jiān)視傳送延遲時間Τη。
(c)接收緩沖延遲時間Tbf:Tbfa, Tbfb等。
接收緩沖延遲時間Tbf代表由一個會話終端TM在接收緩沖器BF處對通過通信網絡CN接收到的音頻信號進行緩沖而引起的延遲時間。可以自動確定接收緩沖器BF的緩沖器大小?？商娲?，可以通過用戶操作來確定緩沖器大小。在此情況下，由于緩沖器大小是可變的，因此需要以固定間隔監(jiān)視接收緩沖延遲時間Tbf。
(d)音頻(聲音)輸出延遲時間(也被簡稱為再現延遲)To:Toa、Tob等。
音頻輸出延遲時間To代表從將接收到的音頻信號從接收緩沖器BF輸出至音頻再現處理部分DRo到實際產生與該音頻信號對應的樂音的延遲時間。在存在由D/A轉換引起的延遲和由解碼引起的延遲的情況下，由D/A轉換和解碼引起的延遲時間也包括在音頻輸出延遲時間中。
一旦針對每個當前通信的會話終端TM獲取了所有項信息T1、Tn、Tbf和To，則例如圖3(1)中所示，可以通過計算出“一個終端TMa的音頻輸入處理部分DRia上的聲音輸入延遲Tia”+ “從一個終端TMa到對方終端TMb的傳送延遲Tnab (從一個終端到對方終端的傳送延遲)”+ “對方終端TMb的接收緩沖器BFb上的緩沖延遲Tbfb”+ “對方終端TMb的音頻再現處理部分DRob上的聲音輸出延遲Tob”，來測量從一個會話終端TM到其對方會話終端的延遲，即，從一個終端TMa上輸入音頻信號到對方終端TMb上再現該音頻信號所用的從一個終端TMa到對方終端TMb的總輸入/輸出延遲時間Ttab。此外，如圖3(2)所示，可以通過計算出“對方終端TMb的音頻輸入處理部分DRib上的聲音輸入延遲Tib” + “從對方終端TMb到一個終端TMa的傳送延遲Tnba (從對方終端到一個終端的傳送延遲)” + “一個終端TMa的接收緩沖器BFa上的緩沖延遲Tbfa”+ “一個終端TMa的音頻再現處理部分DRoa上的聲音輸出延遲Toa”，來測量從對方終端到所述一個終端的延遲，即，從對方終端TMb上輸入音頻信號到在所述一個終端TMa上再現該音頻信號所用的從對方終端TMb到所述一個終端TMa的總輸入/輸出延遲時間Ttba。為了執(zhí)行該測量，應順序完成下面過程(I)至(4)。
(1)事先測量
針對每個會話終端TM事先測量出輸入延遲Ti和輸出延遲To。在會話終端TM是諸如PC的音頻裝置的情況下，可以通過對驅動器(例如，Windows (商標)上的ASIO驅動器、以及Mac上的核心音頻驅動器(Core Audio driver))進行詢問來取回延遲信息T1、To?？梢愿鶕斍笆褂玫木幋a邏輯和采樣率來獲取編碼(編碼和解碼)延遲。
(2)連接建立時的數據通信(交換)
當在各會話終端TM之間已建立連接時，各會話終端TM在網絡CN上分別傳送/接受(交換)其輸出延遲To和輸入延遲Ti?？梢酝ㄟ^諸如以下方案來進行所述交換:
在諸如SIP (會話發(fā)起協(xié)議)之類的呼叫控制協(xié)議上添加協(xié)商時的信息；
對諸如RTCP (RTP控制協(xié)議)之類的控制協(xié)議添加信息。
(3)周期分組傳送/接收
然后，在各會話終端TM之間周期性地發(fā)送用于網絡(傳送)延遲測量的分組，以便使用下面方案測量RTT，以計算RTT/2，從而計算出網絡(傳送)延遲Τη。如圖3所示，例如，在會話終端A和會話終端B彼此連接的情況下，RTT(終端TMa與對方終端TMb之間的往返延遲)/2可以近似為RTT/2=Tn=Tnab (從終端A到對方終端B的傳送延遲)=Tnba (從對方終端B到終端A的傳送延遲)。
[0001]根據終端A的時鐘，向終端A首次傳送的周期分組添加表示該分組被傳送的時刻tl的時間標記。
[0002]終端B從終端A接收該周期分組，根據終端B的時鐘來確定終端B接收該分組的時刻t2，并且將所確定的接收時刻t2與該分組中記錄的所述傳送時刻tl 一起進行記錄。
[0003]接著，終端B傳送周期分組。更具體地，終端B根據終端B的時鐘來確定該分組被傳送的時刻t3，并且將最近(緊接在前)接收到的周期分組的傳送時刻tl和接收時刻t2、以及分組發(fā)送時刻t3添加(時間標記)至終端B傳送的該分組。
[0004]當終端A接收到從終端B發(fā)送的周期分組時，終端A根據終端A的時鐘來確定終端A接收到該分組的時刻t4，基于所確定的接收時刻t4、已添加至所接收到的分組的緊接在前分組的傳送時刻tl和接收時刻t2、和接收分組傳送時刻t3來測量RTT [等式(1)]，然后估計出單向網絡延遲，即，發(fā)送延遲Tn[等式(2)]:
RTT=(t4-tl)-(t3-t2)...(1)
傳送延遲 Tn=RTT/2...(2)
盡管可以通過任意方案來進行周期分組的傳送，但是存在其中對諸如上述RTCP (RTP控制協(xié)議)之類的控制協(xié)議添加信息的方案。此外，向將要被傳送的周期分組還附加傳送該分組的終端的接收緩沖延遲Tbf，以通知該分組將要被發(fā)送到的對方終端。由于接收緩沖器BF的緩沖器大小可以通過用戶操作或通過自動調節(jié)而改變，因此應該通過周期性分組交換來更新接收緩沖延遲Tbf。
(4)計算輸入/輸出延遲Tt
假設一個終端是終端A，對方終端是終端B，則通過計算等式(通過事先測量獲得的)“終端A的輸入延遲Tia”+ (通過周期分組獲得的)“傳送延遲Τη”+ (通過接收周期分組獲得的)“對方終端B的接收緩沖延遲Tbfb”+ (通過連接建立時的數據交換獲得的)“對方終端B的輸出延遲Tob”，來計算出“從終端A到對方終端B的延遲Ttab”。
此外，可以通過計算等式(通過連接建立時的數據交換獲得的)“對方終端B的輸入延遲Tib”+ (通過周期分組獲得的)“傳送延遲Τη”+ (基于緩沖器大小計算出的)“終端A的接收緩沖延遲”+ (通過事先測量獲得的)“終端A的輸出延遲”，來計算出“從對方終端B到終端A的延遲Ttba”。
上述過程(I)至(4)具有如下特征:
(1)各個終端TM事先在各終端TM之間傳送/接收(交換)其輸入延遲Ti和輸出延遲
To0
(2)可以通過在各終端TM之間以固定間隔交換用于測量的分組來更新可變傳送延遲Tn，而基于RTT可以容易獲取傳送延遲Tn，無需各終端TM之間的高精度時鐘同步(可以忽略由傳送方向引起的誤差)。
(3)通過包含作為周期交換的分組中的變量的接收緩沖器大小，各終端TM可以在各終端TM之間交換接收緩沖器大小的最新值。
如上所述，在根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)中，終端A獲取表示其自己的從輸入音頻信號到開始傳送該音頻信號的延遲時間的輸入延遲時間Tia、表示從開始傳送音頻信號到由對方終端B接收該音頻信號的延遲時間的從終端A到對方終端B的傳送延遲時間Τη、表示從由對方終端B的接收緩沖部分BFb接收音頻信號到由對方終端B輸出該音頻信號的延遲時間的對方終端接收緩沖延遲時間Tbfb、以及表示從自接收緩沖部分BFb輸入音頻信號到由對方終端B的音頻再現部分DRob輸出該音頻信號的延遲時間的對方終端輸出延遲時間Tob，來對這些延遲時間Tia、Tn、Tbfb和Tob進行求和，以確定表示從終端A上輸入音頻信號到由對方終端B的音頻再現部分DRob輸出該音頻信號的延遲時間的輸入/輸出延遲時間Ttab。
[操作示例]
圖4示出了根據本發(fā)明實施例的用于網絡音樂會話的延遲測量系統(tǒng)的操作流程示例。換言之，圖4示出了表示由CPU1、RAM2和R0M3形成的數據處理部分(計算機部分)所執(zhí)行的程序的流程圖。在該示例中，操作流程示出了會話終端A和會話終端B彼此連接以執(zhí)行網絡音樂會話的情況，終端A和終端B相似地進行操作以執(zhí)行對稱操作。因此，在下面的描述中，將并列書寫用于終端A和終端B之間的相似操作的步驟編號和(添加了字母“a”和“b”的)參考符號。因此，在描述中將始終并列提供步驟編號和參考符號，以與它們出現的順序彼此對應。
首先，終端A、B事先分別測量它們自己的聲音輸入延遲Tia、Tib和聲音輸出延遲Toa、Tob。當在終端A、B之間建立連接之后作出開始對終端A、B進行測量的用戶指令時，終端A、B分別進入步驟Al、BI，以將已測得的它們自己的聲音輸入延遲Tia、Tib和聲音輸出延遲Toa、Tob相互傳送。因此，在下一步驟A2、B2，終端A、B可以接收并獲取它們相應對方終端B、A的聲音輸入延遲Tib、Tia和聲音輸出延遲Tob、Toa，從而進一步分別進入步驟A3至A4、B3 至 B4。
在步驟A3、B3，終端A、B在終端A、B連接期間以固定間隔分別計算它們自己的接收緩沖延遲Tbfa、Tbfb，并且分別將附加有算出的接收緩沖延遲Tbfa、Tbfb的分組相互傳送，以分別接收并獲取它們對方終端B、A的接收緩沖延遲Tbfb、Tbfa。換言之，由于在終端A、B之間的連接期間由它們的系統(tǒng)根據網絡CN的通信量來自動控制終端A、B的接收緩沖器BF的接收緩沖延遲Tbfa、Tbfb,或者所述系統(tǒng)的用戶可以改變接收緩沖延遲Tbfa、Tbfb,因此以固定間隔對接收緩沖延遲Tbfa、Tbfb進行更新。 在步驟A4、B4，通過周期性地發(fā)出(傳送)用于網絡(傳送)延遲測量的分組pka、pkb，終端A、B測量網絡(傳送)延遲Tn，以以固定間隔更新傳送延遲Τη。例如，如圖所示，當終端A傳送測量分組pka時,終端A將該分組要被傳送的時刻tia記錄(時間標記)在分組pka上，而終端B響應于分組pka的接收而記錄表示接收時刻的時刻t2b。然后，當終端B傳送周期分組pkb時,終端B將表示最近從終端A接收到的分組pka的傳送時刻的時刻tia、表示分組pka的接收時刻的時刻t2b、以及表示分組pkb的傳送時刻的時刻t3b記錄(時間標記)在分組pkb上。當終端A接收到分組pkb時,終端A基于表示終端A傳送時刻的時刻tia、表示對方終端B接收時刻的時刻t2b、記錄在分組pkb上的表示對方終端B傳送時刻的時刻t3b、以及表示分組pkb的接收時刻的時刻t4a而根據等式(3)來計算出傳送延遲Τη。如添加的字母“a”所示，時刻tia、t4a所表示的值是由終端A的時鐘所計的值。如添加的字母“b”所示，時刻t2b、t3b所表示的值是由終端B的時鐘所計的值。
Tn=[ (t4a-tla)-(t3b~t2b)]/2...(3)
同樣關于終端B，也可以與終端A相似地計算出傳送延遲Τη。在此情況下，當終端A在時刻t4a接收到分組pkb之后傳送周期分組pka時，如圖中虛線所示，終端A將由終端B發(fā)送最近接收到的分組pkb的傳送時刻t3b、終端A接收到分組pkb的接收時刻t4a、終端A將要發(fā)送分組pka的時刻t5a記錄(時間標記)在分組pka上。當終端B接收到分組pka (虛線)時，終端B基于表示終端B的傳送時刻的時刻t3b、表示對方終端A的接收時刻的時刻t4a、記錄在分組pka上的表示對方終端A的傳送時刻的時刻t5a、以及表示分組pka(虛線)的接收時刻的時刻t6b而根據等式(4)來計算出傳送延遲Τη。
Tn=[ (t6b-t3b)-(t5a-t4a)]/2...(4)
在終端A和終端B的連接期間，步驟A3至步驟A4、步驟B3至步驟B4中的基于分組周期傳送而取回延遲信息Tbf、Tn的操作被連續(xù)地重復。在上述說明中，單獨的分組用于將接收緩沖延遲Tbf的傳送和取回與時間標記的傳送和傳送延遲Tn的取回分開。然而，可以通過單個分組來進行接收緩沖延遲Tbf和時間標記的傳送。
在步驟A3至A4、步驟B3至B4之后，處理進行至步驟A5至A6、步驟B5至B6。在步驟A5、B5,終端A、B分別對它們自己的聲音輸入延遲Tia、Tib、它們相應對方的接收緩沖延遲Tbfb、Tbfa和聲音輸出延遲Tob、Toa、以及單向傳送延遲Tn進行求和，以分別計算出終端A和B、終端B和A之間的輸入/輸出延遲時間Ttab、Ttba。此外，在步驟A6、B6，對它們相應對方的聲音輸入延遲Tib、Tia、它們自己的接收緩沖延遲Tbfa、Tbfb和聲音輸出延遲Toa、Tob、以及單向傳送延遲Tn進行求和，以計算出終端B和A、終端A和B之間的輸入/輸出延遲時間Ttba、Ttab。在步驟A6、B6之后，處理返回到步驟A3、B3，以分別重復步驟A3至A6、步驟B3至B6 (未示出)，響應于終止測量的用戶指令而返回到初始狀態(tài)。
針對由終端A執(zhí)行的步驟A5和A6、由終端B執(zhí)行的步驟B5和B6，處理可以被修改成將執(zhí)行這些步驟中的至少一個(例如，在終端A上的僅步驟A5或步驟A6，而在終端B上的僅步驟B5或步驟B6)。
【權利要求】
1.一種用于網絡音樂會話的延遲測量設備，所述延遲測量設備被提供在會話終端上，所述會話終端與對方會話終端執(zhí)行網絡音樂會話，其中所述對方會話終端通過通信網絡連接到所述會話終端使得所述會話終端與所述對方會話終端進行通信，所述延遲測量設備包括: 終端輸入延遲取回裝置，其用于取回所述會話終端上的從輸入音頻信號到開始傳送該音頻信號的終端輸入延遲時間； 傳送延遲取回裝置，其用于取回從所述會話終端到所述對方會話終端的傳送延遲時間，所述傳送延遲時間是從由所述會話終端開始傳送音頻信號到由所述對方會話終端接收該音頻信號所用的時間； 對方接收緩沖延遲取回裝置，其用于取回從由所述對方會話終端的接收緩沖部分接收音頻信號到將該音頻信號輸入至所述對方會話終端的音頻再現部分的對方接收緩沖延遲時間； 對方輸出延遲取回裝置，其用于取回所述對方會話終端上的從自所述接收緩沖部分輸入音頻信號到由所述音頻再現部分輸出該音頻信號的對方輸出延遲時間；以及 輸入/輸出延遲時間確定裝置，其用于對由所述終端輸入延遲取回裝置取回的終端輸入延遲時間、由所述傳送延遲取回裝置取回的從所述會話終端到所述對方會話終端的傳送延遲時間、由所述對方接收緩沖延遲取回裝置取回的對方接收緩沖延遲時間、以及由所述對方輸出延遲取回裝置取回的對方輸出延遲時間進行求和，并且確定從所述會話終端上輸入音頻信號到由所述對方會話終端的音頻再現部分輸出該音頻信號的輸入/輸出延遲時間。
2.根據權利要求1所述的用于網絡音樂會話的延遲測量設備，其中 所述傳送延遲取回裝置通過使用測量分組來取回更新的從所述會話終端到所述對方會話終端的傳送延 遲時間，所述測量分組在所述會話終端與所述對方會話終端之間以固定間隔被傳送和接收，以監(jiān)視所述測量分組被傳送和接收的時刻。
3.根據權利要求1所述的用于網絡音樂會話的延遲測量設備，其中 所述對方會話終端的接收緩沖部分的緩沖大小自動改變，或者根據用戶操作而改變；并且 所述對方接收緩沖延遲取回裝置從所述對方會話終端取回根據所述緩沖大小而定期算出的更新的對方接收緩沖延遲時間。
4.根據權利要求1所述的用于網絡音樂會話的延遲測量設備，其中 所述終端輸入延遲時間包括由音頻輸出部分對輸入音頻信號進行A/D轉換和編碼而引起的延遲時間。
5.根據權利要求1所述的用于網絡音樂會話的延遲測量設備，其中 所述對方輸出延遲時間包括由所述對方會話終端的音頻再現部分對輸入音頻信號進行解碼和D/A轉換而引起的延遲時間；并且 所述對方輸出延遲取回裝置響應于與所述對方會話終端建立連接而從所述對方會話終端取回所述對方輸出延遲時間。
6.一種用于網絡音樂會話的延遲測量方法，所述方法在會話終端上執(zhí)行，所述會話終端與對方會話終端執(zhí)行網絡音樂會話，其中所述對方會話終端通過通信網絡連接到所述會話終端使得所述會話終端與所述對方會話終端進行通信，所述方法包括: 終端輸入延遲取回步驟，用于取回所述會話終端上的從輸入音頻信號到開始傳送該音頻信號的終端輸入延遲時間； 對方輸出延遲取回步驟，用于取回所述對方會話終端上的從自接收緩沖部分輸入音頻信號到由音頻再現部分輸出該音頻信號的對方輸出延遲時間； 對方接收緩沖延遲取回步驟，用于取回從由所述對方會話終端的接收緩沖部分接收音頻信號到將該音頻信號輸入至所述對方會話終端的音頻再現部分的對方接收緩沖延遲時間； 傳送延遲取回步驟，用于取回從所述會話終端到所述對方會話終端的傳送延遲時間，所述傳送延遲時間是從由所述會話終端開始傳送音頻信號到由所述對方會話終端接收該音頻信號所用的時間；以及 輸入/輸出延遲時間確定步驟，用于對在所述終端輸入延遲取回步驟取回的終端輸入延遲時間、在所述對方輸出延遲取回步驟取回的對方輸出延遲時間、在所述對方接收緩沖延遲取回步驟取回的對方接收緩沖延遲時間、以及在所述傳送延遲取回步驟取回的從所述會話終端到所述對方會話終端的傳送延遲時間進行求和，并且確定從所述會話終端上輸入音頻信號到由所述對方會話終端的音頻再現部分輸出該音頻信號的輸入/輸出延遲時間。
7.根據權利要求6所述的用于網絡音樂會話的延遲測量方法，其中 所述傳送延遲取回步驟中通過使用測量分組來取回更新的從所述會話終端到所述對方會話終端的傳送延遲時間，所述測量分組在所述會話終端與所述對方會話終端之間以固定間隔被傳送和接收，以監(jiān)視所述測量分組被傳送和接收的時刻。
8.根據權利要求6所述的用于網絡音樂會話的延遲測量方法，其中· 所述對方會話終端的接收緩沖部分的緩沖大小自動改變，或者根據用戶操作而改變；并且 所述對方接收緩沖延遲取回步驟中從所述對方會話終端取回根據所述緩沖大小而定期算出的更新的對方接收緩沖延遲時間。
9.根據權利要求6所述的用于網絡音樂會話的延遲測量方法，其中 所述終端輸入延遲時間包括由音頻輸出部分對輸入音頻信號進行A/D轉換和編碼而引起的延遲時間。
10.根據權利要求6所述的用于網絡音樂會話的延遲測量方法，其中 所述對方輸出延遲時間包括由所述對方會話終端的音頻再現部分對輸入音頻信號進行解碼和D/A轉換而引起的延遲時間；并且 所述對方輸出延遲取回步驟中響應于與所述對方會話終端建立連接而從所述對方會話終端取回所述對方輸出延遲時間。
【文檔編號】H04L29/06GK103856369SQ201310627563
【公開日】2014年6月11日 申請日期:2013年11月29日 優(yōu)先權日:2012年11月30日
【發(fā)明者】原貴洋 申請人:雅馬哈株式會社