在使用實(shí)時(shí)傳輸協(xié)議包播放的圖像中顯示時(shí)間的方法
【專利摘要】本發(fā)明公開了在使用實(shí)時(shí)傳輸協(xié)議(RTP)包播放的圖像中顯示時(shí)間的方法，所述方法包括：由客戶端向媒體服務(wù)器請求圖像播放；在客戶端和媒體服務(wù)器之間交換實(shí)時(shí)流協(xié)議(RTSP)包；由媒體服務(wù)器將包括第一時(shí)間戳的第一RTP包發(fā)送到客戶端，第一時(shí)間戳中記錄有第一圖像幀的第一時(shí)間；由客戶端將第一時(shí)間設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第一圖像幀上；由媒體服務(wù)器將包括第二時(shí)間戳的第二RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有指示第二圖像幀的時(shí)間和第一時(shí)間之間的時(shí)間差的第二時(shí)間；由客戶端將第一時(shí)間和第二時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。
【專利說明】在使用實(shí)時(shí)傳輸協(xié)議包播放的圖像中顯示時(shí)間的方法
[0001]本申請要求于2013年5月22日在韓國知識產(chǎn)權(quán)局提交的第10-2013-0057957號韓國專利申請的權(quán)益，該申請的公開通過引用全部合并于此。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明的一個(gè)或多個(gè)實(shí)施例涉及一種在使用實(shí)時(shí)傳輸協(xié)議(RTP)包播放的圖像中顯示時(shí)間的方法。

【背景技術(shù)】
[0003]樓宇自動化系統(tǒng)(BAS)包括樓宇設(shè)施、現(xiàn)場裝置(諸如傳感器等)、連接到硬件以控制硬件的控制器、以及最后的與控制器合作以監(jiān)視和控制樓宇設(shè)施和現(xiàn)場裝置的樓宇軟件。BAS目的在于使樓宇環(huán)境舒適、迅速處理設(shè)施警報(bào)的發(fā)生并減少能耗和成本。在BAS中，在樓宇設(shè)施周圍安裝有用于監(jiān)視周圍的環(huán)境的監(jiān)視相機(jī)，其中，每個(gè)包的時(shí)間戳被用來顯示監(jiān)視相機(jī)的圖像被再現(xiàn)的時(shí)間，并且時(shí)間戳被用來顯示圖像幀之間的時(shí)間差。
[0004]存在實(shí)時(shí)發(fā)送媒體數(shù)據(jù)(諸如實(shí)時(shí)媒體廣播或視頻會議信息)來通過互聯(lián)網(wǎng)或內(nèi)聯(lián)網(wǎng)驅(qū)動媒體數(shù)據(jù)的高需求，并且已經(jīng)提出了實(shí)施傳輸協(xié)議(RTP)來滿足在網(wǎng)絡(luò)中對寬帶的請求，并且許多媒體裝置最近已經(jīng)使用了 RTP。RTP包包括不指示圖像的準(zhǔn)確時(shí)間的32位時(shí)間戳，但是該32位時(shí)間戳能夠使用戶知曉在兩個(gè)或更多個(gè)圖像流之間采樣的相對時(shí)間關(guān)系。實(shí)時(shí)傳輸控制協(xié)議(RTCP)被用作用于監(jiān)視RTP數(shù)據(jù)傳輸狀態(tài)或發(fā)送與會話相關(guān)的信息的協(xié)議，RTCP包包括網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)時(shí)間戳和RTP時(shí)間戳，其中，可通過NTP時(shí)間戳來獲得絕對時(shí)間信息。如果客戶需要顯示準(zhǔn)確的時(shí)間信息，則推薦使用RTCP包。然而，很多媒體服務(wù)器由于帶寬等的限制可能不常提供RTCP包，在此情況下，通過僅使用RTP包的時(shí)間戳計(jì)算包之間的相對時(shí)間差，來顯示大部分的被再現(xiàn)的媒體的時(shí)間量。例如，當(dāng)媒體總共被再現(xiàn)30分鐘時(shí)，根據(jù)圖像流顯示再現(xiàn)時(shí)間差(諸如5分鐘、10分鐘等)。
[0005]作為出于安全而使用的媒體服務(wù)器，數(shù)字視頻記錄器(DVR)或者網(wǎng)絡(luò)視頻記錄器(NVR)記錄當(dāng)事件發(fā)生時(shí)由監(jiān)視相機(jī)捕捉的圖像，并且當(dāng)在未來播放這些記錄的圖像時(shí)，可能需要知道這些記錄的圖像中的每個(gè)圖像的絕對時(shí)間。應(yīng)該使用RTCP包來知曉每個(gè)記錄的圖像的絕對時(shí)間，但是如果媒體服務(wù)器不提供RTCP包，則需要僅使用客戶端中的RTP來獲得絕對時(shí)間的研究。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的一個(gè)或多個(gè)實(shí)施例包括這樣的方法:當(dāng)在用于存儲被監(jiān)視相機(jī)捕捉的圖像的媒體服務(wù)器和樓宇自動化系統(tǒng)(BAS)服務(wù)器之間傳輸圖像時(shí)，顯示使用實(shí)施傳輸協(xié)議(RTP)包播放的圖像的時(shí)間，從而在樓宇自動化系統(tǒng)(BAS)服務(wù)器中計(jì)算和顯示使用RTP包播放的圖像的準(zhǔn)確時(shí)間。
[0007]將在下面的描述中部分地闡述附加方面，并且從該描述中這部分將是清楚的，或者可通過呈現(xiàn)的實(shí)施例的實(shí)踐來學(xué)習(xí)。
[0008]根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例，一種顯示圖像的時(shí)間的方法，其中，作為由媒體服務(wù)器根據(jù)客戶端的請求發(fā)送圖像的方法的實(shí)時(shí)傳輸協(xié)議(RTP)包播放所述圖像，所述媒體服務(wù)器存儲由監(jiān)視相機(jī)捕捉的圖像，所述方法包括:由客戶端，向媒體服務(wù)器請求圖像播放；在客戶端和媒體服務(wù)器之間交換實(shí)時(shí)流協(xié)議(RTSP)包；由媒體服務(wù)器，將包括第一時(shí)間戳的第一 RTP包發(fā)送到客戶端，第一時(shí)間戳中記錄有第一圖像幀的第一時(shí)間；由客戶端將從第一時(shí)間戳讀取的第一時(shí)間設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第一圖像幀上；由媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有指示第二圖像幀的時(shí)間和第一時(shí)間之間的時(shí)間差的第二時(shí)間；由客戶端，將第一時(shí)間和從第二時(shí)間戳讀取的第二時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。
[0009]第一 RTP包可以是第一次從媒體服務(wù)器發(fā)送到客戶端的圖像幀。
[0010]媒體服務(wù)器可以基于秒轉(zhuǎn)換第一時(shí)間并將基于秒的第一時(shí)間記錄在第一時(shí)間戳中。
[0011]客戶端可將基于秒存儲在第一時(shí)間戳中的第一時(shí)間設(shè)置為當(dāng)前時(shí)間，并在第一圖像幀上顯示當(dāng)前時(shí)間。
[0012]第一 RTP包可以是從媒體服務(wù)器發(fā)送到客戶端的多個(gè)圖像幀中的當(dāng)前圖像幀。
[0013]媒體服務(wù)器可基于頻率轉(zhuǎn)換第二時(shí)間，并將基于頻率的第二時(shí)間記錄在第二時(shí)間戳上，第二時(shí)間指示第二圖像幀的時(shí)間和第一時(shí)間之間的時(shí)間差。
[0014]客戶端可將基于頻率存儲在第二時(shí)間戳中的第二時(shí)間轉(zhuǎn)換為基于秒的第二時(shí)間，將第一時(shí)間和第二時(shí)間的相加值設(shè)置為第二圖像幀的當(dāng)前時(shí)間，并在第二圖像幀上顯示該當(dāng)前時(shí)間。
[0015]所述方法還可包括:如果第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器將第二 RTP包中的擴(kuò)展字段設(shè)置為空值；如果第二時(shí)間超過為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器確定發(fā)生重疊；當(dāng)發(fā)生重疊時(shí)，由媒體服務(wù)器產(chǎn)生校正后的第二時(shí)間；通過媒體服務(wù)器確定校正后的第二時(shí)間是否超過為第二時(shí)間戳設(shè)置的容量，如果校正后的第二時(shí)間超過為第二時(shí)間戳設(shè)置的容量，則產(chǎn)生再次校正后的第二時(shí)間；由媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有校正后的第二時(shí)間或再次校正后的第二時(shí)間。
[0016]校正后的第二時(shí)間可以是第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量的結(jié)果，再次校正后的第二時(shí)間可以是校正后的第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量，直到校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量為止的結(jié)果。
[0017]所述方法還可包括:如果校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量，則通過媒體服務(wù)器將第二 RTP包中的擴(kuò)展字段設(shè)置為第一值；通過媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有校正后的第二時(shí)間。
[0018]所述方法還可包括:如果客戶端檢測到第二 RTP包中的擴(kuò)展字段不為空值，則由客戶端，確定發(fā)生重疊；由客戶端，確認(rèn)第二 RTP包中的擴(kuò)展字段被設(shè)置為第一值；由客戶端，將為第二時(shí)間戳設(shè)置的容量、校正后的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并在第二圖像幀上顯示當(dāng)前時(shí)間。
[0019]所述方法還可包括:如果校正后的第二時(shí)間超過為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器將第二 RTP包中的擴(kuò)展字段設(shè)置為第二值；由媒體服務(wù)器產(chǎn)生再次校正后的第二時(shí)間；通過媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有再次校正后的第二時(shí)間。
[0020]再次校正后的第二時(shí)間可以是校正后的第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量直到校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量為止的結(jié)果。
[0021]所述方法還可包括:由媒體服務(wù)器將減法的最終次數(shù)記錄在第二 RTP包中的頭擴(kuò)展字段中。
[0022]所述方法還可包括:如果客戶端檢測到第二 RTP包中的擴(kuò)展字段不為空值，則由客戶端確定發(fā)生重疊；通過客戶端確認(rèn)第二 RTP包中的擴(kuò)展字段被設(shè)置為第二值；由客戶端，從第二 RTP包中的頭擴(kuò)展字段讀取減法的最終次數(shù)；由客戶端將與減法的最終次數(shù)相應(yīng)的為第二時(shí)間戳設(shè)置的容量、再次校正后的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。

【專利附圖】

【附圖說明】
[0023]從下面結(jié)合附圖對實(shí)施例的描述，這些和/或其他方面將變得清楚和更易于理解，在附圖中:
[0024]圖1是用于顯示使用RTP包播放的圖像的時(shí)間的系統(tǒng)的框圖；
[0025]圖2示出RTP包的配置；
[0026]圖3是根據(jù)本發(fā)明實(shí)施例的顯示使用RTP包播放的圖像的時(shí)間的方法的信號流圖；
[0027]圖4是當(dāng)在圖3中發(fā)生重疊時(shí)媒體服務(wù)器的應(yīng)對方法的流程圖；
[0028]圖5是當(dāng)在圖3中發(fā)生重疊時(shí)客戶端的應(yīng)對方法的流程圖。

【具體實(shí)施方式】
[0029]本發(fā)明可允許各種類型的改變或修改以及形式上的各種改變，將在附圖中詳細(xì)示出并在說明書中詳細(xì)描述特定實(shí)施例。然而，應(yīng)理解，特定實(shí)施例不將本發(fā)明限制為特定的公開形式，而是包括在本發(fā)明的精神和技術(shù)范圍內(nèi)的各種修改、等同或替換的形式。在以下描述中，不詳細(xì)描述公知功能或構(gòu)造，以免由于不必要的細(xì)節(jié)而使本發(fā)明模糊。
[0030]雖然諸如“第一”和“第二”的術(shù)語可被用來描述各種元件，但是這些元件不被術(shù)語限制。術(shù)語可被用來將特定元件與另一元件分類開來。
[0031 ] 在本申請中使用的術(shù)語僅用于描述特定實(shí)施例，而不以任何意圖限制本發(fā)明。單數(shù)形式的表達(dá)包括復(fù)數(shù)形式的表達(dá)，除非在上下文中它們彼此明顯不同。在本申請中，應(yīng)理解諸如“包括”和“具有”的術(shù)語被用來指示實(shí)施的特征、數(shù)量、步驟、操作、元件、部分或其組合的存在，而不預(yù)先排除一個(gè)或多個(gè)其他特征、數(shù)量、步驟、操作、元件、部分或其組合的存在或添加。
[0032]為了理解本發(fā)明，在附圖中示出的示例性實(shí)施例中公開標(biāo)號，并且使用特定術(shù)語來描述本發(fā)明的示例性實(shí)施例。然而，本發(fā)明不被這些特定術(shù)語限制，并且本發(fā)明可包括本領(lǐng)域普通技術(shù)人員可以通常想到的所有組件?？衫霉δ軌K和各種處理步驟來表示本發(fā)明。這些功能快可由用于執(zhí)行特定功能的各種數(shù)量的硬件和/或軟件配置來實(shí)現(xiàn)。例如，本發(fā)明可采用在一個(gè)或多個(gè)處理器或其它控制裝置的控制下實(shí)現(xiàn)各種功能的直接電路構(gòu)造，例如，存儲器、處理邏輯、查找表等。與能夠使用軟件編程或軟件元件來執(zhí)行各種功能的本發(fā)明的組件類似，可利用與數(shù)據(jù)結(jié)構(gòu)、處理、線程和/或其它編程組件的組合實(shí)現(xiàn)的各種算法，通過編程或腳本語言(諸如C、C++、Java或匯編)實(shí)現(xiàn)本發(fā)明?？衫迷谝粋€(gè)或多個(gè)處理器中執(zhí)行的算法來實(shí)現(xiàn)功能性方面。此外，本發(fā)明可采用用于電子環(huán)境設(shè)置、信號處理和/或數(shù)據(jù)處理的現(xiàn)有技術(shù)。諸如“機(jī)械”、“元件”、“裝置”和“構(gòu)造”的術(shù)語可被廣泛使用，并且不限于機(jī)械和物理構(gòu)造。術(shù)語可包括與處理器相關(guān)聯(lián)的一系列軟件線程的意義。
[0033]現(xiàn)在將詳細(xì)參照實(shí)施例，實(shí)施例的示例在附圖中示出，附圖中的相同標(biāo)號始終表示相同元件。對此，本實(shí)施例可具有不同的形式，并且不應(yīng)被解釋為被限制為在此闡述的描述。因此，在下面僅通過參照描述實(shí)施例以解釋本發(fā)明的各個(gè)方面。如這里所使用的，術(shù)語“和/或”包括一個(gè)或多個(gè)相關(guān)列出的項(xiàng)目的任意和所有的組合。
[0034]圖1是用于顯示使用實(shí)時(shí)傳輸協(xié)議(RTP)包播放的圖像的時(shí)間的系統(tǒng)的框圖。參照圖1，系統(tǒng)可包括至少一個(gè)監(jiān)視相機(jī)100、用作安全裝置的媒體服務(wù)器200以及作為客戶端的樓宇自動化系統(tǒng)(BAS)服務(wù)器，其中，媒體服務(wù)器200包括存儲由至少一個(gè)監(jiān)視相機(jī)100捕捉的圖像的數(shù)字視頻記錄器(DVR)或網(wǎng)絡(luò)視頻記錄器(NVR)。至少一個(gè)監(jiān)視相機(jī)100、媒體服務(wù)器200和BAS服務(wù)器300以有線和/或無線方式通過網(wǎng)絡(luò)彼此連接，以執(zhí)行數(shù)據(jù)通信。
[0035]至少一個(gè)監(jiān)視相機(jī)100被安裝在設(shè)施周圍，以拍攝周圍環(huán)境并將捕捉的圖像發(fā)送到媒體服務(wù)器200。BAS服務(wù)器300可向媒體服務(wù)器200請求圖像播放，并監(jiān)視從媒體服務(wù)器200實(shí)時(shí)接收到的由至少一個(gè)監(jiān)視相機(jī)100捕捉的圖像。
[0036]此時(shí)，媒體服務(wù)器200和BAS服務(wù)器300根據(jù)RTP通信規(guī)定發(fā)送和接收圖像數(shù)據(jù)。當(dāng)媒體服務(wù)器200將圖像數(shù)據(jù)實(shí)時(shí)發(fā)送到BAS服務(wù)器300時(shí)，RTP被用于平滑需要寬的帶寬的圖像數(shù)據(jù)的實(shí)時(shí)傳輸。
[0037]在媒體服務(wù)器200將RTP包發(fā)送到作為客戶端的BAS服務(wù)器300之前，媒體服務(wù)器200和BAS服務(wù)器300交換實(shí)時(shí)流協(xié)議(RTSP)包。RTSP包指示在媒體服務(wù)器200和BAS服務(wù)器300之間交換的控制信息(描述、設(shè)置、播放等)以初始化RTP通信。通過交換RTSP包，BAS服務(wù)器300被媒體服務(wù)器200認(rèn)證，并通過RTSP包發(fā)送和接收在從媒體服務(wù)器200接收圖像數(shù)據(jù)之前所需要的信息。最后，在接收RTP包之前，從BAS服務(wù)器300將PLAY命令發(fā)送到媒體服務(wù)器200，其中，BAS服務(wù)器300通過PLAY命令將圖像請求時(shí)間發(fā)送到媒體服務(wù)器200。媒體服務(wù)器200可發(fā)送由BAS服務(wù)器300請求的時(shí)間的圖像數(shù)據(jù)或者與請求的時(shí)間最接近的時(shí)間的圖像數(shù)據(jù)作為RTP包。也就是說，BAS服務(wù)器300可不接收請求的時(shí)間的圖像數(shù)據(jù)。
[0038]圖2示出RTP包的配置。參照圖2，RTP包包括32位時(shí)間戳21，該32位時(shí)間戳21反應(yīng)了 RTP數(shù)據(jù)八位字節(jié)的采樣瞬間。每當(dāng)發(fā)送了一個(gè)圖像幀，媒體服務(wù)器200就計(jì)算前一(第一)圖像幀和當(dāng)前(第二)圖像真之間的時(shí)間差，將時(shí)間差轉(zhuǎn)換為頻率(Hz)，將頻率(Hz)記錄在每個(gè)RTP包的時(shí)間戳21中，將RTP包發(fā)送到BAS服務(wù)器300。BAS服務(wù)器300通過接收每個(gè)RTP包來形成一個(gè)圖像幀，其中，BAS服務(wù)器300基于圖像幀計(jì)算前一圖像幀和當(dāng)前圖像幀之間的時(shí)間差，將頻率(Hz)轉(zhuǎn)換為協(xié)調(diào)世界時(shí)(UTC:指示絕對時(shí)間或當(dāng)前時(shí)間)，并在正在播放的圖像中顯示經(jīng)過的時(shí)間值。也就是說，當(dāng)使用每個(gè)RTP包的時(shí)間戳21時(shí)，可以感知到在RTP包之間經(jīng)過的時(shí)間或者在由多個(gè)RTP包構(gòu)成的圖像幀之間經(jīng)過的時(shí)間。
[0039]然而，為了獲得圖像幀的準(zhǔn)確時(shí)間值，BAS服務(wù)器300應(yīng)該從媒體服務(wù)器200接收實(shí)時(shí)傳輸控制協(xié)議(RTCP)包。RTCP包提供發(fā)送和接收或者控制與RTP圖像流相關(guān)的外部信息的方法。更具體地說，作為RTCP包的功能，首先，通知將被發(fā)送的圖像流的絕對時(shí)間(UTC)信息和RTP時(shí)間戳以及發(fā)送的圖像包的總數(shù)量。其次，將接收到的圖像流的抖動、包丟失和估計(jì)的通信時(shí)延值發(fā)送給發(fā)送方。第三，通知圖像流發(fā)送方的諸如名稱、電子郵件地址等的信息。第四，當(dāng)媒體源離開會話時(shí)，將該事實(shí)通知給另一方。第五，提供擴(kuò)展的RTCP包。RTCP包不是實(shí)際的圖像信息，而是用于控制RTP數(shù)據(jù)的附加信息，并且由于RTP包需要寬的帶寬，因此以僅占整個(gè)發(fā)送數(shù)據(jù)量的0.5%的量來發(fā)送RTCP包。該百分比可根據(jù)情況而改變，并且媒體服務(wù)器200控制RTCP包的發(fā)送百分比。如上所述，RTCP包攜帶RTP時(shí)間戳和絕對時(shí)間(UTC)。如果客戶端(包括300)周期性地接收絕對時(shí)間，則該客戶端可獲得當(dāng)前正被播放的圖像幀的準(zhǔn)確時(shí)間。然而，很多媒體服務(wù)器(包括200)可能由于帶寬等的限制而不常提供RTCP包，在這種環(huán)境下，客戶端不易于獲得圖像幀的準(zhǔn)確時(shí)間。
[0040]因此，根據(jù)本發(fā)明的實(shí)施例，為了克服該限制，首先，當(dāng)BAS服務(wù)器300請求媒體服務(wù)器200發(fā)送圖像時(shí)，媒體服務(wù)器200基于秒轉(zhuǎn)換當(dāng)前時(shí)間，在第一 RTP包的時(shí)間戳21中記錄基于秒的當(dāng)前時(shí)間，并將第一 RTP包發(fā)送到BAS服務(wù)器300。根據(jù)RTP通信規(guī)定，隨機(jī)值被插入第一 RTP包的時(shí)間戳21中。由于隨機(jī)值被當(dāng)前時(shí)間值代替，因此滿足RTP通信規(guī)定。因此，BAS服務(wù)器300可從接收到的第一 RTP包的時(shí)間戳21中獲得當(dāng)前時(shí)間。
[0041]第二，當(dāng)發(fā)送下一 RTP包時(shí)，媒體服務(wù)器200基于頻率基于發(fā)送的第一時(shí)間戳21轉(zhuǎn)換與前一圖像幀的時(shí)間差，將基于頻率的時(shí)間差記錄在下一圖像幀的時(shí)間戳21中，并將下一圖像幀發(fā)送到BAS服務(wù)器300。
[0042]當(dāng)每次從媒體服務(wù)器200接收到RTP包時(shí)，BAS服務(wù)器300都將記錄在每個(gè)RTP包的時(shí)間戳21中的頻率轉(zhuǎn)換為前一圖像幀和當(dāng)前圖像幀之間的基于秒的時(shí)間差，持續(xù)將轉(zhuǎn)換的時(shí)間差添加到記錄在接收到的第一 RTP包的時(shí)間戳中的當(dāng)前時(shí)間，從而獲得準(zhǔn)確的當(dāng)前時(shí)間。
[0043]根據(jù)RTP通信規(guī)定，由于為時(shí)間戳21設(shè)置的容量是32比特(232_1 = 4294967295)，因此時(shí)間的表示肯定存在限制。也就是說，在從媒體服務(wù)器200接收到的時(shí)間戳21的值中可能出現(xiàn)重疊現(xiàn)象。換句話說，可能發(fā)生每個(gè)RTP包的時(shí)間戳21的值持續(xù)增加而后迅速減少的現(xiàn)象。當(dāng)發(fā)生重疊時(shí)，BAS服務(wù)器300通過使用BAS服務(wù)器300中的算法來計(jì)算圖像幀之間增加的時(shí)間值。
[0044]然而問題在于，媒體服務(wù)器200可能在預(yù)定時(shí)間內(nèi)不記錄任何圖像，而不是在所有的時(shí)間中持續(xù)記錄圖像。當(dāng)不記錄的時(shí)間間隔是47721秒或更長時(shí)，發(fā)生重疊。當(dāng)不記錄的時(shí)間間隔是95443秒或更長時(shí)，也發(fā)生重疊。這是由于為時(shí)間戳21設(shè)置的容量是32比特。BAS服務(wù)器300不能知曉導(dǎo)致重疊的不記錄時(shí)間間隔的值。因此，現(xiàn)在將描述根據(jù)本發(fā)明實(shí)施例的，通過媒體服務(wù)器200向BAS服務(wù)器300通知準(zhǔn)確的記錄間隔，來在BAS服務(wù)器300中準(zhǔn)確地顯示圖像播放時(shí)間的方法。
[0045]圖3是根據(jù)本發(fā)明實(shí)施例的顯示使用RTP包播放的圖像的時(shí)間的方法的信號流圖。在此不重復(fù)參照圖1和圖2進(jìn)行的描述。
[0046]參照圖3，在操作S100，BAS服務(wù)器300請求媒體服務(wù)器200以圖像播放。
[0047]在操作SllO和S120，在媒體服務(wù)器200和BAS服務(wù)器300之間交換RTSP包，作為用于初始化媒體服務(wù)器200和BAS服務(wù)器300之間的RTP通信的控制信息。
[0048]在完成RTSP包的交換之后，在操作S130，媒體服務(wù)器200將包括第一時(shí)間戳的第一 RTP包發(fā)送到BAS服務(wù)器300，在第一時(shí)間戳中記錄了第一圖像幀的第一時(shí)間。第一 RTP包可以是第一次從第一服務(wù)器200發(fā)送到BAS服務(wù)器300的圖像幀。在此情況下，媒體服務(wù)器200基于秒轉(zhuǎn)換第一時(shí)間，并將基于秒的第一時(shí)間記錄在第一 RTP包的時(shí)間戳21中。第一 RTP包可以是從媒體服務(wù)器200發(fā)送到BAS服務(wù)器300的多個(gè)圖像幀中的當(dāng)前圖像中貞。在此情況下，第一時(shí)間可以是當(dāng)前圖像幀的時(shí)間和前一圖像幀的時(shí)間之間的時(shí)間差，媒體服務(wù)器200可基于頻率(Hz)轉(zhuǎn)換第一時(shí)間，并將基于頻率的第一時(shí)間記錄在第一 RTP包的時(shí)間戳21中。
[0049]在操作S140，已從媒體服務(wù)器200接收到第一 RTP包的BAS服務(wù)器300將從第一時(shí)間戳讀取的第一時(shí)間設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第一圖像幀上。第一 RTP包可以是由BAS服務(wù)器300第一次從媒體服務(wù)器200接收到的圖像幀。在此情況下，BAS服務(wù)器300基于秒將存儲在第一時(shí)間戳中的第一時(shí)間設(shè)置為當(dāng)前時(shí)間并在第一圖像幀上顯示當(dāng)前時(shí)間。第一 RTP包可以是由BAS服務(wù)器300從媒體服務(wù)器200接收到的多個(gè)圖像幀中的當(dāng)前圖像幀。在此情況下，第一時(shí)間可以是基于頻率被轉(zhuǎn)換的當(dāng)前圖像幀的時(shí)間和前一圖像幀的時(shí)間之間的時(shí)間差，BAS服務(wù)器300可將第一時(shí)間轉(zhuǎn)換為基于秒的第一時(shí)間，將前一時(shí)間和該第一時(shí)間的相加值設(shè)置為當(dāng)前時(shí)間，并在第一圖像幀上顯示當(dāng)前時(shí)間。
[0050]在操作S150，媒體服務(wù)器200將包括第二時(shí)間戳的第二 RTP包發(fā)送到BAS服務(wù)器300，在第二時(shí)間戳中記錄有指示第二圖像幀的時(shí)間和第一時(shí)間之間的時(shí)間差的第二時(shí)間。第二 RTP包可以是第二次從媒體服務(wù)器200發(fā)送到BAS服務(wù)器300的圖像幀。在此情況下，媒體服務(wù)器200基于頻率轉(zhuǎn)換指示第二圖像幀的時(shí)間和第一圖像幀的時(shí)間之間的時(shí)間差的第二時(shí)間，并將基于頻率的第二時(shí)間記錄在第二 RTP包的時(shí)間戳21。第二 RTP包可以是從媒體服務(wù)器200發(fā)送到BAS服務(wù)器300的多個(gè)圖像幀中的當(dāng)前圖像幀。在此情況下，第二時(shí)間可以是當(dāng)前圖像幀的時(shí)間和前一圖像幀的時(shí)間之間的時(shí)間差，媒體服務(wù)器200可基于頻率(Hz)轉(zhuǎn)換第二時(shí)間，并將基于頻率的第二時(shí)間記錄在第二 RTP包的時(shí)間戳21中。
[0051]在操作S160，已從媒體服務(wù)器200接收到第二 RTP包的BAS服務(wù)器300將從第二時(shí)間戳讀取的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。第二 RTP包可以是由BAS服務(wù)器300第二次從媒體服務(wù)器200接收到的圖像幀。在此情況下，BAS服務(wù)器300將存儲在第二時(shí)間戳中的基于頻率的第二時(shí)間轉(zhuǎn)換為基于秒的第二時(shí)間，將基于秒的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。第二 RTP包可以是由BAS服務(wù)器300從媒體服務(wù)器200接收到的多個(gè)圖像幀中的當(dāng)前圖像幀。在此情況下，第二時(shí)間可以是基于頻率轉(zhuǎn)換的當(dāng)前圖像幀的時(shí)間和前一圖像幀的時(shí)間之間的時(shí)間差，BAS服務(wù)器300可將第二時(shí)間轉(zhuǎn)換為基于秒的第二時(shí)間，將前一時(shí)間與基于秒的第二時(shí)間的相加值設(shè)置為當(dāng)前時(shí)間，并在第二圖像幀上顯示當(dāng)前時(shí)間。
[0052]圖4是當(dāng)在圖3中發(fā)生重疊時(shí)媒體服務(wù)器200的應(yīng)對方法的流程圖。在此不重復(fù)參照圖1至圖3進(jìn)行的描述。
[0053]參照圖4，在操作S160，媒體服務(wù)器200確定被記錄在第二 RTP包的第二時(shí)間戳中的第二時(shí)間是否大于為第二時(shí)間戳設(shè)置的容量。根據(jù)RTP通信規(guī)定，為時(shí)間戳21設(shè)置的容量是32比特(232-1 = 4294967295)。此外，第二時(shí)間指示當(dāng)前(第二)圖像幀和前一(第一)圖像幀之間的時(shí)間差。
[0054]如果第二時(shí)間比為第二時(shí)間戳設(shè)置的容量大，則在操作S170，媒體服務(wù)器200確定發(fā)生重疊。如果第二時(shí)間比為第二時(shí)間戳設(shè)置的容量小，則媒體服務(wù)器200將第二 RTP包中的擴(kuò)展(X)字段設(shè)置為空值。
[0055]在操作S180，作為將從第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量(232_1 =4294967295)的結(jié)果，媒體服務(wù)器200產(chǎn)生校正后的第二時(shí)間。
[0056]在完成校正后的第二時(shí)間的產(chǎn)生之后，媒體服務(wù)器200在操作S190確定校正后的時(shí)間是否比為第二時(shí)間戳設(shè)置的容量大。
[0057]如果校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量，則媒體服務(wù)器200在操作S200將第二 RTP包中的擴(kuò)展(X)字段設(shè)置為第一值(例如，零(O))。參照圖2，RTP包結(jié)構(gòu)包括X字段22，當(dāng)X字段22被設(shè)置為第二值時(shí)，X字段22指示在頭擴(kuò)展字段23中記錄有附加信息。
[0058]在將第二 RTP包中的X字段22設(shè)置為第一值之后，媒體服務(wù)器200在操作S210將包括第二時(shí)間戳的第二 RTP包發(fā)送到BAS服務(wù)器300，在第二時(shí)間戳中記錄有校正后的第二時(shí)間。
[0059]相反，如果校正后的第二時(shí)間仍然大于為第二時(shí)間戳設(shè)置的容量，則媒體服務(wù)器200在操作S220將X字段22設(shè)置在第二 RTP包中作為第二值(例如，I)。當(dāng)X字段22被設(shè)置為第二值時(shí)，X字段22指示在頭擴(kuò)展字段23中記錄有附加信息。
[0060]在操作S230，媒體服務(wù)器200通過從校正后的第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量(232-1 = 4294967295)來產(chǎn)生再次校正的第二時(shí)間，直到校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量為止。校正后的第二時(shí)間指示從第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量一次的結(jié)果，再次校正的第二時(shí)間指示從第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量兩次或更多次的結(jié)果。
[0061]在完成再次校正的第二時(shí)間的產(chǎn)生之后，媒體服務(wù)器200在操作S240將從第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量的最終次數(shù)記錄在第二 RTP包的頭擴(kuò)展字段23中。
[0062]在完成將減法的最終次數(shù)記錄在頭擴(kuò)展字段23中之后，媒體服務(wù)器200在操作S250將包括第二時(shí)間戳的第二 RTP包發(fā)送到BAS服務(wù)器300，在第二時(shí)間戳中記錄有再次校正后的第二時(shí)間。
[0063]圖5是當(dāng)在圖3中發(fā)生重疊時(shí)作為客戶端的BAS服務(wù)器300的應(yīng)對方法的流程圖。在此不重復(fù)參照圖1至圖4進(jìn)行的描述。
[0064]參照圖5，在操作S260，BAS服務(wù)器300確定從媒體服務(wù)器200接收到的第二 RTP包中的擴(kuò)展字段是否為空值。
[0065]如果第二 RTP包中的擴(kuò)展字段不為空值，則BAS服務(wù)器300在操作S270確定發(fā)生重疊。如上所述，如果接收到的當(dāng)前(第二)圖像幀的時(shí)間小于前一(第一)圖像幀的時(shí)間，則BAS服務(wù)器300確定發(fā)生重疊。
[0066]如果發(fā)生重疊，則BAS服務(wù)器300在操作S280通過檢查第二 RTP包中的X字段22的值，來確定X字段22被設(shè)置為第一值還是第二值。
[0067]如果X字段22被設(shè)置為第一值，則BAS服務(wù)器300在操作S290將為第二時(shí)間戳設(shè)置的容量(232_1 = 4294967295)、校正后的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并在第二圖像幀上顯示當(dāng)前時(shí)間。
[0068]相反，如果X字段22被設(shè)置為第二值，則BAS服務(wù)器300在操作S300從第二 RTP包中的頭擴(kuò)展字段23讀取減法的最終次數(shù)。
[0069]之后，BAS服務(wù)器300在操作S310將與減法的最終次數(shù)相應(yīng)的為第二時(shí)間戳設(shè)置的容量((232_1 = 4294967295) X減法的最終次數(shù))、校正后的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。
[0070]根據(jù)本發(fā)明的本實(shí)施例，當(dāng)從媒體服務(wù)器200將圖像發(fā)送到BAS服務(wù)器300時(shí)，即使沒有從媒體服務(wù)器200向BAS服務(wù)器300提供RTCP包，BAS服務(wù)器300也可通過使用RTP包(通過該RTP包只可容易地感知圖像幀之間的時(shí)間差)來顯示每個(gè)圖像的準(zhǔn)確的播放時(shí)間。
[0071]如上所述，與現(xiàn)有技術(shù)(當(dāng)在媒體服務(wù)器和BAS服務(wù)器之間傳輸圖像時(shí)，使用由BAS服務(wù)器接收到的RTP包僅可容易地感知圖像幀之間的時(shí)間差)相比，根據(jù)本發(fā)明的以上實(shí)施例中的一個(gè)或多個(gè)，即使不向BAS服務(wù)器提供RTCP包，也可僅使用接收到的RTP包來計(jì)算和顯示正被播放的圖像的準(zhǔn)確時(shí)間。
[0072]本發(fā)明還可被實(shí)施為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀記錄介質(zhì)是可存儲之后可由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲裝置。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲裝置以及載波(諸如通過互聯(lián)網(wǎng)的數(shù)據(jù)傳輸)。計(jì)算機(jī)可讀記錄介質(zhì)還可被分布在聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，從而計(jì)算機(jī)可讀代碼以分布方式被存儲和執(zhí)行。此外，用于完成本發(fā)明的功能程序、代碼和代碼段可由屬于本發(fā)明【技術(shù)領(lǐng)域】的編程人員簡單地解釋。
[0073]此外，本發(fā)明的其他實(shí)施例還可通過介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))中/上的用于控制至少一個(gè)處理元件實(shí)現(xiàn)上述任何實(shí)施例的計(jì)算機(jī)可讀代碼/指令來實(shí)現(xiàn)。介質(zhì)可對應(yīng)于允許存儲器和/或計(jì)算機(jī)可讀代碼的傳輸?shù)娜魏谓橘|(zhì)/媒體。
[0074]利用包括記錄介質(zhì)(諸如磁存儲介質(zhì)(例如，ROM、軟盤、硬盤等)、光記錄介質(zhì)(例如，CD-ROM或DVD)、諸如互聯(lián)網(wǎng)傳輸介質(zhì)的傳輸介質(zhì))的媒體的示例，計(jì)算機(jī)可讀代碼可以多種方式被記錄在介質(zhì)上或通過介質(zhì)傳輸。因此，根據(jù)本發(fā)明的一個(gè)或多個(gè)實(shí)施例，媒體可以是這樣的定義和可測量的包括或攜帶信號或信息的結(jié)構(gòu)，諸如攜帶比特流的裝置。介質(zhì)還可以是分布式網(wǎng)絡(luò)，從而計(jì)算機(jī)可讀代碼以分布方式被存儲/傳輸和執(zhí)行。此外，處理元件可包括處理器或計(jì)算機(jī)處理器，處理元件可以分布和/或包括在單個(gè)裝置中。
[0075]應(yīng)理解，在本發(fā)明中描述的示例性實(shí)施例應(yīng)被視為僅是描述意義的，而不是為了限制的目的。對每個(gè)實(shí)施例中的特征或方面的描述應(yīng)被一般視為可用于其他實(shí)施例中的其他類似特征或方面。
[0076]雖然已經(jīng)參照附圖描述了本發(fā)明的一個(gè)或多個(gè)實(shí)施例，但是本領(lǐng)域普通技術(shù)人員應(yīng)理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可對本發(fā)明進(jìn)行形式和細(xì)節(jié)上的各種改變。
[0077]可以以與通過將每個(gè)引用的文獻(xiàn)單獨(dú)且具體地合并于本發(fā)明中的示出、以及通過將每個(gè)引用的文獻(xiàn)總體合并于本發(fā)明中的示出相同的方式，將本發(fā)明中引用的所有引用文獻(xiàn)合并到本發(fā)明中，引用文獻(xiàn)包括發(fā)表的文檔、專利申請和專利。
【權(quán)利要求】
1.一種顯示圖像的時(shí)間的方法，其中，作為由媒體服務(wù)器根據(jù)客戶端的請求發(fā)送圖像的方法的實(shí)時(shí)傳輸協(xié)議RTP包播放所述圖像，所述媒體服務(wù)器存儲由監(jiān)視相機(jī)捕捉的圖像，所述方法包括: 由客戶端，向媒體服務(wù)器請求圖像播放； 在客戶端和媒體服務(wù)器之間交換實(shí)時(shí)流協(xié)議RTSP包； 由媒體服務(wù)器，將包括第一時(shí)間戳的第一 RTP包發(fā)送到客戶端，第一時(shí)間戳中記錄有第一圖像巾貞的第一時(shí)間； 由客戶端，將從第一時(shí)間戳讀取的第一時(shí)間設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第一圖像幀上； 由媒體服務(wù)器，將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有指示第二圖像幀的時(shí)間和第一時(shí)間之間的時(shí)間差的第二時(shí)間； 由客戶端，將第一時(shí)間和從第二時(shí)間戳讀取的第二時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。
2.如權(quán)利要求1所述的方法，其中，第一RTP包是第一次從媒體服務(wù)器發(fā)送到客戶端的圖像幀。
3.如權(quán)利要求2所述的方法，其中，媒體服務(wù)器基于秒轉(zhuǎn)換第一時(shí)間并將基于秒的第一時(shí)間記錄在第一時(shí)間戳中。
4.如權(quán)利要求3所述的方法,其中，客戶端將基于秒存儲在第一時(shí)間戳中的第一時(shí)間設(shè)置為當(dāng)前時(shí)間，并在第一圖像幀上顯示當(dāng)前時(shí)間。
5.如權(quán)利要求1所述的方法，其中，第一RTP包是從媒體服務(wù)器發(fā)送到客戶端的多個(gè)圖像幀中的當(dāng)前圖像幀。
6.如權(quán)利要求5所述的方法，其中，媒體服務(wù)器基于頻率轉(zhuǎn)換第二時(shí)間，并將基于頻率的第二時(shí)間記錄在第二時(shí)間戳上，第二時(shí)間指示第二圖像幀的時(shí)間和第一時(shí)間之間的時(shí)間差。
7.如權(quán)利要求6所述的方法，其中，客戶端將基于頻率存儲在第二時(shí)間戳中的第二時(shí)間轉(zhuǎn)換為基于秒的第二時(shí)間，將第一時(shí)間和第二時(shí)間的相加值設(shè)置為第二圖像幀的當(dāng)前時(shí)間，并在第二圖像幀上顯示該當(dāng)前時(shí)間。
8.如權(quán)利要求1所述的方法，還包括: 如果第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器將第二 RTP包中的擴(kuò)展字段設(shè)置為空值； 如果第二時(shí)間超過為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器確定重疊的發(fā)生； 當(dāng)發(fā)生重疊時(shí)，由媒體服務(wù)器產(chǎn)生校正后的第二時(shí)間； 由媒體服務(wù)器確定校正后的第二時(shí)間是否超過為第二時(shí)間戳設(shè)置的容量，如果校正后的第二時(shí)間超過為第二時(shí)間戳設(shè)置的容量，則產(chǎn)生再次校正后的第二時(shí)間； 由媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有校正后的第二時(shí)間或再次校正后的第二時(shí)間。
9.如權(quán)利要求8所述的方法，其中，校正后的第二時(shí)間是第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量的結(jié)果，再次校正后的第二時(shí)間是校正后的第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量，直到校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量為止的結(jié)果。
10.如權(quán)利要求8所述的方法，還包括: 如果校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器將第二 RTP包中的擴(kuò)展字段設(shè)置為第一值； 由媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有校正后的第二時(shí)間。
11.如權(quán)利要求10所述的方法，還包括: 如果客戶端檢測到第二 RTP包中的擴(kuò)展字段不為空值，則由客戶端，確定發(fā)生重疊； 由客戶端確認(rèn)第二 RTP包中的擴(kuò)展字段被設(shè)置為第一值； 由客戶端將為第二時(shí)間戳設(shè)置的容量、校正后的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并在第二圖像幀上顯示當(dāng)前時(shí)間。
12.如權(quán)利要求8所述的方法，還包括: 如果校正后的第二時(shí)間超過為第二時(shí)間戳設(shè)置的容量，則由媒體服務(wù)器，將第二 RTP包中的擴(kuò)展字段設(shè)置為第二值； 由媒體服務(wù)器，產(chǎn)生再次校正后的第二時(shí)間； 由媒體服務(wù)器將包括第二時(shí)間戳的第二 RTP包發(fā)送到客戶端，第二時(shí)間戳中記錄有再次校正后的第二時(shí)間。
13.如權(quán)利要求12所述的方法，其中，再次校正后的第二時(shí)間是校正后的第二時(shí)間減去為第二時(shí)間戳設(shè)置的容量，直到校正后的第二時(shí)間小于為第二時(shí)間戳設(shè)置的容量為止的結(jié)果。
14.如權(quán)利要求13所述的方法，還包括:由媒體服務(wù)器，將減法的最終次數(shù)記錄在第二RTP包中的頭擴(kuò)展字段中。
15.如權(quán)利要求14所述的方法，還包括: 如果客戶端檢測到第二 RTP包中的擴(kuò)展字段不為空值，則由客戶端，確定發(fā)生重疊； 由客戶端確認(rèn)第二 RTP包中的擴(kuò)展字段被設(shè)置為第二值； 由客戶端，從第二 RTP包中的頭擴(kuò)展字段讀取減法的最終次數(shù)； 由客戶端將與減法的最終次數(shù)相應(yīng)的為第二時(shí)間戳設(shè)置的容量、再次校正后的第二時(shí)間和第一時(shí)間的相加結(jié)果設(shè)置為當(dāng)前時(shí)間，并將當(dāng)前時(shí)間顯示在第二圖像幀上。
【文檔編號】H04N21/643GK104185081SQ201410172125
【公開日】2014年12月3日 申請日期:2014年4月25日 優(yōu)先權(quán)日:2013年5月22日
【發(fā)明者】金喜慶, 李政訓(xùn) 申請人:三星泰科威株式會社