信息處理裝置和方法以及程序的制作方法
【專利摘要】本技術(shù)涉及一種能夠減少延遲時(shí)間的信息處理裝置和方法以及程序。信息處理裝置設(shè)置有：估計(jì)單元，對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)，發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，發(fā)送緩沖等待時(shí)間是存儲(chǔ)通過編碼圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所需的時(shí)間，接收緩沖等待時(shí)間是在編碼數(shù)據(jù)的發(fā)送目的地對(duì)編碼數(shù)據(jù)解碼之前存儲(chǔ)編碼數(shù)據(jù)所需的時(shí)間；設(shè)定單元，設(shè)定作為在編碼數(shù)據(jù)發(fā)送目的地執(zhí)行的誤差校正處理的處理單位的塊長(zhǎng)度，使得由誤差校正處理所分給的誤差校正接收延遲時(shí)間不超過估計(jì)單元所估計(jì)的接收緩沖等待時(shí)間。本發(fā)明例如可以適用于信息處理裝置。
【專利說明】信息處理裝置和方法以及程序

【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種信息處理裝置和方法以及程序，更具體地，涉及一種能夠更大程度減少延遲時(shí)間的信息處理裝置和方法以及程序。

【背景技術(shù)】
[0002]過去，廣泛使用用于經(jīng)由諸如互聯(lián)網(wǎng)和LAN(局域網(wǎng))的各種網(wǎng)絡(luò)傳遞圖像數(shù)據(jù)(尤其是，運(yùn)動(dòng)圖像數(shù)據(jù))的應(yīng)用和服務(wù)。當(dāng)經(jīng)由網(wǎng)絡(luò)發(fā)送并接收?qǐng)D像數(shù)據(jù)時(shí)，在許多情況下，通過發(fā)送側(cè)的編碼(壓縮)處理減少了數(shù)據(jù)量并將所減少的數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)，然后接收側(cè)對(duì)編碼接收數(shù)據(jù)執(zhí)行解碼(提取)處理以再現(xiàn)數(shù)據(jù)(例如，參見專利文獻(xiàn)I至專利文獻(xiàn)6)。
[0003]在一些情況下，發(fā)送運(yùn)動(dòng)圖像數(shù)據(jù)要求時(shí)效性(所謂的實(shí)時(shí)特性)。例如，當(dāng)由發(fā)送源處的圖像捕獲設(shè)備捕獲并獲得的圖像立即(以所謂的實(shí)時(shí)方式)顯示在發(fā)送目的地的圖像顯示裝置上時(shí)，如果在編碼、發(fā)送、解碼圖像數(shù)據(jù)中存在太多延遲，則運(yùn)動(dòng)圖像的顯示可能被損壞。在這種情況下，為了確保運(yùn)動(dòng)圖像的顯示，在發(fā)送圖像數(shù)據(jù)的過程中需要管理延遲時(shí)間(包括與發(fā)送有關(guān)的處理，諸如編碼和解碼)。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)I JP 2007-311948 A
[0007]專利文獻(xiàn)2 JP 2009-278545 A
[0008]專利文獻(xiàn)3 JP 2008-028541 A
[0009]專利文獻(xiàn)4:日本專利第3617087號(hào)
[0010]專利文獻(xiàn)5 JP 2002-152162 A
[0011]專利文獻(xiàn)6 JP 2004-304809 A


【發(fā)明內(nèi)容】

[0012]技術(shù)問題
[0013]然而，由于高質(zhì)量運(yùn)動(dòng)圖像數(shù)據(jù)具有較大的數(shù)據(jù)大小，因此如果這種運(yùn)動(dòng)圖像數(shù)據(jù)經(jīng)由通?？捎玫闹T如以太網(wǎng)(注冊(cè)商標(biāo))、NGN(下一代網(wǎng)絡(luò))、無線網(wǎng)絡(luò)等的電路進(jìn)行發(fā)送，則延遲量往往會(huì)增加。因此，可能未實(shí)時(shí)進(jìn)行發(fā)送，這可能會(huì)損壞運(yùn)動(dòng)圖像數(shù)據(jù)的顯示，例如，運(yùn)動(dòng)圖像數(shù)據(jù)的顯示可能會(huì)停止，或可能會(huì)被劣化。
[0014]鑒于這些情況做出本技術(shù)，并且本技術(shù)的目的是更大程度減少延遲時(shí)間。
[0015]技術(shù)方案
[0016]根據(jù)本技術(shù)的一方面，提供了一種信息處理裝置，包括:估計(jì)單元，被配置為基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間；設(shè)定單元，被配置為按照誤差校正接收延遲時(shí)間不超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位；插入單元，被配置為以由所述設(shè)定單元設(shè)定的所述塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入所述編碼數(shù)據(jù)；以及發(fā)送單元，被配置為發(fā)送已由所述插入單元插入有所述奇偶性的所述編碼數(shù)據(jù)。
[0017]估計(jì)單元在假設(shè)所述發(fā)送緩沖等待時(shí)間和所述接收緩沖等待時(shí)間的和是恒定的情況下根據(jù)所述發(fā)送緩沖等待時(shí)間估計(jì)所述接收緩沖等待時(shí)間。
[0018]估計(jì)單元可以基于添加到所述編碼數(shù)據(jù)中的視頻控制層同步時(shí)間戳來得到所述發(fā)送緩沖等待時(shí)間。
[0019]當(dāng)發(fā)送緩沖等待時(shí)間改變時(shí)，所述估計(jì)單元使用所述發(fā)送緩沖等待時(shí)間的最長(zhǎng)時(shí)間來估計(jì)所述接收緩沖等待時(shí)間。
[0020]設(shè)定單元在假設(shè)所述誤差校正接收延遲時(shí)間相當(dāng)于接收長(zhǎng)達(dá)所述塊長(zhǎng)度的數(shù)據(jù)所花費(fèi)的時(shí)間的情況下來設(shè)定所述塊長(zhǎng)度。
[0021]在所述誤差校正接收延遲時(shí)間必須要超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間時(shí)，所述設(shè)定單元設(shè)定所述塊長(zhǎng)度使得所述誤差校正接收延遲時(shí)間盡可能短。
[0022]信息處理裝置還可以包括編碼單元，被配置為通過編碼所述圖像數(shù)據(jù)生成所述編碼數(shù)據(jù)，估計(jì)單元可以基于所述編碼單元的所述發(fā)送緩沖等待時(shí)間估計(jì)所述接收緩沖等待時(shí)間。
[0023]編碼單元可以根據(jù)基于行的多媒體數(shù)字信號(hào)編解碼器來編碼所述圖像數(shù)據(jù)，所述基于行的多媒體數(shù)字信號(hào)編解碼器將圖片劃分為多個(gè)行塊并對(duì)每個(gè)行塊進(jìn)行編碼。
[0024]信息處理裝置還可以包括數(shù)據(jù)包生成單元，被配置為對(duì)所述編碼單元生成的所述編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)包化。
[0025]數(shù)據(jù)包生成單元可以將視頻控制層同步時(shí)間戳添加到所生成的數(shù)據(jù)包中，并且估計(jì)單元可以基于添加到所述數(shù)據(jù)包中的所述視頻控制層同步時(shí)間戳得到所述發(fā)送緩沖等待時(shí)間。
[0026]信息處理裝置還可以包括圖像捕獲單元，被配置為捕獲對(duì)象的圖像并生成所述圖像數(shù)據(jù)，編碼單元可以對(duì)由所述圖像捕獲單元生成的所述圖像數(shù)據(jù)進(jìn)行編碼。
[0027]此外，根據(jù)本技術(shù)，提供了一種用于信息處理裝置的信息處理方法，通過信息處理裝置:基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間；按照誤差校正接收延遲時(shí)間不超過所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位；以所設(shè)定的所述塊長(zhǎng)度為處理單位來插入用于誤差校正的奇偶性；以及發(fā)送已插入有所述奇偶性的所述編碼數(shù)據(jù)。
[0028]此外，根據(jù)本技術(shù)的一方面，提供了一種程序，使計(jì)算機(jī)起到以下各部件的作用:估計(jì)單元，被配置為基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間；設(shè)定單元，被配置為按照誤差校正接收延遲時(shí)間不超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位；插入單元，被配置為以由所述設(shè)定單元設(shè)定的所述塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入所述編碼數(shù)據(jù)；以及發(fā)送單元，被配置為發(fā)送已由所述插入單元插入有所述奇偶性的所述編碼數(shù)據(jù)。
[0029]根據(jù)本技術(shù)的一方面，在編碼數(shù)據(jù)在編碼數(shù)據(jù)的發(fā)送目的地處進(jìn)行解碼之前，基于發(fā)送緩沖等待時(shí)間來估計(jì)接收緩沖等待時(shí)間，該發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，接收緩沖等待時(shí)間是累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間，按照誤差校正接收延遲時(shí)間不超過所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，誤差校正接收延遲時(shí)間是在編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位，并且以塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入編碼數(shù)，發(fā)送已插入有奇偶性的編碼數(shù)據(jù)。
[0030]技術(shù)效果
[0031]根據(jù)本技術(shù)，可以處理信息。尤其是，可以更大程度減少發(fā)送圖像數(shù)據(jù)導(dǎo)致的延遲時(shí)間。

【專利附圖】

【附圖說明】
[0032]圖1A和圖1B是示出了數(shù)據(jù)發(fā)送中的延遲率的實(shí)例的示圖。
[0033]圖2A和圖2B是示出了本技術(shù)適用的圖像發(fā)送系統(tǒng)的配置的典型實(shí)例的示圖，并且示出了其延遲率的實(shí)例。
[0034]圖3是示出了本技術(shù)適用的圖像處理系統(tǒng)的配置的典型實(shí)例的示圖。
[0035]圖4是示出了圖像捕獲設(shè)備的配置的典型實(shí)例的框圖。
[0036]圖5是示出了 FEC塊的實(shí)例的示圖。
[0037]圖6是用于解釋數(shù)據(jù)包的配置的實(shí)例的示圖。
[0038]圖7是用于解釋發(fā)送處理的流程的實(shí)例的流程圖。
[0039]圖8是用于解釋接收處理的流程的實(shí)例的流程圖。
[0040]圖9是示出了編碼單元的配置的典型實(shí)例的框圖。
[0041]圖10是示出了小波變換單元的配置的典型實(shí)例的框圖。
[0042]圖11是示出了變換系數(shù)的子帶的配置的典型實(shí)例的示圖。
[0043]圖12是示出了行塊的實(shí)例的示圖。
[0044]圖13是示出了解碼單元的配置的典型實(shí)例的框圖。
[0045]圖14是用于解釋編碼處理的流程的實(shí)例的流程圖。
[0046]圖15是用于解釋解碼處理的流程的實(shí)例的流程圖。
[0047]圖16是示出了計(jì)算機(jī)的配置的典型實(shí)例的框圖。

【具體實(shí)施方式】
[0048]在下文中將解釋實(shí)現(xiàn)本發(fā)明的實(shí)施方式(下文稱為實(shí)施方式)。將按以下順序進(jìn)行解釋。
[0049]1、第一實(shí)施方式(圖像發(fā)送系統(tǒng))
[0050]2、第二實(shí)施方式(圖像處理系統(tǒng))
[0051]3、第三實(shí)施方式(編碼單元/解碼單元)
[0052]4、第四實(shí)施方式(計(jì)算機(jī))
[0053]〈1、第一實(shí)施方式〉
[0054][1-1、延遲率實(shí)例]
[0055]過去，廣泛使用用于經(jīng)由諸如互聯(lián)網(wǎng)和LAN(局域網(wǎng))的各種網(wǎng)絡(luò)傳遞圖像數(shù)據(jù)(尤其是，運(yùn)動(dòng)圖像數(shù)據(jù))的應(yīng)用和服務(wù)。
[0056]當(dāng)經(jīng)由網(wǎng)絡(luò)發(fā)送并接收?qǐng)D像數(shù)據(jù)時(shí)，在許多情況下，由發(fā)送側(cè)的編碼(壓縮)處理減少了數(shù)據(jù)量并將所減少的數(shù)據(jù)發(fā)送至網(wǎng)絡(luò)，然后接收側(cè)對(duì)編碼接收數(shù)據(jù)執(zhí)行解碼(提取)處理以再現(xiàn)數(shù)據(jù)。
[0057]例如，最廣為人知的圖像壓縮處理方法是被稱為MPEG (運(yùn)動(dòng)圖像專家組)的壓縮技術(shù)。當(dāng)使用MPEG壓縮技術(shù)時(shí)，按照MPEG壓縮技術(shù)生成的MPEG流被存儲(chǔ)到按照IP (互聯(lián)網(wǎng)協(xié)議)的IP數(shù)據(jù)包中，并經(jīng)由網(wǎng)絡(luò)發(fā)布。然后，使用諸如PC(個(gè)人計(jì)算機(jī))、PDA(個(gè)人數(shù)字助理)、和蜂窩手機(jī)的通信終端接收MPEG流，并在各終端的屏幕上顯示MPEG流。
[0058]在這些情況下，主要用于分發(fā)圖像數(shù)據(jù)的應(yīng)用程序(諸如視頻點(diǎn)播、直播視頻分發(fā)、視頻會(huì)議和視頻電話)可以在來自發(fā)送側(cè)的所有數(shù)據(jù)由于網(wǎng)絡(luò)抖動(dòng)而沒有到達(dá)接收側(cè)的環(huán)境下以及在接收?qǐng)D像數(shù)據(jù)的終端的性能彼此不同的環(huán)境下使用，并且必須將這些環(huán)境納入考慮。
[0059]例如，從單個(gè)發(fā)送源發(fā)送的圖像數(shù)據(jù)可以由具有低分辨率顯示器并具有低性能CPU(中央處理器)的接收終端(諸如蜂窩手機(jī))接收并顯示。同時(shí)，圖像數(shù)據(jù)還可以由具有高分辨率監(jiān)視器并具有高性能處理器的接收終端(諸如臺(tái)式PC)接收并顯示。
[0060]如上所述，在數(shù)據(jù)包接收情況被認(rèn)為按照網(wǎng)絡(luò)連接環(huán)境而不同時(shí)，例如，被稱為分級(jí)編碼的技術(shù)用于以分級(jí)的方式來對(duì)發(fā)送/接收數(shù)據(jù)執(zhí)行編碼。例如，分級(jí)編碼的圖像數(shù)據(jù)選擇性地保持針對(duì)具有高分辨率顯示器的接收終端的編碼數(shù)據(jù)以及針對(duì)具有低分辨率顯示器的接收終端的編碼數(shù)據(jù)，并且在分級(jí)編碼的圖像數(shù)據(jù)中，圖像大小和圖像質(zhì)量可以根據(jù)接收側(cè)的需要而改變。
[0061]能夠分級(jí)編碼的壓縮/提取方法的實(shí)例包括基于MPEG 4和JPEG(聯(lián)合圖象專家組)2000的視頻流。FGS (精細(xì)粒度可伸縮性)技術(shù)被計(jì)劃結(jié)合到MPEG 4和配置文件中。該分級(jí)編碼技術(shù)被稱為能夠以可伸縮的方式在低比特率至高比特率的范圍內(nèi)進(jìn)行分發(fā)。
[0062]在基于小波(Wavelet)變換的JPEG 2000中，可以基于空間分辨率通過使用小波變換來生成數(shù)據(jù)包，或可以基于圖像質(zhì)量以分級(jí)的方式來生成數(shù)據(jù)包。在JPEG 2000中，分級(jí)數(shù)據(jù)可以基于不但能夠處理靜態(tài)圖像而且還能夠處理運(yùn)動(dòng)圖像的運(yùn)動(dòng)JPEG 2000 (第三部分)規(guī)范以文件格式進(jìn)行保存。
[0063]此外，使用分級(jí)編碼的數(shù)據(jù)通信的具體思想之一基于離散余弦變換(DCT)。這是一種方法，包括對(duì)(例如)要傳送的圖像數(shù)據(jù)應(yīng)用DCT處理，通過經(jīng)由DCT處理區(qū)分高區(qū)域和低區(qū)域來進(jìn)行分級(jí)，生成被劃分為包括高區(qū)域和低區(qū)域的層級(jí)的數(shù)據(jù)包，并因此執(zhí)行數(shù)據(jù)通信。
[0064]當(dāng)分發(fā)這種分級(jí)編碼的圖像數(shù)據(jù)時(shí)，一般來說，需要具有時(shí)效性(實(shí)時(shí)特性)，但在當(dāng)前情況下，更大屏幕上的顯示以及更高的圖像質(zhì)量往往比實(shí)時(shí)特性具有更大的優(yōu)先權(quán)。
[0065]為了確保圖像數(shù)據(jù)分發(fā)中的實(shí)時(shí)特性，UDP (用戶數(shù)據(jù)報(bào)協(xié)議)通常被用作基于IP的通信協(xié)議。此外，RTP (實(shí)時(shí)傳輸協(xié)議)在m)P上方的層中使用。存儲(chǔ)在RTP包中的數(shù)據(jù)格式符合針對(duì)應(yīng)用程序限定的各個(gè)格式，更具體地，是編碼方法。
[0066]通信網(wǎng)絡(luò)使用諸如無線LAN或有線LAN、光纖通信、xDSL、電力線通信、或同軸電纜等通信方法。這些通信方法的速度逐年增加，但是通過這些通信方法發(fā)送的圖像內(nèi)容也成為更高的圖像質(zhì)量。
[0067]例如，符合現(xiàn)今主要使用的MPEG方法或JPEG 2000方法的典型系統(tǒng)的編碼延遲(編碼延遲+解碼延遲)是兩個(gè)圖像或更多，并且在這種情況下，很難保證圖像數(shù)據(jù)分發(fā)過程中的時(shí)效性(實(shí)時(shí)特性)足夠。
[0068]因此，近來，提出了一種圖像壓縮方法，用于將單個(gè)圖像劃分為分別包括N行(N為I以上)的集，并編碼每個(gè)劃分集(在下文中稱為行塊)中的圖像以減少延遲時(shí)間(在下文中稱為基于行的多媒體數(shù)字信號(hào)編解碼器)。
[0069]基于行的多媒體數(shù)字信號(hào)編解碼器的優(yōu)點(diǎn)不僅是延遲更短，還具有實(shí)現(xiàn)高速處理的能力以及減小硬件尺度，原因在于以圖像壓縮單位處理的信息更少。
[0070]例如，專利文獻(xiàn)I描述了一種通信裝置，其根據(jù)基于行的多媒體數(shù)字信號(hào)編解碼器來對(duì)通信數(shù)據(jù)的每個(gè)行塊適當(dāng)?shù)貓?zhí)行缺失數(shù)據(jù)的補(bǔ)全處理。
[0071]專利文獻(xiàn)2描述了一種圖像處理裝置，用于在使用基于行的多媒體數(shù)字信號(hào)編解碼器時(shí)減少延遲并提高處理效率。
[0072]此外，專利文獻(xiàn)3描述了一種發(fā)送裝置，其通過發(fā)送已經(jīng)歷了基于行的小波變換處理的圖像數(shù)據(jù)的低頻率分量來抑制圖像質(zhì)量的劣化。
[0073]由于使用基于行的多媒體數(shù)字信號(hào)編解碼器允許具有高圖像質(zhì)量和更短延遲的發(fā)送，因此期望在將來用于現(xiàn)場(chǎng)直播的攝像機(jī)系統(tǒng)。
[0074]然而，圖像數(shù)據(jù)包括大量數(shù)據(jù)。因此，當(dāng)經(jīng)由諸如以太網(wǎng)(注冊(cè)商標(biāo))、NGN(下一代網(wǎng)絡(luò))、或無線網(wǎng)絡(luò)等通?？捎玫碾娐钒l(fā)送圖像數(shù)據(jù)時(shí)，延遲量增加可能會(huì)破壞圖像數(shù)據(jù)發(fā)送的時(shí)效性(實(shí)時(shí)特性)。
[0075]尤其是，例如，執(zhí)行現(xiàn)場(chǎng)直播等的攝像機(jī)系統(tǒng)被要求具有數(shù)據(jù)發(fā)送的時(shí)效性。然而，由于發(fā)送高質(zhì)量的運(yùn)動(dòng)圖像數(shù)據(jù)，因此數(shù)據(jù)量較高。因此，在經(jīng)由通?？捎玫碾娐愤M(jìn)行數(shù)據(jù)發(fā)送的過程中，時(shí)效性被損壞可能仍具有高可能性程度。
[0076]此外，必須建立一種系統(tǒng)配置，其中，預(yù)期電路上的一定等級(jí)的誤差以便應(yīng)對(duì)通?？捎玫碾娐贰＞蛯Ｓ镁€路而言，帶寬可以本地控制，但就通?？捎玫碾娐范?，無法保證電路的穩(wěn)定性，因此，該誤差處理幾乎是不可避免的。然而，這種功能添加可能會(huì)導(dǎo)致發(fā)生進(jìn)一步的延遲。
[0077]圖1A和圖1B示出了專利文獻(xiàn)2中描述的系統(tǒng)中的數(shù)據(jù)發(fā)送的延遲率。在該系統(tǒng)中，為了實(shí)現(xiàn)更短延遲，緩沖延遲量由發(fā)送側(cè)和接收側(cè)共享。事例I至事例3根據(jù)要被發(fā)送的數(shù)據(jù)的量(發(fā)送數(shù)據(jù)的量)進(jìn)行分類。在事例I中，發(fā)送數(shù)據(jù)量最高。在事例3中，發(fā)送數(shù)據(jù)量最低。
[0078]然而，在單獨(dú)使用多媒體數(shù)字信號(hào)編解碼器實(shí)現(xiàn)短延遲方面有局限性，并且在如附圖中所示的短延遲環(huán)境下，必須具有專門的技術(shù)來實(shí)現(xiàn)整個(gè)系統(tǒng)中的各個(gè)功能的短延遲。例如，在圖1A中的電路延遲中，用于實(shí)現(xiàn)包丟失恢復(fù)功能的環(huán)境被視為恢復(fù)一些電路誤差的功能。
[0079]一般來說，包校正功能包括兩種，這兩種是用于執(zhí)行位誤差校正的內(nèi)碼和用于塊校正和丟失恢復(fù)功能的外碼。為了使該解釋在本說明書中容易理解，外碼被用于解釋。利用外碼，經(jīng)常以包為單位或以某些塊為單位執(zhí)行處理。外碼(例如)包括里德所羅門碼，LDPC(低密度奇偶校驗(yàn))碼，漢明碼，BCH(博斯-喬赫里-霍克文黑姆)碼等。在圖1A中，將考慮僅在延遲較短時(shí)的時(shí)間段內(nèi)執(zhí)行包丟失恢復(fù)功能的處理的方法。要理解的是，塊碼可以是任何給定的方法。
[0080]首先，將考慮延遲的量以及由多媒體數(shù)字信號(hào)編解碼器處理的數(shù)據(jù)的量。當(dāng)發(fā)送數(shù)據(jù)的量較高時(shí)，發(fā)送側(cè)在非常短的延遲量的范圍內(nèi)以預(yù)定時(shí)間段的延遲發(fā)送編碼數(shù)據(jù)。與此相反，當(dāng)發(fā)送數(shù)據(jù)的量較低時(shí)，發(fā)送編碼數(shù)據(jù)，而基本上沒有任何延遲。更具體地，在發(fā)送側(cè)，要被發(fā)送的編碼數(shù)據(jù)保持在緩沖器中長(zhǎng)達(dá)基于發(fā)送數(shù)據(jù)的量的時(shí)間(發(fā)送緩沖等待時(shí)間)。
[0081]當(dāng)解碼數(shù)據(jù)時(shí)，接收側(cè)必須具有足夠的數(shù)據(jù)。出于這個(gè)原因，為了對(duì)后續(xù)區(qū)域中的大量數(shù)據(jù)做好準(zhǔn)備，解碼開始時(shí)間被控制使得發(fā)送緩沖等待時(shí)間+接收緩沖等待時(shí)間恒定。更具體地，在接收側(cè)，將所接收的編碼數(shù)據(jù)存儲(chǔ)在緩沖器中長(zhǎng)達(dá)基于發(fā)送緩沖等待時(shí)間的一時(shí)間(接收緩沖等待時(shí)間)。
[0082]在圖1B中，在塊碼適于FEC(前向糾錯(cuò))的情況下的操作被描述成實(shí)施方式。利用該塊碼，對(duì)事先確定的各數(shù)量塊執(zhí)行處理，因此，對(duì)接收側(cè)來說等待是常見的直到接收側(cè)接收此塊的數(shù)據(jù)。
[0083]接收側(cè)接收一定塊(或數(shù)據(jù)包)的編碼數(shù)據(jù)，并且之后，在接收奇偶校驗(yàn)時(shí)執(zhí)行誤差校正處理。因此，必須的是，接收側(cè)需要等待與發(fā)送側(cè)的誤差校正奇偶校驗(yàn)插入時(shí)間段相同的時(shí)間段。
[0084]在執(zhí)行編碼處理的系統(tǒng)中，發(fā)生發(fā)送緩沖等待時(shí)間，如上所述。更具體地，發(fā)送數(shù)據(jù)量越高，就越可能獲得所需塊的數(shù)據(jù)。出于這個(gè)原因，在發(fā)送側(cè)，F(xiàn)EC處理時(shí)間減少，發(fā)送數(shù)據(jù)的量越低，F(xiàn)EC處理時(shí)間往往越長(zhǎng)。例如，在圖1B中，事例I的FEC處理等待時(shí)間很可能比事例3的處理時(shí)間短。
[0085]更具體地，當(dāng)排除FEC處理的電路延遲在每種情況下相同時(shí)，整個(gè)系統(tǒng)延遲如下:事例I的整個(gè)系統(tǒng)延遲為12，事例2的整個(gè)系統(tǒng)延遲為15，事例3的整個(gè)系統(tǒng)延遲為18。更具體地，當(dāng)發(fā)送數(shù)據(jù)的量減少時(shí)，整個(gè)系統(tǒng)中的延遲量可能減少。
[0086][1_2、圖像發(fā)送系統(tǒng)]
[0087]因此，在發(fā)送側(cè)適當(dāng)控制FEC處理等待時(shí)間，由此抑制延遲時(shí)間增加，如上所述。
[0088]圖2A和圖2B是本技術(shù)適用的圖像發(fā)送系統(tǒng)的配置的典型實(shí)例，是示出了其延遲率的實(shí)例的示圖。
[0089]如圖2A中所示的圖像發(fā)送系統(tǒng)1100是本技術(shù)適用的圖像處理系統(tǒng)，并包括發(fā)送裝置1101和接收裝置1102。圖像發(fā)送系統(tǒng)1100是用于經(jīng)由包括通?？捎玫碾娐返娜魏谓o定網(wǎng)絡(luò)將編碼數(shù)據(jù)從發(fā)送裝置1101發(fā)送至接收裝置1102的系統(tǒng)，其中，該編碼數(shù)據(jù)是通過編碼圖像數(shù)據(jù)來獲得。
[0090]發(fā)送裝置1101是本技術(shù)適用的圖像處理裝置。發(fā)送裝置1101將所接收的編碼數(shù)據(jù)發(fā)送至接收裝置1102。如圖2A中所示，發(fā)送裝置1101包括圖像發(fā)送緩沖器1111和誤差校正塊長(zhǎng)度生成單元1112。
[0091]圖像發(fā)送緩沖器1111對(duì)從編碼圖像數(shù)據(jù)的、前級(jí)的處理單元(未示出)輸入的編碼數(shù)據(jù)進(jìn)行累積，并以預(yù)定定時(shí)將編碼數(shù)據(jù)提供給誤差校正塊長(zhǎng)度生成單元1112。累積編碼數(shù)據(jù)時(shí)的時(shí)間是發(fā)送緩沖器等待時(shí)間(發(fā)送緩沖延遲)。
[0092]誤差校正塊長(zhǎng)度生成單元1112將奇偶校驗(yàn)添加到所提供的編碼數(shù)據(jù)中，并將編碼數(shù)據(jù)發(fā)送至接收裝置1102。該誤差校正塊長(zhǎng)度生成單元1112的處理時(shí)間是誤差校正奇偶校驗(yàn)插入時(shí)間段。
[0093]接收裝置1102是本技術(shù)適用的圖像處理裝置。接收裝置1102接收已經(jīng)從發(fā)送裝置1101發(fā)送的編碼數(shù)據(jù)。如圖2A中所示，接收裝置1102包括誤差校正等待緩沖器1121和圖像接收緩沖器1122。
[0094]誤差校正等待緩沖器1121保持所接收的編碼數(shù)據(jù)，直到誤差校正等待緩沖器1121接收糾結(jié)處理的單元的編碼數(shù)據(jù)，其是用于此的預(yù)定包(塊)以及奇偶校驗(yàn)。當(dāng)獲得足夠的數(shù)據(jù)時(shí)，誤差校正等待緩沖器1121執(zhí)行誤差校正處理，并將已經(jīng)校正的編碼數(shù)據(jù)提供至圖像接收緩沖器1122。保持編碼數(shù)據(jù)的時(shí)間是誤差校正延遲。
[0095]圖像接收緩沖器1122保持所提供的編碼數(shù)據(jù)，直到開始解碼處理時(shí)的預(yù)定時(shí)間點(diǎn)，并且當(dāng)達(dá)到預(yù)定時(shí)間點(diǎn)時(shí)，在執(zhí)行解碼處理的稍后階段，圖像接收緩沖器1122將保持在其中的編碼數(shù)據(jù)提供至處理單元(未示出)。保持編碼數(shù)據(jù)的時(shí)間是接收緩沖等待時(shí)間(接收緩沖延遲)。
[0096]在上文解釋的圖像發(fā)送系統(tǒng)1100中，將考慮接收緩沖等待時(shí)間(解碼)和FEC接收延遲時(shí)間(FEC Rx)相同情況下的FEC處理量。在圖2A和圖2B中，整個(gè)系統(tǒng)的延遲時(shí)間經(jīng)配置使得發(fā)送緩沖等待時(shí)間(編碼)和接收緩沖等待時(shí)間(解碼)的總和變?yōu)?0。
[0097]因此，接收緩沖等待時(shí)間(解碼)可以根據(jù)發(fā)送緩沖等待時(shí)間(編碼)進(jìn)行估計(jì)。更具體地，發(fā)送裝置1101可以估計(jì)接收裝置1102的接收緩沖等待時(shí)間(解碼)。
[0098]當(dāng)FEC接收延遲時(shí)間(FEC Rx)被設(shè)定在接收緩沖等待時(shí)間(解碼)的范圍內(nèi)時(shí)，F(xiàn)EC接收延遲時(shí)間(FEC Rx)可以包含在接收緩沖等待時(shí)間(解碼)中，而不提供除了導(dǎo)致額外等待的接收緩沖等待時(shí)間(解碼)之外的FEC接收延遲時(shí)間(FEC Rx)。更具體地，誤差校正等待緩沖器1121使用圖像接收緩沖器1122所需的等待時(shí)間來執(zhí)行FEC處理，使得FEC接收延遲時(shí)間(FEC Rx)可以包含在接收緩沖等待時(shí)間(解碼)中，其可以減少整個(gè)系統(tǒng)的延遲量。
[0099]此外，該FEC接收延遲時(shí)間(FEC Rx)按照塊長(zhǎng)度來確定，該塊長(zhǎng)度由誤差校正塊長(zhǎng)度生成單元1112設(shè)定。更具體地，發(fā)送裝置1101可以設(shè)定FEC接收延遲時(shí)間(FEC Rx)。
[0100]因此，發(fā)送裝置1101的誤差校正塊長(zhǎng)度生成單元1112基于圖像發(fā)送緩沖器1111的發(fā)送緩沖等待時(shí)間(編碼)來確定FEC塊的塊長(zhǎng)度，由此控制FEC接收延遲時(shí)間(FECRx)，使得其不大于接收緩沖等待時(shí)間(解碼)。
[0101]例如，在如圖2B中所示的事例I中，發(fā)送緩沖等待時(shí)間(編碼)的比率為10，并且因此，接收緩沖等待時(shí)間(解碼)的比率為零。因此，誤差校正塊長(zhǎng)度生成單元1112設(shè)定塊長(zhǎng)度使得FEC接收延遲時(shí)間(FEC Rx)盡可能短。在附圖中，事例I的(2)是由于FEC導(dǎo)致的延遲時(shí)間，但括號(hào)中的時(shí)間實(shí)際上不會(huì)導(dǎo)致延遲。如圖5中所示，發(fā)送側(cè)僅插入奇偶校驗(yàn)，并且因此，這不會(huì)導(dǎo)致任何實(shí)際延遲，并且在保持FEC在接收側(cè)等待比率“2”時(shí)，開始解碼，并且因此，接收緩沖等待時(shí)間被延遲“2”。
[0102]然而，在這種情況下，F(xiàn)EC接收處理無法在FEC接收延遲時(shí)間(FECRx)內(nèi)完成。然而，發(fā)送緩沖等待時(shí)間(編碼)的比率為10的情況是編碼數(shù)據(jù)的量超過發(fā)送路徑的帶寬的狀態(tài)，這會(huì)導(dǎo)致在發(fā)送側(cè)等待。更具體地，這意味著發(fā)送數(shù)據(jù)的量太多，并且預(yù)計(jì)塊編碼的發(fā)送處理延遲(其是接收處理延遲)極小。因此，在這種情況下，即使當(dāng)添加FEC接收延遲時(shí)間(FEC Rx)時(shí)，發(fā)送緩沖等待時(shí)間(編碼)和接收緩沖等待時(shí)間(解碼)的總和稍微增力口，并且這幾乎不影響整個(gè)系統(tǒng)的延遲量。
[0103]在圖2B中的事例2中，接收緩沖等待時(shí)間(解碼)的比率為5。因此，誤差校正塊長(zhǎng)度生成單元1112設(shè)定塊長(zhǎng)度，使得FEC接收延遲時(shí)間(FEC Rx)等于或小于5。
[0104]此外，在圖2B中的事例3中，接收緩沖等待時(shí)間(解碼)的比率為10。因此，誤差校正塊長(zhǎng)度生成單元1112設(shè)定塊長(zhǎng)度，使得FEC接收延遲時(shí)間(FEC Rx)等于或小于10。
[0105]如上所述，共同配置FEC接收延遲時(shí)間(FEC Rx)和接收緩沖等待時(shí)間(解碼)，因此圖像發(fā)送系統(tǒng)1100可以減少整個(gè)系統(tǒng)的延遲時(shí)間。
[0106]另外，可以由發(fā)送裝置1101自身來執(zhí)行此控制。換句話說，沒有必要與接收裝置1102交換信息以便實(shí)現(xiàn)該控制。而且，接收裝置1102不需要特殊控制。更具體地，發(fā)送裝置1101可以輕松減少整個(gè)系統(tǒng)的延遲時(shí)間。
[0107]應(yīng)該注意，雖然發(fā)送緩沖等待時(shí)間(編碼)根據(jù)圖像的類型而改變，但是FEC塊長(zhǎng)度(FEC接收延遲時(shí)間(FEC Rx))可以基于變型范圍內(nèi)的最長(zhǎng)發(fā)送緩沖等待時(shí)間(編碼)來確定(更具體地，這是接收緩沖等待時(shí)間(解碼)最短的情況)。
[0108]〈2、第二實(shí)施方式〉
[0109][2_1、圖像處理系統(tǒng)]
[0110]上文解釋的本技術(shù)不限于具有如圖2A和圖2B中所示的配置的系統(tǒng)，并且還可以適用于執(zhí)行要求時(shí)效性的圖像數(shù)據(jù)發(fā)送的任何給定系統(tǒng)。因此，系統(tǒng)的配置和目的不受特另IJ限制。
[0111]例如,本技術(shù)還可以適用于體育直播和賽事直播的攝像機(jī)系統(tǒng)。在此攝像機(jī)系統(tǒng)中，由多臺(tái)攝像機(jī)(圖像捕獲設(shè)備)捕獲并拍攝的圖像數(shù)據(jù)根據(jù)攝像機(jī)控制單元(CCU)的控制進(jìn)行發(fā)送。
[0112]圖3是示出了本技術(shù)適用的圖像處理系統(tǒng)的配置的典型實(shí)例的示圖。如圖3中所示的圖像處理系統(tǒng)1200是本技術(shù)適用的攝像機(jī)系統(tǒng)。圖像處理系統(tǒng)1200包括圖像捕獲設(shè)備1201-1至圖像捕獲設(shè)備1201-3，以及(XU1202。根據(jù)CXU 1202的控制，圖像捕獲設(shè)備1201-1至圖像捕獲設(shè)備1201-3可以經(jīng)由網(wǎng)絡(luò)1210與CXU 1202通信，該網(wǎng)絡(luò)是通常可用的電路，并且例如，圖像捕獲設(shè)備1201-1至圖像捕獲設(shè)備1201-3可以交換圖像和聲音的編碼數(shù)據(jù)并交換控制數(shù)據(jù)。
[0113]當(dāng)不需要按照?qǐng)D像捕獲設(shè)備1201-1至圖像捕獲設(shè)備1201-3彼此區(qū)別的方式解釋圖像捕獲設(shè)備1201-1至圖像捕獲設(shè)備1201-3時(shí)，圖像捕獲設(shè)備1201-1至圖像捕獲設(shè)備1201-3將被簡(jiǎn)單稱為圖像捕獲設(shè)備1201。在圖3中，提供三個(gè)圖像捕獲設(shè)備1201。然而，圖像處理系統(tǒng)1200可以具有任何數(shù)量的圖像捕獲設(shè)備1201。
[0114]例如，根據(jù)CXU 1202的控制由圖像捕獲設(shè)備1201-1獲得的圖像和聲音的編碼數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)1210發(fā)送至CXU 1202。編碼數(shù)據(jù)(例如)由CXU 1202來解碼，并且(例如)在稍后階段作為圖像數(shù)據(jù)和聲音數(shù)據(jù)發(fā)送至信息處理裝置(未示出)，諸如編輯裝置和延遲裝置。
[0115]圖像捕獲設(shè)備1201具有監(jiān)視器(顯示單元)、揚(yáng)聲器等，圖像捕獲設(shè)備1201的用戶(其是攝影師)利用監(jiān)視器、揚(yáng)聲器等來檢查捕獲圖像和廣播圖像，并且可以對(duì)CXU 1202發(fā)送的編碼數(shù)據(jù)進(jìn)行解碼，在監(jiān)視器上顯示圖像，并從揚(yáng)聲器輸出聲音。
[0116]因此，例如，CXU 1202可以將已經(jīng)從圖像捕獲設(shè)備1201-1發(fā)送(箭頭1221)的編碼數(shù)據(jù)返回至圖像捕獲設(shè)備1201-1 (箭頭1222)，并且可以將編碼數(shù)據(jù)發(fā)送至諸如圖像捕獲設(shè)備1201-2和圖像捕獲設(shè)備1201-3的其他圖像捕獲設(shè)備1201(箭頭1223，和箭頭1224)。
[0117]在此數(shù)據(jù)發(fā)送過程中，要求時(shí)效性以便不損壞運(yùn)動(dòng)圖像顯示和聲音輸出。由于整個(gè)數(shù)據(jù)發(fā)送的延遲時(shí)間可以通過應(yīng)用第一實(shí)施方式中解釋的本技術(shù)來減少，因此可以抑制損壞運(yùn)動(dòng)圖像顯示和聲音輸出。
[0118][2-2、圖像捕獲設(shè)備]
[0119]圖4是示出了圖3的圖像捕獲設(shè)備1201的配置的典型實(shí)例的框圖。如圖4中所示，圖像捕獲設(shè)備1201包括圖像捕獲單元1301、發(fā)送單元1302、接收單元1303、和顯示單元1304。
[0120]圖像捕獲單元1301捕獲被拍攝物體的圖像，并生成圖像數(shù)據(jù)和聲音數(shù)據(jù)。圖像捕獲單元1301將由此生成的圖像數(shù)據(jù)和聲音數(shù)據(jù)提供至發(fā)送單元1302。
[0121]發(fā)送單元1302獲得并編碼從圖像捕獲單元1301提供的圖像數(shù)據(jù)(視頻信號(hào)輸入)和聲音數(shù)據(jù)(聲音信號(hào)輸入)。發(fā)送單元1302將所生成的編碼數(shù)據(jù)發(fā)送至CXU 1302
坐寸ο
[0122]接收單元1303接收從CXU 1202等發(fā)送的圖像和聲音的編碼數(shù)據(jù)，解碼所接收的編碼數(shù)據(jù)，提取圖像數(shù)據(jù)和聲音數(shù)據(jù)，并將圖像數(shù)據(jù)和聲音數(shù)據(jù)提供至顯示單元1304。
[0123]顯示單元1304具有用于顯示圖像的監(jiān)視器以及用于輸出聲音的揚(yáng)聲器。顯示單元1304在監(jiān)視器上顯示從接收單元1303提供的圖像數(shù)據(jù)(視頻信號(hào)輸出)的圖像。顯示單兀1304從揚(yáng)聲器輸出從接收單兀1303提供的聲音數(shù)據(jù)(聲音信號(hào)輸出)的聲音。
[0124]如圖4中所示,發(fā)送單元1302包括視頻編碼單元1401、數(shù)據(jù)包生成單元1402、等待時(shí)間分析單元1403、音頻編碼單元1404、數(shù)據(jù)包生成單元1405、以及等待時(shí)間分析單元1406。發(fā)送單元1302包括多路復(fù)用單元1407、FEC奇偶校驗(yàn)生成單元1408、RTP數(shù)據(jù)包生成單元1409、以及FEC塊長(zhǎng)度控制單元1450。此外，發(fā)送單元1302包括非同步發(fā)送路徑接口(I/F) 1501、電路控制同步定時(shí)調(diào)節(jié)單元1510、以及時(shí)間戳生成單元1511。
[0125]應(yīng)該注意，時(shí)鐘生成單元1512和同步信號(hào)生成單元1513沒有包括在發(fā)送單元1302中。另一方面，非同步發(fā)送路徑接口(I/F) 1501和電路控制同步定時(shí)調(diào)節(jié)單元1510共用接收單元1303。
[0126]視頻編碼單元1401對(duì)圖像捕獲單元1301輸出的視頻信號(hào)進(jìn)行編碼，并將視頻信號(hào)提供至數(shù)據(jù)包生成單元1402。數(shù)據(jù)包生成單元1402將圖像報(bào)頭添加到所提供的編碼數(shù)據(jù)中以將其制成包。
[0127]數(shù)據(jù)包生成單元1402將與介質(zhì)同步的時(shí)間戳(視頻控制層同步時(shí)間戳)添加到編碼數(shù)據(jù)的數(shù)據(jù)包中。數(shù)據(jù)包生成單元1402將編碼數(shù)據(jù)的包提供至等待時(shí)間分析單元1403。
[0128]等待時(shí)間分析單元1403基于附到數(shù)據(jù)包中的視頻控制層同步時(shí)間戳來確定有多長(zhǎng)視頻數(shù)據(jù)的包存儲(chǔ)在視頻編碼單元1401的發(fā)送緩沖器中。然后，等待時(shí)間分析單元1403基于確定結(jié)果來估計(jì)接收緩沖等待時(shí)間(解碼)。等待時(shí)間分析單元1403將所估計(jì)的接收緩沖等待時(shí)間(解碼)提供至FEC塊長(zhǎng)度控制單元1450，并將其他數(shù)據(jù)提供至多路復(fù)用單元 1407。
[0129]音頻編碼單元1404對(duì)于從圖像捕獲單元1301輸出的音頻信號(hào)進(jìn)行編碼，并將音頻信號(hào)提供至數(shù)據(jù)包生成單元1405。數(shù)據(jù)包生成單元1405將聲音報(bào)頭添加到所提供的編碼數(shù)據(jù)中以將其制成包。
[0130]數(shù)據(jù)包生成單元1405還將與介質(zhì)同步的時(shí)間戳(視頻控制層同步時(shí)間戳)添加到編碼數(shù)據(jù)的數(shù)據(jù)包中。數(shù)據(jù)包生成單元1405將編碼數(shù)據(jù)的數(shù)據(jù)包提供至等待時(shí)間分析單元1406。
[0131]等待時(shí)間分析單元1406基于附到包中的視頻控制層同步時(shí)間戳來確定有多長(zhǎng)的視頻數(shù)據(jù)的數(shù)據(jù)包存儲(chǔ)在音頻編碼單元1404的發(fā)送緩沖器中。然后，等待時(shí)間分析單元1406基于確定結(jié)果來估計(jì)接收緩沖等待時(shí)間(解碼)。等待時(shí)間分析單元1406將所估計(jì)的接收緩沖等待時(shí)間(解碼)提供至FEC塊長(zhǎng)度控制單元1450，并將其他數(shù)據(jù)提供至多路復(fù)用單元1407。
[0132]多路復(fù)用單元1407對(duì)視頻數(shù)據(jù)的數(shù)據(jù)包和聲音數(shù)據(jù)的數(shù)據(jù)包進(jìn)行多路復(fù)用以將其制成單個(gè)流。
[0133]FEC塊長(zhǎng)度控制單元1450設(shè)定FEC接收延遲時(shí)間(FEC Rx)，使得FEC接收延遲時(shí)間比等待時(shí)間分析單元1403和等待時(shí)間分析單元1406提供的接收緩沖等待時(shí)間(解碼)短。然后，F(xiàn)EC塊長(zhǎng)度控制單元1450設(shè)定FEC塊長(zhǎng)度以便實(shí)現(xiàn)這種FEC接收延遲時(shí)間(FECRx)。FEC塊長(zhǎng)度控制單元1450為FEC奇偶校驗(yàn)生成單元1408提供指示已經(jīng)設(shè)定了 FEC塊長(zhǎng)度的信息。
[0134]當(dāng)FEC奇偶校驗(yàn)生成單元1408獲得被制成從針對(duì)已經(jīng)由FEC塊長(zhǎng)度控制單元1450設(shè)定的FEC塊長(zhǎng)度的多路復(fù)用單元1407提供的包的編碼數(shù)據(jù)時(shí)，F(xiàn)EC奇偶校驗(yàn)生成單元1408插入奇偶校驗(yàn)。利用該FEC塊，只在接收到奇偶校驗(yàn)之后才校正數(shù)據(jù)，因此，F(xiàn)EC解碼單元等待事先確定的塊長(zhǎng)度(直到已經(jīng)接收奇偶校驗(yàn)數(shù)據(jù))，然后執(zhí)行計(jì)算。
[0135]圖5示出了 FEC數(shù)據(jù)發(fā)送的概念圖。當(dāng)FEC奇偶校驗(yàn)生成單元1408發(fā)送由FEC塊長(zhǎng)度控制單元1450設(shè)定的塊長(zhǎng)度的數(shù)據(jù)時(shí)，F(xiàn)EC奇偶校驗(yàn)生成單元1408插入奇偶校驗(yàn)。在圖5的實(shí)例中，針對(duì)與應(yīng)用數(shù)據(jù)對(duì)應(yīng)的四條數(shù)據(jù)生成兩個(gè)奇偶校驗(yàn)。FEC解碼單元首先開始接收數(shù)據(jù)1，F(xiàn)EC解碼單元只在FEC解碼單元已經(jīng)接收所有數(shù)據(jù)和包括奇偶校驗(yàn)2的奇偶校驗(yàn)之后才執(zhí)行FEC解碼處理，并且因此，必須等待接收塊長(zhǎng)度所需的時(shí)間。
[0136]當(dāng)FEC奇偶校驗(yàn)生成單元1408插入奇偶校驗(yàn)時(shí)，F(xiàn)EC奇偶校驗(yàn)生成單元1408將數(shù)據(jù)提供至RTP數(shù)據(jù)包生成單元1409。
[0137]RTP數(shù)據(jù)包生成單元1409生成RTP包。時(shí)間戳生成單元1511根據(jù)電路控制同步定時(shí)調(diào)節(jié)單元1510的控制生成電路控制層同步時(shí)間戳。RTP數(shù)據(jù)包生成單元1409將電路控制層同步時(shí)間戳添加到RTP包中。RTP數(shù)據(jù)包生成單元1409將所生成的RTP包提供至非同步發(fā)送路徑接口(I/F)1501。
[0138]非同步發(fā)送路徑接口 1501將UDP報(bào)頭和IP報(bào)頭添加到RTP包中，由此生成IP包。非同步發(fā)送路徑接口 1501將所生成的IP包輸出至圖像捕獲設(shè)備1201的外部，并將所生成的IP包發(fā)送至CCU 1202。
[0139]如圖4中所示，接收單元1303包括非同步發(fā)送路徑接口(I/F)) 1501、電路控制同步定時(shí)調(diào)節(jié)單元1510、時(shí)鐘生成單元1512、以及同步信號(hào)生成單元1513。接收單元1303包括RTP包解碼單元1601、時(shí)間戳解碼單元1602、解復(fù)用單元1603、FEC解碼單元1604、解包器(depacketizer) 1605、以及視頻解碼單元1606。此外,接收單元1303包括FEC解碼單元1607、解包器1608、以及音頻解碼單元1609。
[0140]應(yīng)該注意，時(shí)間戳生成單元1511不包括在接收單元1303中。非同步發(fā)送路徑接口(I/F))1501和電路控制同步定時(shí)調(diào)節(jié)單元1510與發(fā)送單元1302共用。要理解的是，發(fā)送單元1302和接收單元1303可能不共用這些處理單元，而是發(fā)送單元1302和接收單元1303的每一個(gè)可以具有非同步發(fā)送路徑接口(I/F)) 1501和電路控制同步定時(shí)調(diào)節(jié)單元1510。
[0141]從CXU 1202發(fā)送的返回視頻數(shù)據(jù)包、音頻數(shù)據(jù)包、以及命令數(shù)據(jù)包經(jīng)由非同步發(fā)送路徑接口(I/F) )1501接收，并且RTP包解碼單元1601檢查其中的IP報(bào)頭和RTP報(bào)頭。隨后，將包括視頻數(shù)據(jù)和聲音數(shù)據(jù)的RTP報(bào)頭提供至?xí)r間戳解碼單元1602，并且只將在RTP報(bào)頭之后添加的電路控制層同步時(shí)間戳發(fā)送至?xí)r鐘生成單元1512。
[0142]解復(fù)用單元1603對(duì)圖像數(shù)據(jù)和聲音數(shù)據(jù)進(jìn)行解復(fù)用。FEC解碼單元1604對(duì)圖像數(shù)據(jù)的包執(zhí)行FEC解碼處理。FEC解碼單元1604使用FEC奇偶校驗(yàn)生成單元1408添加的奇偶校驗(yàn)來恢復(fù)錯(cuò)誤的包或丟失的包。時(shí)間戳被攝像機(jī)用來生成時(shí)鐘和同步信號(hào)。
[0143]解包器1605對(duì)已經(jīng)進(jìn)行FEC解碼的圖像數(shù)據(jù)的包進(jìn)行解包處理。視頻解碼單元1606對(duì)通過對(duì)包進(jìn)行解包處理而獲得的圖像數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，并將數(shù)據(jù)提供至顯示單元1304作為視頻信號(hào)輸出。
[0144]同樣，F(xiàn)EC解碼單元1607對(duì)聲音數(shù)據(jù)的包執(zhí)行FEC解碼處理。FEC解碼單元1607使用FEC奇偶校驗(yàn)生成單元1408添加的奇偶校驗(yàn)來恢復(fù)錯(cuò)誤的包或丟失的包。時(shí)間戳被攝像機(jī)用來生成時(shí)鐘和同步信號(hào)。
[0145]解包器1608對(duì)已經(jīng)進(jìn)行FEC解碼的聲音數(shù)據(jù)的包進(jìn)行解包處理。音頻解碼單元1609解碼通過對(duì)包進(jìn)行解包處理而獲得的聲音數(shù)據(jù)的編碼數(shù)據(jù)，并將數(shù)據(jù)提供至顯示單元1304作為聲音信號(hào)輸出。
[0146][2-3、包的配置實(shí)例]
[0147]圖6是用于解釋包的配置的實(shí)例的示圖。圖6示出了按照被劃分為圖6的四個(gè)層次的單個(gè)IP包的內(nèi)部配置。在最上層，IP包由IP報(bào)頭和IP數(shù)據(jù)構(gòu)成。IP報(bào)頭(例如)包括有關(guān)基于IP協(xié)議的通信路徑的控制的控制信息(諸如目的地IP地址)。
[0148]此外，IP數(shù)據(jù)由UDP報(bào)頭和UDP數(shù)據(jù)構(gòu)成。UDP是用于OSI參考模型(其通常用于分發(fā)時(shí)效性被認(rèn)為很重要的運(yùn)動(dòng)圖像或聲音數(shù)據(jù))的傳輸層的協(xié)議。UDP報(bào)頭例如包括目的地端口號(hào)(其是應(yīng)用識(shí)別信息)。
[0149]UDP數(shù)據(jù)進(jìn)一步由RTP報(bào)頭和RTP數(shù)據(jù)構(gòu)成。RTP報(bào)頭(例如)包括用于保證數(shù)據(jù)流的實(shí)時(shí)性的控制信息(諸如序列號(hào))。準(zhǔn)備電路控制層同步時(shí)間戳作為RTP報(bào)頭的子信息，使得可以從時(shí)間信息中找到電路環(huán)境的延遲和抖動(dòng)量。
[0150]RTP數(shù)據(jù)由圖像數(shù)據(jù)和編碼數(shù)據(jù)的報(bào)頭(在下文中稱為圖像報(bào)頭)構(gòu)成，其中，所述編碼數(shù)據(jù)是根據(jù)基于行的多媒體數(shù)字信號(hào)編解碼器壓縮的圖像主體。準(zhǔn)備視頻控制層同步時(shí)間戳作為圖像報(bào)頭的子信息，使得其提供有關(guān)要由FEC塊長(zhǎng)度控制單元1450確定的塊長(zhǎng)度的信息以及可以高準(zhǔn)確度地確定實(shí)現(xiàn)同步的定時(shí)所利用的信息。圖像報(bào)頭(例如)可以包括圖片編號(hào)、行塊編號(hào)(當(dāng)以單個(gè)行為單位進(jìn)行編碼時(shí)行編號(hào))、子帶編號(hào)等。應(yīng)該注意，圖像報(bào)頭可以被配置為進(jìn)一步被劃分為針對(duì)每個(gè)圖片給出的圖片報(bào)頭和針對(duì)每個(gè)行塊給出的行塊報(bào)頭。
[0151]應(yīng)該注意，CXU 1202還具有與發(fā)送單元1302和接收單元1303相同的配置。例如，由圖像捕獲設(shè)備1201的發(fā)送單元1302發(fā)送的包經(jīng)過網(wǎng)絡(luò)1210，并且數(shù)據(jù)包由CXU 1202的接收單元1303接收。例如，從CXU 1202的發(fā)送單元1302發(fā)送的數(shù)據(jù)包經(jīng)過網(wǎng)絡(luò)1210，并且數(shù)據(jù)包由圖像捕獲設(shè)備1201的接收單元1303接收。
[0152]更具體地，例如，發(fā)送單元1302與根據(jù)第一實(shí)施方式的發(fā)送裝置1101對(duì)應(yīng)，并且接收單元1303與根據(jù)第一實(shí)施方式的接收裝置1102對(duì)應(yīng)。
[0153]例如，在發(fā)送單元1302中，視頻編碼單元1401和數(shù)據(jù)包生成單元1402與圖像發(fā)送緩沖器1111對(duì)應(yīng)，并且等待時(shí)間分析單元1403、FEC塊長(zhǎng)度控制單元1450、以及FEC奇偶校驗(yàn)生成單元1408與誤差校正塊長(zhǎng)度生成單元1112對(duì)應(yīng)。
[0154]此外，例如，在接收單元1303中，F(xiàn)EC解碼單元1604與誤差校正等待緩沖器1121對(duì)應(yīng)，并且解包器1605和視頻解碼單元1606與圖像接收緩沖器1122對(duì)應(yīng)。
[0155]更具體地，F(xiàn)EC塊長(zhǎng)度控制單元1450設(shè)定FEC塊長(zhǎng)度，使得FEC解碼單元1604的FEC接收延遲時(shí)間(FEC Rx)小于視頻解碼單元1606的接收緩沖等待時(shí)間(解碼)。該設(shè)定使發(fā)送單元1302能夠輕松減少圖像數(shù)據(jù)發(fā)送過程中出現(xiàn)的延遲時(shí)間。
[0156][2-4、發(fā)送處理的流程]
[0157]將參照?qǐng)D7的流程圖來解釋發(fā)送處理的流程的實(shí)例。
[0158]在步驟S1001中，當(dāng)開始發(fā)送處理時(shí)，視頻編碼單元1401編碼視頻信號(hào)。另外，音頻編碼單兀1404編碼聲首彳目號(hào)。
[0159]在步驟S1002中，數(shù)據(jù)包生成單元1402對(duì)通過編碼視頻信號(hào)而獲得的編碼數(shù)據(jù)進(jìn)行解包處理。數(shù)據(jù)包生成單元1405對(duì)通過編碼聲音信號(hào)而獲得的編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)包化(packetize)。
[0160]在步驟S1003中，數(shù)據(jù)包生成單元1402添加視頻控制層同步時(shí)間戳。
[0161]在步驟S1004中，等待時(shí)間分析單元1403推導(dǎo)針對(duì)視頻信號(hào)的數(shù)據(jù)包的等待時(shí)間。等待時(shí)間分析單元1406還推導(dǎo)針對(duì)聲音信號(hào)的數(shù)據(jù)包的等待時(shí)間。
[0162]在步驟S1005中，F(xiàn)EC塊長(zhǎng)度控制單元1450基于步驟S1004中計(jì)算的等待時(shí)間來設(shè)定FEC塊長(zhǎng)度。
[0163]在步驟S1006中，多路復(fù)用單元1407對(duì)視頻信號(hào)的數(shù)據(jù)包和音頻信號(hào)的數(shù)據(jù)包進(jìn)行多路復(fù)用，并將視頻信號(hào)的數(shù)據(jù)包和音頻信號(hào)的數(shù)據(jù)包轉(zhuǎn)換為單個(gè)流。
[0164]在步驟S1007中，F(xiàn)EC奇偶校驗(yàn)生成單元1408基于FEC塊長(zhǎng)度來生成奇偶校驗(yàn)。
[0165]在步驟S1008中，RTP數(shù)據(jù)包生成單元1409生成RTP包。
[0166]在步驟S1009中，RTP數(shù)據(jù)包生成單元1409添加電路控制層同步時(shí)間戳。
[0167]在步驟S1010中，發(fā)送單元1302的非同步發(fā)送路徑接口(I/F) 1501生成IP包。
[0168]在步驟SlOll中，發(fā)送單元1302的非同步發(fā)送路徑接口(I/F) 1501發(fā)送IP包。
[0169]當(dāng)完成步驟SlOll中的處理時(shí)，完成發(fā)送處理。
[0170]通過執(zhí)行如上所述的發(fā)送處理，發(fā)送單元1302可以抑制圖像數(shù)據(jù)的整個(gè)發(fā)送的延遲時(shí)間。
[0171][2-5、接收處理的流程]
[0172]隨后，將參照?qǐng)D8的流程圖解釋接收處理的流程的實(shí)例。
[0173]在步驟SllOl中，當(dāng)開始接收處理時(shí)，接收單元1303的非同步發(fā)送路徑接口(I/F) 1501解碼IP包并提取RTP包。
[0174]在步驟S1102中，RTP包解碼單元1601解碼RTP包。
[0175]在步驟SI 103中，時(shí)間戳解碼單元1602提取電路控制層同步時(shí)間戳。
[0176]在步驟S1104中，時(shí)鐘生成單元1512基于所提取的電路控制層同步時(shí)間戳來生成時(shí)鐘。
[0177]在步驟S1105中，同步信號(hào)生成單元1513基于所生成的時(shí)鐘來生成同步信號(hào)。
[0178]在步驟SI 106中，解復(fù)用單元1603對(duì)被制成單個(gè)流的視頻信號(hào)的數(shù)據(jù)包和聲音信號(hào)的數(shù)據(jù)包進(jìn)行解復(fù)用。
[0179]在步驟SI 107中，F(xiàn)EC解碼單元1604對(duì)從聲音信號(hào)進(jìn)行解復(fù)用的視頻信號(hào)的數(shù)據(jù)包進(jìn)行誤差校正解碼。另一方面，F(xiàn)EC解碼單元1607對(duì)從視頻信號(hào)解復(fù)用的聲音信號(hào)的數(shù)據(jù)包執(zhí)行誤差校正解碼。
[0180]在步驟S1108中，解包器1605從視頻信號(hào)的包中提取視頻控制層同步時(shí)間戳。
[0181]在步驟S1109中，解包器1605對(duì)視頻信號(hào)的包進(jìn)行解包處理。解包器1608對(duì)聲音信號(hào)的數(shù)據(jù)包進(jìn)行解包處理。
[0182]在步驟SlllO中，視頻解碼單元1606根據(jù)視頻控制層同步時(shí)間戳解碼視頻信號(hào)的編碼數(shù)據(jù)。另一方面，音頻解碼單元1609根據(jù)視頻控制層同步時(shí)間戳解碼聲音信號(hào)的解碼數(shù)據(jù)。
[0183]當(dāng)完成步驟SlllO中的處理時(shí)，完成接收處理。
[0184]通過執(zhí)行如上所述的接收處理，接收單元1303可以抑制圖像數(shù)據(jù)的整個(gè)發(fā)送的延遲時(shí)間。
[0185]通過執(zhí)行如上所述的發(fā)送處理和接收處理，圖像捕獲設(shè)備1201和CXU 1202可以抑制損壞運(yùn)動(dòng)圖片數(shù)據(jù)發(fā)送的時(shí)效性。
[0186]〈3、第三實(shí)施方式〉
[0187][3-1、編碼單元]
[0188]應(yīng)該注意，編碼圖像數(shù)據(jù)的方法可以是任何方法。例如，其可以是基于行的多媒體數(shù)字信號(hào)編解碼器，其中，可以將圖片劃分為多個(gè)行塊，并對(duì)行塊的每一個(gè)進(jìn)行編碼。
[0189]圖9是示出了編碼單元的配置的典型實(shí)例的框圖。如圖9中所示，編碼單元2100包括小波變換單元2101、中間計(jì)算緩沖單元2102、系數(shù)分類緩沖單元2103、系數(shù)分類單元2104、以及熵編碼單元2105的功能。
[0190]輸入到編碼單元2100的圖像數(shù)據(jù)經(jīng)由小波變換單元2101暫時(shí)累積在中間計(jì)算緩沖單元2102中。小波變換單元2101對(duì)中間計(jì)算緩沖單元2102中累積的的圖像數(shù)據(jù)應(yīng)用小波變換。更具體地，小波變換單元2101從中間計(jì)算緩沖單元2102中讀取圖像數(shù)據(jù)，使用分析濾波器來應(yīng)用濾波處理以生成低頻分量和高頻分量的系數(shù)數(shù)據(jù)，并將所生成的系數(shù)數(shù)據(jù)存儲(chǔ)到中間計(jì)算緩沖單元2102。
[0191]小波變換單元2101包括水平分析濾波器和垂直分析濾波器，并且分析濾波處理在圖像數(shù)據(jù)組的屏幕水平方向和屏幕垂直方向上執(zhí)行。小波變換單元2101再次讀取存儲(chǔ)在中間計(jì)算緩沖單元2102中的低頻分量的系數(shù)數(shù)據(jù)，并基于分析濾波器將濾波處理應(yīng)用于所讀取的系數(shù)數(shù)據(jù)，由此進(jìn)一步生成高頻分量和低頻分量的系數(shù)的數(shù)據(jù)。將所生成的系數(shù)數(shù)據(jù)存儲(chǔ)在中間計(jì)算緩沖單元2102中。
[0192]小波變換單元2101重復(fù)該處理，并且當(dāng)分解層次達(dá)到預(yù)定層次時(shí)，小波變換單元2101從中間計(jì)算緩沖單元2102中讀取系數(shù)數(shù)據(jù)，并將所讀取的系數(shù)數(shù)據(jù)寫入系數(shù)分類緩沖單元2103。
[0193]系數(shù)分類單元2104根據(jù)預(yù)定順序讀取被寫入系數(shù)分類緩沖單元2103的系數(shù)數(shù)據(jù)，并將系數(shù)數(shù)據(jù)提供至熵編碼單元2105。熵編碼單元2105根據(jù)預(yù)定方法來量化所提供的系數(shù)數(shù)據(jù)。例如，熵編碼單元2105根據(jù)預(yù)定熵編碼方法(諸如霍夫曼編碼和算術(shù)編碼)來編碼所量化的系數(shù)數(shù)據(jù)。熵編碼單元2105將所生成的編碼數(shù)據(jù)輸出至編碼單元2100的外部。
[0194]圖10是示出了小波變換單元2101的配置的典型實(shí)例的框圖。小波變換單元2101在每次掃描原始圖像的基帶信號(hào)的一行時(shí)在水平方向上執(zhí)行小波變換，并在每次讀取一定數(shù)量的行時(shí)在垂直方向上執(zhí)行小波變換。
[0195]如圖10中所示的小波變換單元2101通過三個(gè)分級(jí)層次(三個(gè)層次)執(zhí)行八倍分割(其是最常用的小波變換)，由此生成分級(jí)編碼圖像數(shù)據(jù)。
[0196]如圖10中所示，小波變換單元2101包括層次I的電路單元2210、層次2的電路單元2220、以及層次3的電路單元2230。
[0197]層次I的電路單元2210包括低通濾波器2211、下采樣器2212、高通濾波器2213、以及下采樣器2214。
[0198]層次2的電路單元2220包括低通濾波器2221、下采樣器2222、高通濾波器2223、以及下采樣器2224。
[0199]層次3的電路單元2230包括低通濾波器2231、下采樣器2232、高通濾波器2233、以及下采樣器2234。
[0200]通過層次I的電路單元2210的低通濾波器2211(傳遞函數(shù)HO(Z))和高通濾波器2213(傳遞函數(shù)Hl (Z))將輸入圖像信號(hào)劃分至頻帶。從頻帶劃分獲得的低頻分量(1L分量)和高頻分量(1H分量)分別通過對(duì)應(yīng)下采樣器2212和下采樣器2214來交織，使得分辨率變?yōu)槎种弧?br> [0201]通過層次2的電路單元2220的低通濾波器2221 (傳遞函數(shù)HO (Z))和高通濾波器2223(傳遞函數(shù)Hl (Z))將通過下采樣器2212交織的低頻分量(1L分量)的信號(hào)進(jìn)一步劃分為頻帶。從頻帶劃分獲得的低頻分量(2L分量)和高頻分量(2H分量)分別通過對(duì)應(yīng)下采樣器2222和下采樣器2224來交織，使得分辨率變?yōu)槎种弧?br> [0202]通過層次3的電路單元2230的低通濾波器2231 (傳遞函數(shù)HO (Z))和高通濾波器2233(傳遞函數(shù)Hl (Z))將通過下采樣器2232交織的低頻分量(2L分量)的信號(hào)進(jìn)一步劃分為頻帶。從頻帶劃分獲得的低頻分量(3L分量)和高頻分量(3H分量)分別通過對(duì)應(yīng)下采樣器2232和下采樣器2234來交織，使得分辨率變?yōu)槎种弧?br> [0203]如上所述，依次生成頻帶分量，其通過以分級(jí)的方式將低頻分量頻帶劃分為預(yù)定層次來做出。在圖10中的實(shí)例中，得出通過頻帶劃分為層次3獲得的結(jié)果，其包括下采樣器2214交織的高頻分量(1H分量)、下采樣器2224交織的高頻分量(2H分量)、下采樣器2234交織的高頻分量(3H分量)、以及下采樣器2232交織的低頻分量(3L分量)。
[0204]圖11是示出了作為將二維圖像頻帶劃分為層次3的結(jié)果所獲得的頻帶分量的示圖。在圖11的實(shí)例中，首先，通過在層次I頻帶劃分(水平/垂直方向)來獲得四個(gè)分量ILL, 1LH，IHL, IHH的子圖像。在這種情況下，LL意味著水平/垂直分量都為L(zhǎng)，LH意味著水平分量為H垂直分量為L(zhǎng)。隨后，再次對(duì)分量ILL進(jìn)行頻帶劃分，以便獲得子圖像2LL、2HL、2LH、2HH。此外，再次對(duì)分量2LL進(jìn)行頻帶劃分，以便獲得子圖像3LL、3HL、3LH、3HH。
[0205]作為如上所述重復(fù)執(zhí)行的小波變換的結(jié)果，子圖像在輸出信號(hào)中形成分級(jí)結(jié)構(gòu)。通過進(jìn)一步以基于行的方式擴(kuò)大此小波變換的是基于行的小波變換。
[0206]圖12是示出了由基于行的小波變換的構(gòu)思方式執(zhí)行的變換處理的示意圖。在這種情況下，例如，在每八行基帶上進(jìn)行垂直方向上的小波變換。
[0207]在這種情況下，假設(shè)按三層層次進(jìn)行小波變換，并且對(duì)于八行，生成編碼數(shù)據(jù)以使得針對(duì)最低頻率3LL的子圖像生成一個(gè)行，并針對(duì)后續(xù)層次的子帶3H生成每個(gè)行(子圖像3HL，3LH，3HH)。此外，生成編碼數(shù)據(jù)以使得針對(duì)后續(xù)層次的子帶2H生成每個(gè)行(子圖像2HL，2LH，2HH)，并針對(duì)最高頻率IH分別生成進(jìn)一步的四個(gè)行(子圖像1HL，1LH，IHH)。
[0208]應(yīng)該注意，每個(gè)子帶中的一組行將被稱為區(qū)域(precinct)。更具體地，基于行的小波變換中的區(qū)域是行塊形式，其是充當(dāng)基于行的小波變換的編碼單位的一組行。在這種情況下，編碼單位具有指示充當(dāng)編碼處理單位的一組行的通用意義，并且不限于上文解釋的基于行的小波變換。更具體地，例如，編碼單位可以是已經(jīng)可用的分級(jí)編碼(諸如JPEG2000和MPEG 4)中的編碼處理單位。
[0209]如圖12中所示，在如圖12的左側(cè)(附圖中的陰影部分)所示的基帶信號(hào)2301中具有八行的區(qū)域被配置為通過基于行的小波變換來變換的信號(hào)2302的IH中的每個(gè)1HL，ILH和IHH (附圖中的陰影部分)的四行，2H中的每個(gè)2HL，2LH和2HH (附圖中的陰影部分)的兩行，以及如圖12的右側(cè)所示的每個(gè)3HL，3LH和3HH(附圖中的陰影部分)的一行。
[0210]根據(jù)這種基于行的小波變換處理，可以在將單個(gè)圖片分解為與拼接JPEG 2000 一樣的細(xì)粒度時(shí)執(zhí)行處理，并且這可以減少圖像數(shù)據(jù)發(fā)送和接收期間的延遲。此外，與拼接(tiling) JPEG 2000不同，基于行的小波變換基于小波系數(shù)進(jìn)行劃分，而不劃分單個(gè)基帶信號(hào)，因此，另外，基于行的小波變換具有這樣的特征使得在拼接邊緣不發(fā)生圖像質(zhì)量下降(諸如塊噪聲)。
[0211]當(dāng)執(zhí)行此基于行的多媒體數(shù)字信號(hào)編解碼器的編碼單元2100例如適用于如圖4中所示的視頻編碼單元1401時(shí)，圖像捕獲設(shè)備1201可以實(shí)現(xiàn)延遲仍然更短的數(shù)據(jù)發(fā)送。
[0212]要理解的是，視頻編碼單元1401的編碼方法可以是任何方法，并且視頻編碼單元1401的編碼方法不限于基于行的小波變換。例如，視頻編碼單元1401的編碼方法可以是任何編碼方法(諸如已經(jīng)可用的分級(jí)編碼，諸如JPEG 2000和MPEG 4)。
[0213][3-2、解碼單元]
[0214]隨后，將解釋與如圖9中所示的編碼單元2100對(duì)應(yīng)的解碼單元。圖13是示出了本發(fā)明適用的解碼單元的配置的實(shí)例的框圖。如圖13中所示的解碼單元2500解碼由編碼單元2100編碼的編碼數(shù)據(jù)以恢復(fù)圖像數(shù)據(jù)。如圖13中所示，解碼單元2500包括熵解碼單元2501、系數(shù)緩沖單元2502、以及小波逆變換單元2503。
[0215]熵解碼單元2501根據(jù)與熵編碼單元2105使用的編碼方法對(duì)應(yīng)的解碼方法來解碼所提供的編碼數(shù)據(jù)，并獲得系數(shù)數(shù)據(jù)。將系數(shù)數(shù)據(jù)存儲(chǔ)在系數(shù)緩沖單元2502中。小波逆變換單元2503使用存儲(chǔ)在系數(shù)緩沖單元2502中的系數(shù)數(shù)據(jù)來基于組合濾波器執(zhí)行組合濾波處理(小波逆變換)以再次將組合濾波處理的結(jié)果存儲(chǔ)在系數(shù)緩沖單元2502中。小波逆變換單元2503根據(jù)分解層次來重復(fù)該處理，并且當(dāng)小波逆變換單元2503獲得解碼圖像數(shù)據(jù)(輸出圖像數(shù)據(jù))時(shí)，小波逆變換單元2503將解碼圖像數(shù)據(jù)(輸出圖像數(shù)據(jù))輸出至外部。
[0216]當(dāng)執(zhí)行上文解釋的基于行的多媒體數(shù)字信號(hào)編解碼器的解碼單元2500 (例如)適用于如圖4中所示的視頻解碼單元1606時(shí)，圖像捕獲設(shè)備1201可以實(shí)現(xiàn)延遲仍然更短的數(shù)據(jù)發(fā)送。
[0217]要理解的是，視頻解碼單元1606的編碼方法可以是任何方法，并且視頻解碼單元1606的編碼方法不限于基于行的小波變換。例如，視頻解碼單元1606的編碼方法可以是任何編碼方法(諸如已經(jīng)可用的分級(jí)編碼，諸如JPEG 2000和MPEG 4)。
[0218][3-3、發(fā)送處理的流程]
[0219]將參照?qǐng)D14的流程圖解釋編碼處理的流程的實(shí)例。
[0220]在步驟S2001中，當(dāng)開始編碼處理時(shí)，小波變換單元2101使用中間計(jì)算緩沖單元2102和系數(shù)分類緩沖單元2103來執(zhí)行小波變換，同時(shí)輸入行。
[0221]在步驟S2002中，小波變換單元2101確定是否已進(jìn)行了針對(duì)一個(gè)行塊的處理。當(dāng)小波變換單元2101確定行塊中還沒有經(jīng)處理的行時(shí)，再次返回執(zhí)行步驟S2001中的處理。
[0222]重復(fù)執(zhí)行步驟S2001和步驟S2002中的處理，并且當(dāng)確定行塊中的所有行都已經(jīng)在步驟S2002中處理時(shí)，隨后執(zhí)行步驟S2003中的處理。
[0223]在步驟S2003中，系數(shù)分類單元2104按預(yù)定順序讀取存儲(chǔ)在系數(shù)分類緩沖單元2103中的系數(shù)數(shù)據(jù)，由此對(duì)系數(shù)數(shù)據(jù)進(jìn)行分類。
[0224]在步驟S2104中，熵編碼單元2105按步驟S2003中讀取系數(shù)數(shù)據(jù)的順序?qū)ο禂?shù)數(shù)據(jù)執(zhí)行熵編碼。
[0225]當(dāng)完成步驟S2104中的處理時(shí)，完成編碼處理。
[0226]當(dāng)進(jìn)行編碼處理時(shí)，如上所述，編碼單元2100可以編碼圖像數(shù)據(jù)，同時(shí)延遲仍然更短。
[0227][3-4、接收處理的流程]
[0228]將參照?qǐng)D15解釋解碼處理的流程的實(shí)例。
[0229]在步驟S2101中，當(dāng)開始解碼處理時(shí)，熵解碼單元2501對(duì)所提供的編碼數(shù)據(jù)執(zhí)行熵解碼。
[0230]在步驟S2102中，系數(shù)緩沖單元2502保持通過步驟S2101中的解碼獲得的系數(shù)數(shù)據(jù)。
[0231]在步驟S2103中，小波逆變換單元2503響應(yīng)于從外部給出的請(qǐng)求或以預(yù)定定時(shí)讀取步驟S2102中累積在系數(shù)緩沖單元2502中的系數(shù)數(shù)據(jù)。小波逆變換單元2503對(duì)讀取系數(shù)數(shù)據(jù)執(zhí)行小波逆變換，由此生成圖像數(shù)據(jù)。
[0232]當(dāng)完成步驟S2103中的處理時(shí)，完成解碼處理。
[0233]當(dāng)進(jìn)行解碼處理時(shí)，如上所述，解碼單元2500可以解碼圖像數(shù)據(jù)，同時(shí)延遲仍然更短。
[0234][3-5、其他]
[0235]當(dāng)上文解釋的基于行的小波變換在上文解釋的每個(gè)實(shí)施方式中被常用作基于行的多媒體數(shù)字信號(hào)編解碼器時(shí)，通信包可以以行塊的子帶為單位而不以行塊為單位來生成。例如，在這種情況下，接收存儲(chǔ)器單元可以保留與從圖像報(bào)頭獲得的行塊編號(hào)和子帶編號(hào)對(duì)應(yīng)的存儲(chǔ)區(qū)，并且可以以行塊的子帶為單位存儲(chǔ)被分解為頻率分量的圖像數(shù)據(jù)。
[0236]在這種情況下，例如，當(dāng)子帶(或其一部分)由于以行塊為單位的解碼期間的發(fā)送誤差而丟失時(shí)，在行塊中的子帶之后可以插入虛擬數(shù)據(jù)，并且可以從后續(xù)行塊中恢復(fù)普通解碼。
[0237]〈4、第四實(shí)施方式〉
[0238][計(jì)算機(jī)]
[0239]上述一系列處理可以通過硬件執(zhí)行或可以通過軟件執(zhí)行。當(dāng)一系列處理通過軟件執(zhí)行時(shí)，將構(gòu)成軟件的程序安裝到計(jì)算機(jī)中。在這種情況下，計(jì)算機(jī)的實(shí)例包括結(jié)合到專用硬件中的計(jì)算機(jī)和能夠通過安裝各種程序執(zhí)行各種功能的通用計(jì)算機(jī)。
[0240]圖16是示出了使用程序執(zhí)行上述一系列處理的計(jì)算機(jī)的硬件的配置的實(shí)例的框圖。
[0241]如圖16中所示的計(jì)算機(jī)3100被配置使得CPU (中央處理器)3101、R0M(只讀存儲(chǔ)器)3102、以及RAM(隨機(jī)存取存儲(chǔ)器)3103經(jīng)由總線3104相互連接。
[0242]總線3104還連接至輸入/輸出接口 3110。輸入/輸出接口 3110與輸入單元3111、輸出單元3112、存儲(chǔ)單元3113、通信單元3114、以及驅(qū)動(dòng)器3155連接。
[0243]輸入單元3111例如由鍵盤、鼠標(biāo)、麥克風(fēng)、觸摸面板、輸入終端等構(gòu)成。輸出單元3112例如由顯示器、揚(yáng)聲器、以及輸出終端構(gòu)成。存儲(chǔ)單元3113例如由硬盤、RAM盤、非易失性存儲(chǔ)器構(gòu)成。通信單元3114例如由網(wǎng)絡(luò)接口構(gòu)成。驅(qū)動(dòng)器3115驅(qū)動(dòng)可移除介質(zhì)3121(諸如磁盤、光學(xué)盤、磁光盤或半導(dǎo)體存儲(chǔ)器)。
[0244]在如上所述配置的計(jì)算機(jī)中，例如，CPU 3101經(jīng)由輸入/輸出接口 3110和總線3104將存儲(chǔ)在存儲(chǔ)單元3113中的程序加載到RAM 3103中，并執(zhí)行該程序，由此執(zhí)行上文解釋的一系列處理。另外，如果需要，RAM3103存儲(chǔ)CPU 3101執(zhí)行各種處理時(shí)所需的數(shù)據(jù)。
[0245]由計(jì)算機(jī)(CPU 3101)執(zhí)行的程序可以被應(yīng)用為記錄到例如充當(dāng)封裝介質(zhì)的可移除介質(zhì)3121中。程序可以經(jīng)由有線或無線發(fā)送介質(zhì)(諸如局域網(wǎng)、互聯(lián)網(wǎng)、數(shù)字衛(wèi)星廣播)來提供。
[0246]在計(jì)算機(jī)中，可以通過將可移除介質(zhì)3121加載到驅(qū)動(dòng)器3115中經(jīng)由輸入/輸出接口 3110將程序安裝到存儲(chǔ)單元3113中?？梢酝ㄟ^接收程序利用通信單元3114經(jīng)由有線或無線發(fā)送介質(zhì)將程序安裝到存儲(chǔ)單元3113中。可選地，可以事先將程序安裝到ROM 3102或存儲(chǔ)單元3113中。
[0247]由計(jì)算機(jī)執(zhí)行的程序可以是一種程序，處理利用該程序按時(shí)間序列根據(jù)本說明書中解釋的順序來執(zhí)行，或者可以是一種程序，處理利用該程序與所需時(shí)間并行或在所需時(shí)間內(nèi)執(zhí)行，例如在調(diào)用時(shí)。
[0248]在該說明書中，描述記錄在記錄介質(zhì)中的程序的步驟包括按時(shí)間序列根據(jù)所述的順序執(zhí)行的處理。步驟不一定要按時(shí)間序列執(zhí)行，并且步驟包括并行或單獨(dú)執(zhí)行的處理。
[0249]在該說明書中，系統(tǒng)指的是一組多個(gè)構(gòu)成元素(諸如裝置、模塊(組件)等)，并且與所有構(gòu)成元素是否在相同外殼中無關(guān)。鑒于此，容納在不同外殼中并經(jīng)由網(wǎng)絡(luò)相互連接的裝置構(gòu)成一種系統(tǒng)，并且具有容納在單個(gè)外殼中的模塊的單個(gè)裝置也是系統(tǒng)。
[0250]在上述解釋中被解釋為設(shè)備(或處理單元)的配置可以被劃分為并被構(gòu)造為多個(gè)設(shè)備(或處理單元)。相反，在上述解釋中被解釋為多個(gè)設(shè)備(或處理單元)的配置可以被組合為并被構(gòu)造為設(shè)備(或處理單元)?？蛇x地，要理解的是，每個(gè)設(shè)備(或每個(gè)處理單元)的配置可以增設(shè)有除上述之外的任何配置。此外，當(dāng)整個(gè)系統(tǒng)的配置和操作基本上相同時(shí)，某個(gè)設(shè)備(或處理單元)的配置的一部分可以包括在另一個(gè)設(shè)備(或另一個(gè)處理單元)的配置中。
[0251]雖然已經(jīng)參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了詳細(xì)描述，但是本發(fā)明的技術(shù)范圍不限于這些實(shí)例。將明白，本發(fā)明領(lǐng)域的技術(shù)人員可以設(shè)想權(quán)利要求中引用的技術(shù)思想的范圍內(nèi)的各種修改和校正并且要理解的是它們同樣自然地屬于本發(fā)明的技術(shù)范圍。
[0252]例如，本技術(shù)可以被配置為云計(jì)算，其中對(duì)單個(gè)功能進(jìn)行處理以使得其以協(xié)作的方式通過多個(gè)裝置經(jīng)由網(wǎng)絡(luò)進(jìn)行分發(fā)。
[0253]上述流程圖中解釋的每個(gè)步驟都可以由單個(gè)裝置執(zhí)行，或都可以由多個(gè)裝置以分發(fā)的方式執(zhí)行。
[0254]此外，在多步處理包括在單個(gè)步驟中的情況下，步驟中包括的多步處理可以由單個(gè)裝置執(zhí)行，或可以由多個(gè)裝置以分發(fā)的方式執(zhí)行。
[0255]例如，本技術(shù)對(duì)輸出圖像的裝置是優(yōu)選的，該裝置在壓縮、發(fā)送、接收、并提取運(yùn)動(dòng)圖像信號(hào)、視頻信號(hào)、或靜止圖像時(shí)輸出圖像。更具體地，本技術(shù)可以適用于移動(dòng)通信設(shè)備、TV會(huì)議系統(tǒng)、監(jiān)控?cái)z錄機(jī)系統(tǒng)、醫(yī)療遠(yuǎn)程診斷、廣播站中使用的視頻壓縮發(fā)送、分發(fā)視頻直播、學(xué)生與老師之間的互動(dòng)通信、靜止圖像/運(yùn)動(dòng)圖像無線發(fā)送、互動(dòng)游戲應(yīng)用程序等。
[0256]應(yīng)該注意，本技術(shù)可以配置如下。
[0257](I) 一種信息處理裝置，包括:
[0258]估計(jì)單元，被配置為基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間；
[0259]設(shè)定單元，被配置為按照誤差校正接收延遲時(shí)間不超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位；
[0260]插入單元，被配置為以由所述設(shè)定單元設(shè)定的所述塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入所述編碼數(shù)據(jù)；以及
[0261]發(fā)送單元，被配置為發(fā)送已由所述插入單元插入有所述奇偶性的所述編碼數(shù)據(jù)。
[0262](2)根據(jù)(I)所述的信息處理裝置，其中，所述估計(jì)單元在假設(shè)所述發(fā)送緩沖等待時(shí)間和所述接收緩沖等待時(shí)間的和是恒定的情況下根據(jù)所述發(fā)送緩沖等待時(shí)間估計(jì)所述接收緩沖等待時(shí)間。
[0263](3)根據(jù)(I)或(2)所述的信息處理裝置，其中，所述估計(jì)單元基于添加到所述編碼數(shù)據(jù)中的視頻控制層同步時(shí)間戳來得到所述發(fā)送緩沖等待時(shí)間。
[0264](4)根據(jù)(I)至(3)中任一項(xiàng)所述的信息處理裝置，其中，當(dāng)所述發(fā)送緩沖等待時(shí)間改變時(shí)，所述估計(jì)單元使用所述發(fā)送緩沖等待時(shí)間的最長(zhǎng)時(shí)間來估計(jì)所述接收緩沖等待時(shí)間。
[0265](5)根據(jù)⑴至(4)中任一項(xiàng)所述的信息處理裝置，其中，所述設(shè)定單元在假設(shè)所述誤差校正接收延遲時(shí)間相當(dāng)于接收長(zhǎng)達(dá)所述塊長(zhǎng)度的數(shù)據(jù)所花費(fèi)的時(shí)間的情況下來設(shè)定所述塊長(zhǎng)度。
[0266](6)根據(jù)⑴至(5)中任一項(xiàng)所述的信息處理裝置，其中，在所述誤差校正接收延遲時(shí)間必須要超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間時(shí)，所述設(shè)定單元設(shè)定所述塊長(zhǎng)度使得所述誤差校正接收延遲時(shí)間盡可能短。
[0267](7)根據(jù)(I)至￠)中任一項(xiàng)所述的信息處理裝置，進(jìn)一步包括編碼單元，所述編碼單元被配置為通過編碼所述圖像數(shù)據(jù)生成所述編碼數(shù)據(jù)，
[0268]其中，所述估計(jì)單元基于所述編碼單元的所述發(fā)送緩沖等待時(shí)間估計(jì)所述接收緩沖等待時(shí)間。
[0269](8)根據(jù)(7)所述的信息處理裝置，其中，所述編碼單元根據(jù)基于行的多媒體數(shù)字信號(hào)編解碼器來編碼所述圖像數(shù)據(jù)，所述基于行的多媒體數(shù)字信號(hào)編解碼器將圖片劃分為多個(gè)行塊并對(duì)每個(gè)行塊進(jìn)行編碼。
[0270](9)根據(jù)(7)或⑶所述的信息處理裝置，進(jìn)一步包括:數(shù)據(jù)包生成單元，被配置為對(duì)所述編碼單元生成的所述編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)包化。
[0271](10)根據(jù)(7)至(9)中任一項(xiàng)所述的信息處理裝置，其中，所述數(shù)據(jù)包生成單元將視頻控制層同步時(shí)間戳添加到所生成的數(shù)據(jù)包中，并且
[0272]所述估計(jì)單元基于添加到所述數(shù)據(jù)包中的所述視頻控制層同步時(shí)間戳得到所述發(fā)送緩沖等待時(shí)間。
[0273](11)根據(jù)(7)至(10)中任一項(xiàng)所述的信息處理裝置，進(jìn)一步包括:圖像捕獲單元，被配置為捕獲對(duì)象的圖像并生成所述圖像數(shù)據(jù)，
[0274]其中，所述編碼單元對(duì)由所述圖像捕獲單元生成的所述圖像數(shù)據(jù)進(jìn)行編碼。
[0275](12) 一種用于信息處理裝置的信息處理方法，
[0276]通過所述信息處理裝置:
[0277]基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間；
[0278]按照誤差校正接收延遲時(shí)間不超過所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位；
[0279]以所設(shè)定的所述塊長(zhǎng)度為處理單位來插入用于誤差校正的奇偶性；以及
[0280]發(fā)送已插入有所述奇偶性的所述編碼數(shù)據(jù)。
[0281](13) 一種程序，使計(jì)算機(jī)起到以下各部件的作用:
[0282]估計(jì)單元，被配置為基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間；
[0283]設(shè)定單元，被配置為按照誤差校正接收延遲時(shí)間不超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位；
[0284]插入單元，被配置為以由所述設(shè)定單元設(shè)定的所述塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入所述編碼數(shù)據(jù)；以及
[0285]發(fā)送單元，被配置為發(fā)送已由所述插入單元插入有所述奇偶性的所述編碼數(shù)據(jù)。
[0286]參考符號(hào)列表
[0287]1100圖像發(fā)送系統(tǒng)
[0288]1101發(fā)送裝置
[0289]1102接收裝置
[0290]1111圖像發(fā)送緩沖器
[0291]1112誤差校正塊長(zhǎng)度生成單元
[0292]1121誤差校正等待緩沖器
[0293]1122圖像接收緩沖器
[0294]1200圖像處理系統(tǒng)
[0295]1201圖像捕獲設(shè)備
[0296]1202 CCU
[0297]1210 網(wǎng)絡(luò)
[0298]1301圖像捕獲單元
[0299]1302發(fā)送單元
[0300]1303接收單元
[0301]1304顯示單元
[0302]1401視頻編碼單元
[0303]1402數(shù)據(jù)包生成單元
[0304]1403等待時(shí)間分析單元
[0305]1404音頻編碼單元
[0306]1405數(shù)據(jù)包生成單元
[0307]1406等待時(shí)間分析單元
[0308]1407多路復(fù)用單元
[0309]1408FEC奇偶校驗(yàn)生成單元
[0310]1409RTP數(shù)據(jù)包生成單元
[0311]1501非同步發(fā)送路徑I/F
[0312]1510電路控制同步定時(shí)調(diào)節(jié)單元
[0313]1511時(shí)間戳生成單元
[0314]1512時(shí)鐘生成單元
[0315]1513同步信號(hào)生成單元
[0316]1601RTP包解碼單元
[0317]1602時(shí)間戳解碼單元
[0318]1603解復(fù)用單元
[0319]1604FEC 解碼單元
[0320]1605解包器
[0321]1606視頻解碼單元
[0322]1607FEC 解碼單元
[0323]1608解包器
[0324]1609音頻解碼單元
[0325]2100編碼單元
[0326]2101小波變換單元
[0327]2102中間計(jì)算緩沖單元
[0328]2103系數(shù)分類緩沖單元
[0329]2104系數(shù)分類單元
[0330]2105熵編碼單元
[0331]2500解碼單元
[0332]2501熵解碼單元
[0333]2502系數(shù)緩沖單元
[0334]2503小波逆變換單元
【權(quán)利要求】
1.一種信息處理裝置，包括: 估計(jì)單元，被配置為基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間； 設(shè)定單元，被配置為按照誤差校正接收延遲時(shí)間不超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位； 插入單元，被配置為以由所述設(shè)定單元設(shè)定的所述塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入所述編碼數(shù)據(jù)；以及 發(fā)送單元，被配置為發(fā)送已由所述插入單元插入有所述奇偶性的所述編碼數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述估計(jì)單元在假設(shè)所述發(fā)送緩沖等待時(shí)間和所述接收緩沖等待時(shí)間的和是恒定的情況下根據(jù)所述發(fā)送緩沖等待時(shí)間估計(jì)所述接收緩沖等待時(shí)間。
3.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述估計(jì)單元基于添加到所述編碼數(shù)據(jù)中的視頻控制層同步時(shí)間戳來得到所述發(fā)送緩沖等待時(shí)間。
4.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，當(dāng)所述發(fā)送緩沖等待時(shí)間改變時(shí)，所述估計(jì)單元使用所述發(fā)送緩沖等待時(shí)間的最長(zhǎng)時(shí)間來估計(jì)所述接收緩沖等待時(shí)間。
5.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，所述設(shè)定單元在假設(shè)所述誤差校正接收延遲時(shí)間相當(dāng)于接收長(zhǎng)達(dá)所述塊長(zhǎng)度的數(shù)據(jù)所花費(fèi)的時(shí)間的情況下來設(shè)定所述塊長(zhǎng)度。
6.根據(jù)權(quán)利要求1所述的信息處理裝置，其中，在所述誤差校正接收延遲時(shí)間必須要超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間時(shí)，所述設(shè)定單元設(shè)定所述塊長(zhǎng)度使得所述誤差校正接收延遲時(shí)間盡可能短。
7.根據(jù)權(quán)利要求1所述的信息處理裝置，進(jìn)一步包括編碼單元，所述編碼單元被配置為通過編碼所述圖像數(shù)據(jù)生成所述編碼數(shù)據(jù)， 其中，所述估計(jì)單元基于所述編碼單元的所述發(fā)送緩沖等待時(shí)間估計(jì)所述接收緩沖等待時(shí)間。
8.根據(jù)權(quán)利要求7所述的信息處理裝置，其中，所述編碼單元根據(jù)基于行的多媒體數(shù)字信號(hào)編解碼器來編碼所述圖像數(shù)據(jù)，所述基于行的多媒體數(shù)字信號(hào)編解碼器將圖片劃分為多個(gè)行塊并對(duì)每個(gè)行塊進(jìn)行編碼。
9.根據(jù)權(quán)利要求7所述的信息處理裝置，進(jìn)一步包括:數(shù)據(jù)包生成單元，被配置為對(duì)所述編碼單元生成的所述編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)包化。
10.根據(jù)權(quán)利要求7所述的信息處理裝置，其中，所述數(shù)據(jù)包生成單元將視頻控制層同步時(shí)間戳添加到所生成的數(shù)據(jù)包中，并且 所述估計(jì)單元基于添加到所述數(shù)據(jù)包中的所述視頻控制層同步時(shí)間戳得到所述發(fā)送緩沖等待時(shí)間。
11.根據(jù)權(quán)利要求7所述的信息處理裝置，進(jìn)一步包括:圖像捕獲單元，被配置為捕獲對(duì)象的圖像并生成所述圖像數(shù)據(jù)， 其中，所述編碼單元對(duì)由所述圖像捕獲單元生成的所述圖像數(shù)據(jù)進(jìn)行編碼。
12.一種用于信息處理裝置的信息處理方法， 通過所述信息處理裝置: 基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間； 按照誤差校正接收延遲時(shí)間不超過所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位； 以所設(shè)定的所述塊長(zhǎng)度為處理單位來插入用于誤差校正的奇偶性；以及 發(fā)送已插入有所述奇偶性的所述編碼數(shù)據(jù)。
13.一種使計(jì)算機(jī)起到以下各項(xiàng)的作用的程序: 估計(jì)單元，被配置為基于發(fā)送緩沖等待時(shí)間估計(jì)接收緩沖等待時(shí)間，其中，所述發(fā)送緩沖等待時(shí)間是對(duì)要被發(fā)送的圖像數(shù)據(jù)進(jìn)行編碼時(shí)累積通過編碼所述圖像數(shù)據(jù)所獲得的編碼數(shù)據(jù)所花費(fèi)的時(shí)間，所述接收緩沖等待時(shí)間是在所述編碼數(shù)據(jù)的發(fā)送目的地對(duì)所述編碼數(shù)據(jù)解碼之前累積所述編碼數(shù)據(jù)所花費(fèi)的時(shí)間； 設(shè)定單元，被配置為按照誤差校正接收延遲時(shí)間不超過所述估計(jì)單元所估計(jì)的所述接收緩沖等待時(shí)間的方式來設(shè)定塊長(zhǎng)度，其中，所述誤差校正接收延遲時(shí)間是在所述編碼數(shù)據(jù)的所述發(fā)送目的地執(zhí)行的誤差校正處理的延遲時(shí)間，所述塊長(zhǎng)度是所述誤差校正處理的處理單位； 插入單元，被配置為以由所述設(shè)定單元設(shè)定的所述塊長(zhǎng)度為處理單位將用于誤差校正的奇偶性插入所述編碼數(shù)據(jù)；以及 發(fā)送單元，被配置為發(fā)送已由所述插入單元插入有所述奇偶性的所述編碼數(shù)據(jù)。
【文檔編號(hào)】H04N21/24GK104205851SQ201380018682
【公開日】2014年12月10日 申請(qǐng)日期:2013年4月4日 優(yōu)先權(quán)日:2012年4月13日
【發(fā)明者】石見英輝, 藤田千裕, 吉村司 申請(qǐng)人:索尼公司