本發(fā)明涉及計(jì)算機(jī)視覺識(shí)別技術(shù)，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)作檢測(cè)方法。

背景技術(shù)：

近些年來(lái)，幾乎人手一部手機(jī)。每部手機(jī)上都有攝像頭。加上互聯(lián)網(wǎng)的發(fā)展和通信技術(shù)的進(jìn)步，人們?cè)絹?lái)越喜歡拍攝視頻，并且傳播到互聯(lián)網(wǎng)上，所以視頻的數(shù)量呈爆發(fā)式增長(zhǎng)，視頻的儲(chǔ)存和分析技術(shù)非常重要。

視頻動(dòng)作檢測(cè)是指對(duì)視頻中的動(dòng)作進(jìn)行分類，并且給出動(dòng)作發(fā)生的開始時(shí)間和結(jié)束時(shí)間，示例如圖1所示。近幾年，視頻動(dòng)作識(shí)別任務(wù)取得了很大的進(jìn)展，但是主要適用于已經(jīng)裁剪好的視頻，即視頻中有且只有一個(gè)動(dòng)作，沒(méi)有冗余的幀。于是，學(xué)者開始著手研究未裁剪的視頻，即視頻動(dòng)作檢測(cè)任務(wù)。

視頻任務(wù)過(guò)去所采用的主流方法是首先手工提取傳統(tǒng)特征，而后結(jié)合建模方法。此類方法目前效果最好的是提取基于改進(jìn)后的稠密軌跡(improved Dense Trajectory，iDT)的傳統(tǒng)特征，結(jié)合費(fèi)舍爾向量(Fisher Vector，F(xiàn)V)建模。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)在圖片任務(wù)和視頻動(dòng)作識(shí)別任務(wù)上取得了很大的突破。于是，學(xué)者開始把卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到視頻動(dòng)作檢測(cè)任務(wù)上。有學(xué)者嘗試用卷積神經(jīng)網(wǎng)絡(luò)提取視頻中幀級(jí)別的特征，再結(jié)合傳統(tǒng)特征。但這類方法中，二維的卷積神經(jīng)網(wǎng)絡(luò)難以挖掘視頻中的運(yùn)動(dòng)信息，而運(yùn)動(dòng)信息對(duì)動(dòng)作的建模和動(dòng)作的時(shí)間邊界(即開始時(shí)間和結(jié)束時(shí)間)的確定起著非常重要的作用。

針對(duì)這個(gè)局限，有學(xué)者運(yùn)用三維(二維空間+時(shí)間)卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)，提出了分段卷積神經(jīng)網(wǎng)絡(luò)(Segment-CNN，S-CNN)。這類方法在視頻中提取不同尺度的片段(Segment)，用三個(gè)結(jié)構(gòu)相同的網(wǎng)絡(luò)對(duì)其進(jìn)行處理，各網(wǎng)絡(luò)特點(diǎn)分述如下：

第一個(gè)是候選網(wǎng)絡(luò)(Proposal Network)，對(duì)片段進(jìn)行簡(jiǎn)單的二分類，剔除非動(dòng)作片段，將動(dòng)作片段輸入第二個(gè)網(wǎng)絡(luò)；

第二個(gè)是分類網(wǎng)絡(luò)(Classification Network)，給出片段的具體類別(包括類別“背景”)。用分類網(wǎng)絡(luò)的參數(shù)初始化第三個(gè)網(wǎng)絡(luò)；

第三個(gè)是定位網(wǎng)絡(luò)(Localization Network)，其損失函數(shù)(Loss Function)考慮了片段和實(shí)際視頻動(dòng)作片段(Ground Truths)的重合率，使得重合越多的片段的置信度越高，方便后處理確定動(dòng)作的時(shí)間邊界。

但是，有學(xué)者認(rèn)為上述方法中的三個(gè)網(wǎng)絡(luò)獨(dú)立工作，阻礙了其間的信息共享，而且在訓(xùn)練階段會(huì)耗費(fèi)大量的運(yùn)算資源和時(shí)間，同時(shí)，總體效果的上限受到候選網(wǎng)絡(luò)的限制。于是，他們提出了將三個(gè)階段的網(wǎng)絡(luò)整合為一個(gè)網(wǎng)絡(luò)，進(jìn)行多任務(wù)學(xué)習(xí)。但是，這些方法都有一個(gè)局限：即要求網(wǎng)絡(luò)輸入的視頻片段的尺寸一致，尤其是視頻片段的幀數(shù)一致。由于上述現(xiàn)有方法均通過(guò)控制下采樣的頻率來(lái)獲取不同時(shí)間長(zhǎng)度的片段，例如每2幀取1幀，每4幀取一幀，每8幀取1幀……，而這些不同采樣頻率獲得的片段通過(guò)同一網(wǎng)絡(luò)結(jié)構(gòu)來(lái)處理，因此會(huì)導(dǎo)致以下問(wèn)題：

(一)稀疏采樣會(huì)破壞動(dòng)作內(nèi)的連續(xù)性，使得3D CNN學(xué)習(xí)不到較好的運(yùn)動(dòng)特征；

(二)不同采樣頻率獲取的視頻片段共用一個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，會(huì)增加類內(nèi)差異性，使網(wǎng)絡(luò)學(xué)習(xí)負(fù)擔(dān)大，需要更復(fù)雜的網(wǎng)絡(luò)，和更多的訓(xùn)練數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)作檢測(cè)方法，這是一種不要求輸入的視頻片段尺寸一致的方案。本發(fā)明通過(guò)在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中增加時(shí)空金字塔池化層，消除網(wǎng)絡(luò)對(duì)輸入的限制，加快訓(xùn)練和測(cè)試的速度，更好地挖掘視頻中的運(yùn)動(dòng)信息，使視頻動(dòng)作分類和時(shí)間定位的性能都得以提高。

本發(fā)明的核心特點(diǎn)：一是在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)最后一個(gè)卷積層和第一個(gè)全連接層之間中加入了一個(gè)時(shí)空金字塔池化層；二是把整個(gè)視頻輸入網(wǎng)絡(luò)，在最后一層特征圖對(duì)感興趣區(qū)域?qū)?yīng)的特征進(jìn)行處理，獲取統(tǒng)一尺寸的特征，輸入全連接層，進(jìn)行分類。在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中增加時(shí)空金字塔池化層，時(shí)空金字塔池化層有以下幾方面優(yōu)勢(shì)：第一，不管輸入尺寸如何，時(shí)空金字塔池化層能提供統(tǒng)一尺寸的輸出，而傳統(tǒng)滑動(dòng)窗口式的池化層做不到這一點(diǎn)；第二，時(shí)空金字塔池化層能提供多層次、更魯棒的時(shí)空特征，而傳統(tǒng)池化方法只能提供單一層次的特征；第三，由于輸入的尺寸各異，時(shí)空金字塔池化層能對(duì)在不同尺寸上提取的特征進(jìn)行池化。

一般地，現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)由兩部分組成：卷積層和其后的全連接層。卷積層以滑動(dòng)窗口的形式進(jìn)行操作，因其權(quán)重共享，其實(shí)并不要求網(wǎng)絡(luò)的輸入尺寸一致，且能生成任意尺寸的特征圖。但是，全連接層因其定義，則需要統(tǒng)一的輸入尺寸。因此，現(xiàn)有方法需要固定尺寸的輸入，尤其是視頻。而在現(xiàn)有方法中，網(wǎng)絡(luò)之所以需要同一尺寸的輸入，僅是因?yàn)榫W(wǎng)絡(luò)后面的全連接層。因此，本發(fā)明提出在3D CNN中增加時(shí)空金字塔池化層(Pooling Layers)來(lái)消除3D CNN網(wǎng)絡(luò)對(duì)統(tǒng)一(固定)尺寸輸入的限制。本發(fā)明采用時(shí)空金字塔池化層作為3D CNN網(wǎng)絡(luò)最后一個(gè)池化層，即在3D CNN網(wǎng)絡(luò)的最后一個(gè)卷積層和第一個(gè)全連接層之間插入一個(gè)時(shí)空金字塔池化層，使網(wǎng)絡(luò)中的全連接層能獲得統(tǒng)一尺寸的輸入。

本發(fā)明提供的技術(shù)方案是：

一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)作檢測(cè)方法，通過(guò)在網(wǎng)絡(luò)結(jié)構(gòu)中增加時(shí)空金字塔池化層，消除網(wǎng)絡(luò)對(duì)輸入的限制，加快訓(xùn)練和測(cè)試的速度，提高視頻動(dòng)作分類和時(shí)間定位的性能；所述卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、普通池化層、時(shí)空金字塔池化層和全連接層；

包括如下步驟：

(一)在訓(xùn)練階段，執(zhí)行如下操作：

11)把訓(xùn)練視頻整個(gè)輸入到三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)模型中，得到特征圖；

12)在訓(xùn)練視頻中獲取不同長(zhǎng)度的片段，根據(jù)實(shí)際視頻動(dòng)作片段(ground truth)，從中挑選正樣本和負(fù)樣本，作為訓(xùn)練樣本；

13)把訓(xùn)練樣本在特征圖中對(duì)應(yīng)的特征區(qū)域輸入到時(shí)空金字塔池化層，得到統(tǒng)一尺寸的特征表達(dá)；

14)把統(tǒng)一尺寸的特征輸入到全連接層，定義損失函數(shù)，獲取損失值；進(jìn)行反向傳播，調(diào)整模型中的參數(shù)，進(jìn)行訓(xùn)練；

15)逐步降低訓(xùn)練的學(xué)習(xí)率，當(dāng)訓(xùn)練損失已經(jīng)不再下降時(shí)，便可得到已訓(xùn)練完畢的模型了；

(二)在檢測(cè)階段，執(zhí)行如下操作：

21)把整個(gè)待檢測(cè)視頻輸入到已訓(xùn)練完畢的模型中；

22)在待檢測(cè)視頻中提取不同長(zhǎng)度的片段，在網(wǎng)絡(luò)的特征層獲取對(duì)應(yīng)片段的特征區(qū)域，輸入到時(shí)空金字塔池化層，得到統(tǒng)一尺寸的特征表達(dá)；

23)對(duì)統(tǒng)一尺寸的特征進(jìn)行判別，得到分類置信度；最后選擇置信度最高的為最終的定位結(jié)果和類別。分類置信度為模型最后的全連接層softmax的輸出。

上述基于卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)作檢測(cè)方法，在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中增加時(shí)空金字塔池化層，使得不管輸入尺寸如何，時(shí)空金字塔池化層能對(duì)在不同尺寸上提取的特征進(jìn)行池化，且提供統(tǒng)一尺寸的輸出；另外，時(shí)空金字塔池化層能提供多層次、更魯棒的時(shí)空特征。在本發(fā)明實(shí)施例中，訓(xùn)練階段采用隨機(jī)梯度下降方式，學(xué)習(xí)參數(shù)，直至收斂。在測(cè)試階段，和訓(xùn)練階段一樣獲取樣本，得到輸出后，再選取得分最高的片段，即可得到視頻中所發(fā)生的動(dòng)作的類別，以及動(dòng)作發(fā)生的起始時(shí)間和結(jié)束時(shí)間。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明提供的基于卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)作檢測(cè)方法，通過(guò)在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中增加時(shí)空金字塔池化層，其技術(shù)優(yōu)勢(shì)包括：第一，不管輸入尺寸如何，時(shí)空金字塔池化層能提供統(tǒng)一尺寸的輸出，而傳統(tǒng)滑動(dòng)窗口式的池化層做不到這一點(diǎn)；第二，時(shí)空金字塔池化層能提供多層次、更魯棒的時(shí)空特征，而傳統(tǒng)池化方法只能提供單一層次的特征；第三，由于輸入的尺寸各異，時(shí)空金字塔池化層能對(duì)在不同尺寸上提取的特征進(jìn)行池化。

本發(fā)明方法能夠消除網(wǎng)絡(luò)對(duì)輸入的限制，加快訓(xùn)練和測(cè)試的速度，更好地挖掘視頻中的運(yùn)動(dòng)信息，使視頻動(dòng)作分類和時(shí)間定位的性能都得以提高。具體地，采用本發(fā)明技術(shù)方案來(lái)檢測(cè)識(shí)別視頻動(dòng)作，不需要通過(guò)下采樣來(lái)獲取不同時(shí)間長(zhǎng)度的視頻片段，而是直接輸入整個(gè)視頻，把多次輸入變?yōu)橐淮屋斎?，提高了效率；同時(shí)，由于網(wǎng)絡(luò)訓(xùn)練的是同一頻率(都沒(méi)有經(jīng)過(guò)下采樣)的視頻片段，并無(wú)增加類內(nèi)的差異性，降低了網(wǎng)絡(luò)的學(xué)習(xí)負(fù)擔(dān)，使得模型收斂得更快，檢測(cè)效果更好。

附圖說(shuō)明

圖1是視頻動(dòng)作與視頻動(dòng)作檢測(cè)識(shí)別的起始時(shí)間示意圖。

圖2是本發(fā)明方法與傳統(tǒng)方法的不同流程框圖；

其中，(a)為現(xiàn)有傳統(tǒng)方法；(b)為本發(fā)明提供的方法。

圖3是本技術(shù)方案訓(xùn)練階段和測(cè)試階段流程框圖；

其中，(a)為訓(xùn)練階段；(b)為測(cè)試階段。

圖4是本發(fā)明采用的在網(wǎng)絡(luò)中加入時(shí)空金字塔池化層的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)框圖。

圖5是三維卷積與二維卷積的區(qū)別；

其中，(a)為二維卷積；(b)為三維卷積。

具體實(shí)施方式

下面結(jié)合附圖，通過(guò)實(shí)施例進(jìn)一步描述本發(fā)明，但不以任何方式限制本發(fā)明的范圍。

本發(fā)明提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的視頻動(dòng)作檢測(cè)方法，通過(guò)在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中增加時(shí)空金字塔池化層，消除網(wǎng)絡(luò)對(duì)輸入的限制，加快訓(xùn)練和測(cè)試的速度，更好地挖掘視頻中的運(yùn)動(dòng)信息，使視頻動(dòng)作分類和時(shí)間定位的性能都得以提高。本發(fā)明不要求輸入的視頻片段尺寸一致。

如圖2所示，由于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)要求輸入的視頻片段尺寸一致，視頻片段輸入網(wǎng)絡(luò)前需要經(jīng)過(guò)下采樣操作。而本發(fā)明則去除下采樣過(guò)程，在最后一個(gè)卷積層和第一個(gè)全連接層之間插入了一個(gè)時(shí)空金字塔池化層。圖3是本技術(shù)方案訓(xùn)練階段和測(cè)試階段流程框圖。

圖4是本發(fā)明采用的在網(wǎng)絡(luò)中加入時(shí)空金字塔池化層的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)框圖。如圖4所示，時(shí)空金字塔池化層能生成統(tǒng)一尺寸的特征。其中，池化可分為n個(gè)層次。設(shè)定最后一層特征圖的尺寸為W*H*T，各層次劃分區(qū)域情況如下：

第一個(gè)層次：

我們把整個(gè)特征圖看為一個(gè)區(qū)域，區(qū)域大小為W*H*T；

第k(k＞1且k≤n)個(gè)層次：

我們把整個(gè)特征圖劃分為2^k-1*2^k-1*2^k-1個(gè)區(qū)域，從前左上角開始劃分，前左上角的(2^k-1-1)*(2^k-1-1)*(2^k-1-1)個(gè)區(qū)域的大小為其余區(qū)域的大小在此基礎(chǔ)上取所余，如

本發(fā)明具體實(shí)施時(shí)，設(shè)定k為3，第一個(gè)層次，我們可以劃分為4*4*4個(gè)區(qū)域，如果最后一層特征圖的尺寸為W*H*T，則前左上角3*3*3個(gè)區(qū)域的尺寸為(是向下取整符號(hào))，其余區(qū)域的尺寸在此基礎(chǔ)上取所余。第二個(gè)層次，我們可以劃分為2*2*2個(gè)區(qū)域，各區(qū)域尺寸的計(jì)算和第一個(gè)層次相仿。第三個(gè)層次，我們可以把整個(gè)特征圖看為一個(gè)區(qū)域。各區(qū)域內(nèi)的池化方法可以采用最大池化法(Max Pooling)，即取最大值。

輸入樣本處理：

如果把一個(gè)片段的每一幀都輸入網(wǎng)絡(luò)當(dāng)中，會(huì)導(dǎo)致兩個(gè)問(wèn)題：其一，相鄰兩幀間變化較小，包含的運(yùn)動(dòng)信息也少，有點(diǎn)冗余；其二，輸入網(wǎng)絡(luò)的幀數(shù)較多，使得網(wǎng)絡(luò)占用內(nèi)存過(guò)大。

因此，本發(fā)明實(shí)施例以每三幀取一幀，使得輸入網(wǎng)絡(luò)的幀數(shù)減少，減輕冗余幀帶來(lái)的內(nèi)存負(fù)擔(dān)。

本發(fā)明可以用滑動(dòng)窗口的方式獲取正負(fù)樣本，即以16,31,61,121，241，481這些不同時(shí)間長(zhǎng)度，以75％的重疊率滑動(dòng)獲取。本發(fā)明以“交集比并集(Intersection-over-Union,IoU)”方法作為劃分正負(fù)樣本的標(biāo)準(zhǔn)。

正樣本滿足以下兩個(gè)條件之一即可：一，與真實(shí)標(biāo)注IoU值最大；二，與真實(shí)標(biāo)注IoU值大于0.7。

通常情況下，第二個(gè)條件可以在一個(gè)視頻中獲取多個(gè)正樣本，所以滿足第二個(gè)條件就可以獲得足夠多的正樣本了，但有些情況下，第二個(gè)條件無(wú)法獲得正樣本，所以條件一可以確保至少有一個(gè)正樣本。

負(fù)樣本滿足以下條件：與真實(shí)標(biāo)注IoU值小于0.3。

其他既不是正樣本也不是負(fù)樣本的樣本不參與訓(xùn)練。

把樣本對(duì)應(yīng)的最后一層卷積層的特征送入時(shí)空金字塔卷積層中，獲得統(tǒng)一尺寸的特征，然后再輸入到下一層網(wǎng)絡(luò)。

網(wǎng)絡(luò)結(jié)構(gòu)：

本發(fā)明在三維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行實(shí)現(xiàn)。三維卷積神經(jīng)網(wǎng)絡(luò)將時(shí)間維度與空間維度同等對(duì)待，同時(shí)進(jìn)行，在卷積操作中，采用三維卷積核，在池化操作中，也采用三維池化。二維卷積和三維卷積的區(qū)別如圖5所示。

本發(fā)明實(shí)施例中，所有池化操作使用最大池化運(yùn)算，在空間維度上使用2*2的大小，步長(zhǎng)為2，在時(shí)間維度上，各層有所不同；所有卷積操作的卷積核大小為3*3*3，在時(shí)空維度的步長(zhǎng)都是1。網(wǎng)絡(luò)結(jié)構(gòu)可以有2種，一種為帶全連接層的結(jié)構(gòu)，另一種為不帶全連接層的結(jié)構(gòu)，即全卷積結(jié)構(gòu)。

帶全連接層的結(jié)構(gòu)A表示為：

conv1a(64)-pool1(1,1)-conv2a(128)-pool2(2,2)-conv3a(256)-conv3b(256)-pool3(2,2)-conv4a(512)-conv4b(512)-pool4(2,2)-conv5a(512)-conv5b(512)–pool_pyramid-fc6(4096)-fc7(4096)-fc8(K+1)

不帶全連接層的結(jié)構(gòu)B表示為：

conv1a(64)-pool1(1,1)-conv2a(128)-pool2(2,2)-conv3a(256)-conv3b(256)-pool3(2,2)-conv4a(512)-conv4b(512)-pool4(2,2)-conv5a(512)-conv5b(512)-pool_pyramid-fc8(K+1)

其中，conv(卷積核的數(shù)量)代表三維卷積層，pool(時(shí)間維度的核尺寸，時(shí)間維度的步長(zhǎng)) 代表三維池化層，pool_pyramid代表時(shí)空金字塔池化層，fc(神經(jīng)元數(shù)量)代表全連接層，K是動(dòng)作分類的類別數(shù)量，K+1是加上了無(wú)指定類別的動(dòng)作。不帶全連接層的結(jié)構(gòu)B是基于全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)的，相比帶全連接層的結(jié)構(gòu)A，B結(jié)構(gòu)的參數(shù)數(shù)量更少。A、B兩種結(jié)構(gòu)變式皆可。

輸出：

網(wǎng)絡(luò)最后有兩個(gè)輸出層，一個(gè)是類別分類，另一個(gè)是時(shí)間定位的回歸計(jì)算，可視為多任務(wù)(2個(gè)任務(wù))學(xué)習(xí)。

損失函數(shù)可定義為：

L(p,u,t^u,v)＝L_cls(p,u)+λ[u≥1]L_loc(t^u,v) (式1)

其中，L_cls(p,u)＝-log p_u；p是樣本在K+1個(gè)類別上的概率分布，p＝(p₀...,p_k)；u是真實(shí)的類別；v是樣本所在時(shí)間軸上的真實(shí)位置(即開始時(shí)間和結(jié)束時(shí)間)v＝(v_b,v_e)；t^u是計(jì)算得到的位置λ為控制2個(gè)任務(wù)的損失值之間的平衡的參數(shù)，其取值范圍為0到正無(wú)窮大；[u≥1]表示當(dāng)u所代表的類別是動(dòng)作時(shí)等于1，否則為0；

其中，t^u∩v是t^u和v的交集，t^u∪v是t^u和v的并集。

訓(xùn)練階段：

在訓(xùn)練階段可采用隨機(jī)梯度下降，學(xué)習(xí)參數(shù)，直至收斂。本發(fā)明實(shí)施例中，批大小(batch size)為256，正負(fù)樣本的比例為1:1，如果正樣本數(shù)量不足，則由負(fù)樣本補(bǔ)充。動(dòng)量(momentum)可設(shè)為0.9。用三維卷積網(wǎng)絡(luò)在Sports-1M數(shù)據(jù)集上訓(xùn)練得到的模型作為網(wǎng)絡(luò)初始化的參數(shù)，全連接層fc8層的學(xué)習(xí)率為0.01，其他層的學(xué)習(xí)率為0.0001，當(dāng)網(wǎng)絡(luò)收斂時(shí)再降到原來(lái)的1/10，如此兩次便停止訓(xùn)練。

測(cè)試階段(檢測(cè))：

在測(cè)試階段，和訓(xùn)練階段一樣獲取樣本，網(wǎng)絡(luò)最后一層類別分類的輸出即為置信度，得到輸出后，再選取置信度最高的片段，即可得到視頻中所發(fā)生的動(dòng)作的類別，以及動(dòng)作發(fā)生的起始時(shí)間和結(jié)束時(shí)間(即網(wǎng)絡(luò)最后一層時(shí)間定位回歸計(jì)算的輸出)。

需要注意的是，公布實(shí)施例的目的在于幫助進(jìn)一步理解本發(fā)明，但是本領(lǐng)域的技術(shù)人員可以理解：在不脫離本發(fā)明及所附權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是可能的。因此，本發(fā)明不應(yīng)局限于實(shí)施例所公開的內(nèi)容，本發(fā)明要求保護(hù)的范圍以權(quán)利要求書界定的范圍為準(zhǔn)。