本發(fā)明涉及智能交通和電梯調度領域，特別是涉及一種外召乘梯意圖的識別方法、裝置、電梯外召控制系統(tǒng)、電子設備及計算機存儲介質。

背景技術：

1、隨著社會經濟發(fā)展和城市化進程的不斷推進，電梯已作為現代建筑中不可或缺的垂直運輸工具。一般電梯的基本工作原理為：電梯外召控制系統(tǒng)收到乘梯人員在電梯召喚箱上按下往上或往下的召梯按鈕，即電梯外召梯按鈕，如圖1所示；電梯外召控制系統(tǒng)將根據相應的召梯按鈕，控制電梯抵達該樓層，讓乘梯人員搭乘電梯，如圖2所示；接著，乘梯人員通過在內部的樓層面板點擊目標樓層，電梯則以勻速或均加速平穩(wěn)移動至目標樓層。當電梯在移動過程中，其路徑上的某樓層有乘梯人員點擊同方向的電梯外召按鈕時，電梯則會減速抵達該樓層，以接載相同移動方向的乘梯人員。

2、然而，在實際應用中，經常會出現乘梯人員意圖變更，導致電梯空跑現象，具體情況包括：乘梯人員因為多種原因按錯電梯外召按鈕、低層乘客候梯時間過長改走樓梯、乘客臨時變更行程而停止乘梯等，導致電梯接受外召指令后抵達相應樓層，但沒有乘客進梯。這種情況不僅嚴重影響其他乘客的乘梯體驗，還會導致下一輪候梯時間延長，進而降低電梯的整體運行效率。

3、基于此，現有技術為了避免電梯空跑現象，通常采用乘客身份識別和乘客意圖識別等方法對電梯調度進行優(yōu)化，其中，乘客身份識別適用于隱私性較強的住宅樓和辦公樓，但在公共區(qū)域廣泛的建筑中效果有限。而所述乘客意圖識別主要通過以下步驟執(zhí)行：實時獲取每處電梯轎廂外的監(jiān)控視頻進行預處理；對預處理后監(jiān)控視頻進行姿態(tài)估計，以獲得每個乘客的人體骨骼節(jié)點以及人體骨骼數量；并通過支持向量機的行為分析模型將人體骨骼節(jié)點圖的關鍵點坐標進行分析，獲得當前乘客是否存在乘梯意圖；電梯外召控制系統(tǒng)根據乘梯意圖進行召梯，如：是否將電梯移動至當前乘客的候梯樓層，供乘客進梯。

4、然而，若存在多公共區(qū)域的建筑，如商場、醫(yī)院等，人流密集且移動頻繁的地方，現有技術僅通過支持向量機用于判斷乘梯意圖容易產生誤判，且通過實施監(jiān)控視頻的采集、預處理、姿態(tài)估計以及行為分析都需要較高的計算資源，當計算負荷增加的時候，可能導致系統(tǒng)響應速度較慢，導致電梯調度的實時性和準確性受影響。

技術實現思路

1、基于此，本發(fā)明的目的在于，提供一種外召乘梯意圖的識別方法。

2、一種外召乘梯意圖的識別方法，包括以下步驟：

3、s1：對乘客按鍵的監(jiān)控視頻進行回溯并進行關鍵幀提取，獲得乘梯關鍵幀；

4、s2：對若干乘梯關鍵幀依次進行按鍵檢測和方向意圖識別，獲得按鍵動作幀和方向意圖信息，并根據方向意圖信息對按鍵動作幀和若干乘梯關鍵幀建立關聯(lián)，獲得同批次監(jiān)測列表；

5、s3：根據同批次監(jiān)測列表，對若干乘梯關鍵幀進行目標追蹤，并基于目標追蹤的結果判斷當前乘客是否存在乘梯意圖變更：若否，則繼續(xù)進行目標跟蹤；若是，則認為乘客意圖停止召梯。

6、本發(fā)明所述的外召乘梯意圖的識別方法，相對于現有技術，通過結合實際應用場景，采用雙向單輪檢測策略，即按鍵動作檢測，僅專注于識別和追蹤第一批次乘客的乘梯意圖，以此代表同方向但不同批次的候梯乘客，從而使系統(tǒng)在復雜的候梯區(qū)域場景下，顯著減少誤判的情況。此外，通過基于若干乘梯關鍵幀進行目標追蹤，系統(tǒng)有效降低了目標追蹤所需的計算資源，實現了更高效的資源利用率，并提高了乘梯意圖識別的穩(wěn)定性和實時性，為復雜場景下的電梯調度提供了更智能化的解決方案。

7、進一步地，所述步驟s1包括以下子步驟：

8、s11：對乘客按鍵的監(jiān)控視頻進行回溯，獲得相關視頻段；

9、其中，對于當前時刻t，則相關視頻段具體表示為

10、trelated∈[t-s,e],s<t

11、式中，trelated為相關視頻段；[t-s,e]表示為從當前時刻t向前回溯s秒內的視頻段，s為預設的交互時間，e表示為乘梯意圖分析結果時間，即監(jiān)控視頻的當前時間；

12、獲取相關視頻段trelatrd對應的視頻幀序列framen，并采用幀間差分法進行關鍵幀提取，獲得若干乘梯關鍵幀，具體計算表達式如下：

13、對于連續(xù)幀framei和framei+1之間的平均差分強度di表示為：

14、

15、式中，framei(x,y)表示第i幀在像素坐標(x,y)的像素值，w和h分別表示每一幀的寬度和高度；i屬于區(qū)間[1,n]，且n為所述視頻幀序列的總數量，根據監(jiān)控的刷新率fps計算獲得，具體計算為：fps×(e-t+s)；接著，采用一差分閾值對所有平均差分強度集合d＝{d1,d2,…,dn-1}進行篩選，獲得若干乘梯關鍵幀，其差分閾值為：

16、dth＝max(d)-δdvar

17、式中，max(·)表示為當前所有平均差分強度集合d中最大的平均差分強度；δdvar為一自定義的差分強度變量；若干乘梯關鍵幀keyframe表示為：

18、keyframe＝{(framei,tj)|i∈[1,n],tj∈[t-s,e]}

19、式中，framei表示在當前視頻幀序列中的第i幀；tj表示為視頻幀framei屬于的時間戳。

20、本發(fā)明基于乘客按鍵后指示燈亮起的即時時間進行回溯，以確保乘客按鍵的動作成功捕捉在監(jiān)控視頻的時間段內，并通過平均差分強度以突出關鍵的動作幀，為后續(xù)的目標識別和目標追蹤提供代表性數據，確保系統(tǒng)在復雜場景中仍然能夠準確識別乘梯意圖，降低誤判的可能性。此外，通過僅處理相關時間段內的關鍵幀，系統(tǒng)有效減少了數據處理量，優(yōu)化了計算資源的利用，從而顯著提高了系統(tǒng)的實時性和響應速度，進而使系統(tǒng)在復雜的候梯場景下能夠準確識別乘梯意圖，并快速響應電梯的調度情況，以防止電梯出現空跑現象，提升了整體系統(tǒng)的效率和可靠性。

21、進一步地，所述步驟s2包括以下子步驟：

22、s21：采用一圖像分類模型，對處于時間戳tj∈[t-s,t]內的若干乘梯關鍵幀進行按鍵檢測，獲得按鍵動作幀；

23、s22：判斷當前按鍵動作幀為單幀或雙幀：若為單幀，則根據乘客按鍵時觸發(fā)的指示燈對應的方向，獲得方向意圖信息；若為雙幀，則根據乘客按鍵時觸發(fā)的指示燈的對應的方向的順序，判斷雙幀對應屬于的時間戳順序，獲得方向意圖信息；

24、s23：根據方向意圖信息，識別按鍵動作幀中執(zhí)行按鍵動作的乘客的唯一性特征信息，并作為關鍵乘客keyid，其表示為keyid＝{featurekeyid}；根據關鍵乘客的唯一性特征信息，采用人體骨架時空關系模型mr對若干乘梯關鍵幀進行關聯(lián)性檢測，獲得同行乘客集合pid，具體表示為：

25、pid＝{mr(featureleyid,(framei,tj))|i∈[1,n],tj∈[t-s,t]}＝{pid1,pid2,…,pidi}

26、式中，mr(featurekeyid,(framei,tj))表示為根據輸入的關鍵乘客的唯一性特征；(framei,tj)為時間區(qū)間[t-s,t]內的乘梯關鍵幀；

27、將關鍵乘客以及同行乘客集合進行關聯(lián)，獲得同批次監(jiān)測列表，其列表表示為：

28、groupup＝{keyid,pid1,pid2,…,pidi}

29、和/或，

30、gruopdown＝{keyid,pid1,pid2,…,pidj}

31、式中，groupup用于表示向上方向的同批次監(jiān)測列表，groupdown用于表示向下方向的同批次監(jiān)測列表；i和j分別表示向上方向和向下方向對應的同行乘客的總數量；其中，pidi包括第i位乘客的姿態(tài)特征和動作特征。

32、本發(fā)明通過捕捉第一個按鍵的乘客作為關鍵乘客，以通過關鍵乘客進行關聯(lián)至同行乘客，從而使系統(tǒng)能夠重點關注關鍵乘客及其同行乘客，即可有效判斷當前電梯抵達前的乘梯意圖。同時，減少了對所有候梯乘客的全面監(jiān)控需求，集中處理首批次同方向乘客的乘梯意圖，進一步減少了不必要的資源消耗，并增加系統(tǒng)的實時性和響應速度。除此之外，本發(fā)明的關聯(lián)策略提高了系統(tǒng)在復雜場景下的魯棒性和穩(wěn)定性，確保即使在多批次乘客同時候梯的情況下，系統(tǒng)仍能準確識別并響應乘客的實際需求，并對關鍵乘客及同行乘客的精確追蹤和管理。

33、進一步地，所述步驟s3包括以下子步驟：

34、s31：根據同批次監(jiān)測列表groupup和/或groupdown，采用目標追蹤模型mtracking對若干乘客關鍵幀進行目標追蹤，獲得若干實時的動作act和軌跡track列表，其對于同批次監(jiān)測列表的關鍵乘客keyid，目標追蹤的具體表達式如下：

35、mtracling(keyid,(framei,tj)),tj∈[e-t,e]

36、＝{actkeyid＝{act1,…,acti},trackkeyid＝{position1,…,positioni}}

37、式中，acti表示第i幀的關鍵乘客對應的動作類型，positioni表示第i幀的關鍵乘客對應的位置；時間區(qū)間[e-t,e]中e根據監(jiān)控視頻的當前時間實時更新；

38、s32：根據實時的動作和軌跡列表，判斷當前乘客是否存在乘梯意圖變更：若是，則認為乘客意圖停止召梯；若否，則執(zhí)行步驟s31；

39、其中，對于同批次監(jiān)測列表groupup和/或groupdown中的第j位乘客的乘梯意圖的判斷表達式如下：

40、

41、式中，acti為第i幀的動作類型，且acti屬于同批次監(jiān)測列表的第j位乘客的動作列表；distance(·)用于計算兩個輸入數據之間的距離，left為判斷離開電梯位置的距離閾值；而用于判斷所有后續(xù)幀k中，存在至少一個后續(xù)幀k的乘客距離電梯的距離小于或等于所述距離閾值的情況；而用于判斷所有后續(xù)幀k中，所有后續(xù)幀k的乘客距離電梯的距離都大于所述距離閾值的情況；e為電梯的坐標位置；positionk為第k幀的乘客軌跡位置，且positionk屬于同批次監(jiān)測列表的第j位乘客的軌跡列表；其中，k∈[i,n]，n為視頻幀序列的總數量。

42、本發(fā)明通過在同批次監(jiān)控列表中對所有乘客的動作和軌跡進行細致分析，設定明確的條件判斷，即當且僅當同批次監(jiān)控列表中的所有乘客都處于移動狀態(tài)并遠離電梯到達一定距離時，才確定乘客集體有意圖離開候梯區(qū)域，并據此作為停止召梯的條件，確保了單一乘客的意圖不會影響同批次其他候梯乘客的乘梯體驗，同時也顯著減少了電梯因誤判而導致的空跑現象，優(yōu)化了電梯系統(tǒng)的整體調度效率。

43、一種外召乘梯意圖的識別裝置，包括監(jiān)控關鍵幀獲取單元、同批次目標方向意圖關聯(lián)單元和乘梯意圖識別單元；

44、所述監(jiān)控關鍵幀獲取單元，用于對乘客按鍵的監(jiān)控視頻進行回溯并進行關鍵幀提取，獲得乘梯關鍵幀；

45、所述同批次目標方向意圖關聯(lián)單元，用于對若干乘梯關鍵幀依次進行按鍵檢測和方向意圖識別，獲得按鍵動作幀和方向意圖信息，并根據方向意圖信息對按鍵動作幀和若干乘梯關鍵幀建立關聯(lián)，獲得同批次監(jiān)測列表；

46、所述乘梯意圖識別單元，用于根據同批次監(jiān)測列表，對若干乘梯關鍵幀進行目標追蹤，并基于目標追蹤的結果判斷當前乘客是否存在乘梯意圖變更：若否，則繼續(xù)進行目標跟蹤；若是，則認為乘客意圖停止召梯。

47、進一步地，所述監(jiān)控關鍵幀獲取單元包括監(jiān)控回溯模塊和監(jiān)控關鍵幀提取模塊；

48、所述監(jiān)控回溯模塊，用于對乘客按鍵的監(jiān)控視頻進行回溯，獲得相關視頻段；

49、其中，對于當前時刻t，則相關視頻段具體表示為

50、trelated∈[t-s,e],s<t

51、式中，trelated為相關視頻段；[t-s,e]表示為從當前時刻t向前回溯s秒內的視頻段，s為預設的交互時間，e表示為乘梯意圖分析結果時間，即監(jiān)控視頻的當前時間；

52、所述監(jiān)控關鍵幀提取模塊，用于獲取相關視頻段trelated對應的視頻幀序列framen，并采用幀間差分法進行關鍵幀提取，獲得若干乘梯關鍵幀，具體計算表達式如下：

53、對于連續(xù)幀framei和framei+1之間的平均差分強度di表示為：

54、

55、式中，framei(x,y)表示第i幀在像素坐標(x,y)的像素值，w和h分別表示每一幀的寬度和高度；i屬于區(qū)間[1,n]，且n為所述視頻幀序列的總數量，根據監(jiān)控的刷新率fps計算獲得，具體計算為：fps×(e-y+s)；接著，采用一差分閾值對所有平均差分強度集合d＝{d1,d2,…,dn-1}進行篩選，獲得若干乘梯關鍵幀，其差分閾值為：

56、dth＝max(d)-δdvar

57、式中，max(·)表示為當前所有平均差分強度集合d中最大的平均差分強度；δdvar為一自定義的差分強度變量；若干乘梯關鍵幀keyframe表示為：

58、keyframe＝{(framei,tj)|i∈[1,n],tj∈[t-s,e]}

59、式中，framei表示在當前視頻幀序列中的第i幀；tj表示為視頻幀framei屬于的時間戳。

60、進一步地，所述同批次目標方向意圖關聯(lián)單元包括按鍵檢測模塊、方向意圖標注模塊和方向意圖關聯(lián)模塊；

61、所述按鍵檢測模塊，用于采用一圖像分類模型，對處于時間戳tj∈[t-s,t]內的若干乘梯關鍵幀進行按鍵檢測，獲得按鍵動作幀；

62、所述方向意圖標注模塊，用于判斷當前按鍵動作幀為單幀或雙幀：若為單幀，則根據乘客按鍵時觸發(fā)的指示燈對應的方向，獲得方向意圖信息；若為雙幀，則根據乘客按鍵時觸發(fā)的指示燈的對應的方向的順序，判斷雙幀對應屬于的時間戳順序，獲得方向意圖信息；

63、所述方向意圖關聯(lián)模塊用于，根據方向意圖信息，識別按鍵動作幀中執(zhí)行按鍵動作的乘客的唯一性特征信息，并作為關鍵乘客keyid，其表示為keyid＝{featurekeyid}；根據關鍵乘客的唯一性特征信息，采用人體骨架時空關系模型mr對若干乘梯關鍵幀進行關聯(lián)性檢測，獲得同行乘客集合pid，具體表示為：

64、pid＝{mr(featureleyid,(framei,tj))|i∈[1,n],tj∈[t-s,t]}＝{pid1,pid2,…,pidi}

65、式中，mr(featurekeyid,(framei,tj))表示為根據輸入的關鍵乘客的唯一性特征；(framei,tj)為時間區(qū)間[t-s,t]內的乘梯關鍵幀；

66、將關鍵乘客以及同行乘客集合進行關聯(lián)，獲得同批次監(jiān)測列表，其列表表示為：

67、groupup＝{keyid,pid1,pid2,…,pidi}

68、和/或，

69、gruopdown＝{keyid,pid1,pid2,…,pidj}

70、式中，groupup用于表示向上方向的同批次監(jiān)測列表，groupdown用于表示向下方向的同批次監(jiān)測列表；i和j分別表示向上方向和向下方向對應的同行乘客的總數量；其中，pidi包括第i位乘客的姿態(tài)特征和動作特征；

71、所述乘梯意圖識別單元包括同批次目標追蹤模塊和同批次目標乘梯意圖判斷模塊；

72、所述同批次目標追蹤模塊，用于根據同批次監(jiān)測列表groupup和/或groupdown，采用目標追蹤模型mtracking對若干乘客關鍵幀進行目標追蹤，獲得若干實時的動作act和軌跡track列表，其對于同批次監(jiān)測列表的關鍵乘客keyid，目標追蹤的具體表達式如下：

73、mtracking(keyid,(framei,tj)),tj∈[e-t,e]

74、＝{actkeyid＝{act1,…,acti},trackkeyid＝{position1,…,positioni}}

75、式中，acti表示第i幀的關鍵乘客對應的動作類型，positioni表示第i幀的關鍵乘客對應的位置；時間區(qū)間[e-t,e]中e根據監(jiān)控視頻的當前時間實時更新；

76、所述同批次目標乘梯意圖判斷模塊，用于根據實時的動作和軌跡列表，判斷當前乘客是否存在乘梯意圖變更：若是，則認為乘客意圖停止召梯；若否，則執(zhí)行步驟s31；

77、其中，對于同批次監(jiān)測列表groupup和/或gruopdown中的第j位乘客的乘梯意圖的判斷表達式如下：

78、

79、式中，acti為第i幀的動作類型，且acti屬于同批次監(jiān)測列表的第j位乘客的動作列表；distance(·)用于計算兩個輸入數據之間的距離，left為判斷離開電梯位置的距離閾值；而用于判斷所有后續(xù)幀k中，存在至少一個后續(xù)幀k的乘客距離電梯的距離小于或等于所述距離閾值的情況；而用于判斷所有后續(xù)幀k中，所有后續(xù)幀k的乘客距離電梯的距離都大于所述距離閾值的情況；e為電梯的坐標位置；positionk為第k幀的乘客軌跡位置，且positionk屬于同批次監(jiān)測列表的第j位乘客的軌跡列表；其中，m∈[i,n]，n為視頻幀序列的總數量。

80、一種電梯外召控制系統(tǒng)，包括若干攝像設備、若干電梯外召梯按鈕，以及與若干攝像設備裝置和若干電梯外召梯按鈕電連接和/或通訊連接的外召乘梯意圖的識別裝置；

81、所述若干攝像設備設置于候梯區(qū)域，用于監(jiān)控對應樓層的所述電梯外召梯按鈕，并將監(jiān)控視頻發(fā)送至所述外召乘梯意圖的識別裝置；

82、所述若干電梯外召梯按鈕設置于候梯區(qū)域，用于使乘客按鍵相應方向，召喚一電梯至對應的候梯樓層；

83、所述外召乘梯意圖的識別裝置，用于對監(jiān)控視頻進行識別當前乘客是否存在乘梯意圖變更：若否，則繼續(xù)進行識別；若是，則取消對應候梯區(qū)域的所述電梯外召梯按鈕，取消召喚電梯；

84、其中，所述外召乘梯意圖的識別裝置為上述所述的外召乘梯意圖的識別裝置。

85、為了更好地理解和實施，下面結合附圖詳細說明本發(fā)明。