(100)經(jīng)展示監(jiān)測(cè)至少一個(gè)真實(shí)世界環(huán)境,此 處為窗戶(120)。在這個(gè)實(shí)例中,事件(122)已發(fā)生,其中巖石或球已碰撞穿過窗戶(120), 從而產(chǎn)生運(yùn)動(dòng)、窗戶(孔)(124)的狀態(tài)變化以及還產(chǎn)生也可經(jīng)由處理器控制的視頻攝像機(jī) (100)上的任選麥克風(fēng)(未示出)檢測(cè)的相關(guān)聯(lián)聲音(未示出)。根據(jù)本發(fā)明,使用將討論 的細(xì)節(jié),客戶端計(jì)算機(jī)化裝置(112)具有視頻屏幕(114),所述視頻屏幕(114)被配置來允 許客戶端(116)(其通常遠(yuǎn)離真實(shí)世界環(huán)境120)觀察展示至少一個(gè)真實(shí)世界環(huán)境(120)和 事件(122)的視頻數(shù)據(jù)。
[0046] 如將要討論的,至少一個(gè)處理器控制的視頻攝像機(jī)(100)通常將能夠不僅僅只是 獲取視頻(并且任選地也獲取音頻)、壓縮所述視頻以及通過互聯(lián)網(wǎng)傳送所述視頻。
[0047] 如將要討論的,VCS互聯(lián)網(wǎng)服務(wù)器(106)和/或至少一個(gè)互聯(lián)網(wǎng)連接的視頻數(shù)據(jù) 存儲(chǔ)裝置(108)(其本身可以是服務(wù)器)以及相關(guān)聯(lián)的數(shù)據(jù)庫存儲(chǔ)器(110)可被配置在各 種不同的實(shí)施方案中。在一些實(shí)施方案中,VCS互聯(lián)網(wǎng)服務(wù)器(106)可以是大型可擴(kuò)展視 頻云,所述大型可擴(kuò)展視頻云可同時(shí)連接到非常大數(shù)量的不同處理器控制的視頻攝像機(jī) (100),諸如介于1與100, 〇〇〇之間或甚至介于1與10, 〇〇〇, 〇〇〇之間或更多攝像機(jī)。這種 連接通常將在自動(dòng)的基礎(chǔ)上完成。在一些實(shí)施方案中,至少一個(gè)互聯(lián)網(wǎng)連接的視頻數(shù)據(jù)存 儲(chǔ)裝置(108)(其本身可以是服務(wù)器)和相關(guān)聯(lián)的數(shù)據(jù)庫存儲(chǔ)器(110)可被配置來允許通 過本發(fā)明的視頻云服務(wù)(VCS)方法進(jìn)行的事件視頻的云存儲(chǔ)。這個(gè)互聯(lián)網(wǎng)連接的視頻數(shù)據(jù) 存儲(chǔ)可通過提供各種文件存儲(chǔ)和服務(wù)平臺(tái)的第三方服務(wù)器來進(jìn)行。
[0048] 如將要討論的,通??墒褂枚鄠€(gè)不同的客戶端計(jì)算機(jī)化裝置(112),但是為簡(jiǎn)單起 見,這多個(gè)不同的計(jì)算機(jī)化裝置通常以單數(shù)形式口述。此單數(shù)形式的使用不意欲限制,并且 一般來說,權(quán)利要求書和本發(fā)明應(yīng)該被理解為用多個(gè)客戶端計(jì)算機(jī)化裝置(實(shí)際上本發(fā)明 可擴(kuò)展至數(shù)百萬個(gè)此類裝置),并且實(shí)際上通常也用多個(gè)不同的客戶端(116)(可能擴(kuò)展至 數(shù)百萬個(gè)客戶端)來操作。盡管為簡(jiǎn)單起見,但通常移動(dòng)客戶端計(jì)算機(jī)化裝置,諸如普及 Android、iOS或Windows智能電話和平板計(jì)算機(jī)將用作客戶端計(jì)算機(jī)化裝置(112)的具體 實(shí)例,這些具體實(shí)例不意欲限制。
[0049] 在圖1中,應(yīng)注意,服務(wù)器(106)、互聯(lián)網(wǎng)連接的視頻存儲(chǔ)裝置(108)以及數(shù)據(jù)庫存 儲(chǔ)器(110)全部展示成位于云(140)中。這是旨在指定并提醒讀者,服務(wù)器(106)、互聯(lián)網(wǎng) 連接的視頻存儲(chǔ)裝置(108)以及數(shù)據(jù)庫存儲(chǔ)器(110)實(shí)際上是根據(jù)基于可擴(kuò)展的互聯(lián)網(wǎng)云 的方法來操作,接著根據(jù)自動(dòng)服務(wù)供應(yīng)和自動(dòng)虛擬機(jī)迀移方法來操作。如先前所討論的,此 類可擴(kuò)展方法的實(shí)例包括但不限于,AmazonEC2、MicrosoftWindowsAzure平臺(tái)和Google AppEngine。因此,例如,服務(wù)器(106)和互聯(lián)網(wǎng)連接的視頻存儲(chǔ)裝置(108)通常將實(shí)現(xiàn)為 云服務(wù)系統(tǒng)下的自動(dòng)供應(yīng)的虛擬機(jī),所述自動(dòng)供應(yīng)的虛擬機(jī)可根據(jù)所述系統(tǒng)上的下層要求 在任何給定的時(shí)間處創(chuàng)建更多或更少數(shù)量的服務(wù)器(106)和互聯(lián)網(wǎng)連接的視頻存儲(chǔ)裝置 (108)以及相關(guān)聯(lián)的數(shù)據(jù)庫存儲(chǔ)器(110)的副本。
[0050] 因此,在一些實(shí)施方案中,所述系統(tǒng)和方法可產(chǎn)生大型可擴(kuò)展視頻云服務(wù),所述 大型可擴(kuò)展視頻云服務(wù)可同時(shí)連接到并管理非常大數(shù)量的攝像機(jī)(例如,多達(dá)100, 〇〇〇、 10, 000, 000或甚至更多攝像機(jī)。一般來說,所述系統(tǒng)被配置來自動(dòng)連接到各種攝像機(jī),并且 允許通過這些視頻云服務(wù)進(jìn)行的事件視頻的云存儲(chǔ)。如將要討論的,所述系統(tǒng)提供檢測(cè)攝 像機(jī)打開并正常運(yùn)行的方法(例如,攝像機(jī)"心跳"狀態(tài)消息),以及允許用戶(例如,人類 客戶端)在需要時(shí)管理系統(tǒng),并且根據(jù)需要使用在各種移動(dòng)計(jì)算機(jī)化裝置上運(yùn)行的app、在 各種計(jì)算機(jī)化裝置上運(yùn)行的網(wǎng)絡(luò)瀏覽器等觀察遠(yuǎn)程事件的各種簡(jiǎn)單方法。
[0051] 如將要討論的,系統(tǒng)(140)提供各種警報(bào)管理服務(wù)和裝置管理服務(wù),并且還允許 數(shù)據(jù)的加密和安全交換。所述系統(tǒng)可使用各種媒體中繼服務(wù)器方法以及使用從各種攝像機(jī) 到被授權(quán)客戶端的實(shí)況視頻(并且通常是音頻)的對(duì)等(P2P)流來將視頻傳送到其用戶。 所述系統(tǒng)通常還將配置有自動(dòng)數(shù)據(jù)備份。
[0052] 如還將討論的,本發(fā)明的其他實(shí)施方案還可提供用于系統(tǒng)管理和分析以及其他功 能諸如處理大量負(fù)載的負(fù)載均衡的各種網(wǎng)站(門戶網(wǎng)站),以及用于處理來自各種攝像機(jī) 的大數(shù)據(jù)負(fù)載的峰值和即時(shí)飆升處理的系統(tǒng)。另外,所述系統(tǒng)可被配置用于智能和自適應(yīng) 視頻流和帶寬限制。
[0053] 處理器控制的視頻攝像機(jī)(100)可被配置來提供各種類型的能力,包括視頻分 析、實(shí)時(shí)流協(xié)議(RTSP)或其他協(xié)議類型的視頻流、HTTP實(shí)況流(HLS)視頻文件、自動(dòng)事件檢 測(cè)和觸發(fā)以及將視頻上傳到各種存儲(chǔ)裝置的能力。除允許到(將討論的)各種視頻云服務(wù) 器的連接之外,攝像機(jī)還可配置成具有用于認(rèn)證和驗(yàn)證的各種系統(tǒng),并且任選地使用安全 連接諸如安全套接層(安全SSL)、傳輸層安全性(TLS)以及其他加密方法來確保安全。攝 像機(jī)可由所述系統(tǒng)配置,以便支持實(shí)況流、支持媒體中繼服務(wù)器,并且還可任選地具有各種 網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)網(wǎng)關(guān)遍歷技術(shù)和部件以便有助于支持對(duì)等操作和與各種客戶端計(jì)算 機(jī)化裝置的根據(jù)需要的連接。
[0054] 或者說,這些處理器控制的視頻攝像機(jī)中的至少一些因此可被配置來通過至少一 個(gè)防火墻使用各種方法,諸如Websocket(RFC6455中所討論)、STUN(用于NAT的會(huì)話遍歷 公用業(yè)務(wù),RFC5389, 5766和5245中所討論)、TURN(使用中繼NAT的遍歷,RFC5766、5245 和6156中所討論)、ICE方法(互聯(lián)網(wǎng)連接性建立,RFC5245、5766、5768、6336和6544中 所討論)或其他防火墻遍歷協(xié)議來傳送數(shù)據(jù)。
[0055]在其他實(shí)施方案中,處理器控制的視頻攝像機(jī)(100)還可被配置來自動(dòng)檢測(cè)匹配 的用戶計(jì)算機(jī)化裝置何時(shí)具有對(duì)于所述攝像機(jī)來說是本地的網(wǎng)絡(luò)連接,進(jìn)而允許所述攝像 機(jī)使用更快速的本地網(wǎng)絡(luò)連接方法來處理本地用戶。配備有麥克風(fēng)的攝像機(jī)還可被配置來 分析來自其相應(yīng)真實(shí)世界環(huán)境的音頻,并且檢測(cè)和報(bào)告音頻事件。
[0056]配備有處理器的視頻攝像機(jī)可被配備成通過使用更靈敏的視頻檢測(cè)器、適當(dāng)信號(hào) 處理,或通過使用紅外敏感視頻檢測(cè)器并且用紅外光照射本地環(huán)境來處理低光照情況(例 如,夜間視力)。攝像機(jī)還可配備有其他類型的傳感器(例如,溫度傳感器、濕度檢測(cè)器、煙 霧檢測(cè)器等),并且這些其他傳感器也可用來指示真實(shí)世界環(huán)境中的各種事件何時(shí)可能需 要客戶端更仔細(xì)的監(jiān)測(cè)。
[0057] 如別處將討論的,攝像機(jī)通常將被配置來允許自動(dòng)設(shè)置(例如,攝像機(jī)供應(yīng)),以 及各種攝像機(jī)參數(shù)設(shè)置的遠(yuǎn)程客戶端登陸和調(diào)整。攝像機(jī)進(jìn)一步可配置有各種類型的攝像 機(jī)診斷以幫助調(diào)試。在一些實(shí)施方案中,這些診斷進(jìn)一步可結(jié)合各種攝像機(jī)"心跳"狀態(tài)消 息來使用,如將要討論的。在優(yōu)選實(shí)施方案中,攝像機(jī)將被配置來打開并且盡可能快速地初 始化(例如,即時(shí)開啟和立即連接)。
[0058] 客戶端計(jì)算機(jī)化裝置可包括運(yùn)行AppleiOS、Android、Windows、Linux或其他類 型操作系統(tǒng)的裝置。在這些裝置上運(yùn)行的本發(fā)明的軟件的一部分可以是本機(jī)應(yīng)用程序的形 式,或其可作為解釋應(yīng)用程序運(yùn)行或在各種約束諸如Java沙箱下運(yùn)行、作為HTML5應(yīng)用程 序運(yùn)行等。然而,一般來說,本機(jī)應(yīng)用程序傾向于更快地運(yùn)行,傾向于更接近系統(tǒng)資源,并且 因此通常是優(yōu)選的。
[0059] 客戶端計(jì)算機(jī)化裝置軟件通常將(至少經(jīng)由軟件)提供用戶登錄的能力,以及預(yù) 覽客戶端的各種攝像機(jī)(例如,客戶端已被授權(quán)訪問的攝像機(jī))的能力,以及處理多個(gè)攝像 機(jī)的能力。客戶端系統(tǒng)軟件另外可被配置來允許客戶端與客人和其他用戶共享攝像機(jī)訪 問、回顧近期事件列表和這些事件的細(xì)節(jié)、以及接收各種系統(tǒng)通知和警報(bào)。另外的功能可包 括實(shí)況攝像機(jī)觀看、P2P通信、經(jīng)由網(wǎng)絡(luò)和NAT的防火墻遍歷、RTSP視頻播放/觀看、HLS視 頻播放和觀看、在本地或遠(yuǎn)程存檔事件和視頻的能力以及遠(yuǎn)程連接攝像機(jī)的能力。
[0060] 客戶端計(jì)算機(jī)化裝置軟件還可被配置來允許用戶(客戶端)設(shè)定各種攝像機(jī)參數(shù) 和設(shè)置、處理其他攝像機(jī)關(guān)聯(lián)的傳感器(例如,麥克風(fēng)、溫度傳感器、濕度傳感器、煙霧檢測(cè) 器)。所述軟件還可允許用戶根據(jù)各種分析方案和算法來分類或過濾各種事件,并且嘗試 選擇最有效和最有意義的事件。其他功能可包括觀看其他共享的攝像機(jī)、指定一些攝像機(jī) 作為公共攝像機(jī)、以及使用各種類型的數(shù)字視頻錄像機(jī)(DVR)的特征(例如,快進(jìn)、停止、回 退、快退、慢動(dòng)作等)來觀看攝像機(jī)時(shí)間線和過去記錄的能力。
[0061] 視頻云服務(wù)
[0062] 所述系統(tǒng)可支持多種攝像機(jī),并且在優(yōu)選實(shí)施方案中,這包括能夠通過RESTAPI 與服務(wù)器通信的攝像機(jī)。所述攝像機(jī)通常將被配置來發(fā)起連接請(qǐng)求,并且隨后使用例如訪 問API密鑰和用戶ID和攝像機(jī)/位置ID(諸如媒體訪問控制(MAC)地址)來進(jìn)行初始認(rèn) 證。當(dāng)創(chuàng)建與遠(yuǎn)程服務(wù)器的會(huì)話并且發(fā)布會(huì)話密鑰時(shí),這個(gè)會(huì)話密鑰隨后可用于后面所有 的攝像機(jī)通信,以便在各種攝像機(jī)/客戶端與視頻云服務(wù)之間安全地交換數(shù)據(jù)。攝像機(jī)隨 后可將數(shù)據(jù),諸如事件元數(shù)據(jù)、JPG圖像以及H. 264或其他視頻格式事件視頻等,上傳到系 統(tǒng)的云服務(wù)器以用于稍后的檢索。
[0063] 用戶管理服務(wù)
[0064] 在一些實(shí)施方案中,軟件可被配置來提供各種類型的用戶管理服務(wù)(UMS)。這些通 過RESTAPI或其他方法的使用來依次提供創(chuàng)建并管理用戶的能力。用戶管理服務(wù)可整合 到各種網(wǎng)絡(luò)門戶中,從而因此允許用戶管理其攝像機(jī)并且觀看/管理各種事件。在一些實(shí) 施方案中,會(huì)話管理也可整合到API調(diào)用中,以便所有交換的數(shù)據(jù)將是安全的。任選地,UMS 系統(tǒng)還可咨詢并檢查其他外部用戶登錄/密碼系統(tǒng)以便認(rèn)證各種用戶的登錄。
[0065] 警報(bào)管理服務(wù)
[0066] 在優(yōu)選實(shí)施方案中,本發(fā)明將被配置來在通過系統(tǒng)的警報(bào)管理服務(wù)(AMS)系統(tǒng)產(chǎn) 生事件或根據(jù)由系統(tǒng)或用戶設(shè)置的各種方案過濾事件的任何時(shí)候?qū)⒕瘓?bào)提供給各種客戶 端計(jì)算機(jī)化裝置(例如,移動(dòng)電話和網(wǎng)絡(luò)瀏覽器客戶端)。這個(gè)系統(tǒng)可被配置來允許用戶基 于那個(gè)用戶的特殊需要來訂閱各個(gè)事件通知。警報(bào)管理系統(tǒng)可向用戶提供實(shí)時(shí)警報(bào)以便在 檢測(cè)到事件時(shí)管理所述事件。這個(gè)系統(tǒng)還可被配置來使用其他服務(wù)轉(zhuǎn)發(fā)事件,所述其他服 務(wù)諸如蘋果推送通知服務(wù)、谷歌云消息、其他云服務(wù)、以及其他技術(shù)(例如,簡(jiǎn)單的消息傳 送服務(wù)(SMS)、電子郵件、自動(dòng)電話呼叫、音頻警報(bào)等)。在一些實(shí)施方案中,所述系統(tǒng)還可 允許用戶訂閱或啟動(dòng)多種類型的警報(bào)(例如,SMS和電子郵件)。
[0067] 裝置管理服務(wù)
[0068] 裝置管理器服務(wù)(DMS)軟件模塊可用來克服可阻礙任何網(wǎng)絡(luò)中的各種系統(tǒng)裝置 的互聯(lián)網(wǎng)訪問的任何防火墻/NAT問題。DMS另外可被配置來為客戶端提供與攝像機(jī)無縫通 信以交換針對(duì)供應(yīng)的控制數(shù)據(jù)、由攝像機(jī)或客戶端計(jì)算機(jī)化裝置使用的控制帶寬、升級(jí)固 件、促進(jìn)P2P流傳送等的能力。DMS軟件模塊還可用來保持對(duì)針對(duì)其服務(wù)所注冊(cè)的所有裝置 (例如,攝像機(jī)、客戶端計(jì)算機(jī)化裝置)的跟蹤并且向至少系統(tǒng)管理器或其他被授權(quán)用戶提 供所述用戶被授權(quán)審計(jì)的每個(gè)裝置的狀態(tài)和可用性信息。
[0069] P2P視頻流(對(duì)等視頻流)
[0070] 在一些實(shí)施方案中,系統(tǒng)可使用各種方法,諸如移動(dòng)電話app和或?yàn)g覽器客戶端 (例如,HTML5網(wǎng)絡(luò)瀏覽器客戶端)來將數(shù)據(jù)傳送到客戶端計(jì)算機(jī)化裝置(例如,智能電話 等)。任一軟件可被配置來使用DMS直接連接到給定的攝像機(jī)。在一些實(shí)施方案中,DMS隨 后將通過提供攝像機(jī)的RTSPURL來操作,所述RTSPURL無論裝置或攝像機(jī)處于網(wǎng)絡(luò)上的 何處時(shí)都可訪問客戶端計(jì)算機(jī)化裝置。客戶端計(jì)算機(jī)化裝置隨后將能夠檢索RTSP數(shù)據(jù)流、 解碼視頻和任何音頻(例如,H. 264視頻和AAC音頻或其他格式的視頻和音頻)并且在客 戶端計(jì)算機(jī)化裝置上重放所述視頻和音頻。對(duì)于攝像機(jī)對(duì)客戶端計(jì)算機(jī)化裝置的直接訪問 來說,這可通過使用P2P方法來進(jìn)行。或者,諸如當(dāng)P2P方法不可行時(shí),系統(tǒng)可自動(dòng)使用中 繼服務(wù)器(例如,媒體中繼服務(wù)器)來幫助確保攝像機(jī)總是可訪問的。
[0071] 會(huì)話服務(wù)
[0072] 在一些實(shí)施方案中,各種視頻云服務(wù)、用戶管理服務(wù)、裝置管理服務(wù)以及警報(bào)管理 服務(wù)全部都可使用會(huì)話處理以便在服務(wù)器與各種客戶端計(jì)算機(jī)化裝置之間安全地交換數(shù) 據(jù)。此處,可生成API密鑰來允許僅被授權(quán)的用戶訪問服務(wù)。此處,例如,這些服務(wù)可驗(yàn)證用 戶并且創(chuàng)建可使用例如安全散列算法(SHA)或其他方法進(jìn)一步加密的唯一"會(huì)話密鑰"。因 此,會(huì)話密鑰僅可由生成所述會(huì)話的各種服務(wù)和裝置已知并且可用來幫助確保安全通信。 會(huì)話密鑰還可被設(shè)置成在設(shè)定時(shí)間段(例如,4個(gè)小時(shí))之后到期,從而有助于防止誤用。
[0073] 客戶端計(jì)算機(jī)化裝置軟件
[0074] 在一些實(shí)施方案中,系統(tǒng)可使用運(yùn)行這些各種VCS、UMS、DMS和AMS服務(wù)的客戶端 計(jì)算機(jī)化裝置運(yùn)行軟件(例如,app、其他類型的軟件、HTML5網(wǎng)絡(luò)瀏覽器客戶端等)來操 作。這個(gè)客戶端計(jì)算機(jī)化裝置軟件可被配置來向用戶提供使用本文所述的系統(tǒng)的一些或所 有方面的能力。這可包括創(chuàng)建新賬戶、管理現(xiàn)有賬戶、配置攝像機(jī)、觀看事件視頻、觀看實(shí)況 視頻等。
[0075] 圖