終端用戶安全監(jiān)護方法及裝置與流程
本發(fā)明涉及智能終端領(lǐng)域，具體涉及一種終端用戶安全監(jiān)護方法及裝置。
背景技術(shù)：
隨著科技的發(fā)展，智能手機等各種智能移動終端已經(jīng)取代傳統(tǒng)pc進入了人們娛樂、生活的方方面面，手機其先天的可移動性這一優(yōu)勢，促使人們更頻繁的使用手機，因此也誕生了低頭族這個新名詞，即在街道上行走時，還是一直低頭使用手機，刷微博微信、看視頻、看電子書，打游戲等；把注意力完全集中在手機上，無法留意到周圍環(huán)境的改變，因此可能帶來人身安全上的隱患，比如經(jīng)常就能看到新聞報道邊走路邊看手機然后掉到坑里，被車撞到等新聞。因此如何對終端用戶在不安全的環(huán)境下使用終端存在的安全隱患進行及時提醒，以避免出現(xiàn)人身安全事故是目前亟需解決的問題。
技術(shù)實現(xiàn)要素：
本發(fā)明要解決的主要技術(shù)問題是，提供一種終端用戶安全監(jiān)護方法及裝置，解決現(xiàn)有終端用戶在不安全環(huán)境下使用終端忽略環(huán)境變化而可能導(dǎo)致人身安全事故發(fā)生的問題。
為解決上述技術(shù)問題，本發(fā)明提供一種終端用戶安全監(jiān)護方法，包括：
根據(jù)終端的運動數(shù)據(jù)判斷所述終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式；
如是，判斷所述終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用；
如是，通過所述終端對終端用戶進行安全提醒。
在本發(fā)明的一種實施例中，根據(jù)終端的運動數(shù)據(jù)判斷終端是否處于監(jiān)護運 動模式包括：
檢測到所述終端亮屏；
通過所述終端的運動數(shù)據(jù)采集模塊按當(dāng)前的采集頻率在采集周期內(nèi)采集所述終端的運動數(shù)據(jù)；
根據(jù)所述運動數(shù)據(jù)分析所述終端是否處于所述監(jiān)護運動模式。
在本發(fā)明的一種實施例中，檢測到所述終端亮屏后，通過所述終端的運動數(shù)據(jù)采集模塊采集所述運動數(shù)據(jù)之前，還包括：
判斷所述終端亮屏的持續(xù)時間是否大于預(yù)設(shè)的亮屏?xí)r間閾值。
在本發(fā)明的一種實施例中，根據(jù)所述運動數(shù)據(jù)分析所述終端是否處于所述監(jiān)護運動模式包括：
根據(jù)當(dāng)前采集周期內(nèi)的運動數(shù)據(jù)分析所述終端當(dāng)前的運動模式是否與所述監(jiān)護運動模式匹配；
如匹配，判斷當(dāng)前連續(xù)判斷結(jié)果為是的次數(shù)n是否大于等于預(yù)設(shè)次數(shù)閾值n，如大于等于，則判定所述終端處于所述監(jiān)護運動模式；如小于，則繼續(xù)分析后面采集周期內(nèi)的運動數(shù)據(jù)；
如不匹配，按預(yù)設(shè)頻率調(diào)整規(guī)則降低所述采集頻率。
在本發(fā)明的一種實施例中，還包括：當(dāng)檢測到所述終端由亮屏變?yōu)橄ㄆ習(xí)r，停止所述運動數(shù)據(jù)的采集、終端前臺應(yīng)用類型的判斷以及對終端用戶的安全提醒。
在本發(fā)明的一種實施例中，判斷所述終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用包括：
按預(yù)設(shè)輪詢頻率對所述終端前臺當(dāng)前運行的進程進行輪詢；
當(dāng)連續(xù)m1次或累計m2次輪詢到所述終端前臺運行的進程屬于所述監(jiān)管型 應(yīng)用的進程時，判定所述終端前臺當(dāng)前運行的應(yīng)用屬于預(yù)設(shè)的監(jiān)管型應(yīng)用，所述m2大于等于所述m1。
在本發(fā)明的一種實施例中，判斷所述終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用后，通過所述終端對終端用戶進行安全提醒之前，還包括：
通過所述終端的圖像采集模塊采集終端正面的終端用戶圖像；
分析所述圖像中是否存在人臉，如存在，再通過所述終端對終端用戶進行安全提醒。
在本發(fā)明的一種實施例中，所述圖像中不存在人臉時，繼續(xù)對所述終端前臺當(dāng)前運行的進程進行輪詢，當(dāng)連續(xù)k1次或累計k2次輪詢到所述終端前臺運行的進程屬于所述監(jiān)管型應(yīng)用的進程時，直接通過所述終端對終端用戶進行安全提醒；所述k1大于所述m1，所述k2大于所述m2，且所述k2大于所述k1。
在本發(fā)明的一種實施例中，通過所述終端對終端用戶進行安全提醒包括以下方式中的至少一種：
通過所述終端播放提醒語音；
將所述終端顯示界面進行遮擋；
在所述終端顯示界面上顯示提醒懸浮窗口；
暫?；蜿P(guān)閉所述終端前臺當(dāng)前運行的應(yīng)用。
在本發(fā)明的一種實施例中，所述監(jiān)護運動模式為步行模式。
在本發(fā)明的一種實施例中，所述監(jiān)管型應(yīng)用為社交娛樂類應(yīng)用。
為了解決上述問題，本發(fā)明還提供了一種終端用戶安全監(jiān)護裝置，包括：
運動模式判斷模塊，用于根據(jù)終端的運動數(shù)據(jù)判斷所述終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式；
應(yīng)用類型判斷模塊，用于在所述判斷結(jié)果為是時，判斷所述終端前臺當(dāng)前 運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用；
告警模塊，用于在所述應(yīng)用類型判斷模塊判斷結(jié)果為是時，通過所述終端對終端用戶進行安全提醒。
在本發(fā)明的一種實施例中，所述運動模式判斷模塊包括：
檢測子模塊，用于檢測到所述終端亮屏；
采集控制子模塊，用于控制所述終端的運動數(shù)據(jù)采集模塊按當(dāng)前的采集頻率在采集周期內(nèi)采集所述終端的運動數(shù)據(jù)；
運動數(shù)據(jù)分析子模塊，用于根據(jù)所述運動數(shù)據(jù)分析所述終端是否處于所述監(jiān)護運動模式。
在本發(fā)明的一種實施例中，所述應(yīng)用類型判斷模塊包括：
輪詢子模塊，用于按預(yù)設(shè)輪詢頻率對所述終端前臺當(dāng)前運行的進程進行輪詢；
判斷子模塊，用于當(dāng)連續(xù)m1次或累計m2次輪詢到所述終端前臺運行的進程屬于所述監(jiān)管型應(yīng)用的進程時，判定所述終端前臺當(dāng)前運行的應(yīng)用屬于預(yù)設(shè)的監(jiān)管型應(yīng)用，所述m2大于等于所述m1。
在本發(fā)明的一種實施例中，還包括：圖像采集控制模塊，用于在判斷所述終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用后，通過所述終端對終端用戶進行安全提醒之前，控制所述終端的圖像采集模塊采集終端正面的終端用戶圖像；
圖像分析模塊，用于分析所述圖像中是否存在人臉，如存在，再通知所述告警模塊對所述終端用戶進行安全提醒。
在本發(fā)明的一種實施例中，還包括補詢模塊，用于在所述圖像中不存在人臉時，繼續(xù)對所述終端前臺當(dāng)前運行的進程進行輪詢，當(dāng)連續(xù)k1次或累計k2 次輪詢到所述終端前臺運行的進程屬于所述監(jiān)管型應(yīng)用的進程時，直接通知所述告警模塊對所述終端用戶進行安全提醒；所述k1大于所述m1，所述k2大于所述m2，且所述k2大于所述k1。
本發(fā)明的有益效果是：
本發(fā)明提供的終端用戶安全監(jiān)護方法及裝置，在終端使用過程中，可以根據(jù)終端的運動數(shù)據(jù)判斷終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式，也即判斷用戶當(dāng)前使用終端是否會存在潛在的安全隱患，例如處于步行模式；當(dāng)判斷終端處于監(jiān)護運動模式時，進一步判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用(例如游戲、視頻、電子書、各種網(wǎng)頁、社交軟件等)，如果是，則表明終端用戶當(dāng)前可能在將注意力集中在終端上，此時通過終端對終端用戶進行安全提醒，以避免終端用戶因分散注意力而忽略外部環(huán)境變化，進而可能導(dǎo)致人身安全事故發(fā)生的問題，維護終端用戶的人身安全，提升用戶體驗的滿意度。
附圖說明
圖1為本發(fā)明實施例一提供的終端用戶安全監(jiān)護方法流程示意圖；
圖2為本發(fā)明實施例一提供的判斷終端是否處于監(jiān)護運動模式流程示意圖；
圖3為本發(fā)明實施例一提供的判斷前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用流程示意圖；
圖4為本發(fā)明實施例一提供的圖像采集分析過程流程示意圖；
圖5為本發(fā)明實施例二提供的終端用戶安全監(jiān)護裝置結(jié)構(gòu)示意圖一；
圖6為本發(fā)明實施例二提供的終端用戶安全監(jiān)護裝置結(jié)構(gòu)示意圖二；
圖7為本發(fā)明實施例二提供的終端用戶安全監(jiān)護裝置結(jié)構(gòu)示意圖三；
圖8為本發(fā)明實施例三提供的運動模式判斷模塊工作過程示意圖；
圖9為本發(fā)明實施例三提供的應(yīng)用類型判斷模塊工作過程示意圖；
圖10為本發(fā)明實施例三提供的監(jiān)控系統(tǒng)結(jié)構(gòu)示意圖。
具體實施方式
本發(fā)明在終端使用過程中，可以根據(jù)終端的運動數(shù)據(jù)判斷終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式，例如處于步行模式；當(dāng)判斷終端處于監(jiān)護運動模式時，進一步判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用(例如游戲、視頻等)，如果是，此時通過終端對終端用戶進行安全提醒，維護終端用戶的人身安全，提升用戶體驗的滿意度。下面通過具體實施方式結(jié)合附圖對本發(fā)明作進一步詳細說明。
請參見圖1所示，本實施例提供的終端用戶安全監(jiān)護方法包括：
步驟101：根據(jù)終端的運動數(shù)據(jù)判斷終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式，如是，轉(zhuǎn)至步驟102；否則，轉(zhuǎn)至步驟105；
步驟102：判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用，如是，轉(zhuǎn)至步驟103；否則，轉(zhuǎn)至步驟104；
步驟103：通過終端對終端用戶進行安全提醒。
步驟104：轉(zhuǎn)至步驟102繼續(xù)判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用。
步驟105：轉(zhuǎn)至步驟101繼續(xù)判斷終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式。
應(yīng)當(dāng)理解的是，終端一般都是用戶隨身攜帶隨用戶動而動的，因此終端所處的運動模式能夠體現(xiàn)終端用戶所處的運動模式。而本實施例中的監(jiān)護運動模式則是可根據(jù)實際需求由制造商或終端用戶自己靈活設(shè)定。本實施例中可以設(shè)置該監(jiān)護運動模式為步行模式。此時則根據(jù)終端的運動數(shù)據(jù)分析終端當(dāng)前的運 動模式是否與步行模式匹配即可。匹配的方式可以采用任意能實現(xiàn)正確分析匹配的方式。
本實施例中，根據(jù)終端的運動數(shù)據(jù)判斷終端是否處于監(jiān)護運動模式請參見圖2所示，包括以下步驟：
步驟201：檢測到終端亮屏；因為一般終端處于亮屏狀態(tài)時才表明終端用戶當(dāng)前的注意力可能集中于終端，這樣可以提升控制的準(zhǔn)確性；當(dāng)然，為了避免終端用戶點亮終端屏幕后在短時間內(nèi)就立即關(guān)閉的情況，本實施例還可優(yōu)選在檢測到終端亮屏后，判斷終端亮屏的持續(xù)時間是否大于預(yù)設(shè)的亮屏?xí)r間閾值(例如2秒、3秒等)，只有在判斷結(jié)果為是時才進行后續(xù)的步驟，這樣可以進一步提升控制的準(zhǔn)確性；將終端用戶只是點亮屏幕查看時間等情況排除在外；
步驟202：通過終端的運動數(shù)據(jù)采集模塊按當(dāng)前的采集頻率在采集周期內(nèi)采集所述終端的運動數(shù)據(jù)；
步驟203：根據(jù)得到的運動數(shù)據(jù)分析終端是否處于所述監(jiān)護運動模式。
上述步驟202中所采用的運動數(shù)據(jù)采集模塊可以采用任意能實現(xiàn)終端運動數(shù)據(jù)采集的功能模塊，例如可以采用終端的重力感應(yīng)傳感器實現(xiàn)，也可以采用終端的三軸加速傳感器、運動協(xié)處理器以及今后可能應(yīng)用到終端中用于運動數(shù)據(jù)采集的其他各種傳感器；應(yīng)當(dāng)理解的是也可以結(jié)合上述兩個或兩個以上的傳感器實現(xiàn)運動數(shù)據(jù)的采集及后續(xù)的判斷。本實施例后續(xù)部分則僅以重力感應(yīng)傳感器為示例進行說明。
另外，為了便于后續(xù)準(zhǔn)確的統(tǒng)計和區(qū)分，本實施例中在每一次采集到的運動數(shù)據(jù)中都可以增加時間戳。本實施例中采集周期可以通過采集開始命令和采集停止命令進行控制。
本實施例中，運動數(shù)據(jù)的采集是利用終端自身的運動數(shù)據(jù)采集模塊完成的，因此為了保證控制過程的正常進行，可在終端一啟動后，實現(xiàn)對終端的運動數(shù)據(jù)采集模塊是否正常進行檢測，并將檢測結(jié)果進行保存。在后續(xù)需要使用時，即可從該檢測結(jié)果中得到是否存在可用的運動數(shù)據(jù)采集模塊以及具體采用哪個運動數(shù)據(jù)采集模塊；在檢測結(jié)果為都不正常時，則可及時提醒用戶進行修復(fù)設(shè) 置等。
本實施例中，根據(jù)運動數(shù)據(jù)分析終端是否處于監(jiān)護運動模式的過程包括：
根據(jù)當(dāng)前采集周期內(nèi)的運動數(shù)據(jù)分析終端當(dāng)前的運動模式是否與監(jiān)護運動模式匹配；
如匹配，判斷當(dāng)前連續(xù)判斷結(jié)果為是的次數(shù)n是否大于等于預(yù)設(shè)次數(shù)閾值n，如大于等于，則判定終端處于監(jiān)護運動模式；如小于，則繼續(xù)分析后面采集周期內(nèi)的運動數(shù)據(jù)；
如不匹配，按預(yù)設(shè)頻率調(diào)整規(guī)則降低采集頻率。本實施例中的頻率調(diào)整規(guī)則可以根據(jù)具體應(yīng)用場景由廠家或用戶自己靈活設(shè)定。例如初始可以設(shè)置為1秒中采集20次，當(dāng)判斷結(jié)果為不匹配時，則可將采集頻率調(diào)整為1秒18次，按此規(guī)則每判斷一次結(jié)果為不匹配，就將采集頻率每1秒降低2次，直到降低為最低的1秒10次。且在一旦判斷結(jié)果為匹配時，即可將采集頻率立即恢復(fù)為初始的1秒20次。
本實施例中對終端運動模式的分析可以采用現(xiàn)有或今后任意能實現(xiàn)終端運動模式判斷的方式。下面以重力感應(yīng)傳感器采集到的運動數(shù)據(jù)為例進行說明。
對提取出的帶有時間戳的采樣運動數(shù)據(jù)進行特征提取。在這里需要說明的是，不同人在不同環(huán)境下的步行狀態(tài)的特征并不完全相同，根據(jù)重力感應(yīng)傳感器獲取的數(shù)據(jù)分別包括手機在坐標(biāo)x、y、z三軸方向上的加速度分量大小，根據(jù)
本實施例中n的取值優(yōu)選大于等于2，而具體的取值范圍可以根據(jù)不同終端 用戶或者不同終端等應(yīng)用場景靈活設(shè)定。本實施例中n大于等于2，也即只有在連續(xù)多次判定終端當(dāng)前的運動模式與監(jiān)護運動模式相匹配時，才判定終端當(dāng)前處于監(jiān)護運動模式，例如步行模式，這樣可以進一步提升判斷的準(zhǔn)確率，避免發(fā)生誤判從而生誤告警，降低用戶的體驗。
本實施例中當(dāng)根據(jù)當(dāng)前采集周期內(nèi)的運動數(shù)據(jù)分析發(fā)現(xiàn)終端的運動模式與監(jiān)護運動模式并不匹配時，可以對采集頻率進行降低。降低運動數(shù)據(jù)采集的頻率，可以節(jié)省資源的消耗。因為一般的監(jiān)護運動模式(例如步行模式)并不是終端的使用常態(tài)，終端處于這種運動模式時間會比較短，因此此處降低采集頻率可以降低終端自身功耗。本實施例中，降低采集頻率的規(guī)則也可以根據(jù)具體需求靈活設(shè)定。
本實施例中，判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用可以采用輪詢的機制實現(xiàn)，請參見圖3所示，包括：
步驟301：按預(yù)設(shè)輪詢頻率對終端前臺當(dāng)前運行的進程進行輪詢；
步驟302：當(dāng)連續(xù)m1次或累計m2次輪詢到終端前臺運行的進程屬于監(jiān)管型應(yīng)用的進程時，判定終端前臺當(dāng)前運行的應(yīng)用屬于預(yù)設(shè)的監(jiān)管型應(yīng)用。
本實施例中，m1和m2的次數(shù)可由廠商或用戶根據(jù)具體需求靈活設(shè)定，但設(shè)定m2大于等于m1。例如設(shè)定m1為2次或3次，m2設(shè)定為4次或5次等。在輪詢過程中，當(dāng)輪詢結(jié)果為終端前臺運行的進程不屬于監(jiān)管型應(yīng)用的進程時，可以按照一定的規(guī)則對輪詢頻率進行調(diào)整，以降低輪詢次數(shù)，降低資源消耗。該規(guī)則可以采用上述采集頻率調(diào)整規(guī)則，也可以由用戶自己靈活設(shè)定。
本實施例中，在上述步驟302中連續(xù)m1次或累計m2次輪詢到終端前臺運行的進程屬于監(jiān)管型應(yīng)用的進程時，即可實現(xiàn)對終端用戶的安全提醒。本實施例為了進一步提升控制的準(zhǔn)確性，還可進一步確定終端用戶當(dāng)前是否將注意力集中在終端上。其中一種確定方式請參見圖4所示，包括：
步驟401：通過終端的圖像采集模塊采集終端正面的終端用戶圖像；
該圖像采集模塊可以是終端的攝像頭，且可以是終端的前置攝像頭，或可旋轉(zhuǎn)采集終端正面圖像的后置攝像頭，當(dāng)然不排除今后出現(xiàn)的其他可采集終端 正面圖像的圖像采集裝置。本實施例中終端正面是指終端具有顯示屏的一面。如果終端為雙面都設(shè)有顯示屏?xí)r，則為當(dāng)前使用的顯示屏的一面；
步驟402：分析圖像中是否存在人臉，如存在，則可以直接確定終端用戶當(dāng)前的注意力放在終端上，此時需通過終端對終端用戶進行安全提醒。
本實施例中對圖像中人臉的分析技術(shù)可以采用任意現(xiàn)有或今后出現(xiàn)的人臉識別技術(shù)。此處識別的目的是為了檢測在該圖像中是否可以找到符合人臉特征的圖像，從而判斷在采集圖像的時刻，終端用戶是否將視線停留在終端屏幕上。在對人臉檢測時，本示例采用opencv(opensourcecomputervision)中已有的基于haar分類器方法的人臉檢測方法來實現(xiàn)對圖像中人臉的檢測，通過opencv中提供的已有的人臉檢測算法，可以較輕松的實現(xiàn)對圖像中人臉的檢測。當(dāng)然，對圖像中人臉檢測的方法種類很多，也存在不同的處理速度和精度，本示例僅是描述了終端使用行為監(jiān)控守護系統(tǒng)中存在了這樣的檢測機制，具體實現(xiàn)策略則是可以不同的。
上述步驟402中，當(dāng)分析結(jié)果為圖像中不存在人臉時，此時可能是用戶確實未將注意力集中于終端，但也有可能僅僅是在采集圖像這一時刻用戶未將注意力集中于終端，此時可以采用繼續(xù)采集圖像進行分析的方式進一步判定；也可以在上述輪詢基礎(chǔ)上，繼續(xù)對終端前臺當(dāng)前運行的進程進行輪詢，當(dāng)連續(xù)k1次或累計k2次輪詢到終端前臺運行的進程屬于所述監(jiān)管型應(yīng)用的進程時，此時也能在很大程度上推定終端用戶當(dāng)前一直在終端前臺使用該監(jiān)管型應(yīng)用，需要通過終端對終端用戶進行安全提醒；此處的k1大于上述對應(yīng)的m1，k2大于上述對應(yīng)的m2，且設(shè)定k2大于等于k1。且k1、k2的值也可以靈活設(shè)定，例如k1設(shè)置為10次，20次，k2設(shè)置為30次等。
本實施例中的監(jiān)管型應(yīng)用主要指非必須要運行應(yīng)用且會分散用戶注意力的應(yīng)用，終端用戶可以根據(jù)自己需求對終端上的各應(yīng)用類型進行定義，將認(rèn)為是需要進行監(jiān)管的應(yīng)用添加進來；運營商或廠商或軟件提供方也可以根據(jù)一些規(guī)則將相應(yīng)的對用劃分為監(jiān)管型應(yīng)用。例如該監(jiān)管型應(yīng)用可以具體為社交娛樂類應(yīng)用，屬于該類型的應(yīng)用可以包含但不限于各種游戲、視頻、電子書、社交軟 件(qq、微信、微博)等等。
本實施例中，通過終端對終端用戶進行安全提醒的方式不限，只要能起到警告用戶注意安全即可。例如其可以包含以下方式中的任意一種或多種的組合：
方式一：通過終端播放提醒語音，例如語音類容可為：您當(dāng)前處于行走狀態(tài)，請注意行走安全，建議當(dāng)前不要使用終端等；
方式二；將終端顯示界面進行遮擋，這樣終端用戶就不能看到顯示界面內(nèi)的內(nèi)容，從而提醒終端用戶注意；
方式三：在終端顯示界面上顯示提醒懸浮窗口，該懸浮窗口可以文字或動畫等形式提醒用戶注意安全，并可提供與用戶進行交互的交互接口(例如按鈕)，用戶通過該交互接口下發(fā)確認(rèn)指令是，該懸浮窗口即可關(guān)閉；
方式四：暫?；蜿P(guān)閉終端前臺當(dāng)前運行的應(yīng)用，以此提醒用戶注意行走安全。
對于以上方式都可以設(shè)置在終端中共用戶選擇、組合。也可提供自定義提醒方式讓用戶自己設(shè)定安全提醒的方式?？蛇M一步提升用戶體驗的滿意度。
如上分析，本實施例中，監(jiān)護過程中進行的運動數(shù)據(jù)的采集、前臺應(yīng)用程序的判斷、圖像數(shù)據(jù)的采集以及對終端用戶的提醒一般都是在終端保持亮屏過程中進行的，如果終端由亮屏轉(zhuǎn)為熄屏了，則表明終端用戶當(dāng)前未使用終端，終端用戶注意力一般不在終端上，此時可停止運動數(shù)據(jù)的采集、終端前臺應(yīng)用類型的判斷以及對終端用戶的安全提醒，并對之前采集的數(shù)據(jù)以及分析的結(jié)果清零。這樣可以進一步提升管理的智能性，同時減少資源消耗。
實施例二：
本實施例提供了一種終端用戶安全監(jiān)護裝置，請參見圖5所示，包括：
運動模式判斷模塊1，用于根據(jù)終端的運動數(shù)據(jù)判斷終端是否處于需要進行安全監(jiān)護的監(jiān)護運動模式；本實施例中的運動模式判斷模塊1可作為后臺監(jiān)控進程，其可隨終端的啟動而啟動；
應(yīng)用類型判斷模塊2，用于在判斷結(jié)果為是時，判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用；
本實施例中的應(yīng)用類型判斷模塊2可作為主動監(jiān)控進程，其在終端啟動后初始化完成后可處于休眠狀態(tài)，根據(jù)運動模式判斷模塊1的通知從休眠狀態(tài)激活；
告警模塊3，用于在應(yīng)用類型判斷模塊2判斷結(jié)果為是時，通過終端對終端用戶進行安全提醒。
具體，本實施例中的運動模式判斷模塊1包括：
檢測子模塊11，用于檢測到所述終端亮屏；因為一般終端處于亮屏狀態(tài)時才表明終端用戶當(dāng)前的注意力可能集中于終端，這樣可以提升控制的準(zhǔn)確性；當(dāng)然，為了避免終端用戶點亮終端屏幕后在短時間內(nèi)就立即關(guān)閉的情況，本實施例還可優(yōu)選在檢測到終端亮屏后，判斷終端亮屏的持續(xù)時間是否大于預(yù)設(shè)的亮屏?xí)r間閾值(例如2秒、3秒等)，只有在判斷結(jié)果為是時才進行后續(xù)的步驟，這樣可以進一步提升控制的準(zhǔn)確性；將終端用戶只是點亮屏幕查看時間等情況排除在外。
采集控制子模塊12，用于控制終端的運動數(shù)據(jù)采集模塊按當(dāng)前的采集頻率在采集周期內(nèi)采集終端的運動數(shù)據(jù)；本實施例中的運動數(shù)據(jù)采集模塊可以采用任意能實現(xiàn)終端運動數(shù)據(jù)采集的功能模塊，例如可以采用終端的重力感應(yīng)傳感器實現(xiàn)，也可以采用終端的三軸加速傳感器、運動協(xié)處理器以及今后可能應(yīng)用到終端中用于運動數(shù)據(jù)采集的其他各種傳感器；應(yīng)當(dāng)理解的是也可以結(jié)合上述兩個或兩個以上的傳感器實現(xiàn)運動數(shù)據(jù)的采集及后續(xù)的判斷。本實施例后續(xù)部分則僅以重力感應(yīng)傳感器為示例進行說明。
運動數(shù)據(jù)分析子模塊13，用于根據(jù)運動數(shù)據(jù)分析終端是否處于監(jiān)護運動模式。
另外，為了便于后續(xù)準(zhǔn)確的統(tǒng)計和區(qū)分，本實施例中在每一次采集到的運動數(shù)據(jù)中都可以增加時間戳。本實施例中采集周期可以通過采集開始命令和采集停止命令進行控制。
本實施例中，運動數(shù)據(jù)的采集是利用終端自身的運動數(shù)據(jù)采集模塊完成的，因此為了保證控制過程的正常進行，可在終端一啟動后，采集控制子模塊12實 現(xiàn)對終端的運動數(shù)據(jù)采集模塊是否正常進行檢測，并將檢測結(jié)果進行保存。在后續(xù)需要使用時，即可從該檢測結(jié)果中得到是否存在可用的運動數(shù)據(jù)采集模塊以及具體采用哪個運動數(shù)據(jù)采集模塊；在檢測結(jié)果為都不正常時，則可及時提醒用戶進行修復(fù)設(shè)置等。
運動數(shù)據(jù)分析子模塊13根據(jù)運動數(shù)據(jù)分析終端是否處于監(jiān)護運動模式的過程包括：
根據(jù)當(dāng)前采集周期內(nèi)的運動數(shù)據(jù)分析終端當(dāng)前的運動模式是否與監(jiān)護運動模式匹配；
如匹配，判斷當(dāng)前連續(xù)判斷結(jié)果為是的次數(shù)n是否大于等于預(yù)設(shè)次數(shù)閾值n，如大于等于，則判定終端處于監(jiān)護運動模式；如小于，則繼續(xù)分析后面采集周期內(nèi)的運動數(shù)據(jù)；
如不匹配，按預(yù)設(shè)頻率調(diào)整規(guī)則降低采集頻率。本實施例中的頻率調(diào)整規(guī)則可以根據(jù)具體應(yīng)用場景由廠家或用戶自己靈活設(shè)定。例如初始可以設(shè)置為1秒中采集15次，當(dāng)判斷結(jié)果為不匹配時，則可將采集頻率調(diào)整為1秒14次，按此規(guī)則每判斷一次結(jié)果為不匹配，就將采集頻率每1秒降低1次，直到降低為最低的1秒10次。且在一旦判斷結(jié)果為匹配時，即可將采集頻率立即恢復(fù)為初始的1秒15次。
本實施例中對終端運動模式的分析可以采用現(xiàn)有或今后任意能實現(xiàn)終端運動模式判斷的方式。下面以重力感應(yīng)傳感器采集到的運動數(shù)據(jù)為例進行說明。
運動數(shù)據(jù)分析子模塊13對提取出的帶有時間戳的采樣運動數(shù)據(jù)進行特征提取。在這里需要說明的是，不同人在不同環(huán)境下的步行狀態(tài)的特征并不完全相同，根據(jù)重力感應(yīng)傳感器獲取的數(shù)據(jù)分別包括手機在坐標(biāo)x、y、z三軸方向上的加速度分量大小，根據(jù)
本實施例中n的取值優(yōu)選大于等于2，而具體的取值范圍可以根據(jù)不同終端用戶或者不同終端等應(yīng)用場景靈活設(shè)定。本實施例中n大于等于2，也即只有在連續(xù)多次判定終端當(dāng)前的運動模式與監(jiān)護運動模式相匹配時，才判定終端當(dāng)前處于監(jiān)護運動模式，例如步行模式，這樣可以進一步提升判斷的準(zhǔn)確率，避免發(fā)生誤判從而產(chǎn)生誤告警，降低用戶的體驗。
本實施例中當(dāng)根據(jù)當(dāng)前采集周期內(nèi)的運動數(shù)據(jù)分析發(fā)現(xiàn)終端的運動模式與監(jiān)護運動模式并不匹配時，可以對采集頻率按預(yù)設(shè)頻率增量進行降低，降低運動數(shù)據(jù)采集的頻率，可以節(jié)省資源的消耗。因為一般的監(jiān)護運動模式(例如步行模式)并不是終端的使用常態(tài)，終端處于這種運動模式時間會比較短，因此此處增大采集頻率可以降低終端自身功耗。
本實施例中的應(yīng)用類型判斷模塊2包括：
輪詢子模塊21，用于按預(yù)設(shè)輪詢頻率對終端前臺當(dāng)前運行的進程進行輪詢；
判斷子模塊22，用于當(dāng)連續(xù)m1次或累計m2次輪詢到所述終端前臺運行的進程屬于所述監(jiān)管型應(yīng)用的進程時，判定所述終端前臺當(dāng)前運行的應(yīng)用屬于預(yù)設(shè)的監(jiān)管型應(yīng)用。本實施例中，m1和m2的次數(shù)可由廠商或用戶根據(jù)具體需求靈活設(shè)定，且設(shè)定m2大于等于m1。例如設(shè)定m1為2次或3次，設(shè)定m2為4次或5次。在輪詢過程中，當(dāng)輪詢結(jié)果為終端前臺運行的進程不屬于監(jiān)管型應(yīng)用的進程時，可以按照一定的規(guī)則對輪詢頻率進行調(diào)整，以降低輪詢次數(shù)，降低資源消耗。該規(guī)則可以采用上述采集頻率調(diào)整規(guī)則，也可以由用戶自己靈活設(shè)定。
判斷子模塊22在連續(xù)m1次或累計m2次輪詢到終端前臺運行的進程屬于監(jiān)管型應(yīng)用的進程時，即可實現(xiàn)對終端用戶的安全提醒。本實施例為了進一步提升控制的準(zhǔn)確性，還可進一步確定終端用戶當(dāng)前是否將注意力集中在終端上。因此請參見圖6所示，本實施例中的終端用戶安全監(jiān)護裝置還包括：
圖像采集控制模塊4，用于在判斷終端前臺當(dāng)前運行的應(yīng)用是否屬于預(yù)設(shè)的監(jiān)管型應(yīng)用后，通過終端對終端用戶進行安全提醒之前，控制終端的圖像采集模塊采集終端正面的中終端用戶圖像；
本實施例中所采用的圖像采集模塊可以是終端的攝像頭，且可以是終端的前置攝像頭，或可旋轉(zhuǎn)采集終端正面圖像的后置攝像頭，當(dāng)然不排除今后出現(xiàn)的其他可采集終端正面圖像的圖像采集裝置。本實施例中終端正面是指終端具有顯示屏的一面。如果終端為雙面都設(shè)有顯示屏?xí)r，則為當(dāng)前使用的顯示屏的一面；
圖像分析模塊5，用于分析所述圖像中是否存在人臉，如存在，再通知告警模塊3對所述終端用戶進行安全提醒。本實施例中對圖像中人臉的分析技術(shù)可以采用任意現(xiàn)有或今后出現(xiàn)的人臉識別技術(shù)。此處識別的目的是為了檢測在該圖像中是否可以找到符合人臉特征的圖像，從而判斷在采集圖像的時刻，終端用戶是否將視線停留在終端屏幕上。
當(dāng)圖像分析模塊5分析結(jié)果為圖像中不存在人臉時，此時可能是用戶確實未將注意力集中于終端，但也有可能僅僅是在采集圖像這一時刻用戶未將注意力集中于終端，此時可以采用繼續(xù)采集圖像進行分析的方式進一步判定。此時請參見圖7所示，本實施例中的終端用戶安全監(jiān)護裝置還包括補詢模塊，用于在所述圖像中不存在人臉時，繼續(xù)對所述終端前臺當(dāng)前運行的進程進行輪詢，當(dāng)連續(xù)k1次或累計k2次輪詢到終端前臺運行的進程屬于所述監(jiān)管型應(yīng)用的進程時，此時也能在很大程度上推定終端用戶當(dāng)前一直在終端前臺使用該監(jiān)管型應(yīng)用，需要通過終端對終端用戶進行安全提醒；此處的k1大于上述對應(yīng)的m1，k2大于上述對應(yīng)的m2。且k1、k2的值可以靈活設(shè)定，例如設(shè)定k1為20次，k2為40次。
本實施例中的監(jiān)管型應(yīng)用主要指非必須要運行應(yīng)用且會分散用戶注意力的應(yīng)用，終端用戶可以根據(jù)自己需求對終端上的各應(yīng)用類型進行定義，將認(rèn)為是需要進行監(jiān)管的應(yīng)用添加進來；運營商或廠商或軟件提供方也可以根據(jù)一些規(guī)則將相應(yīng)的對用劃分為監(jiān)管型應(yīng)用。例如該監(jiān)管型應(yīng)用可以具體為社交娛樂類 應(yīng)用，屬于該類型的應(yīng)用可以包含但不限于各種游戲、視頻、電子書、社交軟件(qq、微信、微博)等等。
本實施例中，告警模塊3通過終端對終端用戶進行安全提醒的方式不限，只要能起到警告用戶主要安全即可。例如其可以包含以下方式中的任意一種或多種的組合：
方式一：通過終端播放提醒語音，例如語音類容可為：您當(dāng)前處于行走狀態(tài)，請注意行走安全，建議當(dāng)前不要使用終端等；
方式二；將終端顯示界面進行遮擋，這樣終端用戶就不能看到顯示界面內(nèi)的內(nèi)容，從而提醒終端用戶注意；
方式三：在終端顯示界面上顯示提醒懸浮窗口，該懸浮窗口可以文字或動畫等形式提醒用戶注意安全，并可提供與用戶進行交互的交互接口(例如按鈕)，用戶通過該交互接口下發(fā)確認(rèn)指令是，該懸浮窗口即可關(guān)閉；
方式四：暫?；蜿P(guān)閉終端前臺當(dāng)前運行的應(yīng)用，以此提醒用戶注意行走安全。
對于以上方式都可以設(shè)置在終端中共用戶選擇、組合。也可提供自定義提醒方式讓用戶自己設(shè)定安全提醒的方式。可進一步提升用戶體驗的滿意度。
如上分析，本實施例中，監(jiān)護過程中進行的運動數(shù)據(jù)的采集、前臺應(yīng)用程序的判斷、圖像數(shù)據(jù)的采集以及對終端用戶的提醒一般都是在終端保持亮屏過程中進行的，如果終端由亮屏轉(zhuǎn)為熄屏了，則表明終端用戶當(dāng)前未使用終端，終端用戶注意力一般不在終端上，此時可通過熄屏控制模塊停止運動數(shù)據(jù)的采集、終端前臺應(yīng)用類型的判斷以及對終端用戶的安全提醒，并對之前采集的數(shù)據(jù)以及分析的結(jié)果清零。這樣可以進一步提升管理的智能性，同時減少資源消耗。
實施例三：
為了更好的理解本發(fā)明，下面以終端為手機，監(jiān)護運動模式為步行模式，監(jiān)管型應(yīng)用為社交娛樂類的軟件為例，對本發(fā)明做進一步說明。
請參見圖8所示，在手機啟動后，步驟801運動模式判斷模塊開始工作，向運動數(shù)據(jù)采集模塊發(fā)送自檢命令；步驟802運動數(shù)據(jù)采集模塊接收到自檢命令，對手機設(shè)備的重力感應(yīng)傳感器進行檢測。在這里對重力感應(yīng)傳感器進行檢測的目的是為了確保該傳感器是能夠正常工作的，運動數(shù)據(jù)采集模塊將檢測結(jié)果反饋給后臺監(jiān)控進程。
運動模式判斷模塊接收運動數(shù)據(jù)采集模塊的設(shè)備檢測結(jié)果，如果設(shè)備異常，則無法檢測手機用戶是否處于步行狀態(tài)，運動模式判斷模塊可以退出，系統(tǒng)關(guān)閉，也可以提醒用戶修復(fù)；當(dāng)設(shè)備檢測結(jié)果是正常時，運動模式判斷模塊開始同時監(jiān)聽手機屏幕點亮事件和屏幕熄滅事件。
當(dāng)步驟803運動模式判斷模塊監(jiān)聽到手機屏幕點亮后，對點亮的時間進行記錄，如果在5秒鐘內(nèi)沒有手機屏幕熄滅事件的發(fā)生，則步驟804運動模式判斷模塊的采集控制子模塊向運動數(shù)據(jù)采集模塊發(fā)送采集命令。這里的5秒鐘時延在系統(tǒng)設(shè)計中是可以調(diào)整的，其目的是過濾掉手機屏幕點亮后在較短時間內(nèi)熄滅手機屏幕的情況，例如手機用戶亮屏看時間，隨后又息屏的這種操作。
運動數(shù)據(jù)采集模塊接收到后臺監(jiān)控進程發(fā)送的采集指令后，在采集周期內(nèi)以每秒20次的采集頻率的對重力感應(yīng)傳感器的數(shù)據(jù)進行采集，在采集的同時對每筆數(shù)據(jù)加上時間戳并存儲記錄。
運動模式判斷模塊的采集控制子模塊在發(fā)送采集命令后，延遲5秒鐘(此時采集周期為5秒)，發(fā)送停止命令給運動數(shù)據(jù)采集模塊，同時也發(fā)送分析命令給運動數(shù)據(jù)分析子模塊。這里延遲5秒鐘是為了讓運動數(shù)據(jù)采集模塊能夠采集一定時間量的數(shù)據(jù)，以便進行分析。
運動數(shù)據(jù)采集模塊接收到停止命令后即停止對重力感應(yīng)傳感器的數(shù)據(jù)采集，步驟805運動數(shù)據(jù)分析子模塊接收到后發(fā)送的分析命令后，會將運動數(shù)據(jù)采集模塊中存儲記錄的數(shù)據(jù)提取出來，此時運動數(shù)據(jù)采集模塊已經(jīng)停止采集，不會產(chǎn)生新的數(shù)據(jù)。運動數(shù)據(jù)分析子模塊對提取出的帶有時間戳的采樣數(shù)據(jù)進行特征提取。在這里需要說明的是，不同人在不同環(huán)境下的步行狀態(tài)的特征并不完全相同，根據(jù)重力感應(yīng)傳感器獲取的數(shù)據(jù)分別包括手機在坐標(biāo)x、y、z三 軸方向上的加速度分量大小，根據(jù)
步驟806運動模式判斷模塊在接收到運動數(shù)據(jù)分析子模塊的反饋結(jié)果后，根據(jù)結(jié)果進行后續(xù)的操作，并對連續(xù)出現(xiàn)相同結(jié)果的次數(shù)進行記錄。如果反饋的結(jié)果符合步行狀態(tài)，則立即再次發(fā)送采集命令給運動數(shù)據(jù)采集模塊進行數(shù)據(jù)采集，如果反饋的結(jié)果不符合步行狀態(tài)，則延遲一定時間后再發(fā)送采集命令，但是每次發(fā)送采集命令后，都會延遲5秒鐘后發(fā)送停止命令給運動數(shù)據(jù)采集模塊，此時的運動數(shù)據(jù)采集周期則為5秒，以確?？梢圆杉阶銐虻臄?shù)據(jù)用以分析；再發(fā)送分析命令給運動數(shù)據(jù)分析模塊，以對采集周期(5秒)內(nèi)采集的運動數(shù)據(jù)進行分析。
當(dāng)運動模式判斷模塊記錄的反饋結(jié)果中，出現(xiàn)連續(xù)兩次都是步行狀態(tài)，則認(rèn)為當(dāng)前手機用戶處于較持續(xù)的步行狀態(tài)中，步驟807運動模式判斷模塊發(fā)送喚醒命令給應(yīng)用類型判斷模塊。如果當(dāng)前的反饋結(jié)果不符合步行狀態(tài)，則手機用戶可能處于非運動狀態(tài)，或者處于運動狀態(tài)但是非步行狀態(tài)，應(yīng)當(dāng)適當(dāng)降低重力傳感器數(shù)據(jù)的采集頻率。降低該采集頻率的方式也可以通過延長觸發(fā)對重力感應(yīng)傳感器數(shù)據(jù)的進行采集的觸發(fā)周期實現(xiàn)，對觸發(fā)周期呈現(xiàn)階梯化處理，從而降低數(shù)據(jù)采集分析帶來的負載。例如，在接收到不符合步行狀態(tài)的結(jié)果后，運動模式判斷模塊不會第一時間發(fā)送數(shù)據(jù)采集命令給運動數(shù)據(jù)采集模塊，而是會等待一段時間，該時間即為觸發(fā)周期，本實例設(shè)計觸發(fā)周期＝5×連續(xù)反饋非步行狀態(tài)的累積次數(shù)，即如果連續(xù)反饋3次均為非步行狀態(tài)，則這個觸發(fā)周期是 15秒，也即每隔15秒下發(fā)一次運動數(shù)據(jù)采集命令，同時這里也設(shè)計了最大等待時間不可超過55秒，這樣就確保至少在1分鐘內(nèi)，進行過一次運動數(shù)據(jù)的采集和分析。通過以上觸發(fā)周期的控制可以適當(dāng)階梯式的減少對運動數(shù)據(jù)采集的次數(shù)。當(dāng)然，本實施例中，還可直接降低上述采集周期內(nèi)的采集頻率，例如采集周期固定為5秒，也即每到一觸發(fā)周期后，都會進行5秒的運動數(shù)據(jù)采集；初始時設(shè)定采集周期(5秒)內(nèi)采集頻率為1秒20次，每判斷一次為非步行狀態(tài)時，采集頻率降低2次，即如果連續(xù)反饋3次均為非步行狀態(tài)，后續(xù)采集周期(5秒)內(nèi)的采集頻率降低為1秒14次，如果后續(xù)反饋仍為為非步行狀態(tài)，則繼續(xù)降低，知道達到設(shè)定的最小值10次；在此期間一旦反饋為步行狀態(tài)時，則采集頻率恢復(fù)為初始值1秒20次。應(yīng)當(dāng)理解的是，以上具體次數(shù)以及規(guī)則都可以根據(jù)具體應(yīng)用場景靈活設(shè)定。
步驟808，當(dāng)運動模式判斷模塊監(jiān)聽到手機屏幕息屏事件時，即存在手機屏幕由亮屏到息屏狀態(tài)的切換，此時系統(tǒng)認(rèn)為在息屏狀態(tài)下手機用戶的視線不會被手機所吸引，即使處于步行狀態(tài)下，也不會出現(xiàn)因視線停留在手機屏幕上而導(dǎo)致出現(xiàn)人身安全的問題，因此執(zhí)行步驟809和步驟810，運動模式判斷模塊的采集控制子模塊發(fā)送停止命令給運動數(shù)據(jù)采集模塊和運動數(shù)據(jù)分析子模塊，執(zhí)行步驟811發(fā)送休眠命令給應(yīng)用類型判斷模塊。運動數(shù)據(jù)采集模塊和運動數(shù)據(jù)分析子模塊在接收到停止命令時，如果模塊處于工作狀態(tài)，則會立即停止工作，并清空自身數(shù)據(jù)，如果模塊處于停止?fàn)顟B(tài)，則對停止命令不會做出動作。
圖9是應(yīng)用類型判斷模塊的工作流程示意圖，在手機啟動后，執(zhí)行步驟901，應(yīng)用類型判斷模塊開始工作。在應(yīng)用類型判斷模塊啟動后，執(zhí)行步驟902，通過圖像采集控制模塊發(fā)送檢測命令給圖像采集模塊。
圖像采集模塊接收到檢測命令后，會檢測手機的前置攝像頭是否可以正常工作，并將檢測結(jié)果反饋給應(yīng)用類型判斷模塊。
應(yīng)用類型判斷模塊接收到圖像采集模塊反饋的設(shè)備檢測結(jié)果后對該結(jié)果進行記錄，然后主動進入休眠狀態(tài)。
當(dāng)步驟903執(zhí)行時，即應(yīng)用類型判斷模塊接收到運動模式判斷模塊發(fā)送的 喚醒命令后，應(yīng)用類型判斷模塊進入工作狀態(tài)，執(zhí)行步驟904，開始以一定的時間間隔輪詢手機當(dāng)前前臺工作進程的類型。如果該進程屬于社交娛樂類的軟件，則將查詢命中次數(shù)加1，連續(xù)查詢命中次數(shù)加1。如果該進程不屬于社交娛樂類的軟件，則將連續(xù)查詢命中次數(shù)置為0。這里應(yīng)用類型判斷模塊根據(jù)查詢到的當(dāng)前前臺工作進程的類型會主動的調(diào)整輪詢時間，如果該進程不屬于社交娛樂類軟件，則將輪詢時間的間隔調(diào)整為10秒，降低單位時間的輪詢次數(shù)，減輕系統(tǒng)負載。如果查詢到的當(dāng)前進程屬于社交娛樂類軟件，則將輪詢時間的間隔調(diào)整為3秒，加速后續(xù)流程對用戶行為的判斷。這里需要說明的是對社交娛樂類軟件的界定，即此類軟件的主要用途是社交或娛樂，此類軟件在使用過程中需要用戶通過手機屏幕與之進行較多的交互或注意力的集中，因此在步行時會導(dǎo)致使用者的注意力沉浸在與軟件的交互上而導(dǎo)致無法注意到周圍環(huán)境的改變，進而造成潛在的人身危險。在本實例中對社交娛樂類軟件的劃分包括手機中的游戲軟件，視頻播放軟件，微信，微博，手機qq，電子書軟件。同時也應(yīng)明確的是，本實例對社交娛樂類軟件的具體劃分并不是限定該類軟件的范圍，其它相近或類似的軟件都在此范圍中。
當(dāng)應(yīng)用類型判斷模塊發(fā)現(xiàn)記錄的連續(xù)查詢命中次數(shù)達到3次時，停止對手機前臺工作進程的輪詢檢測，清空連續(xù)查詢命中次數(shù)，執(zhí)行步驟905，發(fā)送采集命令給圖像采集模塊，這里操作的目的是系統(tǒng)感知到社交娛樂類軟件作為手機前臺工作進程已經(jīng)一段時間了，需要進行進一步的檢測，判斷手機用戶的視線是否被社交娛樂類軟件吸引，同時也需要說明的是，在應(yīng)用類型判斷模塊啟動時，發(fā)送檢測命令給圖像采集模塊，并記錄了對設(shè)備的檢測結(jié)果，如果設(shè)備檢測異常，則不會發(fā)送采集命令給圖像采集模塊。
圖像采集模塊接收到應(yīng)用類型判斷模塊發(fā)送的采集命令后，會啟動手機的前置攝像頭來采集一幅圖像，并將圖像存儲為bmp格式，反饋采集結(jié)果給應(yīng)用類型判斷模塊。
應(yīng)用類型判斷模塊接收到圖像采集模塊反饋的結(jié)果后，如果反饋結(jié)果是采集成功，則執(zhí)行步驟906，發(fā)送分析命令給圖像分析模塊，如果反饋結(jié)果是采集 失敗，則應(yīng)用類型判斷模塊會再次啟動對手機當(dāng)前前臺工作進程類型的輪詢。
圖像分析模塊接收到應(yīng)用類型判斷模塊發(fā)送的分析命令后，會對圖像采集模塊通過手機前置攝像頭采集到的圖像進行分析。在這里分析的目的是為了檢測在該圖像中是否可以找到符合人臉特征的圖像，從而判斷在前置攝像頭采集圖像的時刻，手機的使用者是否將視線停留在手機屏幕上。
應(yīng)用類型判斷模塊接收圖像分析模塊反饋的分析結(jié)果，如果可以檢測出人臉，則此時手機的使用者滿足了如下狀態(tài)，即手機屏幕處于點亮狀態(tài)，手機使用者處于步行狀態(tài)，手機當(dāng)前前臺工作進程為社交娛樂類軟件，手機使用者的視線停留在手機屏幕上，所以應(yīng)用類型判斷模塊判斷手機使用者當(dāng)前的行為存在人身安全的風(fēng)險，執(zhí)行步驟907，發(fā)送阻止消息給告警模塊。
如果圖像分析模塊反饋的結(jié)果是無法檢測到人臉，那么主動監(jiān)控進程應(yīng)用類型判斷模塊會繼續(xù)進行輪詢檢測。
在應(yīng)用類型判斷模塊進行輪詢時，首先會檢查自身記錄的社交娛樂類軟件查詢命中次數(shù)，如果該次數(shù)大于一定數(shù)值，例如大于20次，則應(yīng)用類型判斷模塊會發(fā)送告警消息給告警模塊。這里查詢命中次數(shù)的方法可以有效的提高系統(tǒng)檢測的容錯率。因為在圖像中進行人臉檢測對圖像自身質(zhì)量有一定的要求，手機前置攝像頭采集圖像的成像效果與當(dāng)前場景的光照強度有較大關(guān)系，所以采集的圖像不一定可以檢測到人臉。同時，這里是在某一時刻進行的一次圖像采集，在該時刻可能手機的使用者并沒有將視線停留在手機屏幕上，但是卻不能排除手機使用者在步行狀態(tài)下使用社交娛樂軟件的可能，因此當(dāng)主動監(jiān)控進程進行輪詢時，檢測查詢命中次數(shù)大于某個設(shè)定數(shù)值時，執(zhí)行步驟907，發(fā)送告警消息到告警模塊。
在本實例中是設(shè)計使用了圖像采集模塊和圖像分析模塊的，這兩個模塊在手機行為監(jiān)控守護系統(tǒng)中是可選模塊，所以當(dāng)具體實例中沒有圖像采集和圖像分析模塊時，應(yīng)用類型判斷模塊在流程上的處理方式是通過在每次輪詢時，檢查自身記錄的社交娛樂類軟件查詢命中次數(shù)是否超過設(shè)定值，來判斷是否需要發(fā)送告警消息到告警模塊的，這樣手機行為監(jiān)控守護系統(tǒng)也就不依賴圖像采集 模塊和圖像分析模塊了。
當(dāng)步驟908執(zhí)行時，即應(yīng)用類型判斷模塊接收到休眠命令，同時執(zhí)行步驟909、步驟910和步驟911，停止對手機當(dāng)前前臺工作進程類型的輪詢，發(fā)送停止命令給圖像采集模塊，發(fā)送停止命令給圖像分析模塊，應(yīng)用類型判斷模塊進入休眠狀態(tài)。圖像采集模塊接收到停止命令，如控制手機前置攝像頭進行圖像采集，則停止該操作，并清空存儲的圖像。圖像分析模塊接收到停止命令，如果在進行對圖像的人臉檢測，則停止該操作。這里需要說明的是，當(dāng)步驟908執(zhí)行后，應(yīng)用類型判斷模塊及其所控制的全部模塊均會停止工作。
圖10是運動模式判斷模塊、應(yīng)用類型判斷模塊以及告警模塊之間交互的流程圖。步驟1000表示運動模式判斷模塊所進行的全部處理過程。運動模式判斷模塊在連續(xù)兩次獲得運動數(shù)據(jù)分析模塊反饋當(dāng)前處于步行狀態(tài)后，會向應(yīng)用類型判斷模塊發(fā)送喚醒命令。運動模式判斷模塊在監(jiān)控到手機息屏事件后，會向應(yīng)用類型判斷模塊發(fā)送休眠命令。
步驟1001表示應(yīng)用類型判斷模塊所進行的全部處理過程。應(yīng)用類型判斷模塊接收到運動模式判斷模塊發(fā)送的喚醒命令后，如果此時處于休眠狀態(tài)，則停止休眠，進入工作狀態(tài)，如果此時已經(jīng)處于工作狀態(tài)，則對喚醒命令不做任何動作。應(yīng)用類型判斷模塊接收到運動模式判斷模塊發(fā)送的休眠命令后，則停止應(yīng)用類型判斷模塊自身以及其管理的圖像采集模塊和圖像分析模塊的一切操作，并清空自身保留的數(shù)據(jù)，進入休眠狀態(tài)。
應(yīng)用類型判斷模塊在接收到圖像分析模塊反饋的可以檢測出人臉的結(jié)果后，會向告警模塊發(fā)送阻止命令，應(yīng)用類型判斷模塊停止查詢并清除查詢命中次數(shù)和連續(xù)命中次數(shù)。應(yīng)用類型判斷模塊在輪詢時發(fā)現(xiàn)社交娛樂類軟件查詢命中次數(shù)超過限定，會向告警模塊發(fā)送告警命令，應(yīng)用類型判斷模塊停止查詢并清除查詢命中次數(shù)和連續(xù)命中次數(shù)。
步驟1002表示告警模塊進行的告警處理。告警模塊接收到應(yīng)用類型判斷模塊的阻止命令后，會使用不透明的告警圖片覆蓋手機頂層屏幕7秒鐘，之后發(fā)送一個懸浮窗消息，提醒手機使用者不要在步行的時候使用社交娛樂類軟件， 并且需要手機使用者與這個懸浮窗消息進行互動，比如點擊消息窗的確認(rèn)鍵，告警模塊在接收到懸浮窗消息的返回事件后，再次使用不透明的告警圖片覆蓋手機頂層屏幕7秒鐘，之后取消圖片遮擋，發(fā)送處理完畢的消息給應(yīng)用類型判斷模塊。
告警模塊在接收到應(yīng)用類型判斷模塊的告警命令后，會發(fā)送一個懸浮窗消息，提醒手機使用者不要在步行的時候使用社交娛樂類軟件，并且需要手機使用者與這個懸浮窗消息進行互動，比如點擊消息窗的確認(rèn)鍵，告警模塊在接收到懸浮窗消息的返回事件后，發(fā)送處理完畢的消息給應(yīng)用類型判斷模塊。
應(yīng)用類型判斷模塊在接收到告警模塊處理完畢的消息后，自動進入到休眠狀態(tài)。
本發(fā)明的優(yōu)點是，只要使用者不在步行狀態(tài)下使用社交娛樂類軟件，整個的監(jiān)控過程對使用者就是完全透明的。監(jiān)控守護系統(tǒng)的使用無需手機聯(lián)網(wǎng)，即如果手機在信號不好或沒有手機信號的地方，本系統(tǒng)都可以正常工作。
顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲介質(zhì)(rom/ram、磁碟、光盤)中由計算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。所以，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
以上內(nèi)容是結(jié)合具體的實施方式對本發(fā)明所作的進一步詳細說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換， 都應(yīng)當(dāng)視為屬于本發(fā)明的保護范圍。
- 還沒有人留言評論。精彩留言會獲得點贊！