本發(fā)明涉及危險(xiǎn)預(yù)測(cè)方法。

背景技術(shù)：

例如，在專利文獻(xiàn)1中，公開(kāi)了一種用于支援駕駛車輛的駕駛員的安全確認(rèn)的駕駛支援技術(shù)裝置。根據(jù)該駕駛支援技術(shù)，例如，能夠在早的定時(shí)精度良好地檢測(cè)出在十字路口處紅綠燈從綠變成紅時(shí)突然開(kāi)始跑動(dòng)的行人等這樣的、與駕駛員的預(yù)想相反地突然變速而導(dǎo)致事故的可能性高的危險(xiǎn)的移動(dòng)物。

在先技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本專利第4967015號(hào)公報(bào)

非專利文獻(xiàn)

非專利文獻(xiàn)1：jonathanlong、evanshelhamer、trevordarrell，“fullyconvolutionalnetworksforsemanticsegmentation”(用于語(yǔ)義分割的全卷積網(wǎng)絡(luò))，theieeeconferenceoncomputervisionandpatternrecognition(cvpr：ieee國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議)，2015，第3431-3440頁(yè)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的問(wèn)題

然而，在上述專利文獻(xiàn)1的駕駛支援技術(shù)裝置中，存在如下問(wèn)題：只不過(guò)是觀測(cè)能夠?qū)嶋H視覺(jué)識(shí)別的移動(dòng)物的速度變化來(lái)預(yù)測(cè)危險(xiǎn)狀態(tài)。即，在上述專利文獻(xiàn)1的駕駛支援技術(shù)裝置中，存在如下問(wèn)題：不能檢測(cè)出停著的巴士背后的區(qū)域等、可能要發(fā)生當(dāng)從巴士下車的行人沖出來(lái)時(shí)與車輛碰撞這樣的危險(xiǎn)的區(qū)域(危險(xiǎn)區(qū)域)。

本公開(kāi)鑒于上述情況而做出，目的在于提供一種能夠預(yù)測(cè)對(duì)正在行駛的車輛來(lái)說(shuō)可能要發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域的危險(xiǎn)預(yù)測(cè)方法。

用于解決問(wèn)題的技術(shù)方案

為了解決上述問(wèn)題，本公開(kāi)的一個(gè)方式涉及的危險(xiǎn)預(yù)測(cè)方法是一種使用了卷積神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)預(yù)測(cè)器的計(jì)算機(jī)進(jìn)行的危險(xiǎn)預(yù)測(cè)方法，包括：取得步驟，使所述卷積神經(jīng)網(wǎng)絡(luò)取得由搭載于車輛的車載攝像頭拍攝到的輸入圖像；和輸出步驟，使所述卷積神經(jīng)網(wǎng)絡(luò)推定危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征，并將所述推定出的危險(xiǎn)區(qū)域和所述推定出的危險(xiǎn)區(qū)域的特征作為對(duì)所述輸入圖像預(yù)測(cè)的危險(xiǎn)度輸出，所述危險(xiǎn)區(qū)域是在所述取得步驟中取得的所述輸入圖像中的、在所述車輛按原樣行駛的情況下有可能在所述車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與所述車輛碰撞的區(qū)域。

此外，這些整體或具體的技術(shù)方案既可以用系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的cd-rom等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以用系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序和記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。

發(fā)明的效果

根據(jù)本公開(kāi)，能夠?qū)崿F(xiàn)一種對(duì)正在行駛的車輛來(lái)說(shuō)能夠預(yù)測(cè)可能要發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域的危險(xiǎn)預(yù)測(cè)方法。

附圖說(shuō)明

圖1是表示實(shí)施方式1中的危險(xiǎn)預(yù)測(cè)器的構(gòu)成的一例的框圖。

圖2是表示圖1所示的危險(xiǎn)預(yù)測(cè)器使用的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造的概略的圖。

圖3是表示實(shí)施方式1中的危險(xiǎn)預(yù)測(cè)器的預(yù)測(cè)結(jié)果的一例的圖。

圖4是表示實(shí)施方式1中的危險(xiǎn)預(yù)測(cè)器的預(yù)測(cè)結(jié)果的另一例的圖。

圖5是表示實(shí)施方式1中的危險(xiǎn)預(yù)測(cè)器的預(yù)測(cè)處理的一例的流程圖。

圖6是表示實(shí)施方式1中的卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)處理的概要的流程圖。

圖7a是在步驟s1中準(zhǔn)備的學(xué)習(xí)用數(shù)據(jù)的說(shuō)明圖。

圖7b是在步驟s1中準(zhǔn)備的學(xué)習(xí)用數(shù)據(jù)的說(shuō)明圖。

圖7c是在步驟s1中準(zhǔn)備的學(xué)習(xí)用數(shù)據(jù)的說(shuō)明圖。

圖7d是在步驟s1中準(zhǔn)備的學(xué)習(xí)用數(shù)據(jù)的說(shuō)明圖。

圖8是表示作為學(xué)習(xí)處理的結(jié)果輸出的危險(xiǎn)區(qū)域及其特征的一例的圖。

圖9是表示實(shí)施例中的學(xué)習(xí)系統(tǒng)的構(gòu)成的一例的框圖。

圖10是表示學(xué)習(xí)用數(shù)據(jù)制作裝置進(jìn)行的帶注釋(annotation)數(shù)據(jù)的制作處理的流程圖。

圖11是表示學(xué)習(xí)裝置進(jìn)行的學(xué)習(xí)處理的流程圖。

圖12a是在步驟s1中準(zhǔn)備的帶注釋圖像的另一例。

圖12b是表示作為學(xué)習(xí)處理的結(jié)果輸出的危險(xiǎn)區(qū)域及其特征的另一例的圖。

圖13是表示詳細(xì)區(qū)域信息的一例的圖。

圖14a是學(xué)習(xí)用圖像的一例。

圖14b是賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像的一例。

圖15a是學(xué)習(xí)用圖像的一例。

圖15b是賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像的一例。

圖16a是學(xué)習(xí)用圖像的一例。

圖16b是賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像的一例。

圖17a是學(xué)習(xí)用圖像的一例。

圖17b是賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像的一例。

圖18是表示實(shí)施方式2中的兩個(gè)階段的學(xué)習(xí)處理的概要的流程圖。

圖19是用于示意性地說(shuō)明第一階段的學(xué)習(xí)處理的說(shuō)明圖。

圖20是用于示意性地說(shuō)明第二階段的學(xué)習(xí)處理的說(shuō)明圖。

圖21是用于示意性地說(shuō)明第一階段的學(xué)習(xí)處理的另一說(shuō)明圖。

具體實(shí)施方式

(得到本發(fā)明的一個(gè)技術(shù)方案的經(jīng)過(guò))

近年來(lái)，通過(guò)使用深度學(xué)習(xí)(deeplearning)，圖像識(shí)別的性能取得了驚人的提高。深度學(xué)習(xí)作為使用了多層神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)的方法論為人所知，在這樣的多層神經(jīng)網(wǎng)絡(luò)中，多使用卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork：cnn)。在此，卷積神經(jīng)網(wǎng)絡(luò)包括反復(fù)進(jìn)行局部區(qū)域的卷積(convolution)和池化(pooling)的多層神經(jīng)網(wǎng)絡(luò)。

在此，卷積神經(jīng)網(wǎng)絡(luò)具有：通過(guò)利用多個(gè)濾波器的卷積處理提取特征的卷積層、通過(guò)將一定區(qū)域的反應(yīng)匯總的池化處理獲得局部數(shù)據(jù)的不變性的池化層以及使用通過(guò)softmax函數(shù)等算出的概率進(jìn)行識(shí)別的全連接層。

但是，使用了這樣的卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別處理具有不能實(shí)時(shí)執(zhí)行這一問(wèn)題。

與此相對(duì)，例如，在非專利文獻(xiàn)1中，提出了將構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的全連接層作為卷積層的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造。通過(guò)使用該構(gòu)造的卷積神經(jīng)網(wǎng)絡(luò)(全卷積神經(jīng)網(wǎng)絡(luò))，能夠?qū)崟r(shí)執(zhí)行圖像識(shí)別處理。

因此，發(fā)明人(們)想到了使用全卷積神經(jīng)網(wǎng)絡(luò)來(lái)解決上述問(wèn)題。

即，本公開(kāi)的一個(gè)方式涉及的危險(xiǎn)預(yù)測(cè)方法是一種使用了卷積神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)預(yù)測(cè)器的計(jì)算機(jī)進(jìn)行的危險(xiǎn)預(yù)測(cè)方法，包括：取得步驟，使所述卷積神經(jīng)網(wǎng)絡(luò)取得由搭載于車輛的車載攝像頭拍攝到的輸入圖像；和輸出步驟，使所述卷積神經(jīng)網(wǎng)絡(luò)推定危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征，并將所述推定出的危險(xiǎn)區(qū)域和所述推定出的危險(xiǎn)區(qū)域的特征作為對(duì)所述輸入圖像預(yù)測(cè)的危險(xiǎn)度輸出，所述危險(xiǎn)區(qū)域是在所述取得步驟中取得的所述輸入圖像中的、在所述車輛按原樣行駛的情況下有可能在所述車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與所述車輛碰撞的區(qū)域。

由此，由于能夠推定對(duì)所取得的輸入圖像的危險(xiǎn)度，所以能夠?qū)崿F(xiàn)一種能夠預(yù)測(cè)對(duì)正在行駛的車輛來(lái)說(shuō)可能會(huì)發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域的危險(xiǎn)預(yù)測(cè)方法。

在此，例如也可以是，在所述輸出步驟中，使所述卷積神經(jīng)網(wǎng)絡(luò)推定該危險(xiǎn)區(qū)域的危險(xiǎn)程度來(lái)作為該危險(xiǎn)區(qū)域的特征，并將表示推定出的所述危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的危險(xiǎn)程度的似然度映射作為所述危險(xiǎn)度輸出。

另外，例如也可以是，在所述輸出步驟中，使所述卷積神經(jīng)網(wǎng)絡(luò)推定與所述危險(xiǎn)區(qū)域關(guān)聯(lián)的所述運(yùn)動(dòng)物體的類別來(lái)作為該危險(xiǎn)區(qū)域的特征，并將推定出的所述危險(xiǎn)區(qū)域和所述類別作為所述危險(xiǎn)度輸出。

另外，例如也可以是，所述危險(xiǎn)預(yù)測(cè)方法還包括：學(xué)習(xí)步驟，在進(jìn)行所述取得步驟之前，使用包括所述危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像、和在所述學(xué)習(xí)用圖像中賦予了表示所述危險(xiǎn)區(qū)域的注釋的帶注釋圖像，使所述卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用于推定所述學(xué)習(xí)用圖像中的所述危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的所述特征的該卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重。

另外，例如也可以是，所述學(xué)習(xí)步驟包括：第一學(xué)習(xí)步驟，使用作為所述學(xué)習(xí)用圖像各自中的一部分區(qū)域的、賦予了表示所述危險(xiǎn)區(qū)域的注釋的區(qū)域的危險(xiǎn)區(qū)域圖像和作為所述學(xué)習(xí)用圖像各自中的一部分區(qū)域的、沒(méi)有賦予該注釋的區(qū)域的安全區(qū)域圖像，使作為具有全連接層的卷積神經(jīng)網(wǎng)絡(luò)的第一神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)該第一神經(jīng)網(wǎng)絡(luò)的第一權(quán)重，所述第一權(quán)重用于判定所述一部分區(qū)域是安全區(qū)域還是危險(xiǎn)區(qū)域；和第二學(xué)習(xí)步驟，通過(guò)將第二神經(jīng)網(wǎng)絡(luò)的權(quán)重的初始值更新為在所述第一學(xué)習(xí)步驟中學(xué)習(xí)到的所述第一權(quán)重，使用包括所述危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像、和在所述學(xué)習(xí)用圖像中賦予了表示所述危險(xiǎn)區(qū)域的注釋的帶注釋圖像，并使所述第二神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)用于推定所述學(xué)習(xí)用圖像中的所述危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的所述特征的該第二神經(jīng)網(wǎng)絡(luò)的第二權(quán)重，由此學(xué)習(xí)與所述第二神經(jīng)網(wǎng)絡(luò)同一構(gòu)成的所述卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重，所述第二神經(jīng)網(wǎng)絡(luò)包括將所述第一神經(jīng)網(wǎng)絡(luò)的全連接層變更為卷積層而得到的結(jié)構(gòu)。

另外，例如也可以是，所述危險(xiǎn)預(yù)測(cè)方法還包括：賦予步驟，取得由搭載于車輛的車載攝像頭拍攝到的、按時(shí)間順序連續(xù)的多個(gè)圖像，決定所取得的所述多個(gè)圖像的至少一部分圖像所包括的、且在所述車輛按原樣行駛的情況下有可能在所述車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與所述車輛碰撞的危險(xiǎn)區(qū)域，并對(duì)該至少一部分圖像賦予表示決定了的危險(xiǎn)區(qū)域的注釋，在所述學(xué)習(xí)步驟中，取得在所述賦予步驟中賦予了注釋的該至少一部分圖像和所述多個(gè)圖像中與該至少一部分圖像對(duì)應(yīng)的圖像來(lái)作為所述學(xué)習(xí)用圖像和所述帶注釋圖像，學(xué)習(xí)該卷積神經(jīng)網(wǎng)絡(luò)的所述權(quán)重。

在此，例如也可以是，所述危險(xiǎn)區(qū)域是包括存在于所述學(xué)習(xí)用圖像中的遮蔽物的區(qū)域的一部分的區(qū)域，且是所述運(yùn)動(dòng)物體正隱藏著、且所述運(yùn)動(dòng)物體從所述遮蔽物出現(xiàn)在所述行駛路徑中之前的區(qū)域。

另外，例如也可以是，所述危險(xiǎn)區(qū)域是當(dāng)包括人物的兩個(gè)以上運(yùn)動(dòng)物體中的至少一個(gè)與所述兩個(gè)以上運(yùn)動(dòng)物體中的其他運(yùn)動(dòng)物體接近時(shí)會(huì)橫穿所述車輛的行駛路徑的、所述兩個(gè)以上運(yùn)動(dòng)物體之間的區(qū)域。

另外，例如也可以是，所述注釋表示所述危險(xiǎn)區(qū)域和與所述危險(xiǎn)區(qū)域關(guān)聯(lián)的所述運(yùn)動(dòng)物體的分類。

另外，例如也可以是，所述注釋表示所述危險(xiǎn)區(qū)域和控制信息，所述控制信息包括拍攝所述學(xué)習(xí)用圖像時(shí)的所述車輛的制動(dòng)器強(qiáng)度或方向盤角度。

另外，例如也可以是，所述注釋是所述危險(xiǎn)區(qū)域的圖塊信息。

在以下說(shuō)明的實(shí)施方式均為表示本公開(kāi)的一具體例的實(shí)施方式。在以下的實(shí)施方式中所示的數(shù)值、形狀、構(gòu)成要素、步驟、步驟的順序等均為一例，并不意在限定本公開(kāi)。另外，關(guān)于以下實(shí)施方式的構(gòu)成要素中、在表示最上位概念的獨(dú)立權(quán)利要求中沒(méi)有記載的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說(shuō)明。另外，在全部實(shí)施方式中，也能夠?qū)⒏鱾€(gè)內(nèi)容組合。

(實(shí)施方式1)

在以下說(shuō)明中，參照附圖，進(jìn)行實(shí)施方式1中的危險(xiǎn)預(yù)測(cè)器10的危險(xiǎn)預(yù)測(cè)方法等的說(shuō)明。

[危險(xiǎn)預(yù)測(cè)器10的構(gòu)成]

圖1是表示本實(shí)施方式中的危險(xiǎn)預(yù)測(cè)器10的構(gòu)成的一例的框圖。圖2是表示圖1所示的危險(xiǎn)預(yù)測(cè)器10使用的卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)造的概略的圖。圖3是表示本實(shí)施方式中的危險(xiǎn)預(yù)測(cè)器10的預(yù)測(cè)結(jié)果的一例的圖。

圖1所示的危險(xiǎn)預(yù)測(cè)器10是使用了卷積神經(jīng)網(wǎng)絡(luò)的危險(xiǎn)預(yù)測(cè)器，用計(jì)算機(jī)等實(shí)現(xiàn)。例如，如圖2所示，危險(xiǎn)預(yù)測(cè)器10使用的卷積神經(jīng)網(wǎng)絡(luò)是卷積層101和將全連接層變更而成的卷積層102的全卷積神經(jīng)網(wǎng)絡(luò)。

在此，卷積神經(jīng)網(wǎng)絡(luò)經(jīng)常在圖像識(shí)別領(lǐng)域中使用，通過(guò)對(duì)二維圖像進(jìn)行利用濾波器的卷積，從圖像中提取特征量。如上所述，卷積神經(jīng)網(wǎng)絡(luò)包括反復(fù)進(jìn)行卷積和池化的多層網(wǎng)絡(luò)。而且，使用大量的學(xué)習(xí)用圖像等大量的學(xué)習(xí)用數(shù)據(jù)，學(xué)習(xí)在卷積神經(jīng)網(wǎng)絡(luò)中構(gòu)成卷積層的、對(duì)識(shí)別有效的濾波器的系數(shù)(權(quán)重)。該系數(shù)(權(quán)重)通過(guò)使用大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)而得到，所述學(xué)習(xí)通過(guò)反復(fù)進(jìn)行利用濾波器的卷積和將一定區(qū)域的反應(yīng)匯總的池化從而獲得對(duì)多樣的變形的不變性。此外，可知：卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別性能依存于構(gòu)成卷積層的濾波器。

當(dāng)輸入由車載攝像頭拍攝到的輸入圖像時(shí)，圖1所示的危險(xiǎn)預(yù)測(cè)器10使用圖2所示的卷積神經(jīng)網(wǎng)絡(luò)，推定對(duì)輸入圖像中的正在行駛的車輛來(lái)說(shuō)的危險(xiǎn)區(qū)域及其特征，并作為預(yù)測(cè)到的危險(xiǎn)度進(jìn)行輸出。越接近在過(guò)去發(fā)生過(guò)人的沖出而成為危險(xiǎn)的圖像之前的圖像的一部分區(qū)域即在過(guò)去導(dǎo)致危險(xiǎn)的區(qū)域，則危險(xiǎn)預(yù)測(cè)器10預(yù)測(cè)越高的危險(xiǎn)度。

更具體而言，圖1所示的危險(xiǎn)預(yù)測(cè)器10取得由搭載于車輛的車載攝像頭拍攝到的輸入圖像。危險(xiǎn)預(yù)測(cè)器10用卷積神經(jīng)網(wǎng)絡(luò)推定所取得的輸入圖像中的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征，所述危險(xiǎn)區(qū)域是在該車輛按原樣行駛的情況下有可能在該車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與該車輛碰撞的危險(xiǎn)區(qū)域。而且，危險(xiǎn)預(yù)測(cè)器10將其作為對(duì)所取得的輸入圖像預(yù)測(cè)的危險(xiǎn)度輸出。在此，危險(xiǎn)預(yù)測(cè)器10推定該危險(xiǎn)區(qū)域的危險(xiǎn)程度作為該危險(xiǎn)區(qū)域的特征，并將推定出的該危險(xiǎn)區(qū)域以及表示該危險(xiǎn)區(qū)域的危險(xiǎn)程度的似然度映射作為危險(xiǎn)度輸出。

在本實(shí)施方式中，危險(xiǎn)預(yù)測(cè)器10取得了例如圖3所示的圖像50，即包括停著的巴士501、作為行人的人物502和503的圖像50來(lái)作為輸入圖像。在該情況下，危險(xiǎn)預(yù)測(cè)器10推定為：在圖像50中，停著的巴士501背后的區(qū)域、人物502的區(qū)域以及人物503的區(qū)域是危險(xiǎn)區(qū)域。而且，將重疊了對(duì)圖像50推定出的危險(xiǎn)區(qū)域的危險(xiǎn)程度(似然度)后的圖像50a作為預(yù)測(cè)出的危險(xiǎn)度輸出。在圖像50a中，作為似然度映射，重疊有停著的巴士501背后的區(qū)域的似然度504、人物502的區(qū)域的似然度505以及人物503的區(qū)域的似然度506。該似然度示出了車輛有可能碰撞的風(fēng)險(xiǎn)(危險(xiǎn)度)。在本實(shí)施方式中，利用該似然度，即使對(duì)于看不到人且人可能會(huì)沖出的區(qū)域，也作為與危險(xiǎn)關(guān)聯(lián)的區(qū)域，示出高的危險(xiǎn)度(風(fēng)險(xiǎn))。

此外，危險(xiǎn)預(yù)測(cè)器10輸出的危險(xiǎn)度不限于圖3所示的表示危險(xiǎn)區(qū)域及其危險(xiǎn)程度的似然度映射。以下，使用圖4說(shuō)明該例子。

圖4是表示本實(shí)施方式中的危險(xiǎn)預(yù)測(cè)器10的預(yù)測(cè)結(jié)果的另一例的圖。此外，對(duì)與圖3同樣的要素賦予同一標(biāo)號(hào)且省略詳細(xì)的說(shuō)明。

危險(xiǎn)預(yù)測(cè)器10對(duì)作為輸入圖像取得的圖像50推定為：停著的巴士501背后的區(qū)域507、人物502的區(qū)域508以及人物503的區(qū)域509是危險(xiǎn)區(qū)域，并輸出使對(duì)圖像50推定出的危險(xiǎn)區(qū)域及其分類重疊而成的圖像50b。也就是說(shuō)，危險(xiǎn)預(yù)測(cè)器10輸出對(duì)圖像50重疊了區(qū)域507和作為其分類的危險(xiǎn)區(qū)域(車)、區(qū)域508和作為其分類的危險(xiǎn)區(qū)域(人)、區(qū)域509和作為其分類的危險(xiǎn)區(qū)域(人)而成的圖像50b。在此，在圖像50b中，由于與作為危險(xiǎn)區(qū)域的區(qū)域507關(guān)聯(lián)的運(yùn)動(dòng)物體的類別是車，所以作為危險(xiǎn)區(qū)域的分類重疊有危險(xiǎn)區(qū)域(車)。同樣地，在圖像50b中，由于與作為危險(xiǎn)區(qū)域的區(qū)域508和區(qū)域509關(guān)聯(lián)的運(yùn)動(dòng)物體的類別是人物(人)，所以作為危險(xiǎn)區(qū)域的分類重疊有危險(xiǎn)區(qū)域(人)。

這樣，危險(xiǎn)預(yù)測(cè)器10也可以推定與該危險(xiǎn)區(qū)域關(guān)聯(lián)的所述運(yùn)動(dòng)物體的類別來(lái)作為該危險(xiǎn)區(qū)域的特征，并將推定出的該危險(xiǎn)區(qū)域和該類別作為危險(xiǎn)度輸出。

[危險(xiǎn)預(yù)測(cè)器10的預(yù)測(cè)處理]

接著，使用附圖，說(shuō)明本實(shí)施方式涉及的危險(xiǎn)預(yù)測(cè)器10的預(yù)測(cè)處理。

圖5是表示本實(shí)施方式中的危險(xiǎn)預(yù)測(cè)器10的預(yù)測(cè)處理的一例的流程圖。

如圖5所示，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)首先使卷積神經(jīng)網(wǎng)絡(luò)取得由搭載于車輛的車載攝像頭拍攝到的輸入圖像(s1)。在本實(shí)施方式中，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)使卷積神經(jīng)網(wǎng)絡(luò)取得例如上述圖5所示的圖像50來(lái)作為輸入圖像。

接著，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)使卷積神經(jīng)網(wǎng)絡(luò)推定危險(xiǎn)區(qū)域及其特征，并作為對(duì)輸入圖像預(yù)測(cè)出的危險(xiǎn)度輸出(s2)。更具體而言，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)使卷積神經(jīng)網(wǎng)絡(luò)推定危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征，所述危險(xiǎn)區(qū)域是在s1中取得的輸入圖像中的、在車輛按原樣行駛的情況下有可能在車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與車輛碰撞的區(qū)域。而且，將危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征作為對(duì)輸入圖像預(yù)測(cè)出的危險(xiǎn)度輸出。

在本實(shí)施方式中，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)使該卷積神經(jīng)網(wǎng)絡(luò)推定該危險(xiǎn)區(qū)域的危險(xiǎn)程度來(lái)作為該危險(xiǎn)區(qū)域的特征，并將表示推定出的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的危險(xiǎn)程度的似然度映射作為危險(xiǎn)度輸出。例如，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)使卷積神經(jīng)網(wǎng)絡(luò)輸出例如上述圖3所示的圖像50a來(lái)作為預(yù)測(cè)出的危險(xiǎn)度。

此外，如上所述，危險(xiǎn)預(yù)測(cè)器10的計(jì)算機(jī)也可以使該卷積神經(jīng)網(wǎng)絡(luò)推定與該危險(xiǎn)區(qū)域關(guān)聯(lián)的所述運(yùn)動(dòng)物體的類別來(lái)作為該危險(xiǎn)區(qū)域的特征，并將推定出的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的類別作為危險(xiǎn)度輸出。

[危險(xiǎn)預(yù)測(cè)器10的效果等]

如上所述，根據(jù)實(shí)施方式1涉及的危險(xiǎn)預(yù)測(cè)器10，能夠推定由搭載于車輛的車載攝像頭拍攝到的輸入圖像中的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征。特別是，實(shí)施方式1涉及的危險(xiǎn)預(yù)測(cè)器10也能夠?qū)⑼Ｖ陌褪勘澈蟮膮^(qū)域等、雖然看不到從巴士下車的行人但行人可能會(huì)沖出的區(qū)域也預(yù)測(cè)為對(duì)正在行駛的車輛來(lái)說(shuō)可能會(huì)發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域。

由此，例如，在正在自動(dòng)駕駛的車輛具備危險(xiǎn)預(yù)測(cè)器10的情況下，由于該車輛能夠使用車載攝像頭的圖像預(yù)測(cè)可能會(huì)發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域，并進(jìn)行避開(kāi)預(yù)測(cè)出的危險(xiǎn)區(qū)域的控制，所以能夠進(jìn)行更安全的行駛。

[危險(xiǎn)預(yù)測(cè)器10的學(xué)習(xí)處理]

以下，說(shuō)明用于實(shí)現(xiàn)這樣的危險(xiǎn)預(yù)測(cè)器10的學(xué)習(xí)處理。將通過(guò)進(jìn)行學(xué)習(xí)處理來(lái)作為在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)發(fā)揮功能的卷積神經(jīng)網(wǎng)絡(luò)稱為卷積神經(jīng)網(wǎng)絡(luò)10a來(lái)進(jìn)行說(shuō)明。

圖6是表示本實(shí)施方式中的卷積神經(jīng)網(wǎng)絡(luò)10a的學(xué)習(xí)處理的概要的流程圖。圖7a～圖7d是在步驟s1中準(zhǔn)備的學(xué)習(xí)用數(shù)據(jù)的說(shuō)明圖。圖8是表示作為學(xué)習(xí)處理的結(jié)果輸出的危險(xiǎn)區(qū)域及其特征的一例的圖。

首先，準(zhǔn)備學(xué)習(xí)用數(shù)據(jù)(s11)。更具體而言，準(zhǔn)備包括學(xué)習(xí)用圖像和在學(xué)習(xí)用圖像中賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像的學(xué)習(xí)用數(shù)據(jù)，所述學(xué)習(xí)用圖像包含危險(xiǎn)區(qū)域。

在此，使用圖7a～圖7d說(shuō)明學(xué)習(xí)用數(shù)據(jù)。

圖7a和圖7b是學(xué)習(xí)用圖像的一例，是在過(guò)去由車載攝像頭拍攝到的多個(gè)圖像中與危險(xiǎn)關(guān)聯(lián)的圖像的一例。在圖7b所示的圖像52中，示出了停著的巴士511、作為行人的人物512以及作為從巴士511背后的區(qū)域出現(xiàn)的行人的人物513。在圖7a所示的圖像51中，示出了停著的巴士511和作為行人的人物512。雖然人物513存在于巴士511背后的區(qū)域，但看不到。

圖7c所示的圖像51a是帶注釋圖像的一例，在圖像51的人物出現(xiàn)的預(yù)定時(shí)間之前的區(qū)域中賦予有注釋。更具體而言，圖像51a被賦予有表示危險(xiǎn)區(qū)域的注釋，所述危險(xiǎn)區(qū)域是在搭載拍攝到圖像51的車載攝像頭的車輛按原樣(保持狀態(tài)不變地)行駛的情況下，有可能在車輛的行駛路徑中出現(xiàn)作為人物513的運(yùn)動(dòng)物體并與該車輛碰撞的區(qū)域。

此外，并不限于以下情況：如圖7c的圖像51a所示，表示危險(xiǎn)區(qū)域的注釋賦予給包括雖然看不到人物513但人物513可能會(huì)沖出的、巴士511背后的區(qū)域514，即剛要發(fā)生沖出之前的區(qū)域514。例如，如圖7d所示，也可以是，除了區(qū)域514之外，對(duì)能看到的人物512的區(qū)域515賦予表示危險(xiǎn)區(qū)域的注釋，對(duì)其他區(qū)域(例如區(qū)域516)賦予表示安全區(qū)域的注釋。

以下，返回圖6進(jìn)行說(shuō)明。

接著，為了使卷積神經(jīng)網(wǎng)絡(luò)10a作為危險(xiǎn)預(yù)測(cè)器10發(fā)揮功能，計(jì)算機(jī)使用學(xué)習(xí)用數(shù)據(jù)，進(jìn)行學(xué)習(xí)處理(s12)。更具體而言，使用包括危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像、和在學(xué)習(xí)用圖像中賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像，進(jìn)行使卷積神經(jīng)網(wǎng)絡(luò)10a學(xué)習(xí)用于推定學(xué)習(xí)用圖像中的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征的該卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重的學(xué)習(xí)處理。

例如，將圖7a所示的圖像51作為包括危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像使用，將圖7d所示的圖像51b作為在學(xué)習(xí)用圖像中賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像使用，并使卷積神經(jīng)網(wǎng)絡(luò)10a進(jìn)行學(xué)習(xí)處理。在該情況下，卷積神經(jīng)網(wǎng)絡(luò)10a學(xué)習(xí)用于推定圖8的圖像51c所示的表示危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的危險(xiǎn)程度的似然度映射的權(quán)重。在此，在圖8的圖像51c中，停著的巴士511背后的區(qū)域和人物512的區(qū)域是危險(xiǎn)區(qū)域，并重疊有巴士511背后的區(qū)域的似然度517和人物512的區(qū)域的似然度518。

此外，在學(xué)習(xí)用數(shù)據(jù)的準(zhǔn)備中，在學(xué)習(xí)用圖像中賦予表示危險(xiǎn)區(qū)域的注釋的作業(yè)例如委托眾包(crowdsourcing)的工人進(jìn)行等以人工方式進(jìn)行，但也可以使計(jì)算機(jī)進(jìn)行一部分或全部作業(yè)。以下，以學(xué)習(xí)系統(tǒng)的計(jì)算機(jī)進(jìn)行在學(xué)習(xí)用圖像中賦予表示危險(xiǎn)區(qū)域的注釋的作業(yè)，并使用學(xué)習(xí)用數(shù)據(jù)在卷積神經(jīng)網(wǎng)絡(luò)10a中進(jìn)行學(xué)習(xí)處理的情況為實(shí)施例，來(lái)進(jìn)行說(shuō)明。

(實(shí)施例)

[學(xué)習(xí)系統(tǒng)的構(gòu)成]

圖9是表示實(shí)施例中的學(xué)習(xí)系統(tǒng)的構(gòu)成的一例的框圖。圖9所示的學(xué)習(xí)系統(tǒng)具備學(xué)習(xí)用數(shù)據(jù)制作裝置20和學(xué)習(xí)裝置30，并進(jìn)行用于實(shí)現(xiàn)危險(xiǎn)預(yù)測(cè)器10的學(xué)習(xí)處理。

學(xué)習(xí)用數(shù)據(jù)制作裝置20具備存儲(chǔ)部201、存儲(chǔ)部203以及注釋賦予部202，并根據(jù)影像數(shù)據(jù)制作學(xué)習(xí)用數(shù)據(jù)。存儲(chǔ)部201由hdd(harddiskdrive：硬盤驅(qū)動(dòng)器)或存儲(chǔ)器等構(gòu)成，并存儲(chǔ)由搭載于車輛的車載攝像頭拍攝到的、由按時(shí)間順序連續(xù)的多個(gè)圖像構(gòu)成的影像數(shù)據(jù)。該影像數(shù)據(jù)也作為學(xué)習(xí)用圖像使用。存儲(chǔ)部203由hdd(harddiskdrive：硬盤驅(qū)動(dòng)器)或存儲(chǔ)器等構(gòu)成，并存儲(chǔ)對(duì)學(xué)習(xí)用圖像(影像數(shù)據(jù))賦予了表示危險(xiǎn)區(qū)域的注釋而成的帶注釋數(shù)據(jù)。注釋賦予部202至少在從存儲(chǔ)部201取得的學(xué)習(xí)用圖像(影像數(shù)據(jù))中賦予表示危險(xiǎn)區(qū)域的注釋，并存儲(chǔ)在存儲(chǔ)部203中。

學(xué)習(xí)裝置30具備誤差算出部301和權(quán)重調(diào)整部302，使用從學(xué)習(xí)用數(shù)據(jù)制作裝置20取得的學(xué)習(xí)用數(shù)據(jù)，在卷積神經(jīng)網(wǎng)絡(luò)10a中進(jìn)行學(xué)習(xí)處理。在此，卷積神經(jīng)網(wǎng)絡(luò)10a與在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)為同一構(gòu)成，學(xué)習(xí)處理的結(jié)果是，作為在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)發(fā)揮功能。誤差算出部301使用誤差函數(shù)算出誤差，所述誤差是卷積神經(jīng)網(wǎng)絡(luò)10a應(yīng)推定出的表示學(xué)習(xí)用圖像中的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征的值(正確值)與卷積神經(jīng)網(wǎng)絡(luò)10a當(dāng)前輸出(推定)的值(表示推定出的危險(xiǎn)度的值)的誤差。權(quán)重調(diào)整部302調(diào)整卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重以使得由誤差算出部301算出的誤差變小。

[學(xué)習(xí)系統(tǒng)的工作]

接著，使用圖10和圖11，說(shuō)明按以上方式構(gòu)成的學(xué)習(xí)系統(tǒng)的工作。圖10是表示學(xué)習(xí)用數(shù)據(jù)制作裝置20進(jìn)行的帶注釋數(shù)據(jù)的制作處理的流程圖。圖11是表示學(xué)習(xí)裝置30進(jìn)行的學(xué)習(xí)處理的流程圖。此外，圖10屬于圖6所示的s11的詳細(xì)處理的一例，圖11屬于圖6所示的s12的詳細(xì)處理的一例。

如圖10所示，學(xué)習(xí)用數(shù)據(jù)制作裝置20首先取得存儲(chǔ)在存儲(chǔ)部201中的影像數(shù)據(jù)(s111)。更具體而言，學(xué)習(xí)用數(shù)據(jù)制作裝置20取得由搭載于車輛的車載攝像頭拍攝到的按時(shí)間順序連續(xù)的多個(gè)圖像來(lái)作為影像數(shù)據(jù)。

接著，學(xué)習(xí)用數(shù)據(jù)制作裝置20決定影像數(shù)據(jù)所包括的危險(xiǎn)區(qū)域(s112)。更具體而言，學(xué)習(xí)用數(shù)據(jù)制作裝置20決定所取得的多個(gè)圖像(影像數(shù)據(jù))的至少一部分圖像所包括的、且在搭載拍攝到該多個(gè)圖像的車載攝像頭的車輛按原樣行駛的情況下有可能在該車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與該車輛碰撞的危險(xiǎn)區(qū)域。

接著，學(xué)習(xí)用數(shù)據(jù)制作裝置20對(duì)影像數(shù)據(jù)賦予表示危險(xiǎn)區(qū)域的注釋(s113)。更具體而言，學(xué)習(xí)用數(shù)據(jù)制作裝置20對(duì)該至少一部分圖像賦予表示決定了的危險(xiǎn)區(qū)域的注釋。而且，將在至少一部分圖像中賦予了表示危險(xiǎn)區(qū)域的注釋而成的影像數(shù)據(jù)(帶注釋數(shù)據(jù))存儲(chǔ)在存儲(chǔ)部203中。在本實(shí)施方式中，學(xué)習(xí)用數(shù)據(jù)制作裝置20對(duì)人物出現(xiàn)的預(yù)定時(shí)間之前的圖像的一部分區(qū)域賦予表示危險(xiǎn)區(qū)域的注釋，但不限于此。也可以是，對(duì)球、帶有危險(xiǎn)燈的汽車或映有人物的彎道鏡等人物出現(xiàn)的預(yù)定時(shí)間之前的圖像的特定物體區(qū)域賦予表示危險(xiǎn)區(qū)域的注釋。無(wú)論如何，都會(huì)賦予表示危險(xiǎn)區(qū)域的注釋，所述危險(xiǎn)區(qū)域是在搭載拍攝到影像數(shù)據(jù)的車載攝像頭的車輛按原樣行駛的情況下有可能在車輛的行駛路徑中出現(xiàn)作為人物513的運(yùn)動(dòng)物體并與該車輛碰撞的區(qū)域。

接著，如圖11所示，學(xué)習(xí)裝置30從學(xué)習(xí)用數(shù)據(jù)制作裝置20取得學(xué)習(xí)用數(shù)據(jù)(s121)。具體而言，學(xué)習(xí)裝置30取得在s113中賦予了注釋的該至少一部分圖像和多個(gè)圖像(影像數(shù)據(jù))中與該至少一部分圖像對(duì)應(yīng)的圖像來(lái)作為學(xué)習(xí)用圖像和帶注釋圖像。例如，如上所述，學(xué)習(xí)裝置30從學(xué)習(xí)用數(shù)據(jù)制作裝置20取得圖7a所示的包括危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像和圖7d所示的帶注釋圖像。

接著，學(xué)習(xí)裝置30使用學(xué)習(xí)用圖像，使卷積神經(jīng)網(wǎng)絡(luò)10a輸出表示推定出的危險(xiǎn)度的值(s122)。在本實(shí)施方式中，例如，對(duì)于圖7a所示的包括危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像，學(xué)習(xí)裝置30使卷積神經(jīng)網(wǎng)絡(luò)10a輸出表示學(xué)習(xí)用圖像中的危險(xiǎn)區(qū)域及該危險(xiǎn)區(qū)域的特征即危險(xiǎn)區(qū)域及其危險(xiǎn)程度(似然度映射)的值，作為表示推定出的危險(xiǎn)度的值。

接著，學(xué)習(xí)裝置30算出在s122中輸出的值、和卷積神經(jīng)網(wǎng)絡(luò)10a應(yīng)推定出的表示學(xué)習(xí)用圖像中的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征的值(正確值)之差(誤差)(s123)。在此，正確值是表示根據(jù)在圖7d所示的圖像51b的在學(xué)習(xí)用圖像中賦予了表示危險(xiǎn)區(qū)域的注釋而得到的帶注釋圖像而算出的圖8的圖像51c所示的表示危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的危險(xiǎn)程度的似然度映射的值。

接著，當(dāng)在s123中輸出的表示危險(xiǎn)度的值與正確值的誤差不是最小的情況下(在s124中為否)，學(xué)習(xí)裝置30更新卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重以使得該差變小(s125)。而且，學(xué)習(xí)裝置30從s122的處理起，進(jìn)行反復(fù)的回歸處理。

另一方面，在s122中輸出的表示危險(xiǎn)度的值與正確值之差為最小的情況下，結(jié)束處理。即，學(xué)習(xí)裝置30通過(guò)調(diào)整卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重以使得在s123中算出的誤差成為最小，由此使卷積神經(jīng)網(wǎng)絡(luò)10a學(xué)習(xí)權(quán)重。而且，學(xué)習(xí)裝置30將在s123中算出的誤差成為最小的情況下的卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重決定為在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重。

此外，為了便于說(shuō)明圖10和圖11，說(shuō)明了對(duì)一張圖像的制作處理和/或?qū)W習(xí)處理，但不限于此。也可以按每10～20張圖像進(jìn)行制作處理和/或?qū)W習(xí)處理。另外，將誤差成為最小的卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重決定為在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重來(lái)進(jìn)行了說(shuō)明，但不限于此。也可以是，在即使反復(fù)進(jìn)行上述回歸處理，權(quán)重的值和誤差也不變化的情況下，將權(quán)重的值和誤差不變化時(shí)的卷積神經(jīng)網(wǎng)絡(luò)10a的權(quán)重決定為在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重。另外，也可以是，誤差最小是指在決定了回歸處理的上限次數(shù)的情況下，到上限次數(shù)為止的回歸處理中的誤差的最小。

(變形例1)

圖12a是在步驟s1中準(zhǔn)備的帶注釋圖像的另一例。圖12b是表示作為學(xué)習(xí)處理的結(jié)果輸出的危險(xiǎn)區(qū)域及其特征的另一例的圖。另外，對(duì)于與圖7a～圖8同樣的要素賦予同一標(biāo)號(hào)且省略詳細(xì)的說(shuō)明。

在上述危險(xiǎn)預(yù)測(cè)器10的學(xué)習(xí)處理中，說(shuō)明了圖7a所示的圖像51和圖7d所示的圖像51b是學(xué)習(xí)用圖像和帶注釋圖像的一例，且正確值是表示圖8所示的圖像51c中的危險(xiǎn)區(qū)域及其危險(xiǎn)程度的值的情況，但不限于此。也可以是，將圖7a所示的圖像51和圖12a所示的圖像51d作為學(xué)習(xí)用圖像和帶注釋圖像，且正確值是表示圖12b所示的圖像51e中的危險(xiǎn)區(qū)域及其分類的值。

在圖12a所示的圖像51中，停著的巴士511背后的區(qū)域514d是看不到的人物有可能沖出并與車輛碰撞的危險(xiǎn)區(qū)域，危險(xiǎn)分類1是表示危險(xiǎn)區(qū)域的分類的注釋。另外，在圖像51d中，賦予有表示看到的人物512的區(qū)域515及其危險(xiǎn)分類2的注釋。人物512的區(qū)域515屬于有可能與車輛碰撞的危險(xiǎn)區(qū)域，危險(xiǎn)分類2屬于危險(xiǎn)區(qū)域的分類。另外，在圖像51d中，也對(duì)除此以外的區(qū)域(例如區(qū)域516d)賦予表示是安全區(qū)域的注釋。

在圖12b所示的圖像51e中，示出了：停著的巴士511背后的區(qū)域519是危險(xiǎn)區(qū)域，其分類是危險(xiǎn)區(qū)域(車)以及人物512的區(qū)域520是危險(xiǎn)區(qū)域，其分類是危險(xiǎn)區(qū)域(人)。

(變形例2)

在學(xué)習(xí)用圖像中賦予的注釋不限于在實(shí)施例中說(shuō)明的表示危險(xiǎn)區(qū)域的信息(框等)、和/或在變形例1中說(shuō)明的與危險(xiǎn)區(qū)域關(guān)聯(lián)的運(yùn)動(dòng)物體的分類的情況。例如，既可以是車輛的方向盤角度、制動(dòng)器強(qiáng)度等拍攝到學(xué)習(xí)用圖像時(shí)的車輛的控制信息，也可以是與圖13所示的物體區(qū)域不同的詳細(xì)區(qū)域信息。

圖13是表示詳細(xì)區(qū)域信息的一例的圖。圖13所示的詳細(xì)區(qū)域信息例如是相對(duì)于圖7a的圖塊(segment)信息54。區(qū)域541表示圖7a所示的巴士511背后的區(qū)域是危險(xiǎn)區(qū)域，區(qū)域542表示圖7a所示的人物512的區(qū)域是危險(xiǎn)區(qū)域。

這樣，也可以是，在學(xué)習(xí)用圖像中賦予的注釋表示輸入圖像中的危險(xiǎn)區(qū)域和控制信息，所述控制信息包括拍攝學(xué)習(xí)用圖像時(shí)的車輛的制動(dòng)器強(qiáng)度或方向盤角度。另外，在學(xué)習(xí)用圖像中賦予的注釋也可以是輸入圖像中的危險(xiǎn)區(qū)域的圖塊信息。

(變形例3)

在上述實(shí)施方式1、實(shí)施例、變形例1和2中，將對(duì)正在行駛的車輛來(lái)說(shuō)可能會(huì)發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域設(shè)為：包括存在于學(xué)習(xí)用圖像中的遮蔽物的區(qū)域的一部分，且運(yùn)動(dòng)物體正隱藏著、且該運(yùn)動(dòng)物體從遮蔽物出現(xiàn)在行駛路徑中之前的區(qū)域來(lái)進(jìn)行說(shuō)明，但不限于此。也可以是，危險(xiǎn)區(qū)域是當(dāng)包括人物的兩個(gè)以上運(yùn)動(dòng)物體彼此接近時(shí)會(huì)橫穿車輛的行駛路徑的、兩個(gè)以上運(yùn)動(dòng)物體之間的區(qū)域。

以下，例示用于學(xué)習(xí)處理這樣的危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像和帶注釋圖像。

圖14a、圖15a、圖16a以及圖17a是學(xué)習(xí)用圖像的一例。圖14b、圖15b、圖16b以及圖17b是賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像的一例。

在圖14a所示的學(xué)習(xí)用圖像56a中，示出了駐停車中的汽車561和人物562。在圖14b所示的帶注釋圖像56b中，對(duì)學(xué)習(xí)用圖像56a賦予有表示駐停車中的汽車561與人物562之間的區(qū)域563是危險(xiǎn)區(qū)域的注釋。

在圖15a所示的學(xué)習(xí)用圖像57a中，示出了人物571、表示巴士的車站的物體572以及駐停車中的汽車573。在圖15b所示的帶注釋圖像57b中，對(duì)學(xué)習(xí)用圖像57a賦予有表示人物571與表示巴士的車站的物體572之間的區(qū)域574是危險(xiǎn)區(qū)域的注釋。

另外，在圖16a所示的學(xué)習(xí)用圖像58a中，示出了作為孩子的人物581、和球等人物581在玩耍中使用的物體582。在圖16b所示的帶注釋圖像58b中，對(duì)學(xué)習(xí)用圖像58a賦予有表示人物581與人物581在玩耍中使用的物體582之間的區(qū)域583是危險(xiǎn)區(qū)域的注釋。

另外，在圖17a所示的學(xué)習(xí)用圖像59a中，示出了作為孩子的人物591和孩子的父母等人物592。在圖17b所示的帶注釋圖像59b中，對(duì)學(xué)習(xí)用圖像59a賦予有表示人物591與人物592之間的區(qū)域593是危險(xiǎn)區(qū)域的注釋。

這樣，由于當(dāng)包括人物的兩個(gè)以上運(yùn)動(dòng)物體彼此接近時(shí)會(huì)橫穿車輛的行駛路徑，所以可認(rèn)為兩個(gè)以上運(yùn)動(dòng)物體之間的區(qū)域是在車輛按原樣行駛的情況下，有可能在車輛的行駛路徑中出現(xiàn)運(yùn)動(dòng)物體并與車輛碰撞的危險(xiǎn)區(qū)域。因此，危險(xiǎn)預(yù)測(cè)器10可以將該兩個(gè)以上運(yùn)動(dòng)物體之間的區(qū)域預(yù)測(cè)為危險(xiǎn)區(qū)域。

(實(shí)施方式2)

在實(shí)施方式1中，說(shuō)明了僅使用與在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)同一構(gòu)成的卷積神經(jīng)網(wǎng)絡(luò)10a進(jìn)行學(xué)習(xí)處理，但不限于此。也可以是，首先，使用具有全連接層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行第一階段的學(xué)習(xí)處理，接著，使用將全連接層變更為卷積層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行第二階段的學(xué)習(xí)處理。以下，關(guān)于該情況，作為實(shí)施方式2進(jìn)行說(shuō)明。此外，在以下說(shuō)明中，以與實(shí)施方式1不同之處為中心進(jìn)行說(shuō)明。

[學(xué)習(xí)處理]

省略了危險(xiǎn)預(yù)測(cè)器10的構(gòu)成等如在上述實(shí)施方式1中已說(shuō)明的說(shuō)明。在實(shí)施方式2中，相對(duì)于實(shí)施方式1，計(jì)算機(jī)使用學(xué)習(xí)用數(shù)據(jù)進(jìn)行的學(xué)習(xí)處理不同。

圖18是表示本實(shí)施方式中的兩個(gè)階段的學(xué)習(xí)處理的概要的流程圖。圖19是用于示意性地說(shuō)明第一階段的學(xué)習(xí)處理的說(shuō)明圖。圖20是用于示意性地說(shuō)明第二階段的學(xué)習(xí)處理的說(shuō)明圖。此外，對(duì)于與圖3和圖7d等同樣的要素賦予同一標(biāo)號(hào)且省略詳細(xì)的說(shuō)明。圖18屬于圖6所示的步驟s12的詳細(xì)處理的一例。另外，圖19所示的第一神經(jīng)網(wǎng)絡(luò)10b是在第一階段的學(xué)習(xí)處理中使用的具有全連接層的卷積神經(jīng)網(wǎng)絡(luò)。圖20所示的第二神經(jīng)網(wǎng)絡(luò)10c是在第二階段的學(xué)習(xí)處理中使用的卷積神經(jīng)網(wǎng)絡(luò)，屬于將第一神經(jīng)網(wǎng)絡(luò)10b的全連接層變更為卷積層而成的卷積神經(jīng)網(wǎng)絡(luò)。第二神經(jīng)網(wǎng)絡(luò)10c與在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)為同一構(gòu)成。

首先，計(jì)算機(jī)使用學(xué)習(xí)用數(shù)據(jù)，進(jìn)行使第一神經(jīng)網(wǎng)絡(luò)10b學(xué)習(xí)權(quán)重(第一權(quán)重)的第一學(xué)習(xí)處理(s221)。更具體而言，計(jì)算機(jī)使用作為學(xué)習(xí)用圖像各自中的一部分區(qū)域的、賦予了表示危險(xiǎn)區(qū)域的注釋的區(qū)域的危險(xiǎn)區(qū)域圖像和作為學(xué)習(xí)用圖像各自中的一部分區(qū)域的、沒(méi)有賦予該注釋的區(qū)域的安全區(qū)域圖像，使作為具有全連接層的卷積神經(jīng)網(wǎng)絡(luò)的第一神經(jīng)網(wǎng)絡(luò)10b學(xué)習(xí)該第一神經(jīng)網(wǎng)絡(luò)的第一權(quán)重，所述第一權(quán)重用于判定一部分區(qū)域是安全區(qū)域還是危險(xiǎn)區(qū)域。

例如，在圖19所示的例子中，示出了如下情形：計(jì)算機(jī)將危險(xiǎn)區(qū)域圖像61輸入至第一神經(jīng)網(wǎng)絡(luò)10b，并學(xué)習(xí)第一神經(jīng)網(wǎng)絡(luò)10b的第一權(quán)重以進(jìn)行是否是危險(xiǎn)區(qū)域的判定，所述危險(xiǎn)區(qū)域圖像61是作為帶注釋圖像的圖像51b的一部分圖像。

接著，計(jì)算機(jī)使用學(xué)習(xí)用數(shù)據(jù)，在第二神經(jīng)網(wǎng)絡(luò)10c中進(jìn)行第二學(xué)習(xí)處理(s221～s224)。更具體而言，首先，計(jì)算機(jī)生成將第一神經(jīng)網(wǎng)絡(luò)的全連接層變更為卷積層而成的第二神經(jīng)網(wǎng)絡(luò)(s222)。接著，計(jì)算機(jī)讀入在s221中學(xué)習(xí)的第一神經(jīng)網(wǎng)絡(luò)的權(quán)重(第一權(quán)重)(s223)，并將在s222中生成的第二神經(jīng)網(wǎng)絡(luò)的權(quán)重的初始值更新為第一權(quán)重。接著，計(jì)算機(jī)使用包括危險(xiǎn)區(qū)域的學(xué)習(xí)用圖像、和在學(xué)習(xí)用圖像中賦予了表示危險(xiǎn)區(qū)域的注釋的帶注釋圖像，使第二神經(jīng)網(wǎng)絡(luò)10c學(xué)習(xí)用于推定學(xué)習(xí)用圖像中的危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的特征的第二神經(jīng)網(wǎng)絡(luò)10c的權(quán)重(第二權(quán)重)(s224)。

例如，在圖20所示的例子中，計(jì)算機(jī)將作為學(xué)習(xí)用圖像(輸入圖像)的圖像50輸入第二神經(jīng)網(wǎng)絡(luò)10c，更新(學(xué)習(xí))第二神經(jīng)網(wǎng)絡(luò)10c的第二權(quán)重以推定表示該危險(xiǎn)區(qū)域和該危險(xiǎn)區(qū)域的危險(xiǎn)程度的似然度映射來(lái)作為危險(xiǎn)度。

通過(guò)進(jìn)行這樣的第二學(xué)習(xí)處理，能夠?qū)W習(xí)與第二神經(jīng)網(wǎng)絡(luò)同一構(gòu)成的、在危險(xiǎn)預(yù)測(cè)器10中使用的卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重。

此外，在第一學(xué)習(xí)處理中，將賦予了表示危險(xiǎn)區(qū)域的注釋的危險(xiǎn)區(qū)域圖像和沒(méi)有賦予該注釋的安全區(qū)域圖像作為學(xué)習(xí)用圖像使用，使第一神經(jīng)網(wǎng)絡(luò)10b學(xué)習(xí)將所輸入的學(xué)習(xí)用圖像判定為是安全還是危險(xiǎn)的第一權(quán)重，但不限于此。

例如，如圖21所示，也可以在第一學(xué)習(xí)處理中，將賦予了表示危險(xiǎn)區(qū)域及其分類的注釋的學(xué)習(xí)用圖像的一部分區(qū)域作為學(xué)習(xí)用圖像使用。而且，也可以使第一神經(jīng)網(wǎng)絡(luò)10b學(xué)習(xí)：判定所輸入的學(xué)習(xí)用圖像是安全還是危險(xiǎn)，且在判定為危險(xiǎn)的情況下，判定該學(xué)習(xí)用圖像表示的分類的第一權(quán)重。

在此，圖21是用于示意性地說(shuō)明第一階段的學(xué)習(xí)處理的另一說(shuō)明圖。

在圖21所示的例子中，計(jì)算機(jī)將切取了區(qū)域514d而得到的危險(xiǎn)區(qū)域圖像63輸入至第一神經(jīng)網(wǎng)絡(luò)10b，所述區(qū)域514d是圖像51d的一部分區(qū)域，所述圖像51d是帶有注釋的圖像，所述注釋表示危險(xiǎn)區(qū)域及其分類。而且，示出了如下情形：計(jì)算機(jī)進(jìn)行危險(xiǎn)區(qū)域圖像63是否是危險(xiǎn)區(qū)域的判定，進(jìn)而，學(xué)習(xí)第一神經(jīng)網(wǎng)絡(luò)10b的第一權(quán)重以判定該危險(xiǎn)區(qū)域圖像63表示的分類(在圖中為危險(xiǎn)分類(車))。此外，由于除了上述情況以外，也可以考慮危險(xiǎn)區(qū)域的各種變形(variation)，所以在第一學(xué)習(xí)處理中，也可以將危險(xiǎn)分類劃分為物體的各個(gè)觀察方式下等的各個(gè)分類(詳細(xì)分類)進(jìn)行學(xué)習(xí)。

另外，危險(xiǎn)預(yù)測(cè)器10輸出的危險(xiǎn)度不限于圖20所示的表示危險(xiǎn)區(qū)域及其危險(xiǎn)程度的似然度映射。也就是說(shuō)，不限于以下情況：在第二學(xué)習(xí)處理中，作為危險(xiǎn)區(qū)域及其特征，學(xué)習(xí)第二權(quán)重以輸出表示危險(xiǎn)區(qū)域及其危險(xiǎn)程度的似然度映射。也可以是，學(xué)習(xí)第二權(quán)重以輸出危險(xiǎn)區(qū)域及其分類。

[其他實(shí)施方式的可能性]

以上，在實(shí)施方式1～3中說(shuō)明了本公開(kāi)的危險(xiǎn)預(yù)測(cè)方法，但實(shí)施各處理的主體和/或裝置不特別限定。也可以由裝入配置在本地的特定裝置內(nèi)的處理器等(以下說(shuō)明)來(lái)處理。另外，也可以由配置在與本地裝置不同的場(chǎng)所的云服務(wù)器等來(lái)處理。

另外，作為學(xué)習(xí)用圖像和/或危險(xiǎn)預(yù)測(cè)時(shí)的輸入圖像，既可以是由車載攝像頭拍攝到的圖像(整體圖像)，也可以是整體圖像的一部分圖像(部分圖像)。作為部分圖像，也可以是按上述方式推定為危險(xiǎn)的區(qū)域的圖像。作為整體圖像，也可以是危險(xiǎn)狀況發(fā)生時(shí)或發(fā)生前的圖像。

此外，本公開(kāi)不限定于上述實(shí)施方式。例如，也可以在本說(shuō)明書中將記載的構(gòu)成要素任意組合或除去幾個(gè)構(gòu)成要素而實(shí)現(xiàn)的其他實(shí)施方式作為本公開(kāi)的實(shí)施方式。另外，在不脫離本公開(kāi)的主旨即權(quán)利要求書所記載的文字表示的含義的范圍內(nèi)對(duì)上述實(shí)施方式實(shí)施本領(lǐng)域技術(shù)人員想到的各種變形而得到的變形例也包含于本公開(kāi)。

另外，本公開(kāi)進(jìn)一步也包括以下的情況。

(1)具體而言，上述裝置是由微處理器、rom、ram、硬盤單元、顯示器單元、鍵盤、鼠標(biāo)等構(gòu)成的計(jì)算機(jī)系統(tǒng)。在所述ram或硬盤單元中存儲(chǔ)有計(jì)算機(jī)程序。通過(guò)所述微處理器按照所述計(jì)算機(jī)程序工作，各裝置實(shí)現(xiàn)其功能。在此，計(jì)算機(jī)程序是為了實(shí)現(xiàn)預(yù)定的功能而組合多條命令代碼而構(gòu)成的，所述命令代碼表示對(duì)計(jì)算機(jī)的指令。

(2)構(gòu)成上述裝置的構(gòu)成要素的一部分或全部可以由一個(gè)系統(tǒng)lsi(largescaleintegration：大規(guī)模集成電路)構(gòu)成。系統(tǒng)lsi是將多個(gè)構(gòu)成部集成在一個(gè)芯片上制造而成的超多功能lsi，具體而言，是包括微處理器、rom以及ram等而構(gòu)成的計(jì)算機(jī)系統(tǒng)。在所述ram中存儲(chǔ)有計(jì)算機(jī)程序。通過(guò)所述微處理器按照所述計(jì)算機(jī)程序工作，系統(tǒng)lsi實(shí)現(xiàn)其功能。

(3)構(gòu)成上述裝置的構(gòu)成要素的一部分或全部可以由可拆裝于各裝置的ic卡或單個(gè)模塊構(gòu)成。所述ic卡或所述模塊是由微處理器、rom以及ram等構(gòu)成的計(jì)算機(jī)系統(tǒng)。所述ic卡或所述模塊也可以包括上述超多功能lsi。通過(guò)微處理器按照計(jì)算機(jī)程序工作，所述ic卡或所述模塊實(shí)現(xiàn)其功能。該ic卡或該模塊也可以具有防篡改性。

(4)另外，本公開(kāi)也可以是上述的方法。另外，既可以是利用計(jì)算機(jī)實(shí)現(xiàn)這些方法的計(jì)算機(jī)程序，也可以是由所述計(jì)算機(jī)程序構(gòu)成的數(shù)字信號(hào)。

(5)另外，本公開(kāi)也可以將所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)記錄于計(jì)算機(jī)可讀取的記錄介質(zhì)，例如軟盤、硬盤、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注冊(cè)商標(biāo))disc)以及半導(dǎo)體存儲(chǔ)器等。另外，也可以是記錄在這些記錄介質(zhì)中的所述數(shù)字信號(hào)。

另外，本公開(kāi)也可以經(jīng)由電通信線路、無(wú)線或有線通信線、以互聯(lián)網(wǎng)為代表的網(wǎng)絡(luò)以及數(shù)據(jù)廣播等輸送所述計(jì)算機(jī)程序或所述數(shù)字信號(hào)。

另外，本公開(kāi)是具備微處理器和存儲(chǔ)器的計(jì)算機(jī)系統(tǒng)，所述存儲(chǔ)器存儲(chǔ)有上述計(jì)算機(jī)程序，所述微處理器按照所述計(jì)算機(jī)程序工作。

另外，也可以通過(guò)將所述程序或所述數(shù)字信號(hào)記錄于所述記錄介質(zhì)并移送，或經(jīng)由所述網(wǎng)絡(luò)等移送所述程序或所述數(shù)字信號(hào)，從而利用獨(dú)立的其他計(jì)算機(jī)系統(tǒng)實(shí)施。

產(chǎn)業(yè)上的可利用性

本公開(kāi)尤其能夠利用于：在搭載于用于進(jìn)行自動(dòng)駕駛的車輛的車載攝像頭、系統(tǒng)、用于進(jìn)行駕駛支援的裝置或系統(tǒng)等中，用于預(yù)測(cè)可能會(huì)發(fā)生危險(xiǎn)的危險(xiǎn)區(qū)域的危險(xiǎn)預(yù)測(cè)方法。

標(biāo)號(hào)說(shuō)明

10危險(xiǎn)預(yù)測(cè)器

10a卷積神經(jīng)網(wǎng)絡(luò)

10b第一神經(jīng)網(wǎng)絡(luò)

10c第二神經(jīng)網(wǎng)絡(luò)

20學(xué)習(xí)用數(shù)據(jù)制作裝置

30學(xué)習(xí)裝置

50、50a、50b、51、51a、51b、51c、51d、51e、52圖像

54圖塊信息

56b、57b、58b、59b帶注釋圖像

61、63危險(xiǎn)區(qū)域圖像

101、102卷積層

201、203存儲(chǔ)部

202注釋賦予部

301誤差算出部

302權(quán)重調(diào)整部

501、511巴士

502、503、512、513、562、571、581、591、592人物

504、505、506、517、518似然度

507、508、509、514、514d、515、515d、516、516d、519、520、541、542、563、574、583、593區(qū)域

561、573汽車

572、582物體