基于腦電的目標(biāo)圖像檢索系統(tǒng)的制作方法
【專利摘要】本發(fā)明基于腦電和機(jī)器學(xué)習(xí)理論，搭建一個(gè)人機(jī)交互的圖像檢索系統(tǒng)。該系統(tǒng)通過采集人在觀察快速序列呈現(xiàn)的圖像刺激時(shí)的腦電，利用機(jī)器學(xué)習(xí)的方法構(gòu)建一個(gè)分類器，區(qū)分用戶觀看目標(biāo)圖像與非目標(biāo)圖像所產(chǎn)生的腦電。分類器對(duì)圖像刺激誘發(fā)的腦電信號(hào)進(jìn)行分析。分類器判斷當(dāng)前腦電是否為用戶觀看目標(biāo)圖像所產(chǎn)生的腦電數(shù)據(jù)，從而推斷用戶當(dāng)前所看圖像是否為目標(biāo)圖像。在基于腦電的目標(biāo)圖像檢索系統(tǒng)中，用戶只需要被動(dòng)地觀看計(jì)算機(jī)屏幕上呈現(xiàn)的圖像序列，無須向計(jì)算機(jī)系統(tǒng)提交描述目標(biāo)圖像的語義特征、幾何特征或物理特征的查詢，該系統(tǒng)就可實(shí)現(xiàn)面向大規(guī)模圖像的目標(biāo)圖像檢索。
【專利說明】基于腦電的目標(biāo)圖像檢索系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明基于腦電和機(jī)器學(xué)習(xí)理論,搭建一個(gè)人機(jī)交互的圖像檢索系統(tǒng)。該系統(tǒng)通過采集人在觀察快速序列呈現(xiàn)的圖像刺激時(shí)的腦電，利用機(jī)器學(xué)習(xí)的方法構(gòu)建一個(gè)分類器，分類器對(duì)圖像刺激誘發(fā)的腦電信號(hào)進(jìn)行分析，判斷當(dāng)前刺激的圖像是否為用戶感興趣的目標(biāo)圖像。用戶只需要被動(dòng)地觀看計(jì)算機(jī)屏幕上呈現(xiàn)的圖像序列，無須向計(jì)算機(jī)系統(tǒng)提交描述目標(biāo)圖像的語義特征、幾何特征或物理特征的查詢，該系統(tǒng)就可實(shí)現(xiàn)面向大規(guī)模圖像的目標(biāo)圖像檢索。本發(fā)明結(jié)合了認(rèn)知神經(jīng)科學(xué)領(lǐng)域和信息【技術(shù)領(lǐng)域】的相關(guān)成果，屬于一種用于圖像檢索的人機(jī)交互系統(tǒng)。
【背景技術(shù)】
[0002]圖像可被人類直接感知和理解，也可用計(jì)算機(jī)進(jìn)行處理，但計(jì)算機(jī)的處理能力遠(yuǎn)遜于人類且處理效率遠(yuǎn)不能滿足當(dāng)今社會(huì)的發(fā)展需求。例如，如何利用搜索引擎快速檢索出對(duì)用戶感興趣的目標(biāo)圖像成為了一個(gè)難題，用戶需要對(duì)目標(biāo)圖像的特征進(jìn)行結(jié)構(gòu)化描述，對(duì)于特定用戶或在特殊環(huán)境下，目標(biāo)圖像的特征存在于用戶的大腦中，很難進(jìn)行清晰進(jìn)行結(jié)構(gòu)化描述，也就是說用戶的目標(biāo)圖像的信息，很難通過傳統(tǒng)的鍵盤、鼠標(biāo)、語音輸入等人機(jī)交互方式傳遞給計(jì)算機(jī)或搜索引擎。而人腦一直被認(rèn)為是進(jìn)行視覺信息處理的最強(qiáng)大的系統(tǒng)，人類視覺系統(tǒng)能夠在幾百毫秒內(nèi)抓住一幅圖像或者一個(gè)場(chǎng)景的重點(diǎn)，并能對(duì)其進(jìn)行識(shí)別。如何結(jié)合人類視覺系統(tǒng)和計(jì)算機(jī)圖像處理能力，從而大幅度提高計(jì)算機(jī)對(duì)視覺信息的理解能力與處理效率，將為國民經(jīng)濟(jì)和社會(huì)發(fā)展做出重大貢獻(xiàn)。
[0003]近年來發(fā)展起來的神經(jīng)信號(hào)記錄與分析技術(shù)，為我們理解人類視覺系統(tǒng)的功能提供了技術(shù)保障。腦電圖(electroencephalogram, EEG)是通過放置于頭皮上的電極記錄下來的腦細(xì)胞群的自發(fā)性、節(jié)律性電活動(dòng)。從現(xiàn)有的研究成果來看，腦電信號(hào)中主要包含以下成分:誘發(fā)電腦電和自發(fā)腦電活動(dòng)，前者一般用事件相關(guān)電位來刻畫如P300，SSVEP(穩(wěn)態(tài)視覺誘發(fā)電位)，N170等；SCP (皮層慢電位)；后者主要用腦電節(jié)律波來描述，如Delta節(jié)律(0-4Hz)，Alpha 節(jié)律(4_8Hz)，Mu 節(jié)律(8-12HZ)，低 Beta 節(jié)律(13-20HZ)，高 Beta 節(jié)律(21-30HZ)等。認(rèn)知科學(xué)的研究表明，這些腦電成分是大腦內(nèi)在活動(dòng)的外在體現(xiàn)，用相應(yīng)的算法來分析和提取這些成分，打開了觀察人類大腦活動(dòng)狀態(tài)與認(rèn)知功能的窗口。
[0004]腦機(jī)接口技術(shù)(Brain Computer Interface, BCI)是不依賴于腦的正常輸出通路(外周神經(jīng)系統(tǒng)及肌肉組織)的腦-機(jī)(計(jì)算機(jī)或其它裝置)通訊系統(tǒng)。它通過采集人腦神經(jīng)活動(dòng)產(chǎn)生的電信號(hào)，進(jìn)行放大并傳輸?shù)接?jì)算機(jī)系統(tǒng)，計(jì)算機(jī)識(shí)別用戶的意圖并向外傳輸命令或進(jìn)行通信。隨著腦機(jī)接口技術(shù)的發(fā)展，其應(yīng)用領(lǐng)域也由這初為重度殘疾的病人提供視聽覺與動(dòng)動(dòng)功能的輔助，擴(kuò)展到人機(jī)雙向信息交流工具與平臺(tái)。利用腦機(jī)接口技術(shù)，計(jì)算機(jī)可以更直接地檢測(cè)到用戶的心理活動(dòng)，包括用戶大腦對(duì)于外界視覺刺激信息的加工處理。
[0005]近年來腦機(jī)接口的研究表明，利用用戶觀看圖像過程中記錄的腦電等神經(jīng)信號(hào)，計(jì)算機(jī)可以從神經(jīng)信號(hào)中識(shí)別出用戶所觀看的圖像類別，甚至計(jì)算機(jī)能重構(gòu)出用戶所看圖像的內(nèi)容。這些研究表明腦電信號(hào)中可以解碼用戶對(duì)圖像信息的加工處理，為圖像檢索提供了新的發(fā)展途徑。本發(fā)明所述的圖像檢索系統(tǒng)結(jié)合機(jī)器計(jì)算能力與人類視覺系統(tǒng)對(duì)圖像的處理能力，構(gòu)建腦機(jī)協(xié)同的信息處理與交互系統(tǒng)，集成機(jī)器和大腦的優(yōu)勢(shì)，利用人腦高效魯棒地處理圖像復(fù)雜內(nèi)容，以及準(zhǔn)確快速抽象圖像高層特征的優(yōu)點(diǎn)，解決目前基于形式化表達(dá)體系的模式識(shí)別和機(jī)器智能方法在處理圖像信息時(shí)所面臨的瓶頸問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所述系統(tǒng)將腦機(jī)接口技術(shù)應(yīng)用于圖像檢索系統(tǒng)，利用人類視覺系統(tǒng)在目標(biāo)圖像檢測(cè)中的優(yōu)勢(shì)，設(shè)計(jì)一種新型的人機(jī)協(xié)同工作的圖像檢索系統(tǒng)。該系統(tǒng)中計(jì)算機(jī)通過快速序列視覺呈現(xiàn)(Rapid Serial Visual Presentation,RSVP)模式在屏幕上按次序向用戶快速呈現(xiàn)一系列圖像，其中包含有目標(biāo)圖像與非目標(biāo)圖像。同時(shí)采集用戶觀看圖像序列過程中的腦電信號(hào)，當(dāng)目標(biāo)圖像出現(xiàn)的瞬間會(huì)引起用戶的注意與特殊的響應(yīng)，用戶對(duì)目標(biāo)圖像特殊的注意與響應(yīng)會(huì)誘發(fā)用戶大腦的特異性活動(dòng)，記錄的腦電信號(hào)會(huì)產(chǎn)生反映用戶大腦的這種特異性活動(dòng)特異成分。計(jì)算機(jī)中運(yùn)行的腦電信號(hào)分析程序在線檢測(cè)腦電信號(hào)中的特異成分，從而推斷出用戶當(dāng)前所看的圖像是否為用戶感興趣的目標(biāo)圖像，實(shí)現(xiàn)面向大規(guī)模圖像數(shù)據(jù)庫中目標(biāo)圖像的檢索。
[0007]所述系統(tǒng)的包括如下三個(gè)模塊。
[0008](I)圖像刺激模塊。
[0009]圖像刺激模塊的作用是在計(jì)算機(jī)屏幕上通過快速序列視覺呈現(xiàn)方式，按一定時(shí)間間隔快速呈現(xiàn)圖像，用戶感興趣圖像混在刺激圖像當(dāng)中。
[0010](2)頭皮腦電信號(hào)采集模塊。
[0011]其中包含有置于用戶頭皮上特定區(qū)域的電極，感應(yīng)用戶觀看圖像序列過程中大腦產(chǎn)生在的連續(xù)電壓信號(hào)，也即腦電信號(hào)。采集到的腦電信號(hào)非常微弱，由放大器對(duì)其進(jìn)行放大，再經(jīng)模數(shù)轉(zhuǎn)換后，采集的模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)并存儲(chǔ)或傳輸給腦電分類模塊進(jìn)行后續(xù)處理。
[0012](3)腦電信號(hào)分類模塊
[0013]訓(xùn)練階段從圖像刺激誘發(fā)的腦電數(shù)據(jù)中，機(jī)器通過學(xué)習(xí)得到一個(gè)判決規(guī)則，實(shí)現(xiàn)腦電信號(hào)的類別判決，通過這個(gè)分類器對(duì)圖像誘發(fā)腦電進(jìn)行分析，檢測(cè)當(dāng)前腦電信號(hào)中是否包含有目標(biāo)圖像刺激誘發(fā)的特異性成分，推斷當(dāng)前刺激的圖像是否為目標(biāo)圖像。分類器訓(xùn)練完成后就可以進(jìn)行腦電信號(hào)的判決了。在應(yīng)用階段，給腦電信號(hào)分類模塊輸入腦電數(shù)據(jù)，分類器就能向外輸出一個(gè)類別，這個(gè)類別可表示為正或負(fù)，正(positive)的類別表示誘發(fā)產(chǎn)生當(dāng)前腦電活動(dòng)的刺激圖像是否為目標(biāo)圖像，負(fù)(negtive)的類別表示誘發(fā)產(chǎn)生當(dāng)前腦電活動(dòng)的刺激圖像是否為非目標(biāo)圖像。
[0014]所述系統(tǒng)的腦電信號(hào)分類模塊需要事先進(jìn)行訓(xùn)練，機(jī)器通過學(xué)習(xí)，自動(dòng)區(qū)分目標(biāo)圖像與非目標(biāo)圖像誘發(fā)的腦電信號(hào)。腦電信號(hào)分類模塊訓(xùn)練完成后，可用于識(shí)別腦電信號(hào)是否為目標(biāo)圖像所誘發(fā)。腦電信號(hào)分類模塊的工作過程包括訓(xùn)練階段與應(yīng)用階段。
[0015]訓(xùn)練階段:每個(gè)用戶在使用本系統(tǒng)之前都需要經(jīng)過訓(xùn)練，在訓(xùn)練階段用戶只需標(biāo)注當(dāng)前呈現(xiàn)的圖像序列中是否包含目標(biāo)圖像，而不需要在圖像庫中標(biāo)注出目標(biāo)圖像與非目標(biāo)圖像。將這些用戶標(biāo)注的圖像序列作為刺激材料，通過圖像刺激模塊呈現(xiàn)給用戶，同時(shí)記錄下用戶觀看各圖像序列時(shí)對(duì)應(yīng)的腦電數(shù)據(jù)，構(gòu)成訓(xùn)練數(shù)據(jù)集。計(jì)算機(jī)通過多實(shí)例學(xué)習(xí)等機(jī)器學(xué)習(xí)算法，從圖像序列誘發(fā)的腦電數(shù)據(jù)中學(xué)習(xí)目標(biāo)圖像刺激誘發(fā)的腦電中特異性成分，據(jù)此建立分類規(guī)則，檢測(cè)目標(biāo)圖像的誘發(fā)腦電中的特異性腦電成分，判斷當(dāng)前腦電信號(hào)是否為用戶觀看目標(biāo)圖像所誘發(fā)出來的。
[0016]應(yīng)用階段:經(jīng)過訓(xùn)練的腦電信號(hào)分類模塊能夠自動(dòng)對(duì)用戶觀看圖像過程中產(chǎn)生的腦電信號(hào)進(jìn)行快速分類，判斷當(dāng)前圖像是否為目標(biāo)圖像。應(yīng)用階段計(jì)算機(jī)從圖像庫中隨機(jī)抽取圖像，構(gòu)成圖像序列，用戶不需要標(biāo)記這些圖像是否為目標(biāo)圖像，用戶觀看圖像的同時(shí)記錄用戶的腦電信號(hào)，腦電信號(hào)分類模塊自動(dòng)識(shí)別用戶所看的圖像是否為目標(biāo)圖像。
[0017]腦電信號(hào)分類模塊中訓(xùn)練樣本包括目標(biāo)圖像誘發(fā)的腦電數(shù)據(jù)和非目標(biāo)圖像誘發(fā)的腦電數(shù)據(jù)，如何增強(qiáng)目標(biāo)圖像誘發(fā)腦電信號(hào)中特異性成分對(duì)于提高分類模塊中分類器的性能至關(guān)重要。我們前期的研究表明目標(biāo)圖像在圖像刺激模塊中呈現(xiàn)的圖像序列中所占的比例，也就是目標(biāo)圖像的稀疏度，會(huì)影響目標(biāo)圖像誘發(fā)腦電的特異性成分。當(dāng)目標(biāo)圖像在整個(gè)圖像序列中的分布密度非常高時(shí)，分類器分辨出目標(biāo)圖像的難度增加，當(dāng)連續(xù)兩張目標(biāo)圖像在圖像序列出現(xiàn)的時(shí)間間隔小于500毫秒(ms)時(shí)，分類器很難檢測(cè)到第二個(gè)目標(biāo)圖像。
[0018]為了增加目標(biāo)圖像刺激誘發(fā)腦電的特異性，圖像刺激模塊呈現(xiàn)的目標(biāo)圖像稀疏度較低，也就是目標(biāo)圖像在圖像庫中出現(xiàn)遠(yuǎn)少于非目標(biāo)圖像，這就導(dǎo)致了訓(xùn)練樣本中非目標(biāo)圖像誘發(fā)腦電數(shù)據(jù)遠(yuǎn)遠(yuǎn)多于目標(biāo)圖像刺激誘發(fā)的腦電數(shù)據(jù)。面對(duì)這種目標(biāo)圖像與非目標(biāo)圖像刺激誘發(fā)的腦電數(shù)據(jù)不均衡的問題，傳統(tǒng)的分類器訓(xùn)練方法不能直接應(yīng)用。同時(shí)由于訓(xùn)練階段刺激圖像是一次快速出現(xiàn)多張，構(gòu)成一個(gè)序列，其中可能包含也可能不含目標(biāo)圖像，用戶在圖像快速呈現(xiàn)的同時(shí)，很難通過鍵盤或鼠標(biāo)告訴計(jì)算機(jī)當(dāng)前所觀看的圖像是否為目標(biāo)圖像，但用戶可以輕松地標(biāo)記出所觀看的連續(xù)的多張圖像構(gòu)成的圖像序列中是否包含有目標(biāo)圖像。因此，腦電分類模塊中分類器的訓(xùn)練采用多實(shí)例學(xué)習(xí)方法。
[0019]在腦電分類器訓(xùn)練與應(yīng)用中，將每次圖像出現(xiàn)誘發(fā)的腦電看做一個(gè)樣本或?qū)嵗?instance)，每個(gè)實(shí)例有一個(gè)標(biāo)簽(tag)標(biāo)記這張圖像是否為目標(biāo)圖像。假定每個(gè)實(shí)例用Hii表示，每個(gè)實(shí)例的標(biāo)簽用gOiii)表示。由于我們這里腦電數(shù)據(jù)標(biāo)記為正負(fù)，標(biāo)簽gOiii)可用一位二進(jìn)制數(shù)表示，g (Hii) = I表示正,對(duì)應(yīng)于目標(biāo)圖像W(IIli) = O表示負(fù),對(duì)應(yīng)于非目標(biāo)圖像。這個(gè)未知的函數(shù)就是我們?cè)谟?xùn)練階段需要學(xué)習(xí)得到的分類模型(或判決規(guī)則)。訓(xùn)練階段的目標(biāo)就是通過訓(xùn)練樣本數(shù)據(jù)的學(xué)習(xí)找到一個(gè)規(guī)則來逼近g。
[0020]傳統(tǒng)的分類器訓(xùn)練階段是通過對(duì)訓(xùn)練數(shù)據(jù)集中每一個(gè)實(shí)例及一一對(duì)應(yīng)的可見的標(biāo)簽的學(xué)習(xí)得到一個(gè)分類用的判決規(guī)則。本專利中分類器訓(xùn)練就采用多實(shí)例學(xué)習(xí)的方法。多實(shí)例學(xué)習(xí)中訓(xùn)練數(shù)據(jù)集中每個(gè)訓(xùn)練數(shù)據(jù)不是單個(gè)的實(shí)例或樣本，而是一個(gè)包(bag)。每個(gè)包中包含有多個(gè)實(shí)例，這多個(gè)實(shí)例組成的包有一個(gè)標(biāo)簽，現(xiàn)在包中每個(gè)實(shí)例沒有——對(duì)應(yīng)的可見的標(biāo)簽。每的標(biāo)簽定義如下:如果包中至少包含一個(gè)標(biāo)簽為正的實(shí)例，則包的標(biāo)簽為正；如果包中所有實(shí)例的標(biāo)簽都是負(fù)的，則包的標(biāo)簽為負(fù)。多實(shí)例學(xué)習(xí)的過程就是通過對(duì)包及其包含的多個(gè)實(shí)例進(jìn)行分析，得到一個(gè)分類模型，這個(gè)分類模型能夠預(yù)測(cè)每個(gè)實(shí)例的標(biāo)簽。
[0021]本發(fā)明的優(yōu)勢(shì)在于它不需要用戶向計(jì)算機(jī)顯式地描述目標(biāo)圖像的特征。本發(fā)明涉及的圖像檢索系統(tǒng)通過快速序列視覺呈現(xiàn)模式向用戶呈現(xiàn)圖像，并提供了一種基于多實(shí)例學(xué)習(xí)的腦電分類方法，從用戶觀看圖像時(shí)同步記錄的腦電數(shù)據(jù)中，以較高的準(zhǔn)確率快速檢索出圖像庫中的目標(biāo)圖像。本發(fā)明具備應(yīng)用于于圖像檢索中的潛力。
【專利附圖】

【附圖說明】
[0022]圖1:基于腦電的目標(biāo)圖像檢索系統(tǒng)工作過程示意圖及系統(tǒng)組成模塊
[0023]圖2:圖1系統(tǒng)中圖像刺激模塊中快速序列視覺呈現(xiàn)方式示意圖
[0024]圖3:圖1系統(tǒng)中腦電信號(hào)分類模塊中多實(shí)例學(xué)習(xí)示意圖
[0025]圖4:電極在頭皮上分布位置
【具體實(shí)施方式】
[0026](I)圖像刺激模塊。
[0027]本發(fā)明設(shè)計(jì)的圖像刺激模塊包括一個(gè)大規(guī)模的圖像庫，其中包含有50個(gè)類別的圖像，每個(gè)類別包含有100張左右的圖像?？焖傩蛄幸曈X呈現(xiàn)中規(guī)定圖像序列中包含100張無重復(fù)的從各類別中隨機(jī)選取的圖像，其中目標(biāo)圖像的稀疏度控制在5% -10%之間，前后連續(xù)的兩張圖像的時(shí)間間隔為150毫秒。
[0028](2)頭皮腦電信號(hào)采集模塊。
[0029]信號(hào)采集模塊中，首先通過貼在頭皮上的多個(gè)導(dǎo)體(常稱之為多導(dǎo)電極)，檢測(cè)出頭皮表面的電位，在國際10-20參考系統(tǒng)中，記錄P7，P8，P03, P04, P07, P08, 01，02，Oz的腦電信號(hào)，電極分布主要位于視覺感知功能相關(guān)的枕葉附近，如圖4所示。腦電采集的具體技術(shù)參數(shù)要求:電極與使用者頭皮之間的接觸電阻控制在10ΚΩ以下為宜，放大器增益要求達(dá)到3000倍以上，帶寬為50赫茲以上，模數(shù)轉(zhuǎn)換的數(shù)字化采樣率設(shè)為250赫茲左右。最后，將放大和模數(shù)轉(zhuǎn)換的數(shù)字化腦電信號(hào)通過光纖傳送腦電特征分類模塊進(jìn)行分類。這里選用光纖的目的是為了實(shí)現(xiàn)光電隔離。
[0030](3)腦電信號(hào)分類模塊
[0031]腦電分類模塊中分類器通過多實(shí)例學(xué)習(xí)的方式進(jìn)行訓(xùn)練，然后可用于檢索目標(biāo)圖像。其中包括如下步聚:
[0032]多實(shí)例構(gòu)成訓(xùn)練樣本的包:我們將每張圖像刺激誘發(fā)的腦電數(shù)據(jù)看作一個(gè)實(shí)例，用Hii表示。在計(jì)算機(jī)中每個(gè)實(shí)例由η個(gè)特征組成的向量表示,記為V(Iiii)。訓(xùn)練集中的樣本或?qū)嵗谶@里就是圖像刺激誘發(fā)的腦電數(shù)據(jù)，刺激圖像是否為目標(biāo)圖像事先沒有標(biāo)記，訓(xùn)練樣本可表示為(V (Hli)，g (Hli))。我們將連續(xù)出現(xiàn)的圖像序列刺激誘發(fā)的腦電看作一個(gè)包，這個(gè)包中包含有這個(gè)圖像序列中每張圖像刺激誘發(fā)的腦電。我們可以將這個(gè)包用Xi表示，Xi包含有100個(gè)實(shí)例，也就是說把100個(gè)連續(xù)圖像刺激誘發(fā)的腦電數(shù)據(jù)表示為一個(gè)包。第i個(gè)包中第j個(gè)圖像刺激對(duì)應(yīng)的腦電分別用向量v(Xi,P。在多實(shí)例學(xué)習(xí)中一個(gè)完整的訓(xùn)練樣本樣本可寫為:
[0033]({V(xia) , V(xij2) ,...,V(Xiaoo)Kf(Xi))
[0034]包的標(biāo)簽:包的標(biāo)記事實(shí)上是判斷100張圖像中是否包含有目標(biāo)圖像。其中如果記錄腦電樣本包Xi過程中如果有一張目標(biāo)圖像出現(xiàn)，則f (Xi) = I;否則f (Xi) =0。
[0035]內(nèi)部判決規(guī)則的建立:多實(shí)例學(xué)習(xí)剩下的任務(wù)就是通過機(jī)器學(xué)習(xí)算法找到一個(gè)內(nèi)部的判決規(guī)則g。判決規(guī)則g與f的區(qū)別在于，g是對(duì)每張圖像誘發(fā)的單次腦電進(jìn)行判決，判這張圖像是否為目標(biāo)圖像，而f是對(duì)一組圖像誘發(fā)的腦電數(shù)據(jù)包進(jìn)行判決，它判定包中是否包含有目標(biāo)圖像。二者的聯(lián)系在于，如果如果包中所有實(shí)例都被g判為負(fù)，則包的結(jié)果f也判為負(fù)；如果包中有一個(gè)實(shí)例被g判為正，則f將包判為正。這樣一個(gè)以包為單位的訓(xùn)練樣本中就包含有多個(gè)實(shí)例，從中學(xué)習(xí)目標(biāo)圖像誘發(fā)的腦電活動(dòng)的判決規(guī)則，就是多實(shí)例學(xué)習(xí)方法，本發(fā)明中多實(shí)例學(xué)習(xí)通過APR (Axis-Prallel Rectangles)學(xué)習(xí)算法,對(duì)屬性值進(jìn)行組合，在屬性空間中尋找合適的軸平行矩形。先找出覆蓋了所有正包所包含實(shí)例例的軸平行矩形，再比較如果排除負(fù)包中各個(gè)實(shí)例會(huì)導(dǎo)致多少正包中的示例被排除出去，以排除的正包中實(shí)例數(shù)最小為目標(biāo)，通過信心算法逐漸排除負(fù)包實(shí)例以縮小矩形。最終的矩形就表示了在特征空間上，內(nèi)部規(guī)則g判決為正的區(qū)域，矩形邊界就是判決規(guī)則g的邊界。
[0036]目標(biāo)圖像的檢索:在應(yīng)用階段用戶只是被動(dòng)觀看圖像刺激，根據(jù)同步記錄的腦電數(shù)據(jù)IV內(nèi)部判決規(guī)則g會(huì)對(duì)HIi進(jìn)行判決，如果gOiii)為正，則當(dāng)前刺激圖像為目標(biāo)圖像，這樣分類器每隔150ms就判斷一次，可檢測(cè)快速呈現(xiàn)的圖像序列中出現(xiàn)的目標(biāo)圖像。
【權(quán)利要求】
1.基于腦電的目標(biāo)圖像檢索系統(tǒng)，包括: (1)圖像刺激模塊:在計(jì)算機(jī)屏幕上按一定時(shí)間間隔快速呈現(xiàn)圖像序列； (2)頭皮腦電信號(hào)采集模塊:通過置于用戶頭皮上特定區(qū)域的電極，感應(yīng)用戶觀看圖像序列過程中的腦電信號(hào)，并經(jīng)放大及模數(shù)轉(zhuǎn)換后，存儲(chǔ)或傳輸給腦電分析模塊； (3)腦電信號(hào)分類模塊:腦電分類模塊建立了一個(gè)圖像刺激誘發(fā)腦電信號(hào)的分類器，判斷當(dāng)前腦電是否為目標(biāo)圖像所誘發(fā)，進(jìn)而推斷出用戶當(dāng)前所看的圖像是否為目標(biāo)圖像； 這套系統(tǒng)的特征在于，其腦電信號(hào)分類模塊包括訓(xùn)練階段與應(yīng)用階段兩個(gè)工作過程: 訓(xùn)練階段的特征在于:用戶不需要標(biāo)注快速呈現(xiàn)的單張圖像是否為目標(biāo)圖像，用戶只需要標(biāo)注當(dāng)前呈現(xiàn)的圖像序列中是否包含有目標(biāo)圖像；計(jì)算機(jī)通過多實(shí)例學(xué)習(xí)的方法，采用APR(Axis-Prallel Rectangles)學(xué)習(xí)算法,從圖像序列誘發(fā)的腦電數(shù)據(jù)中，學(xué)習(xí)目標(biāo)圖像呈現(xiàn)誘發(fā)的腦電中特異性成分，據(jù)此建立分類規(guī)則，判斷當(dāng)前腦電信號(hào)是否為用戶觀看目標(biāo)圖像所誘發(fā)出來的腦電信號(hào)； 應(yīng)用階段的特征在于:計(jì)算機(jī)從圖像庫中隨機(jī)抽取圖像通過圖像刺激模塊呈現(xiàn)給用戶，并記錄用戶的腦電信號(hào)，腦電信號(hào)分類模塊自動(dòng)識(shí)別用戶所看的圖像是否為目標(biāo)圖像。
2.如權(quán)利要求1所述的圖像檢索系統(tǒng)，其圖像刺激模塊的特征在于，快速序列視覺呈現(xiàn)中規(guī)定連續(xù)呈現(xiàn)的圖像序列中包含有100張無重復(fù)的圖像，目標(biāo)圖像的稀疏度控制在5% -10%之間，前后連續(xù)的兩張圖像的時(shí)間間隔為150毫秒。
3.如權(quán)利要求1所述的圖像檢索系統(tǒng)，其頭皮腦電信號(hào)采集模塊的特征在于，多導(dǎo)的頭皮電極需安裝在視覺感知功能相關(guān)的枕葉附近，在國際10-20參考系統(tǒng)中，記錄P7，P8，P03，P04, P07, P08, 01，02，Oz的腦電信號(hào)；腦電采集的電極與使用者頭皮之間的接觸電阻控制在10ΚΩ以下為宜，放大器增益要求達(dá)到3000倍以上，帶寬為50赫茲以上，模數(shù)轉(zhuǎn)換的數(shù)字化采樣率設(shè)為250赫茲左右。
【文檔編號(hào)】G06F17/30GK103631941SQ201310666711
【公開日】2014年3月12日 申請(qǐng)日期:2013年12月11日 優(yōu)先權(quán)日:2013年12月11日
【發(fā)明者】張家才, 張學(xué)軍, 詹鈺, 姚力 申請(qǐng)人:北京師范大學(xué)