專利名稱：基于方差的事件分群的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于自動(dòng)對(duì)圖像進(jìn)行分類的數(shù)字圖像處理，具體而言涉及基于方差的事件分群。
背景技術(shù)：
數(shù)字圖像的快速增長(zhǎng)增加了對(duì)圖像分類以便更容易地檢索(retrieving)、復(fù)查(reviewing)、和成冊(cè)(albuming)圖像的需求。人工分類是很有效的，但是除非圖像數(shù)目很少否則將很慢且很繁重。自動(dòng)方法是很有效的，但是往往具有許多約束條件，諸如需要大范圍的處理資源之類。結(jié)果，不同的自動(dòng)方法的適用性往往取決于分類的特定用途和類型。一種分類是按照事件。
一些自動(dòng)方法根據(jù)顏色、形狀或者紋理將圖像劃分成具有類似圖像特性的組。這方法可用于按照事件來(lái)分類，但當(dāng)用于那些目的時(shí)則固有地就存在有困難。“Home Photo Content Modeling for PersonalizedEvent-Based Retrieval”，Lim，J-H，et al.，IEEE Multimedia，Vol.10(4)，Oct.-Dec.2003，pages 28-37公開了利用圖像內(nèi)容按照事件執(zhí)行對(duì)圖像的分類。
許多圖像伴隨有元數(shù)據(jù)，也就是相關(guān)聯(lián)的非圖像信息，其有助于對(duì)圖像的分組。這種元數(shù)據(jù)的一個(gè)實(shí)例是諸如日期與時(shí)間之類的時(shí)間順序數(shù)據(jù)，以及諸如全球定位系統(tǒng)(“GPS”，Global Positioning System)地理位置數(shù)據(jù)之類的地理數(shù)據(jù)。因?yàn)槭录艿綍r(shí)間的限制以及常常受到空間的限制，所以這類數(shù)據(jù)尤其適合于按照事件來(lái)分組。用戶通過(guò)觀看每個(gè)圖像并根據(jù)時(shí)間順序和地理來(lái)排序的方式能手動(dòng)創(chuàng)建長(zhǎng)分組的圖像。上述的Lim et al.的文章建議了使用時(shí)間順序和地理數(shù)據(jù)來(lái)利用圖像內(nèi)容按照事件對(duì)圖像進(jìn)行自動(dòng)分類。
對(duì)于利用相對(duì)于方差的量度來(lái)分類數(shù)據(jù)而言，統(tǒng)計(jì)技術(shù)為大家所熟知，所述偏差諸如標(biāo)準(zhǔn)偏差、方差、平均偏差和樣本變化之類。
因此，需要提供一種簡(jiǎn)單且有效的圖像分類法，所述方法利用具有諸如時(shí)間順序或者地理數(shù)據(jù)之類的分組數(shù)據(jù)的基于方差的技術(shù)。

發(fā)明內(nèi)容
本發(fā)明由權(quán)利要求定義。在較寬的方面，本發(fā)明提供了一種圖像分類方法，其中接收多個(gè)分組值。每個(gè)分組值都具有關(guān)聯(lián)圖像。計(jì)算分組值的平均值。計(jì)算分組值相對(duì)于平均值的方差量度。根據(jù)方差量度確定分組閾值。超出分組閾值的分組值被標(biāo)識(shí)為組邊界?；诮M邊界將圖像分配給多個(gè)組。
本發(fā)明的有益效果在于提供了改善的方法、計(jì)算機(jī)程序和系統(tǒng)，所述方法、計(jì)算機(jī)程序和系統(tǒng)利用具有諸如時(shí)間順序或者地理數(shù)據(jù)之類的分組數(shù)據(jù)的基于方差的技術(shù)實(shí)現(xiàn)簡(jiǎn)單且有效的圖像分類法。


結(jié)合附圖，參照對(duì)本發(fā)明實(shí)施方式的以下說(shuō)明，本發(fā)明的以上及其他特征和目的以及實(shí)現(xiàn)它們的方式將變得更加顯而易見(jiàn)，并且可以更好地理解本發(fā)明本身，在所述附圖中圖1是本發(fā)明方法的實(shí)施方式的流程圖。
圖2是本發(fā)明方法的另一個(gè)實(shí)施方式的流程圖。
圖3是本發(fā)明方法的又一個(gè)實(shí)施方式的流程圖。
圖4是利用圖2的方法將圖像分類成事件和子事件的圖。
圖5是示出一組圖像的分組值的定標(biāo)柱狀圖的圖，其利用了柱狀圖、平均值、標(biāo)準(zhǔn)偏差和事件閾值。
圖6是利用圖1的方法實(shí)施方式將圖像分類為事件的圖，其中分組值是連續(xù)圖像之間的距離。
圖7是利用圖1的方法實(shí)施方式將圖像分類為事件的圖，其中分組值是與基準(zhǔn)之間的距離。
圖8是用于提供圖5的定標(biāo)柱狀圖的定標(biāo)函數(shù)的圖。
圖9是設(shè)備的實(shí)施方式的示意視圖。
圖10是示出一組圖像的塊柱狀圖差值的定標(biāo)柱狀圖的圖，并利用柱狀圖、平均值、標(biāo)準(zhǔn)偏差和塊柱狀圖閾值。
具體實(shí)施例方式
在所述方法中，接收一組與各個(gè)數(shù)字圖像關(guān)聯(lián)的分組值并計(jì)算其平均值。計(jì)算相對(duì)于平均值的方差量度并確定分組閾值。超過(guò)閾值的分組值被標(biāo)識(shí)為組邊界，并根據(jù)組邊界將圖像分配給組。
在下面的說(shuō)明書中，本發(fā)明的一些實(shí)施方式被描述成軟件程序。本領(lǐng)域的技術(shù)人員將很容易意識(shí)到這種軟件的等效內(nèi)容也可以構(gòu)造在硬件中。因?yàn)閳D像操縱算法和系統(tǒng)是公知的，所以本說(shuō)明書將特別涉及這樣的算法和系統(tǒng)，所述算法和系統(tǒng)構(gòu)成根據(jù)本發(fā)明的方法的一部分，或者同根據(jù)本發(fā)明的方法更直接協(xié)作。這種算法和系統(tǒng)的其他方面，以及用于生成和處理圖像信號(hào)(所涉及到的，但在此不特別示出或者描述)的硬件和/或軟件可以從本領(lǐng)域公知的這種系統(tǒng)、算法、組件和元件中選擇。如在下面的說(shuō)明中所闡述的那樣，其全部軟件實(shí)現(xiàn)是常規(guī)的，并且在本領(lǐng)域的普通技術(shù)人員了解的范圍之內(nèi)。
本發(fā)明可以在計(jì)算機(jī)硬件和計(jì)算機(jī)化裝置中實(shí)現(xiàn)。例如，所述方法可以在數(shù)字照相機(jī)、數(shù)字打印機(jī)和個(gè)人計(jì)算機(jī)中執(zhí)行。參照?qǐng)D9，圖示了用于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)系統(tǒng)110。盡管為了舉例說(shuō)明優(yōu)選實(shí)施方式起見(jiàn)示出了計(jì)算機(jī)系統(tǒng)110，但是本發(fā)明不局限于所示出的計(jì)算機(jī)系統(tǒng)110，而是可以在任何電子處理系統(tǒng)中使用，諸如在數(shù)字照相機(jī)、家用計(jì)算機(jī)、信息亭(kiosk)、零售或者批量照相洗印服務(wù)店、或其用于處理數(shù)字圖像的任何其他系統(tǒng)中所查找到的電子處理系統(tǒng)之類。計(jì)算機(jī)系統(tǒng)110包括基于微處理器的單元112(在此還被稱作數(shù)字圖像處理器)，用于接收和處理軟件程序以及執(zhí)行其他的處理功能。顯示器114同基于微處理器的單元112電連接，用于例如通過(guò)圖形用戶界面顯示與軟件相關(guān)聯(lián)的用戶相關(guān)信息。鍵盤116也連接到基于微處理器的單元112，用于允許用戶向軟件輸入信息。作為利用鍵盤116執(zhí)行輸入的替換方式，鼠標(biāo)118被用于移動(dòng)顯示器114上的選擇器120，以及用于選擇選擇器120所覆蓋的項(xiàng)目，這是本領(lǐng)域眾所周知的。
典型地包括軟件程序的緊湊盤-只讀存儲(chǔ)器(CD-ROM)124被插入到基于微處理器的單元中，用于提供一種將軟件程序及其他信息輸入到基于微處理器的單元112的手段。此外，軟盤126也可以包括軟件程序，并被插入到基于微處理器的單元112中，用以輸入軟件程序。做為選擇，緊湊盤-只讀存儲(chǔ)器(CD-ROM)124或者軟盤126可以被插入到外部設(shè)置的盤驅(qū)動(dòng)單元122中，所述盤驅(qū)動(dòng)單元122同基于微處理器的單元112相連接。另外，如本領(lǐng)域眾所周知的那樣，可以對(duì)基于微處理器的單元112進(jìn)行編程，用以在內(nèi)部存儲(chǔ)軟件程序?；谖⑻幚砥鞯膯卧?12還可以具有諸如電話線之類的網(wǎng)絡(luò)連接127，用于連接到外部網(wǎng)絡(luò)，諸如局域網(wǎng)或者因特網(wǎng)之類。打印機(jī)128還可以同基于微處理器的單元112相連接，用以打印從計(jì)算機(jī)系統(tǒng)110輸出的硬拷貝。
圖像還可以經(jīng)由個(gè)人計(jì)算機(jī)卡(PC卡)130在顯示器114上顯示，就如之前所公知的那樣，所述個(gè)人計(jì)算機(jī)卡130諸如PCMCIA卡(基于個(gè)人計(jì)算機(jī)存儲(chǔ)器卡國(guó)際聯(lián)合會(huì)的規(guī)范)之類，其包括電子地具體化在卡130中的數(shù)字化圖像。PC卡130最終被插入到基于微處理器的單元112中以在顯示器114上實(shí)現(xiàn)對(duì)圖像的視覺(jué)顯示。做為選擇，PC卡130可以被插入到外部設(shè)置的PC卡讀取器132中，其中所述外部設(shè)置的PC卡讀取器132同基于微處理器的單元112相連接。也可以經(jīng)由緊湊盤124、軟盤126或者網(wǎng)絡(luò)連接127輸入圖像。存儲(chǔ)在PC卡130、軟盤126或者緊湊盤124中、或者通過(guò)網(wǎng)絡(luò)連接127輸入的任何圖像可以從各種源處獲得，諸如數(shù)字照相機(jī)(未顯示)或者掃描儀(未顯示)之類。圖像還可以經(jīng)由連接到基于微處理器的單元112的照相機(jī)塢接(docking)端口136直接從數(shù)字照相機(jī)134中、或者經(jīng)由電纜連接138直接從數(shù)字照相機(jī)134中輸入到基于微處理器的單元112、或者經(jīng)由無(wú)線連接140輸入到基于微處理器的單元112。
輸出設(shè)備提供已經(jīng)發(fā)生變換的最終圖像。輸出設(shè)備可以打印機(jī)或者其他輸出設(shè)備，其提供紙張或者其他硬拷貝最終圖像。輸出設(shè)備還可以是提供作為數(shù)字文件的最終圖像的輸出設(shè)備。輸出設(shè)備還可以包括諸如打印圖像和存儲(chǔ)單元中的數(shù)字文件之類的輸出組合，其中所述存儲(chǔ)單元諸如CD或者DVD之類。
本發(fā)明能夠供生成數(shù)字圖像的多個(gè)捕獲設(shè)備使用。例如，圖9可以代表數(shù)字照相洗印服務(wù)系統(tǒng)，其中圖像捕獲設(shè)備是用于在彩色底片或者反轉(zhuǎn)膠片上捕獲場(chǎng)景的常規(guī)感光膠片照像機(jī)，以及用于掃描膠片上的顯影圖像并生成數(shù)字圖像的膠片掃描設(shè)備。捕獲設(shè)備還可以是具有電子成像器的電子捕獲單元(未顯示)，所述電子成像器諸如電荷耦合設(shè)備或者CMOS成像器。電子捕獲單元可以具有模-數(shù)轉(zhuǎn)換器/放大器，其從電子成像器接收信號(hào)，將所述信號(hào)放大并轉(zhuǎn)換為數(shù)字形式，并將圖像信號(hào)傳送到基于微處理器的單元112。
基于微處理器的單元112提供有用于處理數(shù)字圖像以在預(yù)定的輸出設(shè)備或者介質(zhì)上生成令人喜愛(ài)的觀看圖像的裝置。本發(fā)明能被各種輸出設(shè)備所使用，所述輸出設(shè)備可以包括，但不局限于數(shù)字照相打印機(jī)以及軟拷貝顯示器。基于微處理器的單元112可用于通過(guò)由圖像輸出裝置生成令人喜愛(ài)的觀看圖像的方式來(lái)處理數(shù)字圖像以調(diào)節(jié)數(shù)字圖像的整體亮度、色階、圖像結(jié)構(gòu)等。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明不僅局限于這些所提到的圖像處理功能。
數(shù)字圖像包括一個(gè)或多個(gè)數(shù)字圖像通道或者顏色組分。每個(gè)數(shù)字圖像通道是像素的二維數(shù)組。每個(gè)像素值涉及由圖像捕獲設(shè)備接收的與像素的物理范圍相對(duì)應(yīng)的光量。對(duì)彩色圖像應(yīng)用而言，數(shù)字圖像經(jīng)常由紅色、綠色和藍(lán)色的數(shù)字圖像通道組成。運(yùn)動(dòng)圖像應(yīng)用可以被認(rèn)為數(shù)字圖像序列。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明可以被用于-但是不局限于在此提到的任何應(yīng)用的數(shù)字圖像通道。盡管數(shù)字圖像通道被說(shuō)成是按行和列排列的像素值的二維數(shù)組，但是本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到本發(fā)明同樣可以被用于非直線性陣列。本領(lǐng)域的技術(shù)人員還將認(rèn)識(shí)到對(duì)數(shù)字圖像處理而言，在下文中描述的利用處理過(guò)的像素值替換原始像素值的步驟在功能上等效于利用處理過(guò)的像素值生成新的數(shù)字圖像同時(shí)保留原始像素值的相同處理步驟。
圖9所示的通用控制計(jì)算機(jī)可以將本發(fā)明存儲(chǔ)為計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品具有存儲(chǔ)在計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中的程序，所述計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)例如可以包括諸如磁盤(諸如軟盤之類)或者磁帶之類的磁存儲(chǔ)介質(zhì)；諸如光盤、光帶或者機(jī)器可讀條形碼之類的光存儲(chǔ)介質(zhì)；諸如隨機(jī)存取存儲(chǔ)器(RAM)或者只讀存儲(chǔ)器(ROM)之類的固態(tài)電子存儲(chǔ)設(shè)備。本發(fā)明的關(guān)聯(lián)計(jì)算機(jī)程序?qū)崿F(xiàn)還可以存儲(chǔ)在任何其他的物理設(shè)備或者介質(zhì)上，所述物理設(shè)備或者介質(zhì)用于存儲(chǔ)由脫機(jī)存儲(chǔ)設(shè)備指示的計(jì)算機(jī)程序。在描述本發(fā)明以前，注意到本發(fā)明可以在諸如個(gè)人計(jì)算機(jī)之類的任何公知的計(jì)算機(jī)系統(tǒng)上使用將易于理解。
也應(yīng)注意本發(fā)明可以以軟件和/或硬件的組合來(lái)實(shí)現(xiàn)，而不局限于物理連接到和/或設(shè)置在相同物理場(chǎng)所中的設(shè)備。圖9中所舉例說(shuō)明的一個(gè)或多個(gè)設(shè)備可以遠(yuǎn)程設(shè)置并可以經(jīng)由網(wǎng)絡(luò)連接。一個(gè)或多個(gè)設(shè)備可以諸如通過(guò)射頻鏈路之類無(wú)線連接，或者直接或者經(jīng)由網(wǎng)絡(luò)連接。
本發(fā)明可被用于各種用戶情景和環(huán)境。示例性的情景和環(huán)境包括，但不限于批量數(shù)字照相洗印服務(wù)店(其包括示例性的工序或者階段，諸如膠片輸入、數(shù)字處理、打印出之類)，零售數(shù)字照相洗印服務(wù)店(膠片輸入、數(shù)字處理、打印出)，家用打印(家庭掃描膠片或數(shù)字圖像、數(shù)字處理、打印出)，臺(tái)式機(jī)軟件(向數(shù)字打印機(jī)施加算法以使其更好、乃至僅改變它們的軟件)，數(shù)字實(shí)行(從介質(zhì)或者在網(wǎng)絡(luò)上的數(shù)字圖像輸入、數(shù)字處理、在介質(zhì)上采用數(shù)字形式、在網(wǎng)絡(luò)上采用數(shù)字形式的、或者硬拷貝打印機(jī)上打印的圖像輸出)，信息亭(數(shù)字或者掃描輸入、數(shù)字處理、數(shù)字或者硬拷貝輸出)，移動(dòng)設(shè)備(例如，PDA或者蜂窩電話，其能被用作處理單元、顯示單元或者發(fā)出處理指令的單元)，以及經(jīng)由萬(wàn)維網(wǎng)提供的服務(wù)。
在每一情況下，本發(fā)明可以是獨(dú)立的或者可以是大系統(tǒng)解決方案的組件。此外，人機(jī)界面，例如掃描或者輸入、數(shù)字處理、向用戶顯示(如果需要)、輸入用戶請(qǐng)求或者處理指令(如果需要)、輸出，其每一個(gè)可以位于相同的或者不同的設(shè)備和物理場(chǎng)所中，并且在設(shè)備和場(chǎng)所之間的通信可以經(jīng)由公共或者專用網(wǎng)絡(luò)連接或者來(lái)進(jìn)行，或者基于介質(zhì)進(jìn)行通信。在符合本發(fā)明的上述公開內(nèi)容的情況下，本發(fā)明的方法可以是全自動(dòng)的，也可以具有用戶輸入(全部或者部分手動(dòng))，可以具有用戶或操作員復(fù)查來(lái)接受/拒絕結(jié)果，或者可以由元數(shù)據(jù)協(xié)助(元數(shù)據(jù)可以由用戶提供，由測(cè)量設(shè)備(例如照相機(jī))提供，或者利用算法確定)。此外，算法(一個(gè)或多個(gè))可以同各種工作流程用戶接口方案相接口。
本發(fā)明表現(xiàn)為在此描述的實(shí)施方式的組合。對(duì)“特定實(shí)施方式”等的參考指的是在本發(fā)明的至少一個(gè)實(shí)施方式中出現(xiàn)的特征。對(duì)“實(shí)施方式”或者“特定實(shí)施方式”等的獨(dú)立參考未必都指的是相同的一個(gè)或多個(gè)實(shí)施方式；然而，除非特此說(shuō)明，或者對(duì)本領(lǐng)域的技術(shù)人員很容易理解的那樣，否則這樣的實(shí)施方式不是互斥的。
在圖像分類方法中，圖像被分類為組，或者可選地被分類為子組，然后再被分類為子集。術(shù)語(yǔ)“子組”和“子集”被方便使用。做為選擇，這些分類都可以用術(shù)語(yǔ)“組”來(lái)引用。所述方法尤其適合于這樣的圖像分類法，其中每個(gè)這樣的組都表示事件或者子事件。術(shù)語(yǔ)“事件”在此被定義為由用戶的主觀意圖所理解的重大事件或者偶然發(fā)生的事件。
所述方法利用與各個(gè)圖像相關(guān)的和/或來(lái)源于各個(gè)圖像的分組值執(zhí)行分類。分組值可以表示或者源自于元數(shù)據(jù)，也就是以允許信息被連同圖像一起傳送的某種方式而與各個(gè)圖像關(guān)聯(lián)的非圖像信息。例如，有時(shí)在相同的文件內(nèi)提供元數(shù)據(jù)作為圖像信息。這種信息的實(shí)例包括日期、時(shí)間、閃光激發(fā)、發(fā)光類型、透鏡焦距、GPS數(shù)據(jù)、照像機(jī)類型、照像機(jī)序列號(hào)和用戶名。
“分組值”可以表示任何種類的非圖像信息，其中所述非圖像信息能夠以數(shù)值形式所呈現(xiàn)。所述方法對(duì)利用非圖像信息按照事件分組圖像最有好處，其中所述非圖像信息可以具有大量的可能值，諸如時(shí)間順序數(shù)據(jù)和地理數(shù)據(jù)之類。這種數(shù)據(jù)可以被概括為提供距離基準(zhǔn)的差值或者數(shù)據(jù)內(nèi)部的差值。
所述差值可以與所建立的標(biāo)準(zhǔn)有關(guān)，諸如日期與時(shí)間或者GPS地理坐標(biāo)之類。所述差值還可以與任意的基準(zhǔn)有關(guān)。(為了方便起見(jiàn)，以下的大部分論述都涉及基于時(shí)間順序和/或地理的分組值。)例如，可以將一個(gè)或者幾個(gè)照像機(jī)同步到任意的基準(zhǔn)時(shí)間。同樣地，特定的GPS坐標(biāo)集可以被選為稍后距離測(cè)量的任意起始點(diǎn)?；鶞?zhǔn)本身無(wú)須固定于某一時(shí)間或者地點(diǎn)。距離可以與基準(zhǔn)照像機(jī)或者其他可移動(dòng)部件有關(guān)。同樣地，時(shí)間可以按同特定基準(zhǔn)時(shí)間的差值或者同基準(zhǔn)時(shí)間序列中最接近的時(shí)間的差值來(lái)測(cè)量。例如，圖像可以由多個(gè)獨(dú)立運(yùn)行的照像機(jī)提供?？梢苿?dòng)基準(zhǔn)可以被指定成照像機(jī)之一。在這種情況下，當(dāng)由其他的照像機(jī)捕獲圖像時(shí)所述基準(zhǔn)照像機(jī)可以具有不同的絕對(duì)空間位置，并且在捕獲不同的圖像時(shí)差值可以是同基準(zhǔn)照像機(jī)之間的間距。
一組圖像的內(nèi)部差值可以是圖像同集合中一個(gè)或多個(gè)其他鄰近圖像或其他相關(guān)圖像的差值。方便的差值是同有序序列中最近鄰圖像或者先前圖像的差值。來(lái)自膠片上最初捕獲圖像的元數(shù)據(jù)通常包括該信息。數(shù)字照相機(jī)通常以連續(xù)的方式向圖像分配文件名。內(nèi)部差值的特定實(shí)例包括從前一圖像開始所經(jīng)過(guò)的時(shí)間和距離。
在所述方法中，接收分組值并取其平均值。分組值通常會(huì)連同關(guān)聯(lián)的圖像文件一起提供，但是如果關(guān)聯(lián)分組值和各個(gè)圖像的信息未丟失，則分組值也可以獨(dú)立于圖像文件。
在此公開的實(shí)施方式中的平均值是算術(shù)平均值。諸如中值和模式之類的其他“平均值”可以視情況用于特定方差量度和特定使用。
可選地，分組值在被求平均之前可以利用定標(biāo)函數(shù)來(lái)定標(biāo)。定標(biāo)函數(shù)是連續(xù)的數(shù)學(xué)函數(shù)，其是可轉(zhuǎn)化的并具有正的、下降斜率。結(jié)果，定標(biāo)函數(shù)保持小的分組值差值并壓縮大的分組值差值。用于特定應(yīng)用的定標(biāo)函數(shù)可以被啟發(fā)式地確定。
分組值可以被設(shè)置在柱狀圖中以提供定標(biāo)的柱狀圖，其中所述分組值被利用定標(biāo)函數(shù)執(zhí)行修改。柱狀圖可用于提供對(duì)由所述方法提供的組的目視檢查。
與分組值之間的方差量度的計(jì)算依照普通的統(tǒng)計(jì)程序進(jìn)行。方差量度是與一組關(guān)于特定平均值的值的方差相關(guān)的的統(tǒng)計(jì)參數(shù)。適當(dāng)?shù)姆讲盍慷鹊膶?shí)例包括標(biāo)準(zhǔn)偏差、方差、平均偏差和樣本變化。
相對(duì)于方差量度設(shè)置分組閾值。例如，當(dāng)方差量度是標(biāo)準(zhǔn)偏差時(shí)，所述分組閾值是多個(gè)標(biāo)準(zhǔn)偏差。用于特定應(yīng)用的適當(dāng)分組閾值能夠被啟發(fā)式地利用一組示例性的圖像來(lái)確定。
在確定分組閾值之后，超過(guò)事件閾值的分組值被標(biāo)識(shí)為組邊界，并且基于那些組邊界將圖像分配給組。例如，在特定實(shí)施方式中，偏離一組平均值大于所預(yù)選數(shù)目的標(biāo)準(zhǔn)偏差的任何時(shí)差被作為事件邊界，并且根據(jù)那些邊界將圖像分成組。其他分組閾值能夠提供其他組邊界，所述其他分組閾值多個(gè)原始分組閾值的倍數(shù)。例如，初始分組閾值t能被用于在kt、2kt...nkt的標(biāo)準(zhǔn)偏差處的其他分組閾值。
在執(zhí)行所述方法的過(guò)程中，能夠檢查定標(biāo)柱狀圖以確認(rèn)所選擇的定標(biāo)函數(shù)沒(méi)有模糊低于分組閾值的分組值差值，并壓縮了在超過(guò)分組閾值的分組值之間的差值，因此，所選擇的定標(biāo)函數(shù)適合于特定圖像集的分組值。
現(xiàn)在參照?qǐng)D1和4-5，在特定實(shí)施方式中，利用捕獲時(shí)間信息對(duì)圖像進(jìn)行分組。接收與圖像關(guān)聯(lián)的分組值(200)，準(zhǔn)備時(shí)差柱狀圖，并利用圖8所示的時(shí)差定標(biāo)函數(shù)映射時(shí)差柱狀圖(202)以提供圖5所示的定標(biāo)柱狀圖。如圖5所示，計(jì)算平均值(204)，并計(jì)算定標(biāo)時(shí)差集的標(biāo)準(zhǔn)偏差(206)，以及確定事件閾值(208)。超出事件閾值的時(shí)差(圖5中事件閾值的右邊)被標(biāo)識(shí)為事件邊界(210)。與事件閾值內(nèi)的時(shí)差關(guān)聯(lián)的圖像(圖5中事件閾值的左邊)被分配給利用事件邊界來(lái)確定邊界的組(212)。
此實(shí)施方式尤其可用于分組利用多個(gè)獨(dú)立運(yùn)行的照相機(jī)所捕獲的圖像，它們都用圖像日期和時(shí)間記錄為元數(shù)據(jù)，但是它們?nèi)鄙僭诓煌障駲C(jī)之間的實(shí)時(shí)時(shí)鐘同步。在這種情況下，一個(gè)或多個(gè)照像機(jī)的時(shí)間/日期時(shí)鐘中的較小誤差將不會(huì)影響基于顯著較長(zhǎng)事件的組。
事件閾值被啟發(fā)式地確定，用于利用實(shí)際(時(shí)鐘)時(shí)間或者相對(duì)于時(shí)間基準(zhǔn)所經(jīng)過(guò)的時(shí)間來(lái)分類所捕獲的社會(huì)事件圖像，其中所述時(shí)間基準(zhǔn)提供了公共原點(diǎn)。這種判定使用大約150套消費(fèi)者圖像，每一套平均大約40-80關(guān)于日常消費(fèi)者事件的照片，包括假期、學(xué)校事件、婚禮、畢業(yè)等。事件閾值被確定成遵循以下函數(shù)事件閾值＝0.2+8.159e(-0.0002*(標(biāo)準(zhǔn)偏差^2))所述函數(shù)源自于試驗(yàn)數(shù)據(jù)用以對(duì)各個(gè)圖像集中的事件進(jìn)行分組。
現(xiàn)在參照?qǐng)D7，所述方法適用于分組值是地理的問(wèn)題域。在這種情況下，分組是按照在捕獲圖像時(shí)獨(dú)立運(yùn)行的照像機(jī)700同基準(zhǔn)702之間的距離而進(jìn)行的。用于圖像集實(shí)例的定標(biāo)柱狀圖類似于圖5。橫軸(標(biāo)有“分組值”)表示同基準(zhǔn)之間的相對(duì)距離或者自基準(zhǔn)起的半徑。閾值是圓圈704。例如，所述方法的該實(shí)施方式可用于界定一組圖像的組邊界，所述圖像是由不同的攝影師利用多個(gè)蜂窩電話照像機(jī)或者其他能夠記錄GPS坐標(biāo)為圖像元數(shù)據(jù)的移動(dòng)捕獲設(shè)備所捕獲的。GPS坐標(biāo)被簡(jiǎn)化成距離基準(zhǔn)位置或者用戶的距離。基于各個(gè)攝影師相對(duì)于中央位置或者基準(zhǔn)用戶的漫游來(lái)分組圖像。作為一個(gè)更特別的實(shí)例，多個(gè)觀眾捕獲覆蓋有不同選手的高爾夫錦標(biāo)賽的靜止/視頻圖像。由觀眾捕獲的圖片/視頻能因此基于距離而被分組。利用可用的通信鏈路，能夠自動(dòng)共享分配給不同組的圖像，結(jié)果就是所有觀眾都能夠受益于能夠在錦標(biāo)賽期間觀看到其他現(xiàn)場(chǎng)所同時(shí)發(fā)生的景象。作為所述方法的結(jié)果，在分組的圖像中所示的現(xiàn)場(chǎng)不必預(yù)先規(guī)定并可以在錦標(biāo)賽過(guò)程中發(fā)生變化，在基準(zhǔn)是可移動(dòng)的情況下特別如此。
現(xiàn)在參照?qǐng)D6，所述方法適用于分組值包括時(shí)間順序信息和地理信息的問(wèn)題域。在這種情況下，分組值是在捕獲圖像的時(shí)間序列中的連續(xù)圖像之間的距離(在圖6中由箭頭指示)。組是用關(guān)于圖像組652的距離邊界650定義的，并且組可與先前論述的事件邊界相對(duì)。定標(biāo)柱狀圖和方法步驟同先前論述的實(shí)施方式的定標(biāo)柱狀圖和方法步驟相類似。表1是圖像時(shí)間序列的分組值的實(shí)例。左列表示所捕獲圖像的次序，右列表示在圖像i和圖像i+1之間的距離。
表1

在第五和第六以及第九和第十圖像之間將圖像分成組。圖6以圖形方式示出了這一點(diǎn)。相應(yīng)的定標(biāo)距離柱狀圖類似于圖5。在該實(shí)施方式中，其他分組閾值在由分組閾值定義的組內(nèi)定義子組。
分組值能夠是圖像內(nèi)容的度量，諸如圖像對(duì)比度、動(dòng)態(tài)范圍和彩色特性之類?，F(xiàn)在參照?qǐng)D10，另一基于圖像內(nèi)容的分組值是按時(shí)間順序定序的圖像的塊柱狀圖差值。在這種情況下，該圖的橫軸表示塊柱狀圖差值，其是兩個(gè)連續(xù)的按時(shí)間順序定序的圖像的相對(duì)差值(或者差異)的度量。在一個(gè)事件內(nèi)的圖像對(duì)之間的塊柱狀圖差值很小，而在該事件邊界處的圖像對(duì)之間的相應(yīng)差值則比較大。塊柱狀圖差值還能夠被以按另一種方式定序的數(shù)據(jù)或者被以無(wú)定序的數(shù)據(jù)的方式使用。
塊柱狀圖差值被方便地提供作為從單位元(或者與單位元關(guān)聯(lián)的另一個(gè)值)中減去塊柱狀圖相似值后的余數(shù)。柱狀圖相似值能夠以本領(lǐng)域技術(shù)人員所熟知的方式來(lái)確定，諸如在專利號(hào)為No.6,351,556的美國(guó)專利中所描述的過(guò)程那樣，特比將其內(nèi)容引入以供參考。
在圖10的實(shí)施方式中，塊柱狀圖差值由下述等式表示塊柱狀圖差值＝1-Inter(R，C)其中Inter(R，C)是柱狀圖交叉等式Inter(R,C)=Σi=1nmin(Ri,Ci)Σi=1nRi]]>其中R和C是兩個(gè)連續(xù)的圖像(也分別被稱為基準(zhǔn)圖像和候選圖像)，n是柱狀圖中元組(bin)的數(shù)目。
參照?qǐng)D2和4，本發(fā)明的方法能被迭代地使用來(lái)在預(yù)先確定的組或者子組內(nèi)提供子分組。圖2中的步驟計(jì)算(404)、計(jì)算(406)、確定(408)、標(biāo)識(shí)(410)和分配(412)與圖1中具有差別在附圖標(biāo)記200的步驟相對(duì)應(yīng)。圖4圖示了將一組圖像300在事件閾值302分組成兩個(gè)事件304、306，而后再將一個(gè)事件306分子組成子事件a308和子事件b310。
每一次迭代都能夠使用圖像的不同分組值集。(為簡(jiǎn)單起見(jiàn)，由每一次迭代所提供的級(jí)別在此被稱為“子組”，意味在該級(jí)別提供的組在較早確定的組或子組的范圍之內(nèi)。為了方便起見(jiàn)，用于提供子組的分組值利用詞頭“第二分組值”來(lái)加以區(qū)分。)例如，所述方法最初能夠用于按照時(shí)間對(duì)圖像進(jìn)行分組，然后再按照距離對(duì)那些組進(jìn)行分子組。同樣，分組值能夠與時(shí)間和/或距離有關(guān)，第二分組值能夠是塊柱狀圖差值或圖像內(nèi)容的另一度量。
表2列出了用于檢測(cè)圖像集中的事件和子事件的不同組合的實(shí)例。
表2


在表2中，“X(n)”表示施加不同算法的次序。
所述方法還能夠被用于其他分組方法，尤其是使用除預(yù)先使用過(guò)的信息以外的信息的分組方法。例如，所述方法能夠用于利用時(shí)差分群檢測(cè)圖像集合的事件，之前或之后有利用另一方法的替換分群方法，所述另一方法諸如塊柱狀圖分群或者兩均值法分群(two-meansclustering)之類(在專利號(hào)為No.6,606,411和No.6,351,556的美國(guó)專利中公開，在此將其內(nèi)容引入以供參考)。參照?qǐng)D3，塊柱狀圖分群是分群技術(shù)的實(shí)例，其中分析圖像的內(nèi)容并將圖像分配給對(duì)那個(gè)分析響應(yīng)的子集(組或者子組)。為圖像對(duì)確定塊柱狀圖交叉值(500)。當(dāng)柱狀圖交叉值超出預(yù)定差值閾值時(shí)執(zhí)行基于塊的柱狀圖相關(guān)。
權(quán)利要求
1.一種圖像分類方法，包括下述步驟接收多個(gè)分組值，所述分組值均具有關(guān)聯(lián)的圖像；計(jì)算所述分組值的平均值；計(jì)算所述分組值相對(duì)于所述平均值的方差量度；根據(jù)所述方差量度確定適用于所述分組值的分組閾值；將超過(guò)所述分組閾值的分組值標(biāo)識(shí)為組邊界；基于所述組邊界分配所述圖像到多個(gè)組。
2.根據(jù)權(quán)利要求1所述的方法，其中所述分組值基于時(shí)差和距離中的至少一項(xiàng)。
3.根據(jù)權(quán)利要求2所述的方法，其中所述時(shí)差或者距離是相對(duì)于序列中的鄰接圖像的。
4.根據(jù)權(quán)利要求2所述的方法，其中所述時(shí)差或者距離全部是相對(duì)于時(shí)間基準(zhǔn)和地理基準(zhǔn)的至少一項(xiàng)的。
5.根據(jù)權(quán)利要求4所述的方法，其中所述時(shí)間或者地理基準(zhǔn)對(duì)全部所述圖像而言是恒定的。
6.根據(jù)權(quán)利要求1所述的方法，其中所述分組值是在捕獲各個(gè)圖像期間同可移動(dòng)基準(zhǔn)之間的相對(duì)距離，并且所述可移動(dòng)基準(zhǔn)在捕獲兩個(gè)或更多所述圖像時(shí)具有不同的絕對(duì)空間位置。
7.根據(jù)權(quán)利要求6所述的方法，其中所述接收步驟還包括利用多個(gè)獨(dú)立運(yùn)行的照相機(jī)捕獲所述圖像。
8.根據(jù)權(quán)利要求1所述的方法，其中所述接收步驟還包括利用多個(gè)獨(dú)立運(yùn)行的照像機(jī)捕獲所述圖像。
9.根據(jù)權(quán)利要求8所述的方法，其中所述分組值是時(shí)間，并且所述照像機(jī)免于實(shí)時(shí)時(shí)鐘同步。
10.根據(jù)權(quán)利要求8所述的方法，還包括指定所述照像機(jī)之一作為可移動(dòng)基準(zhǔn)，其中所述分組值均表示在捕獲各個(gè)圖像時(shí)各個(gè)所述照像機(jī)同所述可移動(dòng)基準(zhǔn)之間的間距。
11.根據(jù)權(quán)利要求1所述的方法，其中所述分組值是塊柱狀圖差值。
12.根據(jù)權(quán)利要求11所述的方法，其中所述塊柱狀圖差值是相對(duì)于時(shí)間順序序列的鄰接圖像的。
13.根據(jù)權(quán)利要求1所述的方法，其中所述平均值是算術(shù)平均值。
14.根據(jù)權(quán)利要求1所述的方法，其中所述方差量度是標(biāo)準(zhǔn)偏差。
15.根據(jù)權(quán)利要求1所述的方法，其中所述圖像均具有第二分組值，并且所述方法還包括下述步驟關(guān)于一個(gè)或多個(gè)所述組計(jì)算各個(gè)所述圖像的第二分組值的組平均值；計(jì)算各個(gè)所述第二分組值相對(duì)于每個(gè)所述平均值的方差量度；根據(jù)每個(gè)所述方差量度確定適用于各個(gè)所述組的各自第二分組閾值；將超過(guò)所述各自第二分組閾值的所述第二分組值中的一些標(biāo)識(shí)為各自所述個(gè)組的子組邊界；基于各自所述子組邊界將所述一個(gè)或多個(gè)組中的每一個(gè)的所述圖像分配給多個(gè)子組。
16.根據(jù)權(quán)利要求15所述的方法，其中所述分組值是時(shí)差和距離之一。
17.根據(jù)權(quán)利要求16所述的方法，其中所述第二分組值是所述時(shí)差和所述距離中的另一個(gè)。
18.根據(jù)權(quán)利要求16所述的方法，其中所述第二分組值基于圖像內(nèi)容。
19.根據(jù)權(quán)利要求16所述的方法，其中所述第二分組值是塊柱狀圖差值。
20.根據(jù)權(quán)利要求1所述的方法，還包括分析一個(gè)或多個(gè)所述組的所述圖像的內(nèi)容，并將所述一個(gè)或多個(gè)所述組的所述圖像分配給對(duì)所述分析響應(yīng)的子集。
21.根據(jù)權(quán)利要求1所述的方法，還包括，在所述計(jì)算所述平均值之前計(jì)算用于定標(biāo)所述分組值的差值，其中減少相對(duì)大的值并保留相對(duì)小的值。
22.根據(jù)權(quán)利要求1所述的方法，其中所述分組閾值由下述等式來(lái)表示事件閾值＝0.2+8.159e(-0.0002*(s^2))其中e是自然對(duì)數(shù)，s是所述分組值的標(biāo)準(zhǔn)偏差。
23.根據(jù)權(quán)利要求1所述的方法，其中所述方差量度是標(biāo)準(zhǔn)偏差，方差，平均偏差和樣本變化之一。
24.根據(jù)權(quán)利要求1所述的方法，其中所述圖像均具有元數(shù)據(jù)，所述元數(shù)據(jù)表示當(dāng)捕獲各個(gè)圖像時(shí)同地理或者時(shí)間基準(zhǔn)的間距，并且所述計(jì)算步驟利用所述元數(shù)據(jù)。
25.根據(jù)權(quán)利要求1所述的方法，其中所述計(jì)算步驟還包括準(zhǔn)備時(shí)間或者距離差值柱狀圖，并向所述柱狀圖施加映射函數(shù)。
26.一種圖像分類方法，包括下述步驟接收多個(gè)分組值，所述分組值均具有關(guān)聯(lián)的圖像，所述分組值均表示在捕獲各個(gè)圖像時(shí)同地理或者時(shí)間基準(zhǔn)的間距；計(jì)算所述分組值的算術(shù)平均值；計(jì)算所述分組值相對(duì)于所述平均值的標(biāo)準(zhǔn)偏差；確定適用于所述分組值的分組閾值，所述分組閾值是所述標(biāo)準(zhǔn)偏差的倍數(shù)；將超過(guò)所述分組閾值的分組值標(biāo)識(shí)為組邊界；基于所述組邊界向多個(gè)組分配所述圖像。
27.一種對(duì)圖像分類的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括具有存儲(chǔ)在其中的用于執(zhí)行下述步驟的計(jì)算機(jī)程序的計(jì)算機(jī)可該取存儲(chǔ)介質(zhì)接收多個(gè)分組值，所述分組值均具有關(guān)聯(lián)的圖像；計(jì)算所述分組值的平均值；計(jì)算所述分組值相對(duì)于所述平均值的方差量度；根據(jù)所述方差量度確定適用于所述分組值的分組閾值；將超過(guò)所述分組閾值的分組值標(biāo)識(shí)為組邊界；基于所述組邊界分配所述圖像到多個(gè)組。
28.一種圖像分類設(shè)備，包括用于接收多個(gè)分組值的裝置，所述分組值均具有關(guān)聯(lián)的圖像；用于計(jì)算所述分組值的平均值的裝置；用于計(jì)算所述分組值相對(duì)于所述平均值的方差量度的裝置；用于根據(jù)所述方差量度確定適用于所述分組值的分組閾值的裝置；用于將超過(guò)所述分組閾值的分組值標(biāo)識(shí)為組邊界的裝置；用于基于所述組邊界分配所述圖像到多個(gè)組的裝置。
全文摘要
在一種圖像分類方法中，接收多個(gè)分組值。分組值均具有關(guān)聯(lián)的圖像。計(jì)算分組值的平均值。計(jì)算分組值相對(duì)于平均值的方差量度。根據(jù)方差量度確定分組閾值。超過(guò)分組閾值的分組值被標(biāo)識(shí)為組邊界。基于組邊界向多個(gè)組分配圖像。
文檔編號(hào)G06F17/30GK101061477SQ200580039409
公開日2007年10月24日 申請(qǐng)日期2005年11月16日 優(yōu)先權(quán)日2004年11月17日
發(fā)明者A·C·P·路易, B·D·克勞斯 申請(qǐng)人:伊斯曼柯達(dá)公司