專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種進行場景檢測的圖像處理裝置，特別是涉及一種進行包含被選擇的對象物的場景檢測的圖像處理裝置、以及它們的處理方法和使計算機執(zhí)行該方法的程序。
背景技術(shù)：
近年來，由于存儲器的價格降低、與存儲器相關(guān)的技術(shù)的發(fā)展，數(shù)字靜像照相機(digital still camera)以及數(shù)字?jǐn)z像機等攝像裝置中的存儲器的容量正在增加。與此相伴，攝像裝置中保持的運動圖像的數(shù)量也在增加。在這種狀況下，需要一種找出用戶想要閱覽的運動圖像的規(guī)定場景的技術(shù)。以往，在數(shù)字靜像照相機以及數(shù)字?jǐn)z像機等攝像裝置中，難以從拍攝的運動圖像中檢測出以用戶所希望的對象物為主的場景。
作為解決這種問題的技術(shù)，提出了如下的技術(shù)選擇構(gòu)成運動圖像的幀的區(qū)域，找出包含被該區(qū)域包圍的圖像的幀，將認(rèn)為該找出的幀連續(xù)的區(qū)間選定為一個場景，對該區(qū)間賦予關(guān)鍵字，在運動圖像的場景的檢索中使用(例如，參照專利文獻1。)。根據(jù)該技術(shù)，在選定一個場景時，對找出的幀連續(xù)的部分區(qū)間彼此的間隔等設(shè)定規(guī)定條件，在滿足該規(guī)定條件的情況下，結(jié)合該部分區(qū)域彼此來作為一個場景。在該技術(shù)中，作為結(jié)合部分區(qū)間彼此的規(guī)定條件，公開了位于某部分區(qū)間和其他部分區(qū)間之間的幀的張數(shù)為規(guī)定張數(shù)以下等。另外，也提出了如下的技術(shù)將用戶所希望的對象物的圖像作為模板圖像，將該模板圖像和構(gòu)成運動圖像的幀進行對照，將包含了與該模板圖像類似的圖像的幀的集合作為一個場景。
專利文獻1日本特開平5-204990號公報(圖1)發(fā)明內(nèi)容發(fā)明要解決的問題在將認(rèn)為上述找出的幀連續(xù)的區(qū)域作為一個場景選定的技術(shù)中，在滿足規(guī)定條件、例如在位于某部分區(qū)間和其他部分區(qū)間之間的幀的張數(shù)為規(guī)定張數(shù)以下的情況下，與場景的內(nèi)容無關(guān)地被結(jié)合為一個場景，因此，根據(jù)情況顯然有在一個場景中包含無關(guān)系的場面的可能性。另外，在將模板圖像與構(gòu)成運動圖像的幀進行對照、將包含了與該模板圖像類似的圖像的幀的集合作為一個場景的技術(shù)中，在運動圖像中被攝體臨時朝向其他方向等的幀不被作為包含了與模板圖像類似的圖像的幀來處理，因此，本來應(yīng)該為一個的場景可能被分割。
因此，本發(fā)明的目的在于提供一種確實地檢測出在運動圖像中作為目標(biāo)的對象物出現(xiàn)的一個場景的圖像處理裝置。
用于解決問題的方法本發(fā)明是為解決上述問題而完成的，其第1側(cè)面是一種圖像處理裝置，其特征在于，具備運動圖像文件保持單元，其保持運動圖像文件；區(qū)域選擇接受單元，其接受對構(gòu)成上述運動圖像文件的幀的任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，將接受上述選擇的區(qū)域的圖像作為模板圖像生成；圖像對照單元，其從上述運動圖像文件保持單元獲取上述幀，將各上述幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的幀；以及場景變化檢測單元，其檢測場景的開始以及結(jié)束，其中，該場景包含有在上述圖像對照單元中搜索到的幀。由此，帶來如下作用在運動圖像中準(zhǔn)確地檢測用戶所希望的對象物出現(xiàn)的場景。
另外，在該第1側(cè)面中特征在于，上述圖像對照單元在上述幀的獲取中，從上述運動圖像文件保持單元獲取按時間序列每隔規(guī)定數(shù)排列的幀。由此，帶來如下作用高速地進行包含用戶所希望的對象物的幀的搜索。
另外，在該第1側(cè)面中特征在于，上述場景變化檢測單元具備幀獲取單元，其從上述運動圖像文件保持單元，獲取在上述圖像對照單元中搜索到的幀的前后按時間序列排列的幀；像素值分布生成單元，其生成構(gòu)成由上述幀獲取單元獲取的幀的各像素的像素值的分布；分布差分累加值算出單元，其算出將上述時間序列上相鄰的幀中的上述像素值的分布的差分進行累加得到的分布差分累加值；以及場景變化判斷單元，其判斷上述分布差分累加值是否超過規(guī)定閾值，在上述分布差分累加值超過規(guī)定閾值的情況下，設(shè)為上述場景發(fā)生了變化，將與超過上述規(guī)定閾值的上述分布差分累加值對應(yīng)的幀判斷為上述場景的開始幀或者結(jié)束幀。由此，帶來如下作用根據(jù)構(gòu)成運動圖像的幀的各像素的像素值的分布之類的視覺要素，準(zhǔn)確地檢測用戶所希望地對象物出現(xiàn)的場景。如果在對象物所出現(xiàn)的場景的檢測中使用構(gòu)成運動圖像的幀的各像素的像素值分布之類的視覺要素，則能夠進行適合用戶感覺的場景的檢測。
另外，特征在于，上述幀獲取單元從上述運動圖像文件保持單元，獲取在上述圖像對照單元中搜索到的幀的前后按時間序列每隔規(guī)定數(shù)排列的幀。由此，帶來如下作用高速地進行在運動圖像中出現(xiàn)用戶所希望的對象物的一個場景的檢測。
另外，特征在于，上述像素值分布生成單元使用作為上述像素值利用YUV來表示的量，生成構(gòu)成由上述幀獲取單元獲取的幀的各像素的YUV的各個成分的分布，上述分布差分累加值算出單元對上述YUV的每個成分算出對與上述時間序列上相鄰的幀中的上述YUV的各個成分相關(guān)的分布的差分進行累加得到的Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值，作為上述分布差分累加值，上述場景變化判斷單元分別對上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值判斷是否超過所設(shè)定的上述規(guī)定閾值，在上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值的任一個超過規(guī)定閾值的情況下，設(shè)為上述場景發(fā)生了變化，將與超過上述規(guī)定閾值的上述Y成分分布差累加值、U成分分布差累加值或者V成分分布差累加值對應(yīng)的幀判斷為上述場景的開始幀或者結(jié)束幀。由此，帶來如下作用根據(jù)構(gòu)成運動圖像的幀的各像素的YUV分布之類的視覺要素，準(zhǔn)確地檢測用戶所希望的對象物出現(xiàn)的一個場景。
另外，在該第1側(cè)面中特征在于，還具備幀縮小單元，該幀縮小單元縮小構(gòu)成上述運動圖像文件的幀，上述運動圖像文件保持單元還保持在上述幀縮小單元中縮小的幀，上述區(qū)域選擇接受單元接受對上述縮小的幀的任一個的規(guī)定區(qū)域的選擇，上述圖像對照單元將上述縮小的幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的上述縮小的幀，上述場景變化檢測單元檢測場景的開始以及結(jié)束，其中，該場景包含利用上述縮小的幀在上述圖像對照單元中搜索到的縮小的幀。由此，帶來如下作用，高速地進行在運動圖像中出現(xiàn)用戶所希望的對象物的一個場景的檢測。即，在場景的檢測中使用的幀利用縮小的幀，因此場景的檢測中的運算量減少，可高速地進行場景的檢測。
另外，特征在于，上述幀縮小單元每隔規(guī)定數(shù)縮小按時間序列排列的上述幀。由此，帶來如下作用高速地進行在運動圖像中出現(xiàn)用戶所希望的對象物的一個場景的檢測。
另外，在該第1側(cè)面中特征在于，還具備運動圖像文件信息獲取單元，其從保持在上述運動圖像文件保持單元中的上述運動圖像文件，獲取包含與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息的運動圖像文件信息；場景信息表，其將由上述運動圖像文件信息獲取單元獲取的上述運動圖像文件信息、以及與由上述場景變化檢測單元檢測出的上述場景的開始以及結(jié)束相關(guān)的信息，與每個上述運動圖像文件相對應(yīng)地保持；場景時間位置顯示生成單元，其根據(jù)與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息、以及與上述場景的開始以及結(jié)束相關(guān)的信息，生成表示上述場景相對于上述運動圖像被播放的整個時間的時間位置的顯示即場景時間位置顯示。由此，帶來如下作用生成場景時間位置顯示，該場景時間位置顯示使得能夠掌握一個運動圖像文件的播放時間中的各場景的時間位置。
另外，特征在于，上述運動圖像文件信息獲取單元作為與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息，獲取在上述運動圖像文件中包含的幀數(shù)，上述場景信息表作為與由上述場景檢測單元檢測出的上述場景的開始以及結(jié)束相關(guān)的信息，保持上述場景的開始幀號以及結(jié)束幀號，上述場景時間位置顯示生成單元根據(jù)在上述運動圖像文件中包含的幀數(shù)、上述場景的開始幀號以及結(jié)束幀號，生成上述場景時間位置顯示。由此，帶來如下作用根據(jù)在運動圖像文件中包含的幀數(shù)、場景的開始幀號以及結(jié)束幀號，生成場景時間位置顯示，該場景時間位置顯示使得能夠掌握一個運動圖像文件的總播放時間中的各場景的時間位置。
另外，特征在于，上述場景時間位置顯示生成單元在前一場景的結(jié)束以及下一場景的開始連續(xù)的情況下，將上述前一場景以及上述下一場景作為一個場景，生成上述場景時間位置顯示。由此，帶來如下作用把不自然分割的場景彼此結(jié)合，生成一個場景。
另外，本發(fā)明的第2側(cè)面是一種圖像處理裝置，其特征在于，具備攝像單元，其拍攝被攝體生成運動圖像文件；運動圖像文件保持單元，其保持上述運動圖像文件；區(qū)域選擇接受單元，其接受對構(gòu)成上述運動圖像文件的幀的任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，其將接受上述選擇的區(qū)域的圖像作為模板圖像生成；圖像對照單元，其從上述運動圖像文件保持單元獲取上述幀，將各上述幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的幀；場景變化檢測單元，其檢測場景的開始以及結(jié)束，其中，該場景包含有在上述圖像對照單元中搜索到的幀；運動圖像文件信息獲取單元，其從保持在上述運動圖像文件保持單元中的上述運動圖像文件，獲取包含與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息的運動圖像文件信息；場景信息表，其將由上述運動圖像文件信息獲取單元獲取的上述運動圖像文件信息、以及與由上述場景變化檢測單元檢測出的上述場景的開始以及結(jié)束相關(guān)的信息，與每個上述運動圖像文件相對應(yīng)地保持；場景時間位置顯示生成單元，其根據(jù)與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息、以及與上述場景的開始以及結(jié)束相關(guān)的信息，生成表示上述場景對上述運動圖像被播放的整個時間的時間位置的顯示即場景時間位置顯示；以及顯示單元，顯示上述場景時間位置顯示。由此，帶來如下作用準(zhǔn)確地檢測在拍攝的運動圖像中出現(xiàn)用戶所希望的對象物的一個場景，并顯示其結(jié)果。
另外，本發(fā)明的第3側(cè)面是一種在具備保持運動圖像文件的運動圖像文件保持單元的圖像處理裝置中執(zhí)行以下過程的處理方法、或者使計算機執(zhí)行以下過程的程序，該處理方法或者程序具備區(qū)域選擇接受過程，接受對構(gòu)成上述運動圖像文件的幀的任一個的規(guī)定區(qū)域的選擇；模板圖像生成過程，將接受上述選擇的區(qū)域的圖像作為模板圖像生成；圖像對照過程，從上述運動圖像文件保持單元獲取上述幀，將各上述幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的幀；以及場景變化檢測過程，檢測場景的開始以及結(jié)束，其中，該場景包含有在上述圖像對照單元中搜索到的幀。由此，帶來如下作用在運動圖像中準(zhǔn)確地檢測出現(xiàn)用戶所希望的對象物的一個場景。
發(fā)明的效果根據(jù)本發(fā)明，能夠得到在運動圖像中準(zhǔn)確地檢測作為目標(biāo)的對象物出現(xiàn)的一個場景的顯著效果。


圖1是本發(fā)明實施方式中的攝像裝置100的一例即攝像裝置100a以及100b的外觀圖。
圖2是表示本發(fā)明實施方式中的攝像裝置100的結(jié)構(gòu)的圖。
圖3是表示本發(fā)明實施方式中的場景檢測功能的結(jié)構(gòu)的圖。
圖4是表示在本發(fā)明的實施方式中選擇模板圖像區(qū)域的樣子的圖。
圖5是表示本發(fā)明實施方式中的模板圖像生成的情形的圖。
圖6是表示將幀633和模板圖像631進行對照的樣子的圖。
圖7是表示本發(fā)明實施方式中的場景檢測的樣子的圖。
圖8是表示本發(fā)明實施方式中的構(gòu)成幀的各像素的像素值的分布生成的樣子的圖。
圖9是表示作為構(gòu)成運動圖像文件的幀集合的幀組與被縮小的幀之間的對應(yīng)的圖。
圖10是表示本發(fā)明實施方式中的場景信息表320的內(nèi)容的圖。
圖11是表示本發(fā)明實施方式中的場景時間位置顯示的圖。
圖12是表示本發(fā)明實施方式中的場景結(jié)合的樣子的圖。
圖13是表示本發(fā)明實施方式中的場景檢測的流程的圖。
附圖標(biāo)記說明10攝像部；11攝像元件部；12攝像控制部；13圖像處理部；20記錄播放處理部；21圖像編碼/解碼部；22記錄控制部；23SDRAM；30控制部；31系統(tǒng)控制部；32輸入控制部；33顯示控制部；34輸出圖像處理部；35外部設(shè)備控制部；36網(wǎng)絡(luò)控制部；40總線；50鍵輸入部；60觸摸面板部；61顯示部；62觸摸面板輸入部；70存儲裝置；80外部設(shè)備；90網(wǎng)絡(luò)網(wǎng)；100、100a、100b攝像裝置；110a、110b鏡頭部；120a快門部；130a、130b顯示部；231運動圖像文件保持部；311幀縮小部；312模板圖像生成部；313圖像對照部；314場景變化檢測部；315幀獲取部；316像素值分布生成部；317分布差分累加值算出部；318場景變化判斷部；319運動圖像文件信息獲取部；320場景信息表；321場景時間位置顯示生成部；601區(qū)域選擇接受部。
具體實施例方式
下面參照附圖詳細說明本發(fā)明的實施方式。此外，在本發(fā)明的實施方式中，作為圖像處理裝置的一例說明攝像裝置。
圖1是本發(fā)明實施方式中的攝像裝置100的一例即攝像裝置100a以及攝像裝置100b的外觀圖。攝像裝置100a主要拍攝靜止圖像，攝像裝置100b是主要拍攝運動圖像。
圖1的(a)是攝像裝置100a的正面圖。攝像裝置100a從鏡頭部110a拍攝被攝體。然后，當(dāng)按下快門部120a時，攝像裝置100a生成靜止圖像文件。圖1的(b)是攝像裝置100a的背面圖。由鏡頭部110a捕捉到的被攝體的活動被顯示在顯示部130a。另外，生成的靜止圖像文件也被顯示在顯示部130a。
圖1的(c)是攝像裝置100b的正面圖。攝像裝置100b從鏡頭部110b拍攝被攝體。然后，當(dāng)按下(未圖示)錄像按鈕時，攝像裝置100b生成運動圖像文件。圖1的(d)是攝像裝置100b的背面圖。由鏡頭部110b捕捉到的被攝體的活動被顯示在顯示部130b。另外，生成的運動圖像文件也被顯示在顯示部130b。另外，攝像裝置100b具有還生成靜止圖像文件的功能，生成的靜止圖像也被顯示在顯示部130b。
在本發(fā)明的實施方式中，首先，根據(jù)構(gòu)成由攝像裝置100a或100b生成的運動圖像文件的幀的某一個，生成模板圖像。然后，從運動圖像文件中搜索包含與該生成的模板圖像類似的圖像的幀(以下，稱為模板圖像類似幀)。其次，從運動圖像文件檢測包含模板圖像類似幀的運動圖像的一個場景開始時和結(jié)束時。作為表示場景相對于運動圖像文件被播放的整個時間的時間位置的顯示(以下，稱為場景時間位置顯示。)，輸出該檢測結(jié)果。
圖2是表示本發(fā)明實施方式中的攝像裝置100的結(jié)構(gòu)的圖。本發(fā)明實施方式中的攝像裝置100具備攝像部10、記錄播放處理部20、控制部30、總線40、鍵輸入部50、觸摸面板部60、以及存儲裝置70。
攝像部10具備攝像元件部11、攝像控制部12、以及圖像處理部13。攝像元件部11在內(nèi)部具備用于拍攝被攝體的透鏡組(對應(yīng)于圖1中的鏡頭部110a以及鏡頭部110b)、光圈調(diào)整機構(gòu)、焦點調(diào)整機構(gòu)以及例如CCD(Charge Coupled Devices電荷耦合器件)等的攝像元件，通過透鏡組的像被成像在CCD等的攝像元件的成像面上。攝像元件部11接收根據(jù)快門操作從控制部30通過總線40提供的圖像取入時序信號，將成像在攝像元件的成像面上的被攝體像變換成攝像信號，提供給圖像處理部13。
攝像控制部12接收從控制部30通過總線40提供的控制信號，生成提供給攝像元件部11的控制信號。另外，攝像控制部12將生成的控制信號提供給攝像元件部11，進行縮放控制，快門控制以及曝光控制等。
圖像處理部13根據(jù)從控制部30通過總線40提供的控制信號，對攝像信號進行伽馬校正、AGC(Auto Gain Control自動增益控制)等處理，并且，還進行將攝像信號變換成作為數(shù)字信號的圖像信號的處理。
記錄播放處理部20具備圖像編碼/解碼部21、記錄控制部22、以及SDRAM(Synchronous Dynamic Random Access Memory同步動態(tài)隨機存取存儲器)23。圖像編碼/解碼部21具有編碼功能，該編碼功能對從攝像部10通過總線40提供的圖像信號等進行編碼并多路復(fù)用從而變換為壓縮數(shù)據(jù)。另外，圖像編碼/解碼部21具有從壓縮數(shù)據(jù)解碼圖像信號的解碼功能。
記錄控制部22從圖像編碼/解碼部21接收壓縮數(shù)據(jù)，寫入存儲裝置70。另外，記錄控制部22從存儲裝置70讀出壓縮數(shù)據(jù)，提供給圖像編碼/解碼部21。此外，存儲裝置70既可以外置于攝像裝置100，也可以內(nèi)置于攝像裝置100。另外，作為存儲裝置70，設(shè)想為將快閃存儲器(Flash memory)封裝成卡型的存儲卡、硬盤等磁盤、DVD等光盤(Optical Disk)以及MO等磁光盤(Magneto-Optical disk)的任一個，但是不限于此。SDRAM23作為用于編碼/解碼部21中的編碼或者解碼的作業(yè)區(qū)域利用。
控制部30具備系統(tǒng)控制部31、輸入控制部32、顯示控制部33、輸出圖像處理部34、外部設(shè)備控制部35、以及網(wǎng)絡(luò)控制部36。
系統(tǒng)控制部31管理整個控制部30的處理。連接到輸入控制部32的鍵輸入部50中，設(shè)置有切換拍攝模式和播放模式等其他模式的模式切換鍵、縮放調(diào)整鍵、用于曝光調(diào)整的鍵、快門鍵(對應(yīng)于圖1中的快門部120a)、運動圖像攝像用鍵等多個鍵。另外，連接到輸入控制部32的觸摸面板輸入部62接受顯示部61中顯示的菜單選擇、圖像數(shù)據(jù)的規(guī)定區(qū)域的指定。
輸入控制部32將來自鍵輸入部50以及觸摸面板輸入部62的操作信號傳遞給系統(tǒng)控制部31。系統(tǒng)控制部31判斷在鍵輸入部50以及觸摸面板輸入部62中操作了哪個鍵等，進行與該判斷結(jié)果相應(yīng)的控制處理。
與顯示控制部33連接的顯示部61例如由LCD(LiquidCrystal Display液晶顯示器)等構(gòu)成，在系統(tǒng)控制部31的控制下，顯示從攝像部10通過總線40提供的圖像信號、從存儲裝置70讀出的圖像信號。此外，顯示部61對應(yīng)于圖1中的顯示部130a以及130b。
輸出圖像處理部34在圖像數(shù)據(jù)播放時，對圖像數(shù)據(jù)執(zhí)行規(guī)定的修飾處理。修飾處理是例如設(shè)想為圖像數(shù)據(jù)的顏色校正等。此外，也可以構(gòu)成為由系統(tǒng)控制部31進行由輸出圖像處理部34進行的對圖像數(shù)據(jù)的處理。
與外部設(shè)備控制部35連接的外部設(shè)備80例如設(shè)想為個人計算機(Personal Computer)等，但不限于此。此外，在外部設(shè)備80和外部設(shè)備控制部35之間，例如設(shè)想為通過USB(UniversalSerial Bus通用串行總線)線纜連接，但是不限于此。外部設(shè)備控制部35控制攝像裝置100和外部設(shè)備80之間的數(shù)據(jù)交換。
網(wǎng)絡(luò)控制部36控制在攝像裝置100和網(wǎng)絡(luò)網(wǎng)90之間交換的數(shù)據(jù)。此外，作為網(wǎng)絡(luò)網(wǎng)設(shè)想為因特網(wǎng)、LAN(Local Area Network局域網(wǎng))，但是不限于此。
圖3是表示本發(fā)明實施方式中的場景檢測功能的結(jié)構(gòu)的圖。該場景檢測功能具備保持運動圖像文件的運動圖像文件保持部231、幀縮小部311、區(qū)域選擇接受部601、模板圖像生成部312、圖像對照部313、場景變化檢測部314、運動圖像文件信息獲取部319、場景信息表320、以及場景時間位置顯示生成部321。
幀縮小部311以規(guī)定的縮小率，縮小構(gòu)成保持在運動圖像文件保持部231中的運動圖像文件的幀。幀縮小部311既可以縮小構(gòu)成運動圖像文件的所有幀，另外，也可以每隔規(guī)定數(shù)縮小按時間序列排列的幀。在運動圖像文件保持部231中保持縮小的幀。
區(qū)域選擇接受部601接受構(gòu)成保持在運動圖像文件保持部231中的運動圖像文件的幀中的任一幀的選擇、以及在該選擇的幀中作為模板圖像而應(yīng)該切出的區(qū)域的選擇。成為在區(qū)域選擇接受部601中接受選擇的對象的幀，也可以是在幀縮小部311中縮小的幀。
模板圖像生成部312從幀中切出作為在區(qū)域選擇接受部601中接受選擇的模板圖像而應(yīng)該切出的區(qū)域，由此生成模板圖像。此外，在區(qū)域選擇接受部601中接受選擇的幀是在幀縮小部311中縮小的幀的情況下，模板圖像生成部312從該縮小的幀中切出作為模板圖像而應(yīng)該切出的區(qū)域。
另外，模板圖像生成部312還生成將通過上述切出而生成的模板圖像以規(guī)定倍率放大以及縮小的圖像。該放大以及縮小的圖像也用作模板圖像。另外，模板圖像生成部312還生成使通過上述切出而生成的模板圖像、放大以及縮小的圖像旋轉(zhuǎn)了規(guī)定角度的圖像。該旋轉(zhuǎn)了規(guī)定角度的圖像也用作模板圖像。
圖像對照部313從運動圖像文件保持部231獲取幀，將該幀分別和模板圖像進行對照，搜索模板圖像類似幀。圖像對照部313，當(dāng)搜索模板圖像類似幀時將其意思通知給幀獲取部315，暫時中止模板圖像類似幀的搜索。
此外，根據(jù)在幀縮小部311中縮小的幀而生成模板圖像的情況下，圖像對照部313從運動圖像文件保持部231獲取的幀是在幀縮小部311中縮小的幀。通過將在幀縮小部311中縮小的幀與模板圖像進行對照，減少模板圖像與幀的對照所需的運算量，因此可進行高速對照。
另外，也可以如下構(gòu)成在圖像對照部313中將模板圖像與由幀縮小部311縮小的幀進行對照，搜索到模板圖像類似幀的候選之后，再次將模板圖像與沒有被縮小的幀進行對照，判斷是否可以將模板圖像類似幀的候選作為模板圖像類似幀來采用。
場景變化檢測部314檢測包含有在圖像對照部313中搜索到的模板圖像類似幀的場景的開始以及結(jié)束，具備幀獲取部315、像素值分布生成部316、分布差分累加值算出部317、以及場景變化判斷部318。
幀獲取部315從運動圖像文件保持部231，獲取在圖像對照部313中搜索到的模板圖像類似幀的前后按時間序列排列的幀。即，幀獲取部315獲取比在圖像對照部313中搜索到的模板圖像類似幀時間上靠前(過去)的幀(以下稱為后方場景幀)、以及比在圖像對照部313中搜索到的模板圖像類似幀時間上靠后(未來)的幀(以下稱為前方場景幀)。也可以設(shè)為在幀獲取部315中先獲取前方場景幀以及后方場景幀的某個。
幀獲取部315在圖像對照部313中搜索到模板幀圖像類似幀的情況下，從圖像對照部313接收其意思的通知。然后，當(dāng)接收該意思的通知時，幀獲取部315從運動圖像文件保持部231開始前方場景幀或者后方場景幀的某個的獲取。
在幀獲取部315中先獲取前方場景幀的情況下，當(dāng)判斷為在后述的場景變化判斷部318中有場景的變化時，將該意思的通知給幀獲取部315。當(dāng)接收該通知時，幀獲取部315中止前方場景幀的獲取，開始后方場景幀的獲取。在開始了后方場景幀的獲取后，當(dāng)判斷為在后述的場景變化判斷部318中有場景的變化并接收該意思的通知時，幀獲取部315中止后方場景幀的獲取。
此外，在幀獲取部315中獲取的幀既可以是沒有在幀縮小部311中被縮小的幀，另外，也可以是在幀縮小部311中被縮小的幀。另外，如上所述，也有在幀縮小部311中每隔規(guī)定數(shù)縮小按時間序列排列的幀的情況。在該情況下，幀獲取部315獲取按時間序列每隔規(guī)定數(shù)排列的被縮小的幀。
像素值分布生成部316生成構(gòu)成由幀獲取部315獲取的幀的各像素的像素值的分布。在此，像素值是指像素的亮度
、色差等，例如相當(dāng)于YUV等。在作為像素值為Y成分(亮度)分配8位的情況下，具有0至255范圍的值。在該情況下，像素值分布生成部316按由幀獲取部315獲取的每個幀生成各像素的Y成分(亮度)。此外，以上將像素值為Y成分(亮度)的情況作為例子進行了說明，但是也同樣能夠生成在像素值為U成分(亮度信號和藍色成分的差)或者為V成分(亮度信號和紅色成分的差)的情況下的分布。
分布差分累加值算出部317算出將時間序列上相鄰的幀中的像素值的分布差分進行累加的分布差分累加值。例如，考慮作為像素值使用了Y成分(亮度)的情況。在該情況下，分布差分累加值算出部317在時間序列上相鄰的幀中，算出例如Y成分(亮度)為0的像素分布的差分。然后，分布差分累加值算出部317對全部Y成分(亮度)的范圍進行該差分的算出，算出將全部差分進行累加得到的分布差分累加值。對在像素值分布生成部316所生成的全部幀進行該處理。此外，以上將像素值為Y成分(亮度)的情況作為例子進行了說明，同樣也能夠生成像素值為U成分(亮度信號和藍色成分的差)或者V成分(亮度信號和紅色成分的差)的情況下的分布。
場景變化判斷部318判斷分布差分累加值是否超過了規(guī)定的閾值。當(dāng)在場景變化判斷部318中判斷為分布差分累加值超過了預(yù)定的閾值時，判斷為在與該分布差分累加值對應(yīng)的時間序列上相鄰的幀中場景發(fā)生了變化，向場景信息表320中寫入與該幀相關(guān)的信息。在與寫入到場景信息表320的該幀有關(guān)的信息中，例如包含該幀的幀號。
此外，在關(guān)于Y成分(亮度)、U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)算出了分布差分累加值的情況下，分布差分累加值存在與Y成分(亮度)相關(guān)的分布差分累加值、與U成分(亮度信號和藍色成分的差)相關(guān)的分布差分累加值、以及與V成分(亮度信號和紅色成分的差)相關(guān)的分布差分累加值，但是在該情況下，關(guān)于各分布差值累加值設(shè)定規(guī)定的閾值。而且，也可以在與Y成分(亮度)相關(guān)的分布差分累加值、與U成分(亮度信號和藍色成分的差)相關(guān)的分布差分累加值、以及與V成分(亮度信號和紅色成分的差)相關(guān)的分布差分累加值的任一個超過對各分布差分累加值設(shè)定的閾值的情況下，與上述相同，判斷為在與該分布差分累加值對應(yīng)的時間序列上相鄰的幀中場景發(fā)生了變化。由此，進行不僅加入了Y成分(亮度)、還加入了U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)的場景的檢測，因此，場景檢測中的精度提高。
在場景變化判斷部318中判斷為有場景變化的情況下，場景變化判斷部318將該意思通知給幀獲取部315以及圖像對照部313。此外，場景變化判斷部318對一個場景判斷場景的開始以及結(jié)束的2次場景變化，因此，對于一個場景進行2次向幀獲取部315以及圖像對照部313的通知。
在獲取部315中，例如在設(shè)定為先獲取后方場景幀的情況下，第1次通知成為表示檢測出場景開始的意思的通知，當(dāng)幀獲取部315接收該通知時，中止后方場景幀的獲取，開始前方場景幀的獲取。然后，第2次通知成為表示檢測出場景結(jié)束的意思的通知，當(dāng)幀獲取部315接收該通知時，中止前方場景幀的獲取。
另外，圖像對照部313即使接收到來自場景變化判斷部318的第1次通知，也不特別地進行任何處理，但是，當(dāng)接收到第2次通知時，開始暫時中止的模板圖像類似幀的搜索。在該情況下，在圖像對照部313中開始對照的幀是與場景的結(jié)束對應(yīng)的幀的下一幀。
運動圖像文件信息獲取部319從保持在運動圖像文件保持部231中的運動圖像文件，獲取包含與對應(yīng)于運動圖像文件的運動圖像的開始以及結(jié)束有關(guān)的信息的運動圖形文件信息。然后，運動圖像文件信息獲取部319將獲取到的運動圖像文件信息寫入場景信息表320中。此外，作為與對應(yīng)于運動圖像文件的運動圖像的開始以及結(jié)束有關(guān)信息，例如設(shè)想為運動圖像文件的開始幀號以及結(jié)束幀號、構(gòu)成與運動圖像文件對應(yīng)的運動圖像的總幀數(shù)，但并不限于此。
場景信息表320將由運動圖像文件信息獲取部319獲取的運動圖像文件信息、以及與由場景變化檢測部314檢測出的場景的開始以及結(jié)束有關(guān)的信息，與每個運動圖像文件相對應(yīng)地保持。此外，作為與由場景變化檢測部314檢測出的場景的開始以及結(jié)束有關(guān)的信息，例如設(shè)想為場景的開始幀號以及結(jié)束幀號，但并不限于此。
場景時間位置顯示生成部321根據(jù)與保持在場景信息表320中的運動圖像文件對應(yīng)的運動圖像的開始及結(jié)束有關(guān)的信息、以及與場景的開始及結(jié)束有關(guān)的信息，生成表示場景相對于運動圖像被播放的整個時間的時間位置的顯示即場景時間位置顯示。
此外，在與運動圖像文件對應(yīng)的運動圖像中檢測多個場景、某個場景的最后幀與其他場景的開始幀在時間序列上相鄰的情況下，場景時間位置生成部321也可以將這兩個場景結(jié)合，作為一個場景生成場景時間位置顯示。
圖4是表示在本發(fā)明的實施方式中選擇模板圖像的區(qū)域的樣子的圖。圖4的(a)是表示播放運動圖像文件的樣子的圖。當(dāng)選擇播放按鈕621時，在運動顯示部611中播放運動圖像文件，當(dāng)選擇停止按鈕622時，停止運動圖像文件的播放。進行快進的情況下選擇快進按鈕624，進行后退的情況下選擇后退按鈕625。
在播放運動圖像文件時發(fā)現(xiàn)了包含所希望的圖像的幀的情況下，選擇停止按鈕622。由此，在運動圖像顯示部611中顯示當(dāng)選擇了停止按鈕622時所顯示的幀。而且，在想要顯示其他幀的情況下，選擇播放按鈕621、快進按鈕624以及后退按鈕625顯示所希望的幀。
在運動圖像顯示部611中顯示了包含所希望的圖像的幀后，選擇區(qū)域按鈕623時，在顯示畫面600中顯示如圖4的(b)所示的區(qū)域選擇圖像顯示612。此外，在本發(fā)明的實施方式中，作為操作方式，設(shè)想為通過直接按下顯示畫面進行操作輸入的觸摸面板方式，但是并不限于此。
圖4的(b)是表示在進行圖4的(a)所述的操作后選擇幀區(qū)域的樣子的圖。顯示在區(qū)域選擇圖像顯示612中的幀區(qū)域的選擇，例如利用觸筆501選擇點613之后，利用觸筆502選擇點614。當(dāng)利用觸筆502選擇點614時，顯示以將點613和點614連接的線設(shè)為對角線的區(qū)域615。包含有在該選擇的區(qū)域615中的圖像成為模板圖像。
在表示區(qū)域615之后選擇OK按鈕626時，生成模板圖像。另一方面，在顯示區(qū)域615之后選擇不同的區(qū)域的情況下，選擇返回按鈕627，再次對顯示在區(qū)域選擇圖像顯示612中的幀進行與上述相同的處理，由此選擇區(qū)域。
圖5是表示在本發(fā)明實施方式中的模板圖像生成的情形的圖。當(dāng)選擇幀中的區(qū)域時，在模板圖像生成部312中切出幀中的被選擇的區(qū)域，生成圖5的(a)所示的模板圖像631。
另外，模板圖像生成部312還生成將模板圖像631放大以及縮小的圖像即模板圖像631a至631d。模板圖像631a至631d，設(shè)想為分別將模板圖像631設(shè)為1.21倍、1.1倍、1.0倍、0.909倍、0.826倍。此外，在圖5的(a)中，除模板圖像631以外的模板圖像數(shù)據(jù)只有4個，但不限于此，也可以有任意個。
在此，1.21、1.1、1.0、0.909、0.826的數(shù)列是(1.1)2、(1.1)1、(1.1)0、(1.1)-1、(1.1)-2，即，是公比為1.1的等比數(shù)列。此外，使公比變大時，使用模板圖像進行圖像檢索時產(chǎn)生檢索遺漏的可能性變高，另一方面，使公比變小時，使用模板圖像進行圖像檢索時產(chǎn)生增加計算量的弊病。為此，公比最好是1.1左右，但是不限于此，例如也可以是1.09或1.2等。
另外，作為模板圖像，不僅是放大以及縮小模板圖像631后的圖像數(shù)據(jù)，也可以如圖5的(b)所示生成進一步旋轉(zhuǎn)后的模板圖像632。
圖6是表示將幀633和模板圖像631進行對照的樣子的圖。在從幀633搜索與模板圖像631類似的部分時，將模板圖像631和幀633進行對照。對照的結(jié)果，如果在幀633中存在與模板圖像631一致或者類似的部分，則該幀633被判斷為在圖1中說明的模板圖像類似幀。
將模板圖像631和幀633進行對照時，如圖6所示，例如從幀633的左上端開始進行對照。然后，例如在圖6所示的右箭頭方向上每次移動規(guī)定像素(例如，1個像素)，對模板圖像631和幀633進行對照。此時，例如利用使用互相關(guān)函數(shù)，進行與模板圖像631類似的圖像是否包含在幀633中的評價。在利用該互相關(guān)函數(shù)計算出的值超過規(guī)定閾值的情況下，評價為與模板圖像631類似的圖像包含在幀633中。
當(dāng)移動規(guī)定像素、到達右端而結(jié)束對照時，接著朝著下箭頭移動規(guī)定像素(例如1個像素)，從左端起直到右端為止進行模板圖像631和幀633的對照。另外，從幀633搜索與模板圖像631類似的部分時，除模板圖像631以外，對于放大以及縮小圖5所述的模板圖像631后的模板圖像631a至631d、以及將模板圖像631旋轉(zhuǎn)規(guī)定角度后的模板圖像632，也進行上述說明的對照。
此外，作為從幀633搜索與模板圖像631類似的部分的方法，除如上所述對幀633的所有部分進行對照以外，也可以利用遺傳算法(GAGenetic Algorithm
)在幀633中搜索與模板圖像631類似的部分。
圖7是表示本發(fā)明實施方式中的場景檢測的樣子的圖。首先，從對通過用戶的選擇而生成的模板圖像631和構(gòu)成運動圖像文件的幀進行對照，開始本發(fā)明實施方式中的場景檢測。對照的結(jié)果如圖7的(a)所示，在幀633的區(qū)域633a中搜索到與模板圖像631類似的圖像時，該幀633被設(shè)為模板圖像類似幀。
圖7的(b)是表示模板圖像類似幀與幀檢測的樣子的圖。在圖7的(a)中，當(dāng)搜索到與模板圖像631對應(yīng)的模板圖像類似幀即幀633時，接著進行如下處理分析在幀633的前后按時間序列排列的幀，檢測場景發(fā)生變化的幀。
在該情況下，在幀獲取部315中，例如獲取比幀633在時間上靠前(過去)的后方場景幀634a，在像素值分布生成部316中生成構(gòu)成后方場景幀634a的各像素的像素值分布。然后，在幀獲取部315中進一步獲取后方場景幀634b，同樣在像素值分布生成部316中生成構(gòu)成后方場景幀634b的各像素的像素值的分布。
其次，在分布差分累加值算出部317中，算出構(gòu)成后方場景幀634a的各像素的像素值分布與構(gòu)成后方場景幀634b的各像素的像素值分布的差分的累加值即分布差分累加值。在場景變化判斷部318中判斷該分布差分累加值是否超過了規(guī)定的閾值。
關(guān)于后方場景幀634c至634f，也依次進行以上的處理。接著，在場景變化判斷部318中判斷為后方場景幀634e和后方場景幀634f的分布差分累加值超過了規(guī)定閾值時，后方場景幀634e被判斷為場景的開始幀。
當(dāng)檢測出場景的開始幀時，接著進行場景的結(jié)束幀的檢測處理。在該情況下，在幀獲取部315中，獲取比幀633在時間上靠后(未來)的前方場景幀635a至前方場景幀635h，在前方場景幀635a至前方場景幀635h中，也進行與在后方場景幀634a至634f中說明的處理相同的處理。
然后，在場景變化判斷部318中判斷為前方場景幀635g和前方場景幀635h的分布差分累加值超過了規(guī)定的閾值時，前方場景幀635g被判斷為場景的結(jié)束幀。
由此，檢測出將從后方場景幀634f到幀633構(gòu)成的后方場景幀和從幀633到前方場景幀635g構(gòu)成的前方場景幀設(shè)為一體的一個場景。
當(dāng)檢測出一個場景時，為了搜索下一場景，再次開始模板圖像和幀的對照。在該情況下，與模板圖像開始對照的幀，從場景的最后幀的下一幀開始進行。在圖7的(b)中場景的最后幀是前方場景幀635g，因此開始進行與模板圖像631的對照的幀是前方場景幀635h。
圖8是表示本發(fā)明實施方式中的構(gòu)成幀的各像素的像素值的分布的生成的樣子的圖。圖8的(a)是表示在時間序列上連續(xù)的排列在第n個的幀636a和排列在第n+1個的幀636b。
由幀獲取部315獲取幀636a時，在像素值分布生成部316中生成構(gòu)成幀636a的各像素的像素值的分布。在圖8的(b)中示出作為像素值考慮了亮度的情況下的各像素的亮度分布的一例。在下面敘述該圖8的(b)所示的各像素的亮度分布的生成方法的一例。首先，分析從圖8的(a)中示出的幀636a的像素a1到k8的各像素的亮度。通過分析各像素中的亮度來求出幀636a的像素a1到k8的各像素的亮度，接著按每個亮度進行整理求出呈現(xiàn)各亮度的像素的數(shù)量。即，分別求出亮度為0的像素的數(shù)量至亮度為255的像素的數(shù)量。由此，如圖8的(b)那樣生成橫軸為亮度x、縱軸為與亮度x對應(yīng)的像素的數(shù)量Hn(x)的各像素的亮度分布。
同樣地，由幀獲取部315獲取幀636b時，在像素值分布生成部316中生成構(gòu)成幀636b的各像素的像素值的分布。在圖8的(c)中示出作為像素值考慮了亮度的情況下的各像素的亮度分布的一例。在圖8的(c)的情況下也與圖8的(b)的情況同樣，如圖8的(c)那樣生成橫軸為亮度x、縱軸為與亮度x對應(yīng)的像素的數(shù)量Hn+1(x)的各像素的亮度分布。
然后，在分布差分累加值算出部317中根據(jù)以下的式1所示的式子，算出與亮度有關(guān)的分布差分累加值FHD。此外，式1對于所有的像素值，對與任意幀中的亮度x對應(yīng)的像素的數(shù)量Hn(x)和與該任意幀在時間序列上相鄰的幀中的亮度x對應(yīng)的像素的數(shù)量Hn+11(x)的差的絕對值進行累加。
式1FHD=Σx|Hn+1(x)-Hn(x)|]]>在與該亮度有關(guān)的分布差分累加值FHD超過規(guī)定閾值的情況下，判斷為在與該亮度有關(guān)的分布差分累加值FHD所對應(yīng)的幀中有場景的變化，檢測出場景的開始或者結(jié)束。
此外，在圖8中，說明了作為像素值考慮了亮度的情況，但是在作為像素值考慮了色差的情況下，也能夠利用相同的方法生成各像素的色差的分布，算出與色差有關(guān)的分布差分累加值FHD。在設(shè)為算出與亮度有關(guān)的分布差分累加值FHD和與色差有關(guān)的分布差分累加值FHD的結(jié)構(gòu)的情況下，如果對與亮度有關(guān)的分布差分累加值FHD和與色差有關(guān)的分布差分累加值FHD設(shè)定各自的閾值，則能夠檢測適當(dāng)考慮了亮度和色差的場景變化。
圖9是表示作為構(gòu)成運動圖像文件的幀的集合的幀組與縮小的幀之間的對應(yīng)的圖。在幀縮小部311中縮小的幀既可以如在圖3中所述，是構(gòu)成運動圖像文件的所有幀，也可以如在圖9中所示，是構(gòu)成運動圖像文件的幀的一部分。
例如，在幀縮小部311中縮小每隔3個排列的幀637a至637h，生成縮小幀638a至638h。在該情況下，在運動圖像文件保持部231中保持幀組以及縮小幀638a至638h。
如上所述，使用該縮小的幀進行圖像的對照、算出分布差分累加值的情況下，像素的數(shù)量減少，因此圖像對照部313、像素值分布生成部316以及分布差分累加值算出部317中的運算量也被減少。由此，可進行高速的場景檢測。
圖10是表示本發(fā)明實施方式中的場景信息表320的內(nèi)容的圖。場景信息表320包含表示運動圖像文件的文件名的文件名3201、總幀數(shù)3202、以及場景信息3210。
總幀數(shù)3202是構(gòu)成與運動圖像文件對應(yīng)的運動圖像的幀的總數(shù)。該總幀數(shù)3202是表示運動圖像文件的播放時間的信息。另外，也可以是如下的結(jié)構(gòu)作為表示運動圖像的播放時間的信息，取代總幀數(shù)3202，在場景信息表320中保持與運動圖像文件對應(yīng)的運動圖像的開始幀號以及結(jié)束幀號。
場景信息3210是與在構(gòu)成運動圖像文件的運動圖像中包含的場景的開始和結(jié)束有關(guān)的信息。作為與在構(gòu)成該運動圖像文件的運動圖像中包含的場景的開始和結(jié)束有關(guān)的信息，設(shè)想為場景的開始幀號以及結(jié)束幀號。保持與場景的數(shù)量相當(dāng)?shù)脑搱鼍靶畔?210。
圖11是表示本發(fā)明實施方式中的場景時間位置顯示的圖。圖11的(a)是表示顯示在顯示畫面600中的場景時間位置顯示組640的圖。在圖4的(b)中，在選擇幀的區(qū)域之后選擇OK按鈕626時，進行場景檢測等的處理，顯示畫面600如圖11的(a)所示，顯示場景時間位置顯示組640。
在圖11的(a)中，作為顯示的一例，使得一次顯示與3個運動圖像文件對應(yīng)的場景時間位置顯示641至643。對保持在運動圖像文件保持部231中的所有的運動圖像文件進行場景檢測，生成與運動圖像文件的數(shù)量相當(dāng)?shù)膱鼍皶r間位置顯示。在圖11的(a)中，作為場景時間位置顯示組640，顯示相對于文件A的場景時間位置顯示641、相對于文件B的場景時間位置顯示642、以及相對于文件C的場景時間位置顯示643。
關(guān)于其他的運動圖像文件，在想要顯示場景時間位置顯示的情況下，選擇“下一步”按鈕651或者“返回”按鈕652時，例如在顯示畫面600中顯示對(未圖示)文件D的場景時間位置顯示等。然后，在場景時間位置顯示組640中選擇了被著色顯示的部分的某一個之后選擇播放按鈕653時，播放與該場景對應(yīng)的運動圖像。
圖11的(b)是表示與顯示在場景時間位置顯示組640中的文件A對應(yīng)的場景時間位置顯示641的結(jié)構(gòu)的圖。場景時間位置顯示641中的從開始位置661到結(jié)束位置662為止的長度是文件A的總播放時間。
在文件A中檢測出2個場景，首先，場景#1的663a表示在構(gòu)成運動圖像文件的幀中作為模板圖像類似幀而搜索到的幀的位置。另外，場景#1的664a表示場景#1的結(jié)束幀的位置。另外，場景#1的665a表示場景#1的開始幀的位置。由用從665a到663a為止的長度來表示的后方場景、和用從663a到664a為止的長度來表示的前方場景構(gòu)成了場景#1。
關(guān)于場景#2也相同，場景#2的663b表示在構(gòu)成運動圖像文件的幀中作為模板圖像類似幀而搜索到的幀的位置。另外，場景#2的664b表示場景#2的結(jié)束幀的位置。另外，場景#2的665b表示場景#2的開始幀的位置。由用從665b到663b為止的長度來表示的后方場景、和用從663b到664b為止的長度來表示的前方場景構(gòu)成場景#2。
圖12是表示本發(fā)明實施方式中的場景結(jié)合的樣子的圖。在圖12的(a)所示的場景信息表320中，場景#1的結(jié)束幀號和場景#2的開始幀號連續(xù)。根據(jù)該場景信息表320生成的場景時間位置顯示是圖12的(b)所示的場景時間位置顯示670。
在該場景時間位置顯示670中，場景#1的開始幀的位置是位置673，結(jié)束幀的位置是位置674。另外，場景#2的開始幀的位置是位置674、結(jié)束幀的位置是位置675。這樣，在2個幀連續(xù)的情況下，由于各種原因一個場景被分成二個場景的可能性很高。因此，在二個場景連續(xù)的情況下，最好將該二個場景合起來作為一個場景進行處理。
因此，在本發(fā)明的實施方式中，在二個場景連續(xù)的情況下，將二個場景作為一個場景進行處理。具體地說，存在如圖12的(a)的場景信息表320的情況下，在場景時間位置顯示生成部321中，如圖12的(c)那樣，重寫場景信息表。即，將場景#1的結(jié)束幀號重寫為場景#2的結(jié)束幀號，消除場景#2。由此，根據(jù)該場景信息表320生成的場景時間位置顯示只顯示一個場景。
此外，也可以如下構(gòu)成不像圖12的(c)那樣，重寫場景信息表320的內(nèi)容，而是在二個場景連續(xù)的情況下，作為一個場景，在場景時間位置顯示生成部321中生成圖12的(d)所示的場景時間位置顯示。
接著，參照

本發(fā)明實施方式中的攝像裝置100的動作。
圖13是表示本發(fā)明實施方式中的場景檢測的流程的圖。首先，在從構(gòu)成運動圖像文件的幀接受所希望的幀的選擇之后，接受該幀的區(qū)域的選擇(步驟S911)。根據(jù)在步驟S911中選擇的區(qū)域，在模板圖像生成部312中生成模板圖像(S912)。具體地說，通過從幀中切出在模板圖像生成部312中選擇的區(qū)域來生成模板圖像。另外，將該切出的圖像放大或縮小的圖像也作為模板圖像生成。
其次，圖像對照部313從在運動圖像文件保持部231中保持的運動圖像文件，獲取應(yīng)該與模板圖像對照的幀(步驟S913)。在本發(fā)明的實施方式中，作為應(yīng)該與模板圖像對照的幀而獲取的幀有2種。第1種是位于場景的結(jié)束幀下一個的幀。該幀是在進行了場景檢測的情況下獲取的。第2種是位于剛剛進行了對照的幀的下一個的幀。該幀是在圖像對照部313中沒有搜索到模板圖像類似幀的情況下獲取的。然后，圖像對照部313將在步驟S913中獲取的幀與模板圖像進行對照(步驟S914)。
在步驟S914中的對照之后，在圖像對照部313中判斷幀中的任意圖像和模板圖像之間的類似的程度(評分)是否超過了規(guī)定的閾值(步驟S915)。當(dāng)判斷為幀中的圖像和模板圖像之間的類似的程度(評分)超過了規(guī)定閾值時，場景變化檢測部314獲取在該幀之前按時間序列排列的幀，進行場景開始的幀的檢測(步驟S916)。
其次，場景變化檢測部314獲取在該幀之后按時間序列排列的幀，進行結(jié)束場景的幀的檢測(步驟S917)。通過以上的步驟S916以及917的處理，檢測出場景的開始和結(jié)束，檢測出一個場景。此外，步驟S916和步驟S917，先進行哪一個都可以。
其次，判斷在步驟S916中檢測出的場景的最后幀是否是運動圖像文件的最后幀(步驟S918)。當(dāng)判斷為在步驟S916被檢測出的場景的最后幀不是運動圖像文件的最后幀時，在步驟S913中獲取場景的最后幀的下一幀，進行步驟S914之后的處理。
另一方面，當(dāng)判斷為該場景的最后幀是運動圖像文件的最后幀時，判斷在運動圖像文件保持部231中是否保持了沒有進行從步驟S913到917為止的處理的運動圖像文件(步驟S919)。當(dāng)判斷為在運動圖像文件保持部231中保持了沒有進行從步驟S913到917為止的處理的運動圖像文件時，返回到步驟S913。另一方面，當(dāng)判斷為在運動圖像文件保持部231中未保持沒有進行從步驟S913到917為止的處理的運動圖像文件時，結(jié)束場景檢測處理。
另外，在步驟S915中，當(dāng)判斷為在圖像對照部313中幀中的圖像和模板圖像之間的類似的程度(評分)沒有超過規(guī)定的閾值時，該幀不被設(shè)為模板圖像類似幀，不進行步驟S916以及917的場景檢測處理。在該情況下，接著判斷在步驟S914中進行對照的幀是否是運動圖像文件的最后幀(步驟S918)。
當(dāng)判斷為在步驟S914進行對照的幀不是運動圖像文件的最后幀時，返回步驟S913，獲取位于該幀的下一個的幀，進行步驟S914及其后的處理。另一方面，當(dāng)判斷為在步驟S914中進行對照的幀是運動圖像文件的最后幀時，在步驟S919中判斷是否存在沒有進行從步驟S913到917為止的處理的運動圖像文件。步驟S919中的處理如上所述。
這樣，根據(jù)本發(fā)明的實施方式，可通過在區(qū)域選擇接受部601中選擇在構(gòu)成運動圖像文件的任一幀中包含的對象物，生成模板圖像，可根據(jù)幀的各像素的像素值的分布，由場景變化檢測部314檢測在該模板圖像中包含的對象物出現(xiàn)的一個場景。然后，根據(jù)幀的各像素的像素值的分布進行場景的檢測，由此能夠進行基于人的視覺性感覺的場景檢測，因此，在運動圖像中能夠準(zhǔn)確地檢測出作為目標(biāo)的對象物出現(xiàn)的一個場景。另外，利用幀縮小部311來縮小在檢測中使用的幀，由此能夠減少圖像對照部313中的包含與模板圖像類似的圖像的幀的搜索處理的運算量、以及場景變化檢測部314中的場景變化檢測處理的運算量，因此可進行高速的場景檢測。
此外，在本發(fā)明的實施方式中，以攝像裝置為例進行了說明，但是在能夠進行其他圖像處理的電子設(shè)備中可應(yīng)用本發(fā)明。
此外，本發(fā)明的實施方式表示用于具體實現(xiàn)本發(fā)明的一例，與如下所示的權(quán)利要求書中的發(fā)明特定事項分別具有對應(yīng)關(guān)系，但是不限于此，在不超出本發(fā)明要旨的范圍內(nèi)能夠?qū)嵤┓N種變形。
此外，在權(quán)利要求1中，運動圖像文件保持單元例如對應(yīng)于運動圖像文件保持部231。另外，區(qū)域選擇接受單元例如對應(yīng)于區(qū)域選擇接受部601。另外，模板圖像生成單元例如對應(yīng)于模板圖像生成部312。另外，圖像對照單元例如對應(yīng)于圖像對照部313。另外，場景變化檢測單元例如對應(yīng)于場景變化檢測部314。
另外，在權(quán)利要求3中，幀獲取單元例如對應(yīng)于幀獲取部315。另外，像素值分布生成單元例如對應(yīng)于像素值分布生成部316。另外，分布差分累加值算出單元例如對應(yīng)于分布差分累加值算出部317。另外，場景變化判斷單元例如對應(yīng)于場景變化判斷部318。
另外，在權(quán)利要求6中，幀縮小單元例如對應(yīng)于幀縮小部311。
另外，在權(quán)利要求8中，運動圖像文件信息獲取單元例如對應(yīng)于運動圖像文件信息獲取部319。另外，場景信息表例如對應(yīng)于場景信息表320。另外，場景時間位置顯示生成單元例如對應(yīng)于場景時間位置顯示生成部321。
另外，在權(quán)利要求11中，攝像單元例如對應(yīng)于攝像部10。運動圖像文件保持單元例如對應(yīng)于運動圖像文件保持部231。另外，區(qū)域選擇接受單元例如對應(yīng)于區(qū)域選擇接受部601。另外，模板圖像生成單元例如對應(yīng)于模板圖像生成部312。另外，圖像對照單元例如對應(yīng)于圖像對照部313。另外，場景變化檢測單元例如對應(yīng)于場景變化檢測部314。運動圖像文件信息獲取單元例如對應(yīng)于運動圖像文件信息獲取部319。另外，場景信息表例如對應(yīng)于場景信息表320。另外，場景時間位置顯示生成單元例如對應(yīng)于場景時間位置顯示生成部321。另外，顯示單元例如對應(yīng)于顯示部61。
另外，在權(quán)利要求12以及13中，運動圖像文件保持單元例如對應(yīng)于運動圖像文件保持部231。另外，區(qū)域選擇接受過程例如對應(yīng)于步驟S911。另外，模板圖像生成過程例如對應(yīng)于步驟S912。另外，圖像對照過程例如對應(yīng)于步驟S913至915。另外，場景變化檢測過程例如對應(yīng)于步驟S916以及917。
此外，在本發(fā)明的實施方式中所述的處理過程可以理解為具有這些一系列過程的方法，另外，也可以理解為用于使計算機執(zhí)行這些一系列過程的程序以及存儲該程序的記錄介質(zhì)。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備運動圖像文件保持單元，其保持運動圖像文件；區(qū)域選擇接受單元，其接受對構(gòu)成上述運動圖像文件的幀的任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，將接受上述選擇的區(qū)域的圖像作為模板圖像生成；圖像對照單元，其從上述運動圖像文件保持單元獲取上述幀，將各上述幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的幀；以及場景變化檢測單元，其檢測場景的開始以及結(jié)束，其中，該場景包含有在上述圖像對照單元中搜索到的幀。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述圖像對照單元在上述幀的獲取中，從上述運動圖像文件保持單元獲取按時間序列每隔規(guī)定數(shù)排列的幀。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，上述場景變化檢測單元具備幀獲取單元，其從上述運動圖像文件保持單元獲取在上述圖像對照單元中搜索到的幀的前后按時間序列排列的幀；像素值分布生成單元，其生成構(gòu)成由上述幀獲取單元獲取的幀的各像素的像素值的分布；分布差分累加值算出單元，其算出將上述時間序列上相鄰的幀中的上述像素值的分布的差分進行累加得到的分布差分累加值；以及場景變化判斷單元，其判斷上述分布差分累加值是否超過規(guī)定閾值，在上述分布差分累加值超過規(guī)定閾值的情況下，設(shè)為上述場景發(fā)生了變化，將與超過上述規(guī)定閾值的上述分布差分累加值對應(yīng)的幀判斷為上述場景的開始幀或者結(jié)束幀。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，上述幀獲取單元從上述運動圖像文件保持單元，獲取在上述圖像對照單元中搜索到的幀的前后按時間序列每隔規(guī)定數(shù)排列的幀。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，上述像素值分布生成單元使用作為上述像素值利用YUV來表示的量，生成構(gòu)成由上述幀獲取單元獲取的幀的各像素的YUV的各個成分的分布，上述分布差分累加值算出單元，對上述YUV的每個成分算出對與上述時間序列上相鄰的幀中的上述YUV的各個成分相關(guān)的分布的差分進行累加得到的Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值，作為上述分布差分累加值，上述場景變化判斷單元分別對上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值判斷是否超過所設(shè)定的上述規(guī)定閾值，在上述Y成分分布差累加值、U成分分布差累加值以及V成分分布差累加值的任一個超過規(guī)定閾值的情況下，設(shè)為上述場景發(fā)生了變化，將與超過上述規(guī)定閾值的上述Y成分分布差累加值、U成分分布差累加值或者V成分分布差累加值對應(yīng)的幀判斷為上述場景的開始幀或者結(jié)束幀。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備幀縮小單元，該幀縮小單元縮小構(gòu)成上述運動圖像文件的幀，上述運動圖像文件保持單元還保持在上述幀縮小單元中縮小的幀，上述區(qū)域選擇接受單元接受對上述縮小的幀的任一個的規(guī)定區(qū)域的選擇，上述圖像對照單元將上述縮小的幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的上述縮小的幀，上述場景變化檢測單元檢測場景的開始以及結(jié)束，其中，該場景包含利用上述縮小的幀在上述圖像對照單元中搜索到的縮小的幀。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，上述幀縮小單元每隔規(guī)定數(shù)縮小按時間序列排列的上述幀。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，還具備運動圖像文件信息獲取單元，其從保持在上述運動圖像文件保持單元中的上述運動圖像文件，獲取包含與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息的運動圖像文件信息；場景信息表，其將由上述運動圖像文件信息獲取單元獲取的上述運動圖像文件信息、以及與由上述場景變化檢測單元檢測出的上述場景的開始以及結(jié)束相關(guān)的信息，與每個上述運動圖像文件相對應(yīng)地保持；場景時間位置顯示生成單元，其根據(jù)與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息、以及與上述場景的開始以及結(jié)束相關(guān)的信息，生成表示上述場景相對于上述運動圖像被播放的整個時間的時間位置的顯示即場景時間位置顯示。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，上述運動圖像文件信息獲取單元，作為與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息，獲取在上述運動圖像文件中包含的幀數(shù)，上述場景信息表，作為與由上述場景檢測單元檢測出的上述場景的開始以及結(jié)束相關(guān)的信息，保持上述場景的開始幀號以及結(jié)束幀號，上述場景時間位置顯示生成單元根據(jù)在上述運動圖像文件中包含的幀數(shù)、上述場景的開始幀號以及結(jié)束幀號，生成上述場景時間位置顯示。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于，上述場景時間位置顯示生成單元在前一場景的結(jié)束以及下一場景的開始連續(xù)的情況下，將上述前一場景以及上述下一場景作為一個場景，生成上述場景時間位置顯示。
11.一種圖像處理裝置，其特征在于，具備攝像單元，其拍攝被攝體生成運動圖像文件；運動圖像文件保持單元，其保持上述運動圖像文件；區(qū)域選擇接受單元，其接受對構(gòu)成上述運動圖像文件的幀的任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，其將接受上述選擇的區(qū)域的圖像作為模板圖像生成；圖像對照單元，其從上述運動圖像文件保持單元獲取上述幀，將各上述幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的幀；場景變化檢測單元，其檢測場景的開始以及結(jié)束，其中，該場景包含有在上述圖像對照單元中搜索到的幀；運動圖像文件信息獲取單元，其從保持在上述運動圖像文件保持單元中的上述運動圖像文件，獲取包含與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息的運動圖像文件信息；場景信息表，其將由上述運動圖像文件信息獲取單元獲取的上述運動圖像文件信息、以及與由上述場景變化檢測單元檢測出的上述場景的開始以及結(jié)束相關(guān)的信息，與每個上述運動圖像文件相對應(yīng)地保持；場景時間位置顯示生成單元，其根據(jù)與對應(yīng)于上述運動圖像文件的運動圖像的開始以及結(jié)束相關(guān)的信息、以及與上述場景的開始以及結(jié)束相關(guān)的信息，生成表示上述場景對上述運動圖像被播放的整個時間的時間位置的顯示即場景時間位置顯示；以及顯示單元，顯示上述場景時間位置顯示。
12.一種處理方法，是具備保持運動圖像文件的運動圖像文件保持單元的圖像處理裝置中的處理方法，其特征在于，具備區(qū)域選擇接受過程，接受對構(gòu)成上述運動圖像文件的幀的任一個的規(guī)定區(qū)域的選擇；模板圖像生成過程，將接受上述選擇的區(qū)域的圖像作為模板圖像生成；圖像對照過程，從上述運動圖像文件保持單元獲取上述幀，將各上述幀與上述模板圖像進行對照，搜索包含與上述模板圖像類似的圖像的幀；以及場景變化檢測過程，檢測場景的開始以及結(jié)束，其中，該場景包含有在上述圖像對照單元中搜索到的幀。
全文摘要
提供一種圖像處理裝置。在運動圖像中準(zhǔn)確地檢測作為目標(biāo)的對象物出現(xiàn)的一個場景。在區(qū)域選擇接受部(601)中，接受構(gòu)成在運動圖像文件保持部(231)中保持的運動圖像的任一幀以及該幀的區(qū)域選擇。根據(jù)選擇的幀以及該幀的區(qū)域，模板圖像生成部(312)生成模板圖像。圖像對照部(313)從運動圖像文件保持部(231)搜索包含有與模板圖像類似的圖像的幀。當(dāng)搜索到包含有與模板圖像類似的圖像的幀時，場景變化檢測部(314)獲取在該幀前后按時間序列排列的幀，算出相鄰的幀中的各像素的像素值的分布差分的累加值。在該累加值超過了規(guī)定閾值的情況下，設(shè)為有場景變化而檢測出場景。
文檔編號H04N5/76GK1949271SQ20061014112
公開日2007年4月18日 申請日期2006年10月11日 優(yōu)先權(quán)日2005年10月11日
發(fā)明者小川要 申請人:索尼株式會社