專利名稱：：會(huì)議信息處理裝置和方法以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及會(huì)議信息處理裝置、會(huì)議信息處理方法以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
背景技術(shù)：
：已存在與會(huì)議記錄相關(guān)的多種傳統(tǒng)技術(shù)，例如用于對(duì)會(huì)議視頻進(jìn)行索引以備將來使用的技術(shù)、用于分析會(huì)議視頻圖像的技術(shù)、用于對(duì)會(huì)議視頻進(jìn)行概要處理的技術(shù)以及用于根據(jù)預(yù)定的模式和規(guī)則對(duì)會(huì)議視頻進(jìn)行概要處理的技術(shù)。這些傳統(tǒng)技術(shù)僅在物理事件級(jí)別上實(shí)施。但是，在要通過任何上述傳統(tǒng)技術(shù)來處理會(huì)議過程中捕獲的圖像數(shù)據(jù)的情況下，不能對(duì)會(huì)議參加者的各種動(dòng)作進(jìn)行適當(dāng)?shù)乃饕?，并且不能為在?huì)議之后觀看會(huì)議視頻的那些人提供有用的會(huì)議視頻。此外，這些傳統(tǒng)技術(shù)甚至沒有公開特別重要的動(dòng)作。該方法也不能根據(jù)不同的應(yīng)用目的而提供不同的會(huì)議視頻概要。
發(fā)明內(nèi)容鑒于上述情況提出了本發(fā)明，并且本發(fā)明提供了一種會(huì)議信息處理裝置和會(huì)議信息處理方法，以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中消除了上述缺點(diǎn)。根據(jù)本發(fā)明的一個(gè)方面，提供了一種會(huì)議信息處理裝置，其具有提取單元，用于從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息，所述部分會(huì)議音頻和/或可視信息還包含會(huì)議參加者的一個(gè)或多個(gè)物理事件。此外，該裝置還具有提供單元，用于根據(jù)從一個(gè)或更多個(gè)物理事件中摘錄的功能性動(dòng)作來為所述部分會(huì)議音頻和/或可視信息提供索引。根據(jù)本發(fā)明的另一方面，提供了一種會(huì)議信息處理方法。該方法包括以下步驟從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息；以及根據(jù)從會(huì)議參加者的一個(gè)或更多個(gè)物理事件中摘錄的功能性動(dòng)作來為所述部分會(huì)議音頻和/或可視信息提供索引。根據(jù)本發(fā)明的另一方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該存儲(chǔ)介質(zhì)存儲(chǔ)有可由計(jì)算機(jī)執(zhí)行的指令程序，以執(zhí)行包括以下步驟的功能從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息，所述會(huì)議音頻和/或可視信息包含會(huì)議參加者的一個(gè)或多個(gè)物理事件；以及根據(jù)從一個(gè)或多個(gè)物理事件摘錄的功能性動(dòng)作來為所述部分會(huì)議音頻和/或可視信息提供索引?；谝韵赂綀D對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說明，其中圖1是表示根據(jù)本發(fā)明的會(huì)議信息處理裝置的方框圖；圖2表示以分級(jí)方式表述會(huì)議參加者的動(dòng)作的可視化數(shù)據(jù)；圖3是由圖1中所示的索引提供單元提供的圖形用戶界面的示例畫面；圖4表示功能性動(dòng)作的二維圖形表述的示例；圖5是以XML數(shù)據(jù)的形式表述的索引數(shù)據(jù)集的前半部分；圖6是以XML數(shù)據(jù)的形式表述的索引數(shù)據(jù)集的后半部分；圖7是會(huì)議記錄處理的流程圖；圖8是圖7中所示的概要規(guī)則生成步驟的詳細(xì)過程的流程圖；圖9是表示其中三個(gè)人參加會(huì)議并且如本發(fā)明第一實(shí)施例中那樣對(duì)各個(gè)參加者的功能性動(dòng)作進(jìn)行定義的情況的時(shí)間線圖；圖10表示持續(xù)時(shí)間比預(yù)定閾值長(zhǎng)的功能性動(dòng)作以及持續(xù)時(shí)間比預(yù)定閾值短的功能性動(dòng)作；圖11是索引顯示操作的流程圖；圖12表示在功能層和介質(zhì)層中的圖像數(shù)據(jù)結(jié)構(gòu)的示例；圖13是功能性動(dòng)作“發(fā)言”的時(shí)間線圖；圖14是功能性動(dòng)作持續(xù)時(shí)間確定處理的流程圖；圖15是功能性動(dòng)作持續(xù)時(shí)間確定處理的更詳細(xì)的流程圖；圖16是功能性動(dòng)作“獲得發(fā)言權(quán)(AttentionSeeking)”的時(shí)間線圖；圖17是功能性動(dòng)作“繼續(xù)發(fā)言”的時(shí)間線圖；圖18是功能性動(dòng)作“觀察”的時(shí)間線圖；圖19是功能性動(dòng)作“參加”的時(shí)間線圖；圖20是功能性動(dòng)作“不參加”的時(shí)間線圖；圖21是功能性動(dòng)作“附應(yīng)(Backchanneling)”的時(shí)間線圖；圖22是功能性動(dòng)作“提問”的時(shí)間線圖；圖23是功能性動(dòng)作“確認(rèn)提問”的時(shí)間線圖；圖24是功能性動(dòng)作“發(fā)言型思考”的時(shí)間線圖；圖25是功能性動(dòng)作“提問型思考”的時(shí)間線圖；圖26是功能性動(dòng)作“確認(rèn)提問型思考”的時(shí)間線圖；圖27是功能性動(dòng)作“不發(fā)言型思考”的時(shí)間線圖；圖28是功能性動(dòng)作“自言自語”的時(shí)間線圖；圖29是功能性動(dòng)作“發(fā)言型公共信息空間使用”的時(shí)間線圖；圖30是功能性動(dòng)作“提問型公共信息空間使用”的時(shí)間線圖；圖31是功能性動(dòng)作“確認(rèn)提問型公共信息空間使用”的時(shí)間線圖；圖32是功能性動(dòng)作“不發(fā)言型公共信息空間使用”的時(shí)間線圖；圖33是功能性動(dòng)作“參加型私人信息空間使用”的時(shí)間線圖；圖34是功能性動(dòng)作“不參加型私人信息空間使用”的時(shí)間線圖；以及圖35是功能性動(dòng)作“笑”的時(shí)間線圖。具體實(shí)施例方式在下文中，參照附圖詳細(xì)說明本發(fā)明的示例性實(shí)施例。(第一實(shí)施例)首先參照?qǐng)D1，對(duì)根據(jù)本發(fā)明第一實(shí)施例的會(huì)議信息處理裝置進(jìn)行說明。圖1是表示根據(jù)該實(shí)施例的會(huì)議信息處理裝置的示例的方框圖。圖1中所示的會(huì)議信息處理裝置包括會(huì)議視頻攝像單元2、會(huì)議視頻記錄單元3、部分會(huì)議視頻提取單元4、索引提供單元5、索引記錄單元6、會(huì)議視頻顯示單元7、索引顯示單元8、同步單元9、概要規(guī)則生成單元10、概要規(guī)則記錄單元11、概要規(guī)則顯示單元12、視頻概要生成單元13以及視頻概要記錄單元14。在會(huì)議信息處理裝置1中，會(huì)議視頻攝像單元2、會(huì)議視頻記錄單元3、部分會(huì)議視頻提取單元4、索引提供單元5、索引記錄單元6、會(huì)議視頻顯示單元7、索引顯示單元8、同步單元9、概要規(guī)則生成單元10、概要規(guī)則記錄單元11、概要規(guī)則顯示單元12、視頻概要生成單元13以及視頻概要記錄單元14通過網(wǎng)絡(luò)或數(shù)據(jù)線、控制線和電路彼此相連。會(huì)議信息處理裝置1處理會(huì)議視頻，并包括CPU(中央處理單元)、ROM(只讀存儲(chǔ)器)和RAM(隨機(jī)存取存儲(chǔ)器)。CPU將預(yù)定程序加載到RAM中以部分地執(zhí)行圖1中所示的功能。根據(jù)該程序?qū)崿F(xiàn)本發(fā)明所要求保護(hù)的會(huì)議信息處理方法。會(huì)議視頻攝像單元2由攝像機(jī)和麥克風(fēng)系統(tǒng)(聲音采集系統(tǒng)、聲音拾取系統(tǒng)或語音記錄系統(tǒng))或者兩者的組合等構(gòu)成。會(huì)議視頻攝像單元2獲取運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)、或者作為運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)的組合的會(huì)議視頻數(shù)據(jù)，并將數(shù)據(jù)輸出到會(huì)議視頻記錄單元3。會(huì)議視頻記錄單元3由諸如存儲(chǔ)器或硬盤的記錄介質(zhì)以及記錄裝置等構(gòu)成。會(huì)議視頻記錄單元3接收由會(huì)議視頻攝像單元2獲取的會(huì)議視頻數(shù)據(jù)，并在諸如內(nèi)置存儲(chǔ)器或硬盤的記錄介質(zhì)上記錄該會(huì)議視頻數(shù)據(jù)。會(huì)議視頻記錄單元3隨后將所記錄的會(huì)議視頻數(shù)據(jù)輸出到部分會(huì)議視頻提取單元4、視頻概要生成單元13以及會(huì)議視頻顯示單元7。也就是說，部分會(huì)議視頻提取單元4提取由運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)構(gòu)成的視頻數(shù)據(jù)的部分或者全部。更具體地說，部分會(huì)議視頻提取單元4可以從視頻數(shù)據(jù)(記錄在會(huì)議視頻記錄單元3上)中只提取運(yùn)動(dòng)圖像，或只提取音頻數(shù)據(jù)，或者提取部分或全部運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)。部分會(huì)議視頻提取單元4從存儲(chǔ)在會(huì)議視頻記錄單元3中的會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息。該部分會(huì)議音頻和/或可視信息包含會(huì)議參加者的一個(gè)或更多個(gè)物理事件。部分會(huì)議視頻提取單元4還從該部分會(huì)議視頻信息中提取各個(gè)物理事件的音頻和/或可視信息。當(dāng)提取部分音頻和/或可視信息時(shí)，部分會(huì)議視頻提取單元4可以提取記錄在會(huì)議視頻記錄單元3上的部分會(huì)議音頻和/或可視信息，或者提取記錄在會(huì)議視頻記錄單元3上的全部會(huì)議音頻和/或可視信息。由部分會(huì)議視頻提取單元4提取的部分音頻和/或可視信息也稱作為部分會(huì)議視頻數(shù)據(jù)或部分圖像數(shù)據(jù)。部分會(huì)議視頻提取單元4包括諸如圖像識(shí)別裝置的音頻和/或可視處理裝置、諸如運(yùn)動(dòng)圖像數(shù)據(jù)處理裝置或音頻和/或可視數(shù)據(jù)處理裝置的視頻音頻和/或可視處理裝置、以及諸如語音識(shí)別裝置的語言處理裝置等。索引提供單元5由CPU等構(gòu)成。索引提供單元5為由部分會(huì)議視頻提取單元4提取的各個(gè)物理事件的音頻和/或可視信息提供適當(dāng)?shù)乃饕龜?shù)據(jù)。索引提供單元5還對(duì)從索引數(shù)據(jù)中的各個(gè)對(duì)應(yīng)物理事件中摘錄的一個(gè)或更多個(gè)功能性動(dòng)作進(jìn)行識(shí)別，并根據(jù)這些功能性動(dòng)作，為由部分會(huì)議視頻提取單元4提取的部分會(huì)議視頻數(shù)據(jù)提供索引。索引提供單元5執(zhí)行半自動(dòng)或全自動(dòng)索引數(shù)據(jù)生成操作。在第一實(shí)施例中，執(zhí)行半自動(dòng)索引數(shù)據(jù)生成操作。在稍后描述的第二實(shí)施例中，執(zhí)行全自動(dòng)索引數(shù)據(jù)生成操作。索引提供單元5包括諸如鼠標(biāo)的指示器、鍵盤、以及諸如顯示器的圖形用戶界面。用戶可以利用指示器、鍵盤和圖形用戶界面手工生成索引數(shù)據(jù)。索引記錄單元6由諸如存儲(chǔ)器或硬盤的記錄介質(zhì)以及記錄裝置構(gòu)成。索引記錄單元6記錄從索引提供單元5輸入的索引數(shù)據(jù)，并將該索引數(shù)據(jù)輸出到索引顯示單元8或視頻概要生成單元13。會(huì)議視頻顯示單元7由諸如顯示器或監(jiān)視器的顯示裝置構(gòu)成。會(huì)議視頻顯示單元7顯示從會(huì)議視頻記錄單元3輸出的會(huì)議視頻、從部分會(huì)議視頻提取單元4輸出的部分圖像、以及由視頻概要生成單元13進(jìn)行了概要處理的會(huì)議視頻。索引顯示單元8由諸如顯示器或監(jiān)視器的顯示裝置構(gòu)成，并向用戶顯示通過索引記錄單元6輸入的索引數(shù)據(jù)。當(dāng)在相同時(shí)間段內(nèi)由會(huì)議視頻攝像單元2獲取兩個(gè)或更多個(gè)會(huì)議視頻時(shí)，同步單元9使所捕獲的會(huì)議視頻的數(shù)據(jù)彼此同步。通過這樣做，可以使兩個(gè)或更多個(gè)會(huì)議視頻彼此同步。同步單元9使用延時(shí)數(shù)據(jù)作為同步化的參數(shù)。將延時(shí)數(shù)據(jù)作為關(guān)于各個(gè)圖像數(shù)據(jù)集的屬性信息記錄在會(huì)議視頻記錄單元3上。概要規(guī)則生成單元10產(chǎn)生要用于對(duì)記錄在會(huì)議視頻記錄單元3上的圖像數(shù)據(jù)進(jìn)行概要處理的概要規(guī)則數(shù)據(jù)。概要規(guī)則生成單元10將概要規(guī)則數(shù)據(jù)輸出到概要規(guī)則記錄單元11。概要規(guī)則記錄單元11由諸如存儲(chǔ)器或硬盤的記錄介質(zhì)以及記錄裝置構(gòu)成。概要規(guī)則記錄單元11在諸如內(nèi)置存儲(chǔ)器或硬盤的記錄介質(zhì)上記錄已從概要規(guī)則生成單元10輸入的概要規(guī)則數(shù)據(jù)，并且隨后將概要規(guī)則數(shù)據(jù)輸出給概要規(guī)則顯示單元12。概要規(guī)則顯示單元12由諸如顯示器或監(jiān)視器的顯示裝置構(gòu)成，并向用戶顯示從概要規(guī)則記錄單元11輸入的概要規(guī)則數(shù)據(jù)。視頻概要生成單元13基于從概要規(guī)則記錄單元11輸入的概要規(guī)則數(shù)據(jù)和由索引提供單元5提供的索引結(jié)果，生成作為會(huì)議視頻記錄單元3的會(huì)議音頻和/或可視信息概要的會(huì)議視頻。視頻概要生成單元13將概要會(huì)議視頻輸出給視頻概要記錄單元14。視頻概要記錄單元14由諸如存儲(chǔ)器或硬盤的記錄介質(zhì)以及記錄裝置構(gòu)成。視頻概要記錄單元14記錄由視頻概要生成單元13進(jìn)行了概要處理的會(huì)議視頻。視頻概要記錄單元14將所記錄的視頻概要數(shù)據(jù)輸出給會(huì)議視頻顯示單元7。由此，在會(huì)議視頻顯示單元7上顯示根據(jù)功能性動(dòng)作產(chǎn)生的會(huì)議視頻。部分會(huì)議視頻提取單元4、索引提供單元5、視頻概要生成單元13、視頻概要記錄單元14、會(huì)議視頻顯示單元7、以及同步單元9分別相當(dāng)于本發(fā)明的權(quán)利要求中的提取單元、提供單元、生成單元、記錄單元、顯示單元和同步單元?，F(xiàn)參照?qǐng)D2，對(duì)會(huì)議參加者的動(dòng)作進(jìn)行說明。圖2表示以分級(jí)的方式顯示會(huì)議參加者的動(dòng)作的分級(jí)可視化數(shù)據(jù)22。通過索引顯示單元8由圖形用戶界面(稍后描述)將可視化數(shù)據(jù)22呈現(xiàn)給用戶。如圖2中所示，將會(huì)議參加者的動(dòng)作劃分成場(chǎng)景層22a、功能性動(dòng)作層22b和介質(zhì)層22c。場(chǎng)景層22a的級(jí)別比功能性動(dòng)作層22b高。例如，將“討論”和“陳述”分類為場(chǎng)景層22a的動(dòng)作。功能性動(dòng)作層22b表示功能性動(dòng)作單元中的功能性動(dòng)作，并且級(jí)別比場(chǎng)景層22a低但比介質(zhì)層22c高。例如，盡管功能性動(dòng)作層22b的細(xì)節(jié)將在后面描述，但將“發(fā)言”和“發(fā)言型公共信息空間使用”視為功能性動(dòng)作。介質(zhì)層22c的級(jí)別比功能性動(dòng)作層22b低，并根據(jù)話音識(shí)別技術(shù)或姿勢(shì)識(shí)別技術(shù)表示數(shù)據(jù)輸入/輸出單元中的數(shù)據(jù)。將諸如交談、看某物和做出姿勢(shì)的物理動(dòng)作(事件)分類為介質(zhì)層22c的事件。在此，可以將功能性動(dòng)作定義為一個(gè)或多個(gè)物理事件的摘錄。通過這種方式，圖形用戶界面分級(jí)地顯示多個(gè)物理事件和從這些物理事件摘錄的功能性動(dòng)作。圖形用戶界面還顯示以分級(jí)的方式從一個(gè)或更多個(gè)功能性動(dòng)作摘錄的場(chǎng)景。通過圖形用戶界面，可以以分級(jí)化布局清楚地識(shí)別多個(gè)物理事件和從這些物理事件摘錄的功能性動(dòng)作之間的差異，也可以以分級(jí)化布局清楚地識(shí)別功能性動(dòng)作和從功能性動(dòng)作摘錄的場(chǎng)景之間的差異。如圖2中所示，通過多級(jí)數(shù)據(jù)表示各個(gè)會(huì)議視頻，在該多級(jí)數(shù)據(jù)中至少一個(gè)級(jí)層表示功能性動(dòng)作的描述，至少另一個(gè)級(jí)層表示場(chǎng)景的描述。可以通過具有一個(gè)或多個(gè)單層分級(jí)表達(dá)或多層分級(jí)表達(dá)的數(shù)據(jù)來表示各個(gè)會(huì)議視頻。會(huì)議信息處理裝置1分級(jí)地顯示會(huì)議參加者的每個(gè)動(dòng)作。而且，會(huì)議信息處理裝置1可以處理、存儲(chǔ)、累積并在外部以分級(jí)方式顯示數(shù)據(jù)(例如XML數(shù)據(jù)等)。會(huì)議參加者的功能性動(dòng)作的示例包括發(fā)言；獲得發(fā)言權(quán)；繼續(xù)發(fā)言；觀察；參加；不參加；附應(yīng)；提問；確認(rèn)型提問；發(fā)言型思考；提問型思考；確認(rèn)提問型思考；不發(fā)言型思考；自言自語；提問型公共信息空間使用；確認(rèn)提問型公共信息空間使用；不發(fā)言型公共信息空間使用；參加型私人信息空間使用；不參加型私人信息空間使用；笑；以及不可描述動(dòng)作。上述動(dòng)作僅僅是從一個(gè)或多個(gè)物理事件摘錄的功能性動(dòng)作的示例，也可以包括其他功能性動(dòng)作。在該實(shí)施例的說明的最后將對(duì)這些功能性動(dòng)作進(jìn)行定義?，F(xiàn)將對(duì)由索引提供單元5提供的圖形用戶界面15進(jìn)行詳細(xì)說明。圖3表示由索引提供單元5提供的圖形用戶界面15的顯示的示例。例如，通過操作系統(tǒng)(OS)的用戶來控制圖形用戶界面15的顯示。索引提供單元5通過索引記錄單元6在索引顯示單元8上顯示圖形用戶界面15。圖形用戶界面15在會(huì)議視頻顯示單元7上顯示索引提供單元5的索引結(jié)果。利用該圖形用戶界面15，用戶可以控制整個(gè)會(huì)議信息處理裝置1。而且，可以根據(jù)功能性動(dòng)作提供索引。如圖3中所示，圖形用戶界面15包括圖像顯示窗口16a至16d、控制面板17、菜單18、功能性動(dòng)作描述表19A和19B、軌道表(tracktable)20和場(chǎng)景描述表21。視頻顯示窗口16a至16d顯示記錄在會(huì)議視頻記錄單元3上的會(huì)議視頻以及由部分會(huì)議視頻提取單元4提取的部分會(huì)議視頻。圖形用戶界面15顯示通過四個(gè)系統(tǒng)的攝像機(jī)和一個(gè)系統(tǒng)的立體聲麥克風(fēng)獲取的會(huì)議的運(yùn)動(dòng)圖像數(shù)據(jù)。在此，分別在圖像顯示窗口16a、16b、16c和16d上顯示從四個(gè)攝像機(jī)提供的運(yùn)動(dòng)圖像數(shù)據(jù)?？刂泼姘?7包括圖像數(shù)據(jù)重放按鈕17a、圖像數(shù)據(jù)停止按鈕17b、圖像數(shù)據(jù)快進(jìn)按鈕17c、圖像數(shù)據(jù)倒退按鈕17d以及滑動(dòng)條(sliderbar)17e。用戶對(duì)控制面板17進(jìn)行控制，以控制在圖像顯示窗口16a至16d上重放的運(yùn)動(dòng)圖像數(shù)據(jù)，并通過揚(yáng)聲器重放音頻數(shù)據(jù)(可以將運(yùn)動(dòng)圖像數(shù)據(jù)和音頻數(shù)據(jù)總稱為“圖像數(shù)據(jù)”)。由用戶操縱滑動(dòng)條17e，以在任何所需時(shí)間在圖像顯示窗口16a至16d上顯示經(jīng)同步處理的運(yùn)動(dòng)圖像數(shù)據(jù)。菜單18包括文件菜單18a和概要菜單18b。文件菜單18a包括多個(gè)菜單項(xiàng)，例如“新運(yùn)動(dòng)圖像數(shù)據(jù)讀取”、“現(xiàn)有數(shù)據(jù)讀取”、“重寫”、“重命名并保存”和“結(jié)束”。概要菜單18b包括多個(gè)菜單項(xiàng)，例如“用于回顧的會(huì)議視頻”、“用于公共觀看的會(huì)議視頻”以及“用于管理人員的會(huì)議視頻”。通過選擇這些項(xiàng)，可以從原始會(huì)議視頻中生成用于回顧的會(huì)議視頻、用于公共觀看的會(huì)議視頻和用于管理人員的會(huì)議視頻。用于回顧的會(huì)議視頻對(duì)于會(huì)議參加者回顧他們所參加的會(huì)議的視頻圖像是有用的。用于公共觀看的會(huì)議視頻對(duì)于沒有參加會(huì)議但允許觀看會(huì)議視頻圖像的人是有用的。用于管理人員的會(huì)議視頻對(duì)于公司管理人員觀看會(huì)議的視頻圖像是有用的。根據(jù)會(huì)議參加者的數(shù)量設(shè)置功能性動(dòng)作描述表19A和19B。功能性動(dòng)作描述表19A包括“動(dòng)作人姓名”顯示欄19a、“識(shí)別編號(hào)”欄19b、“開始時(shí)間”欄19c、“結(jié)束時(shí)間”欄19d、“功能性動(dòng)作名稱”欄19e、“動(dòng)作人的角色”欄19f、以及“動(dòng)作的預(yù)計(jì)方向”欄19g。根據(jù)各個(gè)單個(gè)會(huì)議參加者生成并顯示功能性動(dòng)作描述表19B。在圖3中，例如，存在兩個(gè)會(huì)議參加者“Alice”和“Betty”。因此，在圖3中顯示作為“Alice”的功能性動(dòng)作描述表和“Betty”的功能性動(dòng)作描述表的兩個(gè)表。“識(shí)別編號(hào)”欄19b表示用于識(shí)別各個(gè)功能性動(dòng)作的序列編號(hào)。“開始時(shí)間”欄19c和“結(jié)束時(shí)間”欄19d表示各個(gè)功能性動(dòng)作的開始時(shí)間和結(jié)束時(shí)間?！肮δ苄詣?dòng)作名稱”欄19e表示會(huì)議參加者的功能性動(dòng)作。在用戶手工提供索引的情況下，用戶參照?qǐng)D形用戶界面15的圖像顯示窗口16a至16d識(shí)別各個(gè)功能性動(dòng)作。根據(jù)所識(shí)別的功能性動(dòng)作，用戶通過鍵盤輸入適當(dāng)?shù)乃饕?，從而在“功能性?dòng)作名稱”欄19e中的對(duì)應(yīng)欄中顯出功能性動(dòng)作的名稱。在自動(dòng)提供索引的情況下，部分會(huì)議視頻提取單元4從會(huì)議音頻和/或可視信息中提取包含會(huì)議參加者的一個(gè)或更多個(gè)物理事件的部分音頻和/或可視信息，并且索引提供單元5根據(jù)該部分會(huì)議音頻和/或可視信息識(shí)別從一個(gè)或更多個(gè)物理事件摘錄的功能性動(dòng)作?；谠摴δ苄詣?dòng)作，索引提供單元5提供部分會(huì)議音頻和/或可視信息的索引。通過這樣做，在圖形用戶界面15上的“功能性動(dòng)作名稱”欄19e中的對(duì)應(yīng)欄中顯示功能性動(dòng)作的名稱。在“動(dòng)作人的角色”欄19f中，寫入動(dòng)作人的摘錄角色，例如“發(fā)起者”、“回答者”或“觀察者”。在“動(dòng)作的預(yù)計(jì)方向”欄19g中，寫入各個(gè)功能性動(dòng)作的預(yù)計(jì)方向。在“Alice”向“Betty”提問的功能性動(dòng)作的情況下，將動(dòng)作的預(yù)計(jì)方向表示為“Betty”。進(jìn)而，將“Betty”回答“Alice”的提問的動(dòng)作的預(yù)計(jì)方向表示為“Alice”。如功能性動(dòng)作描述表19A和19B中所示，圖形用戶界面15顯示各個(gè)會(huì)議參加者的以下多項(xiàng)中的每一項(xiàng)的數(shù)據(jù)索引識(shí)別符、索引開始時(shí)間、索引結(jié)束時(shí)間、功能性動(dòng)作、會(huì)議參加者的角色以及動(dòng)作的預(yù)計(jì)方向。軌道表20表示同步化操作所需的延遲。軌道表20包括表示要用作為視頻識(shí)別符的軌道編號(hào)的軌道編號(hào)欄20a、用于識(shí)別介質(zhì)的介質(zhì)識(shí)別符欄20b、以及表示相對(duì)延時(shí)的延時(shí)欄20c。根據(jù)要使用的運(yùn)動(dòng)圖像數(shù)據(jù)集(顯示在圖像顯示窗口16a至16d上)的數(shù)量來生成并顯示軌道表20中所包含的數(shù)據(jù)。在圖3中，軌道編號(hào)欄20a中所示的軌道編號(hào)與圖像顯示窗口16a至16d相對(duì)應(yīng)。更具體地，在圖像顯示窗口16a上顯示與軌道編號(hào)0相對(duì)應(yīng)的運(yùn)動(dòng)圖像數(shù)據(jù)，在圖像顯示窗口16b上顯示與軌道編號(hào)1相對(duì)應(yīng)的運(yùn)動(dòng)圖像數(shù)據(jù)，在圖像顯示窗口16c上顯示與軌道編號(hào)2相對(duì)應(yīng)的運(yùn)動(dòng)圖像數(shù)據(jù)，以及在圖像顯示窗口16d上顯示與軌道編號(hào)3相對(duì)應(yīng)的運(yùn)動(dòng)圖像數(shù)據(jù)。將軌道表20用于指定或提供關(guān)于包含同步的運(yùn)動(dòng)圖像數(shù)據(jù)集的數(shù)據(jù)的信息。軌道編號(hào)欄20a中的軌道編號(hào)表示軌道表20中的數(shù)據(jù)順序。介質(zhì)識(shí)別符欄20b表示諸如記錄在會(huì)議視頻記錄單元3上的運(yùn)動(dòng)圖像數(shù)據(jù)或圖像數(shù)據(jù)集合的名稱的識(shí)別符。延遲時(shí)間欄20c表示對(duì)于由系統(tǒng)規(guī)定的介質(zhì)(或圖像數(shù)據(jù))的重放開始時(shí)間的相對(duì)延時(shí)。圖3中所示的軌道表20表示與軌道編號(hào)3相對(duì)應(yīng)的運(yùn)動(dòng)圖像數(shù)據(jù)或者與介質(zhì)識(shí)別符“Video3”相對(duì)應(yīng)的運(yùn)動(dòng)圖像數(shù)據(jù)相對(duì)于其他運(yùn)動(dòng)圖像數(shù)據(jù)延遲0.05秒。通過在延遲時(shí)間欄20c中指定各組圖像數(shù)據(jù)的延遲時(shí)間，用戶可以同步地重放兩個(gè)或更多個(gè)視頻圖像。場(chǎng)景描述表21表示對(duì)具有與功能性動(dòng)作不同程度的摘錄或不同意義的圖像數(shù)據(jù)的內(nèi)容和結(jié)構(gòu)的描述。更具體地，場(chǎng)景描述表21表示用于描述會(huì)議的各個(gè)場(chǎng)景的數(shù)據(jù)，包括識(shí)別編號(hào)欄21a、開始時(shí)間欄21b、結(jié)束時(shí)間欄21c、場(chǎng)景名稱欄21d以及自由文本注釋欄21e。在識(shí)別編號(hào)欄21a中，寫入用于規(guī)定場(chǎng)景順序的編號(hào)。在開始時(shí)間欄21b和結(jié)束時(shí)間欄21c中，寫入各個(gè)場(chǎng)景的開始時(shí)間和結(jié)束時(shí)間。在場(chǎng)景名稱欄21d中，寫入諸如“討論”和“陳述”的場(chǎng)景名稱。在自由文本注釋欄21e中，以文本格式寫入各個(gè)場(chǎng)景中的事件。通過圖形用戶界面15可以以不同的顏色表示記錄在功能性動(dòng)作描述表19A和19B以及場(chǎng)景描述表21中的索引數(shù)據(jù)。更具體地，以不同的顏色二維地或三維地表示表19A、19B和21中的圖形元素，并按年月日順序排列，以使得用戶可以從圖形上識(shí)別各個(gè)元素。現(xiàn)參照?qǐng)D4，對(duì)功能性動(dòng)作的二維圖形表達(dá)進(jìn)行說明。圖4表示功能性動(dòng)作的二維圖形表達(dá)，即經(jīng)索引的會(huì)議視頻的圖形表達(dá)的示例。在索引顯示單元8上顯示會(huì)議視頻的圖形表達(dá)。在該實(shí)施例中，會(huì)議參加者是“Alice”和“Betty”。在圖4中，將會(huì)議參加者“Alice”和“Betty”的功能性動(dòng)作劃分成與兩個(gè)參加者相對(duì)應(yīng)的兩行，并按年月日順序排列。而且，以時(shí)間線和圖表的方式顯示功能性動(dòng)作。在圖4中，橫坐標(biāo)軸表示時(shí)間?！癆lice”和“Betty”行中所示的各個(gè)矩形表示功能性動(dòng)作。為功能性動(dòng)作的各個(gè)單元設(shè)置索引。在圖4中，以黑色表示與要用于產(chǎn)生回顧“Alice”的某些動(dòng)作的視頻概要的功能性動(dòng)作相對(duì)應(yīng)的圖形元素。通過不同顏色的矩形來表示功能性動(dòng)作。例如，用淡粉紅色表示“發(fā)言”、用暗粉紅色表示“獲得發(fā)言權(quán)”、用棗紅色表示“繼續(xù)發(fā)言”、用洋紅色表示“觀察”、用猩紅色表示“參加”、用中國(guó)紅表示“不參加”、用金色表示“附應(yīng)”、用棕色表示“提問”、用淺褐色表示“確認(rèn)型提問”、用青銅色表示“發(fā)言型思考”、用拿浦黃色表示“提問型思考”、用奶油黃表示“確認(rèn)提問型思考”、用檸檬黃表示“不發(fā)言型思考”、用海綠色表示“自言自語”、用鈷綠色表示“發(fā)言型公共信息空間使用”、用翠綠色表示“提問型公共信息空間使用”、用青綠色表示“確認(rèn)提問型公共信息空間使用”、用青天藍(lán)表示“不發(fā)言型公共信息空間使用”、用鐵藍(lán)色表示“參加型私人信息空間使用”、用深藍(lán)色表示“不參加型私人信息空間使用”、用紫羅蘭色表示“笑”、用紫色表示“不可描述的動(dòng)作”、用雪白色表示“暫時(shí)離開”、以及用灰色表示“會(huì)議室準(zhǔn)備”。在圖4所示的示例中，為以下場(chǎng)景描述設(shè)置標(biāo)簽和索引“介紹”、“自言自語”、“陳述”、“討論”以及“交談”。如圖4中所示，圖形用戶界面15以時(shí)間線或圖表的形式表示索引提供單元5的索引結(jié)果，以能夠以用戶友好的方式設(shè)置各個(gè)視頻概要的屬性信息。在圖4所示的示例中，圖形用戶界面15通過使用特定顏色、特定形狀或特定運(yùn)動(dòng)的圖形表達(dá)，著重表示特定功能性動(dòng)作，例如會(huì)議參加者中的語音發(fā)言者的變化、物理性發(fā)言者的變化、或者語音和物理性發(fā)言者的變化。因此，可以以圖形的方式表示會(huì)議參加者中的語音發(fā)言者的變化、物理性發(fā)言者的變化、或者語音和物理性發(fā)言者的變化。下面，對(duì)將索引數(shù)據(jù)表示為XML數(shù)據(jù)的情況進(jìn)行說明。在此，索引數(shù)據(jù)由索引提供單元5生成并記錄在索引記錄單元6上。圖5表示被表示為XML數(shù)據(jù)的索引數(shù)據(jù)的前半部分，圖6是該索引數(shù)據(jù)的后半部分。在圖5和6中，索引數(shù)據(jù)被表示為具有作為根單元的MPEG-7單元的XML數(shù)據(jù)的索引數(shù)據(jù)。Mpeg7單元包括Description單元。Description單元包括用于對(duì)要用于索引的圖像數(shù)據(jù)集進(jìn)行描述的ContentCollection單元、以及用于對(duì)功能性動(dòng)作進(jìn)行描述的Session單元。在該示例中，ContentCollection單元包括用于描述兩個(gè)圖像數(shù)據(jù)集的使用的兩個(gè)MultiMediaContent單元。每一個(gè)MultiMediaContent單元包括Audio和/或Visual單元，該Audio和/或Visual單元包括用于描述對(duì)應(yīng)圖像數(shù)據(jù)的位置的MediaLocation單元以及用于描述同步化所需延時(shí)的MediaTime單元。MediaLocation單元包括MediaUri單元，MediaUri單元具有用于識(shí)別對(duì)應(yīng)圖像數(shù)據(jù)被存儲(chǔ)在何處的識(shí)別符。在該示例中，使用“file/video1.mpg”和“file/video2.mpg”作為圖像數(shù)據(jù)。MediaTime單元包括MediaTimePoint單元，MediaTimePoint單元表示對(duì)于由系統(tǒng)規(guī)定的基準(zhǔn)時(shí)間(基準(zhǔn)點(diǎn))的相對(duì)延遲時(shí)間。在該示例中，“file/video1.mpg”的延遲時(shí)間為0.0秒，其中沒有延遲。另一方面，“file/video2.mpg”的延遲時(shí)間為1.0秒，意味著“file/video2.mpg”比“file/video1.mpg”落后1秒。因此，會(huì)議信息處理裝置1執(zhí)行重放等操作，使“file/video2.mpg”相對(duì)于“file/video1.mpg”延遲1秒。Session單元包括表示會(huì)議參加者的Actor單元以及表示會(huì)議的場(chǎng)景集合的ConceptualSceneCollection單元。在該示例中，存在描述兩個(gè)會(huì)議參加者的兩個(gè)Actor單元。每個(gè)Actor單元包括描述會(huì)議參加者姓名的Name單元以及表示會(huì)議參加者的功能性動(dòng)作集合的FunctionalActCollection單元。在該示例中，Name單元表示“Alice”和“Betty”是會(huì)議參加者。每個(gè)FunctionalActCollection單元包括表示功能性動(dòng)作的一個(gè)或更多個(gè)FunctionalAct單元。在該示例中，會(huì)議參加者“Alice”的功能性動(dòng)作由兩個(gè)FunctionalAct單元表示，“Betty”的功能性動(dòng)作也由兩個(gè)FunctionalAct單元表示。每一個(gè)FunctionalAct單元包括表示執(zhí)行對(duì)應(yīng)的功能性動(dòng)作的時(shí)間段的MediaTime單元、表示會(huì)議參加者的角色的RoleofActor單元、以及表示動(dòng)作的預(yù)計(jì)方向的ActDirectionIntention單元。每一個(gè)FunctionalAct單元還具有表示功能性動(dòng)作的類型的“類型”屬性、以及表示功能性動(dòng)作的識(shí)別符的“id”屬性。在該示例中，將“Alice”的功能性動(dòng)作表示為“提問”和“觀察”，而將“Betty”的功能性動(dòng)作表示為“觀察”和“發(fā)言”。每一個(gè)FunctionalAct單元中的MediaTime單元包括MediaTimePoint單元和MediaTimeDuration單元。MediaTimePoint單元表示對(duì)應(yīng)的功能性動(dòng)作的開始時(shí)間，MediaTimeDuration單元表示功能性動(dòng)作的持續(xù)時(shí)間。由會(huì)議參加者“Alice”執(zhí)行的“提問”的功能性動(dòng)作從由會(huì)議信息處理裝置1限定的基準(zhǔn)時(shí)間(基站點(diǎn))的0秒點(diǎn)開始持續(xù)了1秒。在該示例中，將執(zhí)行該功能性動(dòng)作的動(dòng)作人的角色(RoleOfActor)表示為“發(fā)起者”，將動(dòng)作的預(yù)計(jì)方向表示為“Betty”。ConceptualSceneCollection單元包括一個(gè)或更多個(gè)表示場(chǎng)景的ConceptualScene單元。每個(gè)ConceptualScene單元包括表示對(duì)應(yīng)場(chǎng)景的內(nèi)容的TextAnnotation單元以及表示關(guān)于該場(chǎng)景的時(shí)間的MediaTime單元。TextAnnotation單元包括FreeTextAnnotation單元。在該示例中，F(xiàn)reeTextAnnotation單元表示場(chǎng)景為“討論”。對(duì)應(yīng)的MediaTime單元包括分別表示場(chǎng)景的開始時(shí)間和場(chǎng)景的持續(xù)時(shí)間的MediaTimePoint單元和MediaTimeDuration單元。在該示例中，“討論”從作為基準(zhǔn)時(shí)間點(diǎn)的0秒點(diǎn)開始持續(xù)了60秒。接下來，對(duì)為部分會(huì)議視頻手工設(shè)置索引數(shù)據(jù)并生成參加者的功能性動(dòng)作的視頻概要數(shù)據(jù)的處理進(jìn)行說明。作為本發(fā)明的第二實(shí)施例，將在下面描述根據(jù)參加者的功能性動(dòng)作自動(dòng)生成并提供索引數(shù)據(jù)的處理。圖7是會(huì)議記錄處理的流程圖。該會(huì)議記錄處理包括會(huì)議視頻獲取步驟S1、會(huì)議視頻索引步驟S2和會(huì)議視頻概要處理步驟S3。在會(huì)議視頻獲取步驟S1中，將包括由會(huì)議視頻攝像單元2捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)和由麥克風(fēng)系統(tǒng)捕獲的音頻數(shù)據(jù)的會(huì)議視頻數(shù)據(jù)記錄在會(huì)議視頻記錄單元3上。在從用戶發(fā)出請(qǐng)求時(shí)，在會(huì)議視頻顯示單元7上顯示記錄在會(huì)議視頻記錄單元3上的會(huì)議視頻。用戶可以通過圖3中所示的圖形用戶界面15上的視頻顯示窗口16a至16d來參看會(huì)議視頻數(shù)據(jù)(會(huì)議的運(yùn)動(dòng)圖像數(shù)據(jù))。因此，為了使運(yùn)動(dòng)圖像數(shù)據(jù)集彼此同步，用戶在軌道表20中指定軌道編號(hào)欄20a、介質(zhì)識(shí)別符欄20b以及延遲時(shí)間欄20c。將軌道表20中的軌道編號(hào)欄20a、介質(zhì)識(shí)別符欄20b以及延遲時(shí)間欄20c的數(shù)據(jù)從索引提供單元5發(fā)送到同步單元9。利用該數(shù)據(jù)，同步單元9使已記錄在會(huì)議視頻記錄單元3上的圖像數(shù)據(jù)集彼此同步?，F(xiàn)將對(duì)會(huì)議視頻索引步驟S2進(jìn)行描述。會(huì)議視頻索引步驟S2包括部分會(huì)議視頻提取步驟S21、索引記錄步驟S22和索引顯示步驟S23。在部分會(huì)議視頻提取步驟S21中，部分會(huì)議視頻提取單元4從記錄在會(huì)議視頻記錄單元3上的會(huì)議視頻數(shù)據(jù)中提取部分會(huì)議視頻。在索引記錄步驟S22中，為在部分會(huì)議視頻提取步驟S21中所提取的部分會(huì)議視頻數(shù)據(jù)提供根據(jù)參加者的各個(gè)功能性動(dòng)作的索引數(shù)據(jù)。由用戶通過圖形用戶界面15來執(zhí)行該索引設(shè)置。例如，在索引記錄單元6上記錄圖5和6中所示的XML數(shù)據(jù)格式的索引數(shù)據(jù)。然后在索引顯示步驟S23中，將在索引記錄步驟S22中記錄在索引記錄單元6上的作為XML數(shù)據(jù)的索引數(shù)據(jù)作為圖表在圖形用戶界面15上顯示給用戶。在會(huì)議視頻索引步驟S2中，通過操縱控制面板17上的圖像數(shù)據(jù)重放按鈕17a，用戶查看顯示在圖像顯示窗口16a至16d上的運(yùn)動(dòng)圖像數(shù)據(jù)，并通過揚(yáng)聲器系統(tǒng)接聽音頻數(shù)據(jù)。在這樣做時(shí)，用戶觀察作為圖像數(shù)據(jù)內(nèi)容的會(huì)議參加者的功能性動(dòng)作，并在功能性動(dòng)作描述表19A和19B中寫入所觀察的功能性動(dòng)作。具體地，根據(jù)會(huì)議參加者的功能性動(dòng)作，用戶填寫“識(shí)別編號(hào)”欄19b、“開始時(shí)間”欄19c、“結(jié)束時(shí)間”欄19d、“功能性動(dòng)作名稱”欄19e、“動(dòng)作人的角色”欄19f、以及“動(dòng)作的預(yù)計(jì)方向”欄19g。在此，可以從對(duì)應(yīng)的圖像數(shù)據(jù)中獲得要寫入開始時(shí)間欄19c和結(jié)束時(shí)間欄19d中的開始時(shí)間和結(jié)束時(shí)間。功能性動(dòng)作描述表19A和19B是記錄在索引記錄單元6上的索引數(shù)據(jù)通過圖形用戶界面15的表達(dá)，也是索引提供單元5和索引顯示單元8的實(shí)施例。而且，用戶通過控制面板17參看特定(或部分)圖像數(shù)據(jù)的操作相當(dāng)于由會(huì)議信息處理裝置1的部分會(huì)議視頻提取單元4所執(zhí)行的圖像數(shù)據(jù)提取操作。在會(huì)議視頻索引步驟S2中，用戶通過操縱控制面板17上的圖像數(shù)據(jù)重放按鈕17a來觀看顯示在圖像顯示窗口16a至16d上的運(yùn)動(dòng)圖像數(shù)據(jù)，并通過揚(yáng)聲器系統(tǒng)接聽音頻數(shù)據(jù)。在這樣做時(shí)，用戶識(shí)別圖像數(shù)據(jù)中的每個(gè)場(chǎng)景，并在場(chǎng)景描述表21中的場(chǎng)景名稱欄21d中寫入對(duì)應(yīng)的場(chǎng)景名稱(例如“討論”或“陳述”)。用戶還填寫場(chǎng)景描述表21中的識(shí)別編號(hào)欄21a、開始時(shí)間欄21b、結(jié)束時(shí)間欄21c、以及自由文本注釋欄21e?，F(xiàn)將對(duì)會(huì)議視頻概要處理步驟S3進(jìn)行詳細(xì)說明。在會(huì)議視頻概要處理步驟S3中，根據(jù)各種目的生成各種圖像概要。會(huì)議視頻概要處理步驟S3包括概要規(guī)則生成步驟S31和視頻概要處理步驟S32。在概要規(guī)則生成步驟S31中，概要規(guī)則生成單元10生成概要規(guī)則數(shù)據(jù)，并將該概要規(guī)則數(shù)據(jù)記錄在概要規(guī)則記錄單元11上。隨后概要規(guī)則顯示單元12向用戶顯示所記錄的概要規(guī)則數(shù)據(jù)。圖形用戶界面15沒有具體實(shí)施概要規(guī)則顯示單元12的用戶界面。在視頻概要處理步驟S32中，視頻概要生成單元13參照記錄在會(huì)議視頻記錄單元3上的會(huì)議視頻數(shù)據(jù)、記錄在索引記錄單元6上的索引數(shù)據(jù)、以及記錄在概要規(guī)則記錄單元11上的概要規(guī)則數(shù)據(jù)。根據(jù)索引數(shù)據(jù)和概要規(guī)則數(shù)據(jù)，視頻概要生成單元13編輯會(huì)議視頻數(shù)據(jù)并生成概要會(huì)議視頻數(shù)據(jù)。在視頻概要處理步驟S32中，視頻概要生成單元13將預(yù)定的最大部分圖像持續(xù)時(shí)間與各個(gè)部分圖像數(shù)據(jù)集的持續(xù)時(shí)間進(jìn)行比較。視頻概要生成單元13通過使用在所有的現(xiàn)有部分圖像數(shù)據(jù)中沒有超過預(yù)定持續(xù)時(shí)間的部分圖像數(shù)據(jù)，基于會(huì)議音頻和/或可視信息產(chǎn)生概要會(huì)議視頻。例如，預(yù)定的最大部分圖像持續(xù)時(shí)間可以為10秒。如果部分圖像數(shù)據(jù)集的持續(xù)時(shí)間超過10秒，則僅部分圖像數(shù)據(jù)的第一個(gè)10秒可以用作為視頻概要數(shù)據(jù)的數(shù)據(jù)源。將由視頻概要生成單元13生成的會(huì)議視頻概要數(shù)據(jù)記錄在視頻概要記錄單元14上。在會(huì)議視頻顯示單元7上顯示所記錄的會(huì)議視頻概要數(shù)據(jù)?？梢酝ㄟ^用戶指定菜單18中的概要菜單18b中的一項(xiàng)來啟動(dòng)視頻概要處理步驟S32?，F(xiàn)參照?qǐng)D8，對(duì)概要規(guī)則生成步驟S31進(jìn)行詳細(xì)說明。圖8是概要規(guī)則生成步驟S31的詳細(xì)過程的流程圖。概要規(guī)則生成步驟S31開始于從概要菜單18b中的“用于回顧的會(huì)議視頻”、“用于公共觀看的會(huì)議視頻”以及“用于管理人員的會(huì)議視頻”中選擇一項(xiàng)。在此，用于回顧的會(huì)議視頻對(duì)會(huì)議參加者回顧他們所參加的會(huì)議的視頻圖像是有用的。用于公共觀看的會(huì)議視頻對(duì)于那些沒有參加會(huì)議但允許觀看會(huì)議視頻圖像的人是有用的。用于管理人員的會(huì)議視頻對(duì)于公司管理人員觀看會(huì)議的視頻圖像是有用的。在步驟S41中，概要規(guī)則生成單元10確定是否選擇了“用于回顧的會(huì)議視頻”。如果選擇了“用于回顧的會(huì)議視頻”，則操作轉(zhuǎn)移到步驟S42。如果沒有選擇“用于回顧的會(huì)議視頻”，則操作轉(zhuǎn)移到步驟S43。在步驟S42(回顧會(huì)議視頻規(guī)則生成步驟)中，概要規(guī)則生成單元10集中于功能性動(dòng)作中的“活動(dòng)功能性動(dòng)作”或“思考陳述的功能性動(dòng)作”。在參加者指定步驟S421中，由用戶通過鍵盤等指定要回顧的參加者的姓名。在回顧功能性動(dòng)作確定步驟S422中，概要規(guī)則生成單元10參照記錄在索引記錄單元6上的索引數(shù)據(jù)，并隨后確定是否存在與“活動(dòng)功能性動(dòng)作”或“思考陳述的功能性動(dòng)作”相對(duì)應(yīng)的索引數(shù)據(jù)。如果存在與“活動(dòng)功能性動(dòng)作”或“思考陳述的功能性動(dòng)作”相對(duì)應(yīng)的索引數(shù)據(jù)，則概要規(guī)則生成單元10生成視頻概要生成規(guī)則，以獲取對(duì)應(yīng)的部分會(huì)議視頻數(shù)據(jù)作為可能要用于產(chǎn)生用于回顧的視頻概要的數(shù)據(jù)源。概要規(guī)則生成單元10還生成視頻概要生成規(guī)則，以獲取與來自現(xiàn)有部分圖像數(shù)據(jù)的與“討論”場(chǎng)景相對(duì)應(yīng)的部分圖像數(shù)據(jù)，并將所獲取的部分圖像數(shù)據(jù)設(shè)置為可用來生成用于回顧的視頻概要的第二數(shù)據(jù)源。概要規(guī)則生成單元10隨后向概要規(guī)則記錄單元11輸出作為用于回顧的會(huì)議視頻規(guī)則數(shù)據(jù)的規(guī)則。在此，“活動(dòng)功能性動(dòng)作”包括諸如“發(fā)言”、“提問”、“發(fā)言型公共信息空間使用”、“提問型公共信息空間使用”以及“不發(fā)言型公共信息空間使用”的功能性動(dòng)作。在回顧功能性動(dòng)作確定步驟S422中要處理的功能性動(dòng)作是與在參加者指定步驟S421中所指定的參加者相關(guān)的功能性動(dòng)作。在步驟S43中，概要規(guī)則生成單元10確定是否選擇了“用于公共觀看的會(huì)議視頻”。如果選擇了“用于公共觀看的會(huì)議視頻”，則操作轉(zhuǎn)移到S44。如果沒有選擇“用于公共觀看的會(huì)議視頻”，則操作轉(zhuǎn)移到步驟S45。在公共觀看會(huì)議視頻規(guī)則生成步驟S44中，概要規(guī)則生成單元10處理以下功能性動(dòng)作之一“發(fā)言”、“提問”、“發(fā)言型思考”或“發(fā)言型公共信息空間使用”。在閾值和參加者指定步驟S441中，由用戶通過鍵盤等指定要用于生成視頻概要的閾值數(shù)據(jù)。會(huì)議視頻處理裝置1可以預(yù)先設(shè)置閾值數(shù)據(jù)作為預(yù)定值。用戶還通過鍵盤等指定要觀看的會(huì)議參加者。該閾值數(shù)據(jù)表示要觀看的場(chǎng)景的持續(xù)時(shí)間與現(xiàn)有部分圖像數(shù)據(jù)的總持續(xù)時(shí)間的比率。在此，將場(chǎng)景的持續(xù)時(shí)間定義為場(chǎng)景的開始時(shí)間和結(jié)束時(shí)間之差。在公共觀看功能性動(dòng)作確定步驟S442中，概要規(guī)則生成單元10參照索引記錄單元6，并且確定是否存在與以下功能性動(dòng)作中的任何一個(gè)相對(duì)應(yīng)的索引數(shù)據(jù)“發(fā)言”、“提問”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”。如果存在與“發(fā)言”、“提問”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”中的任何一個(gè)相對(duì)應(yīng)的索引數(shù)據(jù)，則概要規(guī)則生成單元10生成圖像概要規(guī)則，以獲取對(duì)應(yīng)的部分會(huì)議視頻數(shù)據(jù)，作為可用來產(chǎn)生用于公共觀看的會(huì)議視頻的數(shù)據(jù)源。如果與要處理的功能性動(dòng)作相對(duì)應(yīng)的部分圖像數(shù)據(jù)中的場(chǎng)景的持續(xù)時(shí)間與該部分圖像數(shù)據(jù)的總持續(xù)時(shí)間的比率超過由在閾值和參加者指定步驟S441中所指定的閾值數(shù)據(jù)表示的值，則概要規(guī)則生成單元10生成視頻概要生成規(guī)則以獲取部分圖像數(shù)據(jù)，作為可用來產(chǎn)生用于公共觀看的會(huì)議視頻的第二數(shù)據(jù)源。概要規(guī)則生成單元10隨后將所產(chǎn)生的規(guī)則作為公共觀看會(huì)議視頻生成規(guī)則數(shù)據(jù)輸出到概要規(guī)則記錄單元11。在公共觀看功能性動(dòng)作確定步驟S442中，要進(jìn)行處理以產(chǎn)生視頻概要的功能性動(dòng)作是與在閾值和會(huì)議參加者指定步驟S441中所指定的會(huì)議參加者相關(guān)的功能性動(dòng)作。在步驟S45中，概要規(guī)則生成單元10確定是否選擇了“用于管理人員的會(huì)議視頻”。如果選擇了“用于管理人員的會(huì)議視頻”，則操作轉(zhuǎn)移到步驟S46。如果沒有選擇“用于管理人員的會(huì)議視頻”，則結(jié)束概要規(guī)則生成操作。在管理人員會(huì)議視頻生成步驟S46中，概要規(guī)則生成單元10處理功能性動(dòng)作“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”中的任何一個(gè)。在閾值和參加者指定步驟S461中，由用戶通過鍵盤等指定要用于產(chǎn)生視頻概要的閾值數(shù)據(jù)?？梢酝ㄟ^會(huì)議信息處理裝置1預(yù)先設(shè)置閾值數(shù)據(jù)作為預(yù)定值。用戶還通過鍵盤等指定要觀看的會(huì)議參加者。該閾值數(shù)據(jù)表示要觀看的場(chǎng)景的持續(xù)時(shí)間與現(xiàn)有的部分圖像數(shù)據(jù)的總持續(xù)時(shí)間的比率。在管理人員關(guān)心的功能性動(dòng)作確定步驟S462中，概要規(guī)則生成單元10參照索引記錄單元6，并確定是否存在與任何以下功能性動(dòng)作相對(duì)應(yīng)的索引數(shù)據(jù)“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”。如果存在與功能性動(dòng)作“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”中任何一個(gè)相對(duì)應(yīng)的索引數(shù)據(jù)，則概要規(guī)則生成單元10生成概要規(guī)則數(shù)據(jù)，以獲取對(duì)應(yīng)的部分會(huì)議視頻數(shù)據(jù)作為可以用來產(chǎn)生用于管理人員的會(huì)議視頻的數(shù)據(jù)源。概要規(guī)則生成單元10還產(chǎn)生概要規(guī)則數(shù)據(jù)，以從可以用作為用來產(chǎn)生用于管理人員的會(huì)議視頻的數(shù)據(jù)源的現(xiàn)有的部分圖像數(shù)據(jù)中獲取與場(chǎng)景“討論”或“陳述”相對(duì)應(yīng)的部分圖像數(shù)據(jù)，并將所獲取的部分圖像數(shù)據(jù)設(shè)置為可以用來產(chǎn)生用于管理人員的會(huì)議視頻的第二數(shù)據(jù)源。如果與要觀看的功能性動(dòng)作相對(duì)應(yīng)的部分圖像數(shù)據(jù)中的場(chǎng)景的持續(xù)時(shí)間與該部分圖像數(shù)據(jù)的總持續(xù)時(shí)間的比率超過了由在閾值和參加者指定步驟S461中所指定的閾值數(shù)據(jù)表示的值，則概要規(guī)則生成單元10生成視頻概要生成規(guī)則，以獲取部分圖像數(shù)據(jù)作為可以用來產(chǎn)生用于管理人員的會(huì)議視頻的第三數(shù)據(jù)源。概要規(guī)則生成單元10隨后將所生成的概要規(guī)則數(shù)據(jù)作為管理人員會(huì)議視頻生成規(guī)則數(shù)據(jù)輸出到概要規(guī)則記錄單元11。在管理人員關(guān)心的功能性動(dòng)作確定步驟S462中，要進(jìn)行處理以產(chǎn)生視頻概要的功能性動(dòng)作是與在閾值和會(huì)議參加者指定步驟S461中所指定的會(huì)議參加者相關(guān)的功能性動(dòng)作。接下來，對(duì)會(huì)議視頻概要步驟S3的過程進(jìn)行詳細(xì)說明。根據(jù)情況存在三種不同類型的會(huì)議視頻概要。通過選擇“用于回顧的會(huì)議視頻”、“用于公共觀看的會(huì)議視頻”和“用于管理人員的會(huì)議視頻”多個(gè)項(xiàng)之一，來相應(yīng)地產(chǎn)生會(huì)議視頻概要。首先對(duì)“用于回顧的會(huì)議視頻”的情況進(jìn)行說明。在“用于回顧的會(huì)議視頻”的情況下，視頻概要生成單元13使用在回顧會(huì)議視頻規(guī)則生成步驟S42中所生成的回顧會(huì)議視頻規(guī)則數(shù)據(jù)，以從記錄在索引記錄單元6上的索引數(shù)據(jù)中提取要回顧的索引數(shù)據(jù)。視頻概要生成單元13從會(huì)議視頻記錄單元3中提取與所提取的索引數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)或部分圖像數(shù)據(jù)，并隨后產(chǎn)生包含關(guān)于以下“活動(dòng)功能性動(dòng)作”的數(shù)據(jù)的回顧會(huì)議視頻數(shù)據(jù)“發(fā)言”、“提問”、“發(fā)言型公共信息空間使用”、“提問型公共信息空間使用”和“不發(fā)言型公共信息空間使用”，以及“發(fā)言型思考功能性動(dòng)作”。現(xiàn)對(duì)“用于公共觀看的會(huì)議視頻”的情況進(jìn)行詳細(xì)說明。在“用于公共觀看的會(huì)議視頻”的情況下，視頻概要生成單元13使用在公共觀看會(huì)議視頻規(guī)則生成步驟S44中所生成的公共觀看會(huì)議視頻規(guī)則數(shù)據(jù)，以從索引記錄單元6中提取要觀看的索引數(shù)據(jù)。視頻概要生成單元13從會(huì)議視頻記錄單元3中提取與所提取的索引數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)或部分圖像數(shù)據(jù)，并且隨后產(chǎn)生包含關(guān)于以下功能性動(dòng)作的數(shù)據(jù)的公共觀看會(huì)議視頻數(shù)據(jù)“發(fā)言”、“提問”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”?，F(xiàn)對(duì)“用于管理人員的會(huì)議視頻”的情況進(jìn)行說明。在“用于管理人員的會(huì)議視頻”的情況下，視頻概要生成單元13使用在管理人員會(huì)議視頻規(guī)則生成步驟S46中生成的管理人員會(huì)議視頻規(guī)則數(shù)據(jù)，以從索引記錄單元6中提取要觀看的索引數(shù)據(jù)。視頻概要生成單元13提取與所提取的索引數(shù)據(jù)相關(guān)的圖像數(shù)據(jù)或部分圖像數(shù)據(jù)，并且隨后產(chǎn)生包含關(guān)于以下功能性動(dòng)作的數(shù)據(jù)的管理人員會(huì)議視頻數(shù)據(jù)“發(fā)言”、“發(fā)言型思考”以及“發(fā)言型公共信息空間使用”。現(xiàn)參照?qǐng)D9和圖10說明要對(duì)該三種類型的會(huì)議視頻概要執(zhí)行的概要處理。以下還對(duì)要在概要處理中使用的功能性動(dòng)作數(shù)據(jù)進(jìn)行說明。圖9表示在會(huì)議參加者為Alice、Betty和Cherryl并根據(jù)該實(shí)施例如上所述定義參加者的功能性動(dòng)作的情況下獲得的時(shí)間線?？傊?，圖9中所示的時(shí)間線表示功能性動(dòng)作的持續(xù)時(shí)間。在圖9中，橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。如可從圖9中看到的，在會(huì)議中，Alice執(zhí)行了以下的功能性動(dòng)作(a)發(fā)言；(b)發(fā)言；(c)附應(yīng)；(d)提問；(e)附應(yīng)；以及(f)不發(fā)言型公共信息空間使用。如還可從圖9中看到的，Betty執(zhí)行了(g)發(fā)言，而Cherryl執(zhí)行了(h)發(fā)言。在回顧會(huì)議視頻規(guī)則生成步驟S42中，生成圖像概要規(guī)則以產(chǎn)生由會(huì)議參加者用于回顧會(huì)議的視頻概要。在公共觀看會(huì)議視頻規(guī)則生成步驟S44中，生成圖像概要規(guī)則以產(chǎn)生由那些沒有參加會(huì)議但允許在會(huì)議之后通過視頻概要觀看會(huì)議的人使用的視頻概要。同樣地，在管理人員會(huì)議視頻規(guī)則生成步驟S46中，生成圖像概要規(guī)則以產(chǎn)生由領(lǐng)導(dǎo)會(huì)議參加者工作并希望觀看會(huì)議以作參考的管理人員、主管和經(jīng)理使用的視頻概要。例如，在參加了會(huì)議之后，Alice可以通過“用于回顧的會(huì)議視頻”來回顧會(huì)議視頻。沒有參加會(huì)議的Diana可以通過“用于公共觀看的會(huì)議視頻”來觀看會(huì)議視頻。作為公司管理人員和Alice的上級(jí)的Elly可以通過“用于管理人員的會(huì)議視頻”來參看會(huì)議視頻。在此，Diana沒有出席(attend)主題會(huì)議，意味著她沒有實(shí)際出席會(huì)議，或者她沒有參加(participate)視頻會(huì)議(通過諸如視頻監(jiān)視器的裝置)。這與“不參加(non-participating)”完全不同，而是意味著她沒有參與(takeanypartin)該會(huì)議。當(dāng)Alice使用“用于回顧的會(huì)議視頻”時(shí)，她在參加者指定步驟S421中指定她自己(即“Alice”)作為主題參加者。通過指定她自己作為參加者，Alice可以僅指定她自己的功能性動(dòng)作作為要回顧的對(duì)象。因此，將要由Alice回顧的關(guān)于“用于回顧的會(huì)議視頻”的功能性動(dòng)作限制為圖9中所示的(a)發(fā)言、(b)發(fā)言、(c)附應(yīng)、(d)提問、(e)附應(yīng)，以及(f)不發(fā)言型公共信息空間使用。在生成回顧會(huì)議視頻規(guī)則的步驟中，只考慮“活動(dòng)功能性動(dòng)作”以及“發(fā)言型思考功能性動(dòng)作”。因此，使用功能性動(dòng)作(a)發(fā)言、(b)發(fā)言、(c)提問、以及(f)不發(fā)言型公共信息空間使用作為要進(jìn)行概要處理的對(duì)象，來執(zhí)行所述概要處理。當(dāng)沒有參加會(huì)議的Diana使用“用于公共觀看的會(huì)議視頻”時(shí)，她首先指定會(huì)議參加者。例如，在閾值和參加者指定步驟S441中，Diana指定Alice。因此，將要在“用于公共觀看的會(huì)議視頻”中進(jìn)行概要處理的功能性動(dòng)作限制為圖9中所示的(a)發(fā)言、(b)發(fā)言、(c)附應(yīng)、(d)提問、(e)附應(yīng)，以及(f)不發(fā)言型公共信息空間使用。如上所述，在“用于公共觀看的會(huì)議視頻”中，功能性動(dòng)作“發(fā)言”、“提問”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”是要進(jìn)行概要處理的對(duì)象。因此，僅將圖9中所示的功能性動(dòng)作(a)發(fā)言、(b)發(fā)言和(d)提問作為要進(jìn)行概要處理的對(duì)象，來執(zhí)行概要處理。當(dāng)作為管理人員的Elly使用“用于管理人員的會(huì)議視頻”時(shí)，在閾值和參加者指定步驟S461中她可以指定Alice、Betty和Cherryl。在這種情況下，在概要處理中僅將圖9中所示的由Alice執(zhí)行的(a)發(fā)言和(b)發(fā)言、由Betty執(zhí)行的(g)發(fā)言以及由Cherryl執(zhí)行的(h)發(fā)言的功能性動(dòng)作作為要進(jìn)行概要處理的對(duì)象。這是因?yàn)樵诠芾砣藛T會(huì)議視頻規(guī)則生成步驟S46中僅將“發(fā)言”、“發(fā)言型思考”和“發(fā)言型公共信息空間使用”的功能性動(dòng)作指定為要進(jìn)行概要處理的對(duì)象?，F(xiàn)參照?qǐng)D10，對(duì)閾值處理過程進(jìn)行說明?？梢允褂瞄撝祦懋a(chǎn)生更緊湊的視頻概要。例如，可以使用閾值來設(shè)定要進(jìn)行概要處理的各個(gè)功能性動(dòng)作的持續(xù)時(shí)間的上限。圖10表示具有比閾值長(zhǎng)的持續(xù)時(shí)間的功能性動(dòng)作，以及具有比閾值短的持續(xù)時(shí)間的功能性動(dòng)作。在圖10中，橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。如可以從圖10中看到的，Alice執(zhí)行了功能性動(dòng)作(a’)發(fā)言和(b’)發(fā)言。例如，為了對(duì)要進(jìn)行概要處理的功能性動(dòng)作的持續(xù)時(shí)間設(shè)定上限，將閾值t設(shè)定為8秒。由Alice執(zhí)行的第一發(fā)言(a’)持續(xù)了10秒，而由Alice執(zhí)行的第二發(fā)言(b’)持續(xù)了6秒。由于在圖像概要處理操作中處理的功能性動(dòng)作是“發(fā)言”，并且閾值t為8秒，所以要處理的僅僅是第一發(fā)言(a’)的前8秒的數(shù)據(jù)。同時(shí)，要處理比8秒的閾值t要短的整個(gè)第二發(fā)言(b’)。對(duì)上述各個(gè)功能性動(dòng)作進(jìn)行具體定義。將“發(fā)言”歸為獨(dú)立功能性動(dòng)作類別，并且通常被寫作或解釋為參加者發(fā)言?！鞍l(fā)言”與語言動(dòng)作相關(guān)聯(lián)。將“提問”歸為另一個(gè)類別，但將反問歸類為“發(fā)言”?！矮@得發(fā)言權(quán)”表示參加者希望在討論中開始交談的動(dòng)作?？梢詫ⅰ矮@得發(fā)言權(quán)”動(dòng)作分為語音動(dòng)作和可視動(dòng)作。為了獲得發(fā)言權(quán)，參加者舉起他/她的手以示意他/她希望開始談話，或者發(fā)出噪聲以吸引其他參加者的注意力。除了保持發(fā)言權(quán)的動(dòng)作以外，“繼續(xù)發(fā)言”表示與“獲得發(fā)言權(quán)”相同的動(dòng)作。當(dāng)另一個(gè)參加者試圖獲得發(fā)言權(quán)時(shí)，正在發(fā)言的參加者執(zhí)行“繼續(xù)發(fā)言”?！坝^察”表示參加者有意地看著關(guān)注點(diǎn)的動(dòng)作，而不執(zhí)行任何其他動(dòng)作?！瓣P(guān)注點(diǎn)”字面的意思表示吸引參加者注意力的物體或人的動(dòng)作?！皡⒓印北硎緟⒓诱邿o意地看著關(guān)注點(diǎn)的動(dòng)作。參加者可能驚訝地睜大他/她的眼睛，或者在他/她的椅子上挪動(dòng)。當(dāng)僅考慮“凝視”時(shí)，檢測(cè)(或識(shí)別)這種動(dòng)作的預(yù)計(jì)方向不象所想的那樣困難。一個(gè)人凝視的物體應(yīng)該是重要的，因此，在開始和結(jié)束時(shí)該動(dòng)作的凝視方向暗示該動(dòng)作的預(yù)計(jì)方向。當(dāng)另一個(gè)參加者執(zhí)行“附應(yīng)”或發(fā)言者以某種方式強(qiáng)調(diào)他/她的發(fā)言時(shí)(通過姿勢(shì)或較大的聲音)，實(shí)際“參加”會(huì)議的參加者應(yīng)該向“動(dòng)作的預(yù)計(jì)方向”看。“不參加”表示有意地涉及完全與會(huì)議無關(guān)的事情的參加者的動(dòng)作。“不參加”動(dòng)作的示例包括睡覺或打電話?！案綉?yīng)”表示每個(gè)參加者可能給出以繼續(xù)討論的確認(rèn)手勢(shì)?！案綉?yīng)”動(dòng)作的示例包括諸如點(diǎn)頭或“啊哈”的短的可聽到的響應(yīng)?！疤釂枴北硎緟⒓诱咭曰卮鹫呖梢员３职l(fā)言權(quán)的方式提出問題的動(dòng)作?！按_認(rèn)型提問”表示參加者以不允許回答者發(fā)言的方式提出問題的動(dòng)作。確認(rèn)型提問通常由非常短的句子構(gòu)成?！鞍l(fā)言型思考”表示參加者在談話的同時(shí)進(jìn)行思考的動(dòng)作。當(dāng)參加者向上看時(shí)，可以將參加者的動(dòng)作確定為“發(fā)言型思考”動(dòng)作?！疤釂栃退伎肌北硎緟⒓诱咚伎紗栴}的動(dòng)作?！按_認(rèn)提問型思考”表示參加者進(jìn)行思考但不談話的動(dòng)作?！白匝宰哉Z”表示參加者對(duì)自己說話的動(dòng)作。該動(dòng)作的標(biāo)記之一是參加者向下看的動(dòng)作。該動(dòng)作無意針對(duì)任何人。“陳述型公共信息空間使用”表示參加者在談話的同時(shí)在白板或在兩個(gè)或更多個(gè)會(huì)議參加者之間共享的某些其他信息空間上進(jìn)行書寫的動(dòng)作?！疤釂栃凸残畔⒖臻g使用”表示參加者在提出問題的同時(shí)在白板或在兩個(gè)或更多個(gè)會(huì)議參加者之間共享的某些其他信息空間上進(jìn)行書寫的動(dòng)作?！按_認(rèn)提問型公共信息空間使用”表示參加者在提出確認(rèn)型提問的同時(shí)在白板或在兩個(gè)或更多個(gè)會(huì)議參加者之間共享的某些其他信息空間上進(jìn)行書寫的動(dòng)作?！安话l(fā)言型公共信息空間使用”表示參加者在白板或在兩個(gè)或更多個(gè)會(huì)議參加者之間共享的某些其他信息空間上進(jìn)行書寫的動(dòng)作。除了“不發(fā)言型公共信息空間使用”動(dòng)作以外，不發(fā)言型功能性動(dòng)作不具有任何“動(dòng)作的預(yù)計(jì)方向”?！皡⒓有退饺诵畔⒖臻g使用”表示參加者在“參加”會(huì)議的同時(shí)有意地涉及“私人信息空間”的動(dòng)作?！皡⒓有退饺诵畔⒖臻g使用”的示例包括在紙張上進(jìn)行書寫和在膝上型計(jì)算機(jī)上輸入筆記。在這種情況下，參加者可能偶爾掃視一下會(huì)議，甚至可能提出短的評(píng)論或執(zhí)行“附應(yīng)”動(dòng)作?！安粎⒓有退饺诵畔⒖臻g使用”表示參加者在“不參加”會(huì)議的同時(shí)有意地涉及“私人信息空間”的動(dòng)作。“笑”字面的意思表示參加者笑的動(dòng)作?！安豢擅枋龅膭?dòng)作”表示不能對(duì)來自視頻的動(dòng)作或該動(dòng)作的預(yù)計(jì)方向進(jìn)行解釋。根據(jù)上述第一實(shí)施例，可以基于從一個(gè)或更多個(gè)物理事件摘錄的各個(gè)功能性動(dòng)作對(duì)會(huì)議音頻和/或可視信息進(jìn)行編輯。因此，可以提供對(duì)于那些希望以后觀看會(huì)議的人有用的會(huì)議視頻。(第二實(shí)施例)現(xiàn)將對(duì)本發(fā)明的第二實(shí)施例進(jìn)行說明。在第二實(shí)施例中，索引提供單元5根據(jù)會(huì)議參加者的功能性動(dòng)作自動(dòng)地產(chǎn)生索引數(shù)據(jù)。更具體地，使用音頻/非音頻部分檢測(cè)技術(shù)、語音識(shí)別技術(shù)以及姿勢(shì)識(shí)別技術(shù)，對(duì)圖像數(shù)據(jù)中的各個(gè)功能性動(dòng)作進(jìn)行識(shí)別，并且自動(dòng)地生成與參加者的功能性動(dòng)作相對(duì)應(yīng)的索引數(shù)據(jù)以及通過群集技術(shù)(clusteringtechnique)等識(shí)別的場(chǎng)景。圖11是索引顯示處理的流程圖。如從圖11中可看到的，該處理包括事件索引步驟S51、功能性動(dòng)作索引步驟S52、場(chǎng)景索引步驟S53、以及索引顯示步驟S54。事件索引步驟S51、功能性動(dòng)作索引步驟S52、以及場(chǎng)景索引步驟S53是上述索引記錄步驟S22的更詳細(xì)的方案。在事件索引步驟S51中，索引提供單元5對(duì)與介質(zhì)層22c相對(duì)應(yīng)的圖像數(shù)據(jù)進(jìn)行索引。更具體地，索引提供單元5從由部分會(huì)議視頻提取單元4提取的部分會(huì)議視頻數(shù)據(jù)中識(shí)別會(huì)議參加者的各個(gè)物理事件(例如掃視和點(diǎn)頭)。索引提供單元5隨后提供索引并使圖像數(shù)據(jù)結(jié)構(gòu)化。在功能性動(dòng)作索引步驟S52中，索引提供單元5對(duì)與功能性動(dòng)作層22b相對(duì)應(yīng)的圖像數(shù)據(jù)進(jìn)行索引。更具體地，索引提供單元5根據(jù)關(guān)于被結(jié)構(gòu)化為介質(zhì)層22c的物理事件的索引數(shù)據(jù)來識(shí)別各個(gè)功能性動(dòng)作。索引提供單元5隨后提供索引并使圖像數(shù)據(jù)結(jié)構(gòu)化。在場(chǎng)景索引步驟S53中，索引提供單元5對(duì)與場(chǎng)景層22a相對(duì)應(yīng)的圖像數(shù)據(jù)進(jìn)行索引。更具體地，索引提供單元5根據(jù)關(guān)于被結(jié)構(gòu)化為功能性動(dòng)作層22b的功能性動(dòng)作的索引數(shù)據(jù)來識(shí)別各個(gè)場(chǎng)景。索引提供單元5隨后提供索引并使圖像數(shù)據(jù)結(jié)構(gòu)化。在索引顯示步驟S54中，索引顯示單元8以圖形的方式顯示被結(jié)構(gòu)化為介質(zhì)層22c、功能性動(dòng)作層22b和場(chǎng)景層22a的索引數(shù)據(jù)，以使得可以將索引數(shù)據(jù)如圖2中所示呈現(xiàn)給用戶。圖12表示與功能性動(dòng)作層和介質(zhì)層相對(duì)應(yīng)的圖像數(shù)據(jù)的示例結(jié)構(gòu)。在圖12中所示的示例中，存在介質(zhì)層22c的四個(gè)事件(動(dòng)作)。事件A表示參加者離開他/她的座位的物理事件。事件B表示參加者發(fā)言的物理事件。事件C表示參加者在白板上進(jìn)行書寫的物理事件。事件D表示參加者入座的物理事件。在此，事件B和C彼此同時(shí)發(fā)生。更具體地，存在發(fā)言的同時(shí)在白板上進(jìn)行書寫的會(huì)議參加者。根據(jù)關(guān)于該事件的索引數(shù)據(jù)，可以在對(duì)應(yīng)的功能性動(dòng)作層22b上將該會(huì)議參加者的動(dòng)作識(shí)別為“發(fā)言型公共信息空間使用”。為了識(shí)別每?jī)蓚€(gè)場(chǎng)景之間的邊界，可以利用“MethodofDetectingMovingPictureCutsfromaMPEGBitStreamthroughLikelihoodRatioTest”(Kaneko，etal.，IEICETransactionsD-II，vol.J82-D-II，No.3，pp.361-370，1990)。在一個(gè)場(chǎng)景包括兩個(gè)或更多個(gè)剪輯的情況下，可以使用在“AnInteractiveComicBookPresentationforExploringVideo”(Boreczky，etal.，CHI2000CHILetters，volume2，issue1，pp.185-192，2000)中公開的群集技術(shù)來將兩個(gè)或更多個(gè)剪輯作為一個(gè)場(chǎng)景集中進(jìn)行處理。根據(jù)Boreczky等人所公開的技術(shù)，通過階層式聚合群集技術(shù)(hierachicalagglomerativeclusteringtechnique)的所謂完全連通法(completelinkmethod)來群集所有的視頻幀。為了識(shí)別圖像數(shù)據(jù)(或者部分會(huì)議視頻數(shù)據(jù))中的“發(fā)言”的功能性動(dòng)作，可以使用在“MethodofDetectingTimingforPresentingSubtitlesinTelevisionprogram，UsingWordSpottingandDynamicProgrammingTechnique”(Maruyama，etal.)中公開的“塊逆譜通量(BlockCepstrumFlux)”技術(shù)。如果根據(jù)音頻數(shù)據(jù)和非音頻數(shù)據(jù)之間的閾值確定為非音頻幀的序列幀的數(shù)量超過預(yù)定數(shù)量，則將非音頻幀部分歸類為非音頻部分，并將所有的剩余部分歸類為音頻部分。通過檢測(cè)這些音頻部分，可以識(shí)別圖像數(shù)據(jù)中的“發(fā)言”的功能性動(dòng)作。在參加者作出手勢(shì)以獲得發(fā)言權(quán)(“獲得發(fā)言權(quán)”)的情況下，可以使用傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)來從圖像數(shù)據(jù)(或部分會(huì)議視頻數(shù)據(jù))中檢測(cè)手和身體姿勢(shì)。例如，可以使用在日本未審專利公報(bào)No.2001-229398中公開的裝置來從視頻圖像中檢測(cè)由動(dòng)作者作出的姿勢(shì)，并以可以再現(xiàn)該姿勢(shì)的方式設(shè)定姿勢(shì)的參數(shù)。隨后將標(biāo)簽加入這些參數(shù)。存儲(chǔ)帶有標(biāo)簽的參數(shù)，以使這些參數(shù)可以用于制作以自然方式動(dòng)畫運(yùn)動(dòng)的角色。而且，可以使用在日本未審專利公報(bào)No.2000-222586中公開的裝置來有效地描述與視頻圖像中的對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)信息。更具體地，通過累加運(yùn)動(dòng)頻率分布圖來產(chǎn)生累計(jì)運(yùn)動(dòng)頻率圖，并產(chǎn)生有效描述與視頻圖像中的對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)信息的運(yùn)動(dòng)描述符，并且將該運(yùn)動(dòng)描述符用于視頻搜索。還提出了幾種技術(shù)以構(gòu)造用于根據(jù)序列圖像幀來精確估測(cè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)和結(jié)構(gòu)的模型方法，由此識(shí)別由運(yùn)動(dòng)對(duì)象作出的姿勢(shì)。例如，可以使用在日本未審專利公報(bào)No.9-245178中公開的姿勢(shì)運(yùn)動(dòng)圖像識(shí)別方法。更具體地，將構(gòu)成運(yùn)動(dòng)圖像的各個(gè)圖像幀視為矢量空間中的點(diǎn)，并將各個(gè)點(diǎn)的運(yùn)動(dòng)軌跡設(shè)定為各個(gè)對(duì)應(yīng)類型的姿勢(shì)的特征參數(shù)。將通過該方式得到的特征參數(shù)與基準(zhǔn)模式的特征參數(shù)進(jìn)行比較。由此，可以精確地識(shí)別姿勢(shì)的類型。還可以使用在日本未審專利公報(bào)No.11-238142中公開的裝置。將在原始運(yùn)動(dòng)圖像中可以看到的姿勢(shì)具體分類成多種類型，例如提問(前傾)和同意(點(diǎn)頭)。因此，構(gòu)成要加入到各種類型姿勢(shì)中的識(shí)別標(biāo)簽，并從各個(gè)對(duì)應(yīng)的識(shí)別標(biāo)簽中提取各種姿勢(shì)的含意。因此，可以產(chǎn)生說明各個(gè)姿勢(shì)的開始時(shí)間和結(jié)束時(shí)間的腳本(script)。還可以使用在日本未審專利公報(bào)No.6-89342中公開的運(yùn)動(dòng)圖像處理器。更具體地，輸入構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像，并根據(jù)該多個(gè)圖像中的至少三個(gè)特征點(diǎn)的位置變化來估測(cè)圖像幀中的仿射變形(affinedeformation)。因此，可以根據(jù)圖像特征數(shù)量的位置變化來檢測(cè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)和結(jié)構(gòu)?？梢岳靡陨系淖藙?shì)識(shí)別技術(shù)來識(shí)別圖像數(shù)據(jù)中諸如“獲得發(fā)言權(quán)”和“附應(yīng)”的功能性動(dòng)作?，F(xiàn)將對(duì)待由索引提供單元5執(zhí)行的功能性動(dòng)作識(shí)別操作進(jìn)行說明。索引提供單元5根據(jù)一個(gè)或多個(gè)物理事件的持續(xù)時(shí)間的邏輯總和來計(jì)算各個(gè)功能性動(dòng)作的持續(xù)時(shí)間。各個(gè)功能性動(dòng)作的持續(xù)時(shí)間可以根據(jù)對(duì)應(yīng)的功能性動(dòng)作的開始時(shí)間和結(jié)束時(shí)間來確定，并且可以在上述功能性動(dòng)作索引處理中使用。換句話說，可以在圖像數(shù)據(jù)結(jié)構(gòu)化處理中使用各個(gè)功能性動(dòng)作的持續(xù)時(shí)間。索引提供單元5還根據(jù)包含在部分會(huì)議音頻和/或可視信息中的各個(gè)會(huì)議參加者作出的姿勢(shì)、各個(gè)會(huì)議參加者的鼠標(biāo)的運(yùn)動(dòng)、各個(gè)會(huì)議參加者的眼睛的移動(dòng)、各個(gè)會(huì)議參加者的頭部的移動(dòng)、各個(gè)會(huì)議參加者的書寫動(dòng)作、各個(gè)會(huì)議參加者從椅子上站起的動(dòng)作、各個(gè)會(huì)議參加者在預(yù)定輸入裝置上打字的動(dòng)作、各個(gè)會(huì)議參加者的面部表情，以及各個(gè)會(huì)議參加者的語音數(shù)據(jù)來識(shí)別功能性動(dòng)作。現(xiàn)參照?qǐng)D13，對(duì)“發(fā)言”情況進(jìn)行說明。圖13是功能性動(dòng)作“發(fā)言”的時(shí)間線圖。圖13中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。圖13中的時(shí)間線圖表示(a)“發(fā)言視頻源數(shù)據(jù)”；(b)“發(fā)言者的姿勢(shì)數(shù)據(jù)”；(c)“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；和(d)“發(fā)言語音數(shù)據(jù)”。這些數(shù)據(jù)可以視為上述介質(zhì)層中的數(shù)據(jù)。同時(shí)，將(e)“所檢測(cè)的發(fā)言持續(xù)時(shí)間(時(shí)間段)”的數(shù)據(jù)視為功能性動(dòng)作層中的數(shù)據(jù)。圖13中的“發(fā)言視頻源數(shù)據(jù)”是發(fā)言的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“發(fā)言者的姿勢(shì)數(shù)據(jù)”和“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢(shì)數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層的“發(fā)言”的持續(xù)時(shí)間，如圖14中所示。圖14是功能性動(dòng)作持續(xù)時(shí)間確定處理的流程圖。該功能性動(dòng)作持續(xù)時(shí)間確定處理包括介質(zhì)層事件持續(xù)時(shí)間邏輯總和計(jì)算步驟S61、其余事件(數(shù)據(jù)源)確定步驟S62，以及功能性動(dòng)作持續(xù)時(shí)間確定步驟S63。這些步驟由索引提供單元5執(zhí)行。通常，可以通過介質(zhì)層的一個(gè)或更多個(gè)事件的持續(xù)時(shí)間來識(shí)別功能性動(dòng)作。因此，索引提供單元5以與介質(zhì)層的對(duì)應(yīng)事件的數(shù)量相同的次數(shù)來重復(fù)介質(zhì)層事件持續(xù)時(shí)間邏輯總和計(jì)算步驟S61。索引提供單元5確定在另一個(gè)事件(數(shù)據(jù)源)確定步驟S62中是否應(yīng)該再次重復(fù)步驟S61。在介質(zhì)層事件持續(xù)時(shí)間邏輯總和計(jì)算步驟S61中，索引提供單元5計(jì)算在時(shí)間軸上已計(jì)算的事件持續(xù)時(shí)間和當(dāng)前計(jì)算的事件持續(xù)時(shí)間的邏輯總和。在功能性動(dòng)作持續(xù)時(shí)間確定步驟S63中，索引提供單元5基于在步驟S61中得到的時(shí)間邏輯總和，計(jì)算事件的開始時(shí)間和結(jié)束時(shí)間之間的差值。索引提供單元5隨后將該差值確定為對(duì)應(yīng)功能性動(dòng)作的持續(xù)時(shí)間。通過這種方式，通過開始時(shí)間和結(jié)束時(shí)間之間的差值來確定各個(gè)功能性動(dòng)作的持續(xù)時(shí)間。在要確定“發(fā)言”功能性動(dòng)作的持續(xù)時(shí)間的情況下，索引提供單元5計(jì)算作為圖13中所示的“發(fā)言者的姿勢(shì)數(shù)據(jù)”、“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”和“發(fā)言語音數(shù)據(jù)”的介質(zhì)層事件的持續(xù)時(shí)間的邏輯總和。由此，確定“發(fā)言”功能性動(dòng)作的持續(xù)時(shí)間?，F(xiàn)參照?qǐng)D15，對(duì)圖14中所示的功能性動(dòng)作持續(xù)時(shí)間確定步驟S63進(jìn)行詳細(xì)說明。圖15是功能性動(dòng)作持續(xù)時(shí)間確定處理的流程圖。如圖15中所示，功能性動(dòng)作持續(xù)時(shí)間確定步驟S63包括開始時(shí)間獲取步驟S71、最早開始時(shí)間比較步驟S72、最早開始時(shí)間設(shè)定步驟S73、結(jié)束時(shí)間獲取步驟S74、最晚結(jié)束時(shí)間比較步驟S75、最晚結(jié)束時(shí)間設(shè)定步驟S76、其他事件(數(shù)據(jù)源)確定步驟S77，以及功能性動(dòng)作持續(xù)時(shí)間確定步驟S78。這些步驟由索引提供單元5執(zhí)行。在開始時(shí)間獲取步驟S71中，索引提供單元5獲取具有介質(zhì)層的事件的開始時(shí)間。在最早開始時(shí)間比較步驟S72中，索引提供單元5將預(yù)定的最早開始時(shí)間與在開始時(shí)間獲取步驟S71中獲取的事件開始時(shí)間進(jìn)行比較。如果在步驟S72中獲取的開始時(shí)間早于預(yù)定的最早開始時(shí)間，則索引提供單元5執(zhí)行最早開始時(shí)間設(shè)定步驟S73。如果在步驟S71中獲取的開始時(shí)間等同于或晚于預(yù)定的最早開始時(shí)間，則索引提供單元5轉(zhuǎn)移到結(jié)束時(shí)間獲取步驟S74。在最早開始時(shí)間設(shè)定步驟S73中，索引提供單元5將在步驟S71中獲取的開始時(shí)間設(shè)定為最早開始時(shí)間。在結(jié)束時(shí)間獲取步驟S74中，索引提供單元5獲取具有對(duì)應(yīng)介質(zhì)層的事件的結(jié)束時(shí)間。在最晚結(jié)束時(shí)間比較步驟S75中，索引提供單元5將預(yù)定的最晚結(jié)束時(shí)間與在結(jié)束時(shí)間獲取步驟S74中獲取的事件結(jié)束時(shí)間進(jìn)行比較。如果在步驟S74中獲取的結(jié)束時(shí)間比預(yù)定的最晚結(jié)束時(shí)間晚，則索引提供單元5執(zhí)行最晚結(jié)束時(shí)間設(shè)定步驟S76。如果在步驟S74中獲取的結(jié)束時(shí)間等同于或早于預(yù)定的最晚結(jié)束時(shí)間，則索引提供單元5轉(zhuǎn)移到其他事件(數(shù)據(jù)源)確定步驟S77。在其他事件(數(shù)據(jù)源)確定步驟S77中，索引提供單元5確定是否存在與功能性動(dòng)作相關(guān)的任何其他事件(或數(shù)據(jù)源)。如果存在另一事件，則操作返回到該事件的開始時(shí)間獲取步驟S71。如果不存在與功能性動(dòng)作相關(guān)的任何其他事件，則索引提供單元5執(zhí)行功能性動(dòng)作持續(xù)時(shí)間確定步驟S78。在功能性動(dòng)作持續(xù)時(shí)間確定步驟S78中，索引提供單元5計(jì)算在最早開始時(shí)間設(shè)定步驟S73中設(shè)定的最早開始時(shí)間和在最晚結(jié)束時(shí)間設(shè)定步驟S76中設(shè)定的最晚結(jié)束時(shí)間之間的差值。索引提供單元5隨后將該差值確定為功能性動(dòng)作的持續(xù)時(shí)間。通過這種方式，通過最早開始時(shí)間和最晚結(jié)束時(shí)間之間的差值來確定功能性動(dòng)作的持續(xù)時(shí)間。通過上述過程，可以根據(jù)圖13中所示的“發(fā)言者的姿勢(shì)數(shù)據(jù)”、“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”和“發(fā)言語音數(shù)據(jù)”來計(jì)算“所檢測(cè)的發(fā)言持續(xù)時(shí)間(時(shí)間段)”。接下來，對(duì)從圖13中所示的“發(fā)言視頻源數(shù)據(jù)”中提取介質(zhì)層中的各個(gè)物理事件的處理進(jìn)行說明。該處理由部分會(huì)議視頻提取單元4執(zhí)行。為了從圖13中所示的“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢(shì)數(shù)據(jù)”，可以使用軟件版實(shí)時(shí)三維運(yùn)動(dòng)測(cè)量系統(tǒng)“SV-Tracker”或圖像運(yùn)動(dòng)測(cè)量軟件“Pc-MAG”(兩者都由OKKINC.制造)。在使用SV-Tracker的情況下，各個(gè)會(huì)議參加者必須事先佩帶有用于姿勢(shì)的三維測(cè)量的標(biāo)記。使用所謂的IEEE1394數(shù)碼相機(jī)，可以從通過該數(shù)碼相機(jī)捕獲的“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢(shì)數(shù)據(jù)”。在使用Pc-MAG的情況下，不需要上述標(biāo)記，但必須相對(duì)于與“發(fā)言視頻源數(shù)據(jù)”相對(duì)應(yīng)的圖像設(shè)定用于測(cè)量姿勢(shì)的測(cè)量點(diǎn)，以使得可以從“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的姿勢(shì)數(shù)據(jù)”。作為姿勢(shì)識(shí)別技術(shù)，可以使用在“MethodofEstimatingtheLocationandtheHandAreaofaPersonbyaMulti-EyeCameraforGestureRecognition”(Tominaga，etal.，IPSJTechnicalReport，Vol.2001，No.87，HumanInterface95-12(9.13.2001)，pp.85-92)中公開的方法。為了從圖13中所示的“發(fā)言視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，可以使用在“SpeechStartandEndDetectionfromMovementsofMouseandSurroundingArea”(Murai，etal.，ProceedingsofIPSJNationalConferenceinAutumn2000，Vol.2，pp.169-170，2000)中公開的方法。在提取圖13中所示的“發(fā)言語音數(shù)據(jù)”的處理中，可以使用“Java(已注冊(cè)商標(biāo))語言”(由InternationalBussinessMachinesCorporation生產(chǎn))，以從普通音頻數(shù)據(jù)中提取實(shí)際發(fā)言音頻部分的音頻數(shù)據(jù)。而且，可以使用在“BasicsofVoiceRecognitionDescriptionandDevelopmentofApplicationPrograms”(Interface(Aug.1998)，pp.100-105)中公開的語音識(shí)別方法提取發(fā)言音頻數(shù)據(jù)?，F(xiàn)參照?qǐng)D16，對(duì)“獲得發(fā)言權(quán)”情況進(jìn)行說明。圖16是“獲得發(fā)言權(quán)”的功能性動(dòng)作的時(shí)間線圖。圖16中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”；(b)“獲得發(fā)言權(quán)姿勢(shì)(舉起他/她的手)數(shù)據(jù)”；(c)“參加者的站起圖像數(shù)據(jù)”；(d)“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(e)“獲得發(fā)言權(quán)(“對(duì)不起”)話音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(f)“所檢測(cè)的獲得發(fā)言權(quán)持續(xù)時(shí)間(時(shí)間段)”。圖16中的“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”是獲得發(fā)言權(quán)動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并且用作為“獲得發(fā)言權(quán)姿勢(shì)數(shù)據(jù)”、“參加者的站起圖像數(shù)據(jù)”和“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”中提取“獲得發(fā)言權(quán)姿勢(shì)數(shù)據(jù)”。部分會(huì)議視頻提取單元4還從“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”中提取“參加者的站起圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”中提取“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“獲得發(fā)言權(quán)””的持續(xù)時(shí)間。在Alice作為會(huì)議的參加者試圖獲得發(fā)言權(quán)(“獲得發(fā)言權(quán)”)的情況下，將上述(a)“獲得發(fā)言權(quán)視頻源數(shù)據(jù)”、(b)“Alice的獲得發(fā)言權(quán)姿勢(shì)(舉起她的手)數(shù)據(jù)”、(c)“Alice的站起圖像數(shù)據(jù)”、(d)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“獲得發(fā)言權(quán)語音數(shù)據(jù)(Alice說“對(duì)不起”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。此外，將上述(f)“所檢測(cè)的獲得發(fā)言權(quán)持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D17，對(duì)“繼續(xù)發(fā)言”的情況進(jìn)行說明。圖17是“繼續(xù)發(fā)言”的功能性動(dòng)作的時(shí)間線圖。圖17中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“繼續(xù)發(fā)言視頻源數(shù)據(jù)”；(b)“繼續(xù)發(fā)言姿勢(shì)(向前伸出他/她的手表示“停止”)數(shù)據(jù)”；(c)“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(d)“繼續(xù)發(fā)言(“以及…”)語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的繼續(xù)發(fā)言持續(xù)時(shí)間(時(shí)間段)”。圖17中的“繼續(xù)發(fā)言視頻源數(shù)據(jù)”是繼續(xù)發(fā)言動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并且用作為“繼續(xù)發(fā)言姿勢(shì)數(shù)據(jù)”和“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“繼續(xù)發(fā)言視頻源數(shù)據(jù)”提取“繼續(xù)發(fā)言姿勢(shì)數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“繼續(xù)發(fā)言視頻源數(shù)據(jù)”提取“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“繼續(xù)發(fā)言”的持續(xù)時(shí)間。在Alice作為會(huì)議的參加者保持發(fā)言權(quán)(“繼續(xù)發(fā)言”)的情況下，將上述(a)“繼續(xù)發(fā)言視頻源數(shù)據(jù)”、(b)“Alice的繼續(xù)發(fā)言姿勢(shì)(向前伸出她的手)數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(d)“繼續(xù)發(fā)言語音數(shù)據(jù)(Alice說“以及...”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。此外，將上述(e)“所檢測(cè)的繼續(xù)發(fā)言持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)。現(xiàn)參照?qǐng)D18，對(duì)“觀察”的情況進(jìn)行說明。圖18是“觀察”功能性動(dòng)作的時(shí)間線圖。圖18中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“觀察視頻源數(shù)據(jù)”和(b)“觀察者的眼睛移動(dòng)圖像數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(c)“所檢測(cè)的觀察持續(xù)時(shí)間(時(shí)間段)”。圖18中的“觀察視頻源數(shù)據(jù)”是觀察動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“觀察者的眼睛移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的眼睛移動(dòng)跟隨技術(shù)從“觀察視頻源數(shù)據(jù)”中提取“觀察者的眼睛移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“觀察”的持續(xù)時(shí)間。為了獲得眼睛移動(dòng)數(shù)據(jù)，可以使用在“ApplicationInnerStructureVisualizingInterfaceUtilizingEyeMovements”(Yamato，etal.，IEICETechnicalReport，HIP2000-12(2000-06)，pp.37-42)和“ForEnvironmentswithEyesfromEyeInterfacetoEyeCommunication”(byTakehikoOhno，IPSJTechnicalReport，Vol.2001，No.87，HumanInterface95-24(9.14.2001)，pp.171-178)中公開的技術(shù)。現(xiàn)參照?qǐng)D19，對(duì)“參加”的情況進(jìn)行說明。圖19是“參加”的功能性動(dòng)作的時(shí)間線圖。圖19中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“參加視頻源數(shù)據(jù)”和(b)“參加者的眼睛移動(dòng)圖像數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(c)“所檢測(cè)的參加持續(xù)時(shí)間(時(shí)間段)”。圖19中的“參加視頻源數(shù)據(jù)”是參加動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的眼睛移動(dòng)跟隨技術(shù)從“參加視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“參加”的持續(xù)時(shí)間?，F(xiàn)參照?qǐng)D20，對(duì)“不參加”的情況進(jìn)行說明。圖20是“不參加”的功能性動(dòng)作的時(shí)間線圖。圖20中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不參加視頻源數(shù)據(jù)”；(b)“不參加者的搖頭運(yùn)動(dòng)圖像數(shù)據(jù)”；(c)“不參加者的鼾聲數(shù)據(jù)”以及(d)“不參加者的鼾聲數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的不參加持續(xù)時(shí)間(時(shí)間段)”。圖20中的“不參加視頻源數(shù)據(jù)”是不參加動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“不參加者的搖頭運(yùn)動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“不參加視頻源數(shù)據(jù)”中提取“不參加者的搖頭運(yùn)動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“不參加”的持續(xù)時(shí)間?，F(xiàn)參照?qǐng)D21，對(duì)“附應(yīng)”的情況進(jìn)行說明。圖21是“附應(yīng)”的功能性動(dòng)作的時(shí)間線圖。圖21中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“附應(yīng)(點(diǎn)頭)視頻源數(shù)據(jù)”；(b)“附應(yīng)姿勢(shì)(伴隨有點(diǎn)頭的“拍手”)數(shù)據(jù)”；(c)“附應(yīng)(點(diǎn)頭)的頸部移動(dòng)圖像數(shù)據(jù)”；(d)“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“附應(yīng)(“啊哈”)語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(f)“所檢測(cè)的附應(yīng)持續(xù)時(shí)間(時(shí)間段)”。圖21中的“附應(yīng)視頻源數(shù)據(jù)”是附應(yīng)動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“附應(yīng)姿勢(shì)數(shù)據(jù)”、“附應(yīng)的頸部移動(dòng)圖像數(shù)據(jù)”和“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“附應(yīng)視頻源數(shù)據(jù)”中提取“附應(yīng)姿勢(shì)數(shù)據(jù)”。部分會(huì)議視頻提取單元4還從“附應(yīng)視頻源數(shù)據(jù)”中提取“附應(yīng)的頸部移動(dòng)圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“附應(yīng)視頻源數(shù)據(jù)”中提取“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“附應(yīng)”的持續(xù)時(shí)間。在Alice作為會(huì)議的參加者作出響應(yīng)(附應(yīng))的情況下，將上述(a)“附應(yīng)視頻源數(shù)據(jù)”、(b)“Alice的附應(yīng)姿勢(shì)(拍手)數(shù)據(jù)”、(c)“Alice的點(diǎn)頭(頸部移動(dòng))圖像數(shù)據(jù)”、(d)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“附應(yīng)語音數(shù)據(jù)(Alice發(fā)出的“啊哈”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。而且，將上述(f)“所檢測(cè)的附應(yīng)持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)。為了確定點(diǎn)頭(頸部移動(dòng))圖像數(shù)據(jù)的持續(xù)時(shí)間，可以使用在“AhalysisofGestureInterrelationshipinNaturalConversations”(Maeda，etal.，IPSJTechnicalReport，Vol.2003，No.9，HumanInterface102-7(1.31.2003)，pp.39-46)中公開的技術(shù)。為了檢測(cè)參加者的頭部位置和姿勢(shì)，可以使用在“MethodofDetectingHeadLocationandPosture，andApplicationsoftheMethodforLarge-SizedInformationPresentingEnvironments”(Fujii，etal.，IPSJTechnicalReport，Vol.2002，No.38，HumanInterface98-6(5.17.2002)，pp.33-40)中公開的技術(shù)。為了檢測(cè)頸部移動(dòng)，可以使用在“StudyonNeck-MovementPCOperationSupportToolsfortheHandicapped”(Kubo，etal.，IEICETechnicalReport，HCS2000-5(2000-04)，pp.29-36)中公開的技術(shù)。現(xiàn)參照?qǐng)D22，對(duì)“提問”的情況進(jìn)行說明。圖22是“提問”的功能性動(dòng)作的時(shí)間線圖。圖22中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“提問視頻源數(shù)據(jù)”；(b)“提問姿勢(shì)(舉起他/她的手)數(shù)據(jù)”；(c)“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(d)“提問語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的提問持續(xù)時(shí)間(時(shí)間段)”。圖22中的“提問視頻源數(shù)據(jù)”是提問動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“提問姿勢(shì)數(shù)據(jù)”和“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“提問視頻源數(shù)據(jù)”中提取“提問姿勢(shì)數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“提問視頻源數(shù)據(jù)”中提取“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“提問”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者提問的情況下，將上述(a)“提問視頻源數(shù)據(jù)”、(b)“Alice的提問姿勢(shì)(舉起她的手)數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，以及(d)“Alice的提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測(cè)的提問持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D23，對(duì)“確認(rèn)型提問”的情況進(jìn)行說明。圖23是“確認(rèn)型提問”的功能性動(dòng)作的時(shí)間線圖。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“確認(rèn)型提問視頻源數(shù)據(jù)”；(b)“確認(rèn)型提問者的站起圖像數(shù)據(jù)”；(c)“確認(rèn)型提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(d)“確認(rèn)型提問語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的確認(rèn)型提問持續(xù)時(shí)間(時(shí)間段)”。圖23中的“確認(rèn)型提問視頻源數(shù)據(jù)”是確認(rèn)型提問動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“確認(rèn)型提問者的站起圖像數(shù)據(jù)”和“確認(rèn)型提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“確認(rèn)型提問視頻源數(shù)據(jù)”中提取“確認(rèn)型提問者的站起圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“確認(rèn)型提問視頻源數(shù)據(jù)”中提取“確認(rèn)型提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“確認(rèn)型提問”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者提出確認(rèn)型問題的情況下，將上述(a)“確認(rèn)型提問視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，以及(d)“Alice的確認(rèn)型提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測(cè)的確認(rèn)型提問持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D24，對(duì)“發(fā)言型思考”的情況進(jìn)行說明。圖24是“發(fā)言型思考”的功能性動(dòng)作的時(shí)間線圖。圖24中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“發(fā)言型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”；(c)“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(d)“發(fā)言語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的發(fā)言型思考持續(xù)時(shí)間(時(shí)間段)”。圖24中的“發(fā)言型思考視頻源數(shù)據(jù)”是發(fā)言型思考動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”和“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的眼睛移動(dòng)測(cè)量技術(shù)和傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“發(fā)言型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“發(fā)言型思考視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“發(fā)言型思考”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者進(jìn)行“發(fā)言型思考”的情況下，將上述(a)“發(fā)言型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，以及(d)“Alice的發(fā)言語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測(cè)的發(fā)言型思考持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)。現(xiàn)參照?qǐng)D25，對(duì)“提問型思考”的情況進(jìn)行說明。圖25是“提問型思考”的功能性動(dòng)作的時(shí)間線圖。圖25中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“提問型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”；(c)“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(d)“提問語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的提問型思考持續(xù)時(shí)間(時(shí)間段)”。圖25中的“提問型思考視頻源數(shù)據(jù)”是提問型思考動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”和“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的眼睛移動(dòng)測(cè)試技術(shù)和傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“提問型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“提問型思考視頻源數(shù)據(jù)”中提取“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“提問型思考”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者進(jìn)行“提問型思考”的情況下，將上述(a)“提問型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，以及(d)“Alice的提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測(cè)的提問型思考持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D26，對(duì)“確認(rèn)提問型思考”的情況進(jìn)行說明。圖26是“確認(rèn)提問型思考”的功能性動(dòng)作的時(shí)間線圖。圖26中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“確認(rèn)提問型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”；(c)“確認(rèn)提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(d)“確認(rèn)提問聲音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的確認(rèn)提問型思考持續(xù)時(shí)間(時(shí)間段)”。圖26中的“確認(rèn)提問型思考視頻源數(shù)據(jù)”是確認(rèn)提問型思考動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”和“確認(rèn)提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的眼睛移動(dòng)測(cè)量技術(shù)和傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“確認(rèn)提問型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“確認(rèn)提問型思考視頻源數(shù)據(jù)”中提取“確認(rèn)提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“確認(rèn)提問型思考”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者進(jìn)行“確認(rèn)提問型思考”的情況下，將上述(a)“確認(rèn)提問型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，以及(d)“Alice的確認(rèn)提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測(cè)的確認(rèn)提問型思考持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D27，對(duì)“不發(fā)言型思考”的情況進(jìn)行說明。圖27是“不發(fā)言型思考”的功能性動(dòng)作的時(shí)間線圖。圖27中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不發(fā)言型思考視頻源數(shù)據(jù)”；(b)“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”；以及(c)“參加者的曲臂姿勢(shì)數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的不發(fā)言型思考持續(xù)時(shí)間(時(shí)間段)”。圖27中的“不發(fā)言型思考視頻源數(shù)據(jù)”是不發(fā)言型思考動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”和“參加者的曲臂姿勢(shì)數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的眼睛移動(dòng)測(cè)量技術(shù)和傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“不發(fā)言型思考視頻源數(shù)據(jù)”中提取“參加者的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“不發(fā)言型思考視頻源數(shù)據(jù)”中提取“參加者的曲臂姿勢(shì)數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“不發(fā)言型思考”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者進(jìn)行“不發(fā)言型思考”的情況下，將上述(a)“不發(fā)言型思考視頻源數(shù)據(jù)”、(b)“Alice的眼睛移動(dòng)(看天花板)圖像數(shù)據(jù)”，以及(c)“Alice的曲臂姿勢(shì)的數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(d)“檢測(cè)到的不發(fā)言型思考持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D28，對(duì)“自言自語”的情況進(jìn)行說明。圖28是“自言自語”的功能性動(dòng)作的時(shí)間線圖。圖28中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“自言自語視頻源數(shù)據(jù)”；(b)“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(c)“自言自語語音數(shù)據(jù)”。該時(shí)間線圖示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(d)“所檢測(cè)的自言自語持續(xù)時(shí)間(時(shí)間段)”。圖28中的“自言自語視頻源數(shù)據(jù)”是自言自語動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“自言自語視頻源數(shù)據(jù)”中提取“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“自言自語”的持續(xù)時(shí)間。在Alice參加會(huì)議時(shí)自言自語的情況下，將上述(a)“Alice的視頻源數(shù)據(jù)”、(b)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”，以及(c)“Alice的自言自語語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(d)“所檢測(cè)的自言自語持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)。現(xiàn)參照?qǐng)D29，對(duì)“發(fā)言型公共信息空間使用”的情況進(jìn)行說明。圖29是“發(fā)言型公共信息空間使用”的功能性動(dòng)作的時(shí)間線圖。圖29中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”；(b)“參加者的站起圖像數(shù)據(jù)”；(c)“發(fā)言者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”；(d)“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(e)“發(fā)言語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(f)“所檢測(cè)的發(fā)言型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”。圖29中的“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”是發(fā)言型公共信息空間使用動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“發(fā)言者的站起圖像數(shù)據(jù)”、“發(fā)言者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”和“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“發(fā)言者的站起圖像數(shù)據(jù)”。部分會(huì)議視頻提取單元4還從“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“發(fā)言者的在白板上書寫的圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“發(fā)言者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“發(fā)言型公共信息空間使用”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者執(zhí)行“發(fā)言型公共信息空間使用”的情況下，將上述(a)“發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”、(d)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“Alice的發(fā)言語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測(cè)的發(fā)言型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D30，對(duì)“提問型公共信息空間使用”的情況進(jìn)行說明。圖30是“提問型公共信息空間使用”的功能性動(dòng)作的時(shí)間線圖。圖30中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“提問型公共信息空間使用視頻源數(shù)據(jù)”；(b)“提問者的站起圖像數(shù)據(jù)”；(c)“提問者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”；(d)“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(e)“提問語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(f)“所檢測(cè)的提問型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”。圖30中的“提問型公共信息空間使用視頻源數(shù)據(jù)”是提問型公共信息空間使用動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“提問者的站起圖像數(shù)據(jù)”、“提問者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”和“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“提問者的站起圖像數(shù)據(jù)”。部分會(huì)議視頻提取單元4還從“提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“提問者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“提問型公共信息空間使用”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者執(zhí)行“提問型公共信息空間使用”的情況下，將上述(a)“提問型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”、(d)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“Alice的提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測(cè)的提問型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D31，對(duì)“確認(rèn)提問型公共信息空間使用”的情況進(jìn)行說明。圖31是“確認(rèn)提問型公共信息空間使用”的功能性動(dòng)作的時(shí)間線圖。圖31中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“確認(rèn)提問型公共信息空間使用視頻源數(shù)據(jù)”；(b)“確認(rèn)提問者的站起圖像數(shù)據(jù)”；(c)“確認(rèn)提問者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”；(d)“確認(rèn)提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(e)“確認(rèn)提問語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(f)“所檢測(cè)的確認(rèn)提問型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”。圖31中的“確認(rèn)提問型公共信息空間使用視頻源數(shù)據(jù)”是確認(rèn)提問型公共信息空間使用動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“確認(rèn)提問者的站起圖像數(shù)據(jù)”、“確認(rèn)提問者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”和“確認(rèn)提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“確認(rèn)提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“確認(rèn)提問者的站起圖像數(shù)據(jù)”。部分會(huì)議視頻提取單元4還從“確認(rèn)提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“確認(rèn)提問者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“確認(rèn)提問型公共信息空間使用視頻源數(shù)據(jù)”中提取“確認(rèn)提問者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“確認(rèn)提問型公共信息空間使用”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者執(zhí)行“確認(rèn)提問型公共信息空間使用”的情況下，將上述(a)“確認(rèn)提問型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”、(c)“Alice的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”、(d)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“Alice的確認(rèn)提問語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測(cè)的確認(rèn)提問型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D32，對(duì)“不發(fā)言型公共信息空間使用”的情況進(jìn)行說明。圖32是“不發(fā)言型公共信息空間使用”的功能性動(dòng)作的時(shí)間線圖。圖32中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”；(b)“參加者的站起圖像數(shù)據(jù)”；以及(c)“參加者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(d)“所檢測(cè)的不發(fā)言型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”。圖32中的“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”是不發(fā)言型公共信息空間使用動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的站起圖像數(shù)據(jù)”和“參加者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“參加者的站起圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”中提取“參加者的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“不發(fā)言型公共信息空間使用”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者執(zhí)行“不發(fā)言型公共信息空間使用”的情況下，將上述(a)“不發(fā)言型公共信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的站起圖像數(shù)據(jù)”以及(c)“Alice的在白板上進(jìn)行書寫的圖像數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(d)“所檢測(cè)的不發(fā)言型公共信息空間使用持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D33，對(duì)“參加型私人信息空間使用”的情況進(jìn)行說明。圖33是“參加型私人信息空間使用”的功能性動(dòng)作的時(shí)間線圖。圖33中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“參加型私人信息空間使用視頻源數(shù)據(jù)”；(b)“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”；(c)“參加者的搖頭運(yùn)動(dòng)(點(diǎn)頭)圖像數(shù)據(jù)”；(d)“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(e)“參加者的點(diǎn)頭語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(f)“所檢測(cè)的參加型私人信息空間使用持續(xù)時(shí)間(時(shí)間段)”。圖33中的“參加型私人信息空間使用視頻源數(shù)據(jù)”是參加型私人信息空間使用動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”、“參加者的搖頭運(yùn)動(dòng)(點(diǎn)頭)圖像數(shù)據(jù)”和“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”。部分會(huì)議視頻提取單元4還從“參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的搖頭運(yùn)動(dòng)(點(diǎn)頭)圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“參加型私人信息空間使用”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者執(zhí)行“參加型私人信息空間使用”的情況下，將上述(a)“參加型私人信息空間使用視頻源數(shù)據(jù)”、(b)“Alice的在筆記本電腦打字的圖像數(shù)據(jù)”、(c)“Alice的搖頭運(yùn)動(dòng)(點(diǎn)頭)圖像數(shù)據(jù)”、(d)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”以及(e)“Alice的同意語音數(shù)據(jù)(例如“啊哈”和“我明白”)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(f)“所檢測(cè)的參加型私人信息空間使用持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)。現(xiàn)參照?qǐng)D34，對(duì)“不參加型私人信息空間使用”的情況進(jìn)行說明。圖34是“不參加型私人信息空間使用”的功能性動(dòng)作的時(shí)間線圖。圖34中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“不參加型私人信息空間使用視頻源數(shù)據(jù)”和(b)“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(c)“所檢測(cè)的不參加型私人信息空間使用持續(xù)時(shí)間(時(shí)間段)”。圖34中的“不參加型私人信息空間使用視頻源數(shù)據(jù)”是不參加型私人信息空間使用動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“不參加型私人信息空間使用視頻源數(shù)據(jù)”中提取“參加者的在筆記本電腦上打字的圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“不參加型私人信息空間使用”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者執(zhí)行“不參加型私人信息空間使用”的情況下，將上述(a)“不參加型私人信息空間使用視頻源數(shù)據(jù)”和(b)“Alice的在筆記本電腦上打字的圖像數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(c)“所檢測(cè)的不參加型私人信息空間使用持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)?，F(xiàn)參照?qǐng)D35，對(duì)“笑”的情況進(jìn)行說明。圖35是“笑”的功能性動(dòng)作的時(shí)間線圖。圖35中的橫坐標(biāo)軸表示時(shí)間(經(jīng)過的時(shí)間)。該時(shí)間線圖示出了被視為上述介質(zhì)層中的數(shù)據(jù)的(a)“笑的視頻源數(shù)據(jù)”；(b)“參加者的面部表情圖像數(shù)據(jù)”；(c)“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”；以及(d)“參加者的笑的語音數(shù)據(jù)”。該時(shí)間線圖還示出了被視為功能性動(dòng)作層中的數(shù)據(jù)的(e)“所檢測(cè)的笑的持續(xù)時(shí)間(時(shí)間段)”。圖35中的“笑的視頻源數(shù)據(jù)”是笑的動(dòng)作的運(yùn)動(dòng)圖像數(shù)據(jù)，并用作為“參加者的面部表情圖像數(shù)據(jù)”和“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”的數(shù)據(jù)源。部分會(huì)議視頻提取單元4通過傳統(tǒng)的姿勢(shì)識(shí)別技術(shù)從“笑的視頻源數(shù)據(jù)”中提取“參加者的面部表情圖像數(shù)據(jù)”。同樣地，部分會(huì)議視頻提取單元4從“笑的視頻源數(shù)據(jù)”中提取“參加者的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”。如圖14中所示的“發(fā)言”的情況那樣，索引提供單元5通過計(jì)算介質(zhì)層中的動(dòng)作的持續(xù)時(shí)間的邏輯總和來確定功能性動(dòng)作層中的“笑”的持續(xù)時(shí)間。在Alice作為會(huì)議參加者笑的情況下，將上述(a)“笑的視頻源數(shù)據(jù)”、(b)“Alice的面部表情圖像數(shù)據(jù)”、(c)“Alice的鼠標(biāo)移動(dòng)圖像數(shù)據(jù)”和(d)“Alice的笑的語音數(shù)據(jù)”視為與Alice相關(guān)的介質(zhì)層中的數(shù)據(jù)。另外，將上述(e)“所檢測(cè)的笑的持續(xù)時(shí)間(時(shí)間段)”視為與Alice相關(guān)的功能性動(dòng)作層中的數(shù)據(jù)。如上所述，根據(jù)第二實(shí)施例，對(duì)于由部分會(huì)議視頻提取單元4提取的部分會(huì)議視頻數(shù)據(jù)，可以由索引提供單元5自動(dòng)地生成與參加者的功能性動(dòng)作相對(duì)應(yīng)的索引數(shù)據(jù)。盡管已示出并說明了本發(fā)明的一些優(yōu)選實(shí)施例，但本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以在不脫離本發(fā)明的原理和精神的情況下對(duì)這些實(shí)施例進(jìn)行變化，本發(fā)明的范圍是由權(quán)利要求及其等同物限定的。通過引用并入于2004年3月22日提交的日本專利申請(qǐng)No.2004-083268的全部?jī)?nèi)容，包括說明書、權(quán)利要求、附圖以及摘要。權(quán)利要求1.一種會(huì)議信息處理裝置，其包括提取單元，用于從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息，所述部分會(huì)議音頻和/或可視信息包含會(huì)議參加者的一個(gè)或更多個(gè)物理事件；以及提供單元，用于根據(jù)從所述一個(gè)或更多個(gè)物理事件中摘錄的功能性動(dòng)作，為所述部分會(huì)議音頻和/或可視信息提供索引。2.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，進(jìn)一步包括生成單元，用于根據(jù)由所述提供單元提供的所述索引，產(chǎn)生所述會(huì)議音頻和/或可視信息的概要會(huì)議視頻。3.根據(jù)權(quán)利要求2所述的會(huì)議信息處理裝置，進(jìn)一步包括記錄單元，用于記錄由所述生成單元進(jìn)行了概要處理的所述會(huì)議視頻。4.根據(jù)權(quán)利要求2所述的會(huì)議信息處理裝置，進(jìn)一步包括顯示單元，用于顯示由所述生成單元進(jìn)行了概要處理的所述會(huì)議視頻。5.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，進(jìn)一步包括同步單元，用于使多個(gè)會(huì)議視頻彼此同步，所述多個(gè)會(huì)議視頻是在相同的時(shí)間段內(nèi)捕獲的。6.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，進(jìn)一步包括圖形用戶界面，用于顯示由所述提供單元提供的索引。7.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元根據(jù)所述一個(gè)或更多個(gè)物理事件的持續(xù)時(shí)間的邏輯總和來計(jì)算所述功能性動(dòng)作的持續(xù)時(shí)間。8.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者做出的姿勢(shì)來識(shí)別所述功能性動(dòng)作，所述姿勢(shì)包含在所述部分會(huì)議音頻和/或可視信息中。9.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者的鼠標(biāo)的移動(dòng)來識(shí)別所述功能性動(dòng)作，所述鼠標(biāo)的移動(dòng)包含在所述部分會(huì)議音頻和/或可視信息中。10.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者的眼睛的移動(dòng)來識(shí)別所述功能性動(dòng)作，所述眼睛的移動(dòng)包含在所述部分會(huì)議音頻和/或可視信息中。11.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者的頭部的移動(dòng)來識(shí)別所述功能性動(dòng)作，所述頭部的移動(dòng)包含在所述部分會(huì)議音頻和/或可視信息中。12.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者的書寫動(dòng)作來識(shí)別所述功能性動(dòng)作，所述書寫動(dòng)作包含在所述部分會(huì)議音頻和/或可視信息中。13.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者從他/她的座位上站起的動(dòng)作來識(shí)別所述功能性動(dòng)作，所述站起的動(dòng)作包含在所述部分會(huì)議音頻和/或可視信息中。14.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者在預(yù)定輸入裝置上進(jìn)行輸入的動(dòng)作來識(shí)別所述功能性動(dòng)作，所述輸入的動(dòng)作包含在所述部分會(huì)議音頻和/或可視信息中。15.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者的面部表情來識(shí)別所述功能性動(dòng)作，所述面部表情包含在所述部分會(huì)議音頻和/或可視信息中。16.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中所述提供單元至少通過所述會(huì)議參加者的語音數(shù)據(jù)來識(shí)別所述功能性動(dòng)作，所述語音數(shù)據(jù)包含在所述部分會(huì)議音頻和/或可視信息中。17.根據(jù)權(quán)利要求2所述的會(huì)議信息處理裝置，其中所述生成單元生成用于回顧的會(huì)議視頻，該會(huì)議視頻包括活動(dòng)功能性動(dòng)作以及發(fā)言型思考的功能性動(dòng)作，其中活動(dòng)功能性動(dòng)作有發(fā)言、提問、發(fā)言型公共信息空間使用、提問型公共信息空間使用、以及不發(fā)言型公共信息空間使用。18.根據(jù)權(quán)利要求2所述的會(huì)議信息處理裝置，其中所述生成單元生成用于公共觀看的會(huì)議視頻，該會(huì)議視頻包括的功能性動(dòng)作有發(fā)言、提問、發(fā)言型思考和發(fā)言型公共信息空間使用。19.根據(jù)權(quán)利要求2所述的會(huì)議信息處理裝置，其中所述生成單元生成用于管理人員的會(huì)議視頻，該會(huì)議視頻包括的功能性動(dòng)作有發(fā)言、發(fā)言型思考和發(fā)言型公共信息空間使用。20.根據(jù)權(quán)利要求6所述的會(huì)議信息處理裝置，其中所述圖形用戶界面分級(jí)地顯示所述多個(gè)物理事件和從所述多個(gè)物理事件中摘錄的所述多個(gè)功能性動(dòng)作。21.根據(jù)權(quán)利要求6所述的會(huì)議信息處理裝置，其中所述圖形用戶界面對(duì)所述多個(gè)功能性動(dòng)作分級(jí)地顯示多個(gè)場(chǎng)景，所述多個(gè)場(chǎng)景中的每一個(gè)是從所述多個(gè)功能性動(dòng)作中的一個(gè)或更多個(gè)中摘錄的。22.根據(jù)權(quán)利要求6所述的會(huì)議信息處理裝置，其中所述圖形用戶界面以時(shí)間線或表格的形式表示所述索引。23.根據(jù)權(quán)利要求6所述的會(huì)議信息處理裝置，其中所述圖形用戶界面以各種顏色表示所述多個(gè)功能性動(dòng)作。24.根據(jù)權(quán)利要求6所述的會(huì)議信息處理裝置，其中所述圖形用戶界面通過對(duì)所述多個(gè)功能性動(dòng)作中的每一個(gè)對(duì)應(yīng)的功能性動(dòng)作的圖形表示賦予不同的顏色或不同的形狀或者提供運(yùn)動(dòng)圖像，來著重顯示語音發(fā)言者的變化、物理性發(fā)言者的變化或者語音和物理性發(fā)言者的變化。25.根據(jù)權(quán)利要求6所述的會(huì)議信息處理裝置，其中所述圖形用戶界面顯示關(guān)于索引識(shí)別符、索引開始時(shí)間、索引結(jié)束時(shí)間、功能性動(dòng)作名稱、會(huì)議參加者的角色、動(dòng)作的預(yù)計(jì)方向的數(shù)據(jù)。26.根據(jù)權(quán)利要求2所述的會(huì)議信息處理裝置，其中所述生成單元通過對(duì)所述對(duì)應(yīng)的部分會(huì)議音頻和/或可視信息中沒有超過預(yù)定持續(xù)時(shí)間的圖像部分進(jìn)行概要處理來產(chǎn)生各個(gè)會(huì)議視頻。27.一種會(huì)議信息處理方法，包括以下步驟從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息，所述部分會(huì)議音頻和/或可視信息包含會(huì)議參加者的一個(gè)或更多個(gè)物理事件；以及根據(jù)從所述一個(gè)或更多個(gè)物理事件中摘錄的功能性動(dòng)作，為所述部分會(huì)議音頻和/或可視信息提供索引。28.根據(jù)權(quán)利要求27所述的會(huì)議信息處理方法，進(jìn)一步包括以下步驟根據(jù)所述索引，產(chǎn)生所述會(huì)議音頻和/或可視信息的概要會(huì)議視頻。29.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該存儲(chǔ)介質(zhì)存儲(chǔ)有可由計(jì)算機(jī)執(zhí)行以實(shí)現(xiàn)包括以下步驟的功能的指令程序從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息，所述會(huì)議音頻和/或可視信息包含會(huì)議參加者的一個(gè)或更多個(gè)物理事件；以及根據(jù)從所述一個(gè)或更多個(gè)物理事件中摘錄的功能性動(dòng)作，為所述部分會(huì)議音頻和/或可視信息提供索引。30.根據(jù)權(quán)利要求29所述的存儲(chǔ)介質(zhì)，進(jìn)一步使計(jì)算機(jī)執(zhí)行多個(gè)指令以根據(jù)所提供的索引產(chǎn)生所述會(huì)議音頻和/或可視信息的概要會(huì)議視頻。31.根據(jù)權(quán)利要求1所述的會(huì)議信息處理裝置，其中由用戶手工生成所述索引。全文摘要會(huì)議信息處理裝置和方法以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。一種會(huì)議信息處理裝置，其包括提取單元，用于從會(huì)議音頻和/或可視信息中提取部分會(huì)議音頻和/或可視信息，所述部分會(huì)議音頻和/或可視信息包含會(huì)議參加者的一個(gè)或更多個(gè)物理事件；以及提供單元，用于根據(jù)從所述一個(gè)或更多個(gè)物理事件中摘錄的功能性動(dòng)作，為所述部分會(huì)議音頻和/或可視信息提供索引。文檔編號(hào)G06F9/00GK1674672SQ20041008115公開日2005年9月28日申請(qǐng)日期2004年9月30日優(yōu)先權(quán)日2004年3月22日發(fā)明者平田和貴,宮崎淳申請(qǐng)人:富士施樂株式會(huì)社