專利名稱：動圖象合成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將圖形動圖象與視頻動圖象合成的動圖象合成裝置。
背景技術(shù)：
迄今，當由計算機在以三維圖形顯示的虛擬空間中合成和顯示圖形動圖象和視頻動圖象時，通過利用表示三維空間中的對象位置和形狀的坐標值進行圖形生成運算，生成圖形靜止圖象，并從視頻動圖象抽出1幀的視頻靜止圖象，利用所謂的紋理映射法，將所抽出的視頻靜止圖象粘貼于所生成的圖形靜止圖象，從而顯示粘貼了視頻靜止圖象的圖形靜止圖象。通過高速地反復進行上述圖形靜止圖象的生成、上述視頻靜止圖象的抽出、視頻靜止圖象對圖形靜止圖象的粘貼、及顯示，依次顯示出粘貼了視頻靜止圖象的圖形靜止圖象，所以，看上去好象是運動起來的圖象。
但是，在合成前的圖形動圖象和視頻動圖象中，顯示速率不一定相同。在視頻動圖象中，可以使在每一定時間內(nèi)顯示的幀數(shù)(以下，稱顯示速率)為固定值，例如，將每秒30幀的顯示速率作為標準值。另一方面，在圖形動圖象中，根據(jù)表示對象位置和形狀的坐標值生成圖形靜止圖象的運算時間，取決于所顯示的對象數(shù)，所以通常很難使顯示速率為固定值。
因此，當根據(jù)圖形動圖象的顯示速率合成動圖象時，例如，如假定視頻動圖象及圖形動圖象的顯示速率分別為每秒30幀和每秒10幀，則在視頻動圖象的每1秒鐘顯示的30幀中不得不只能顯示出與圖形動圖象的顯示時刻一致的10幀。因此，其余的20幀不能得到顯示，因而存在著不能看到平滑流暢地運動的視頻動圖象的問題。
另一方面，當根據(jù)視頻動圖象的顯示速率合成動圖象時，存在著用于生成圖形靜止圖象的運算處理在相鄰的2個視頻靜止圖象的顯示間隔時間內(nèi)不能完成從而不能生成圖形靜止圖象的問題。
發(fā)明的公開因此，本發(fā)明是鑒于上述問題而開發(fā)的，其目的是提供一種能以其各自的顯示速率將圖形動圖象與視頻動圖象合成的動圖象合成裝置、動圖象合成方法及記錄著動圖象合成程序的記錄媒體。
為達到上述目的，本發(fā)明的動圖象合成裝置，對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，該動圖象合成裝置的特征在于，備有信息存儲裝置，存儲著表示三維空間中的對象形狀和位置的對象信息；視頻動圖象取得裝置，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；圖象存儲裝置；接收裝置，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成裝置，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖象存儲裝置；及視頻圖象生成裝置，在生成上述圖形靜止圖象并寫入上述圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述圖象存儲裝置。
按照這種結(jié)構(gòu)，由于可按不同的進程以并行方式進行圖形靜止圖象的生成處理及視頻靜止圖象的譯碼處理并在存儲裝置中將所生成的圖形靜止圖象與視頻靜止圖象合成，所以具有能以其各自的顯示速率合成圖形動圖象和視頻動圖象的效果。
這里，上述圖形圖象生成裝置，也可以采用如下結(jié)構(gòu)，即，利用上述對象信息，從上述視點觀察并將對象投影到投影面上，進一步，通過進行潤色處理而生成圖形靜止圖象，按照這種結(jié)構(gòu)，由于對圖形圖象進行潤色處理，所以具有能生成寫實的圖形圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述對象，具有合成視頻動圖象的屏面，上述動圖象生成裝置，在對象的屏面上合成圖形動圖象和視頻動圖象，上述對象信息，包含表示對象的屏面形狀的信息，上述圖形圖象生成裝置，進一步，利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息，上述視頻圖象生成裝置，在存儲在上述圖象存儲裝置內(nèi)的圖形靜止圖象上的由上述計算出的屏面信息所指示的位置上，寫入所抽出的視頻靜止圖象。
按照這種結(jié)構(gòu)，具有可以在對象的屏面上合成視頻動圖象的效果。
這里，上述視頻圖象生成裝置，在結(jié)構(gòu)上也可以包括根據(jù)由上述屏面信息表示的形狀使上述視頻靜止圖象變形從而生成變形視頻靜止圖象的圖象變形裝置，上述視頻圖象生成裝置，將所生成的變形視頻靜止圖象寫入上述圖象存儲裝置。
按照這種結(jié)構(gòu)，由于可根據(jù)對象的屏面形狀使視頻靜止圖象變形，所以具有能夠更寫實地合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述對象具有多個屏面，上述視頻動圖象取得裝置，從外部取得多個視頻動圖象，上述動圖象合成裝置，在多個屏面上分別將圖形動圖象與各視頻動圖象合成，上述對象信息，包含表示多個屏面的形狀的信息，上述圖形圖象生成裝置，對表示多個對象的屏面形狀的每個信息計算屏面信息，上述視頻圖象生成裝置，從多個視頻動圖象分別取得視頻靜止圖象，并在由上述多個屏面信息所指示的位置上，寫入分別取得的多個視頻靜止圖象。
按照這種結(jié)構(gòu)，具有即使對象有多個屏面時也可以在各個屏面上合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述視頻圖象生成裝置，包括優(yōu)先級決定裝置，根據(jù)所計算出的多個屏面信息，按每個屏面決定優(yōu)先級；視頻圖象譯碼裝置，根據(jù)對多個視頻動圖象分別決定出的優(yōu)先級，從視頻動圖象取得視頻靜止圖象；屏蔽位置計算裝置，根據(jù)所計算出的多個屏面信息及按每個屏面決定出的優(yōu)先級，計算在每個投影面上對投影屏面進行屏蔽的位置；及屏蔽處理裝置，在所計算出的進行屏蔽的位置上，對上述變形視頻靜止圖象進行屏蔽處理；上述視頻圖象生成裝置，將進行了屏蔽處理的變形視頻靜止圖象寫入上述圖象存儲裝置。
按照這種結(jié)構(gòu)，按照對象的屏面決定優(yōu)先級，根據(jù)優(yōu)先級從視頻動圖象取得視頻靜止圖象，并對各屏面進行屏蔽，所以具有能夠更寫實地合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息決定優(yōu)先級，使離上述視點越近的屏面具有越高的優(yōu)先級。
按照這種結(jié)構(gòu)，由于屏面離視點越近則使其優(yōu)先級越高，所以具有能夠更寫實地合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息計算投影屏面的面積并決定優(yōu)先級，使計算出的面積越大的投影屏面具有越高的優(yōu)先級。
按照這種結(jié)構(gòu)，由于投影屏面的面積越大則使其優(yōu)先級越高，所以具有可以進一步提高圖象質(zhì)量的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述視頻圖象譯碼裝置取得視頻靜止圖象的方式為，對優(yōu)先級最高的視頻動圖象，從視頻動圖象取得其全部視頻靜止圖象，而視頻動圖象的優(yōu)先級越低，則從視頻動圖象略過的視頻靜止圖象越多。
按照這種結(jié)構(gòu)，由于優(yōu)先級越低略過的靜止圖象越多，所以具有可以根據(jù)優(yōu)先級對視頻圖象的畫質(zhì)進行譯碼的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述視頻圖象譯碼裝置，包括用于降低所取得的視頻靜止圖象的亮度的畫質(zhì)校正部，其校正的方式為，對優(yōu)先級最高的視頻動圖象，不降低視頻靜止圖象的亮度，而視頻動圖象的優(yōu)先級越低，則使視頻靜止圖象的亮度越低。
按照這種結(jié)構(gòu)，由于優(yōu)先級越低則將亮度校正得越低，所以，具有可以在顯示速率變低的可能性大的優(yōu)先級低的動圖象顯示面上使閃爍不引人注意的效果。
另外，本發(fā)明的動圖象合成裝置，在對象的屏面上對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，該動圖象合成裝置的特征在于，備有信息存儲裝置，存儲著表示三維空間中的對象形狀和位置及對象的屏面形狀的對象信息；視頻動圖象取得裝置，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；圖形靜止圖象存儲裝置；視頻靜止圖象存儲裝置；圖象存儲裝置；接收裝置，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成裝置，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖形靜止圖象存儲裝置，還利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息；及視頻圖象生成裝置，在生成上述圖形靜止圖象并寫入上述圖形靜止圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述視頻靜止圖象存儲裝置；及選擇裝置，利用上述所計算出的屏面信息，從存儲在上述圖形靜止圖象存儲裝置內(nèi)的圖形靜止圖象或存儲在上述視頻靜止圖象存儲裝置內(nèi)的視頻靜止圖象選擇構(gòu)成各靜止圖象的象素，并將所選定的象素寫入上述圖象存儲裝置。
按照這種結(jié)構(gòu)，由于可按不同的進程以并行方式進行圖形靜止圖象的生成處理及視頻靜止圖象的譯碼處理，所以，能以其各自的顯示速率合成圖形動圖象和視頻動圖象，并通過信號的選擇進行圖象的合成，因而具有使裝置的結(jié)構(gòu)變得簡單的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述圖形靜止圖象存儲裝置，包括第1圖形存儲部和第2圖形存儲部，上述視頻靜止圖象存儲裝置，包括第1視頻存儲部和第2視頻存儲部，上述圖形靜止圖象生成裝置，將所取得的圖形靜止圖象交替地寫入第1圖形存儲部或第2圖形存儲部，上述視頻圖象生成裝置，將所取得的視頻靜止圖象交替地寫入第1視頻存儲部或第2視頻存儲部，上述選擇裝置，在由上述圖形圖象生成裝置將圖形靜止圖象寫入第1圖形存儲部的時間帶，從第2圖形存儲部讀出圖形靜止圖象，將圖形靜止圖象寫入第2圖形存儲部的時間帶，從第1圖形存儲部讀出圖形靜止圖象，在由上述視頻圖象生成裝置將視頻靜止圖象寫入第1視頻存儲部的時間帶，從第2視頻存儲部讀出視頻靜止圖象，在將視頻靜止圖象寫入第2視頻存儲部的時間帶，從第1視頻存儲部讀出視頻靜止圖象，并從所讀出的圖形靜止圖象和視頻靜止圖象選擇構(gòu)成各靜止圖象的象素。
按照這種結(jié)構(gòu)，由于可按不同的進程以并行方式進行圖形靜止圖象的生成處理、視頻靜止圖象的譯碼處理、及對所生成的圖形靜止圖象和視頻靜止圖象的合成，所以，具有能以其各自的顯示速率合成圖形動圖象和視頻動圖象、同時能更迅速地進行圖形靜止圖象的生成處理、視頻靜止圖象的譯碼處理、及對所生成的圖形靜止圖象和視頻靜止圖象的合成的效果。
這里，上述圖形圖象生成裝置，也可以采用如下結(jié)構(gòu)，即，利用上述對象信息，從上述視點觀察并將對象投影到投影面上，進一步，通過進行潤色處理而生成圖形靜止圖象，按照這種結(jié)構(gòu)，由于對圖形圖象進行潤色處理，所以具有能生成寫實的圖形圖象的效果。
這里，上述視頻圖象生成裝置，在結(jié)構(gòu)上也可以包括根據(jù)由上述屏面信息表示的形狀使上述視頻靜止圖象變形從而生成變形視頻靜止圖象的圖象變形裝置，上述視頻圖象生成裝置，將所生成的變形視頻靜止圖象寫入上述圖象存儲裝置。
按照這種結(jié)構(gòu)，由于可根據(jù)對象的屏面形狀使視頻靜止圖象變形，所以具有能夠更寫實地合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述對象具有多個屏面，上述視頻動圖象取得裝置，從外部取得多個視頻動圖象，上述動圖象合成裝置，在多個屏面上分別將圖形動圖象與各視頻動圖象合成，上述對象信息，包含表示多個屏面的形狀的信息，上述圖形圖象生成裝置，對表示多個對象的屏面形狀的每個信息計算屏面信息，上述視頻圖象生成裝置，從多個視頻動圖象分別取得視頻靜止圖象，并在由上述多個屏面信息所指示的位置上，寫入分別取得的多個視頻靜止圖象。
按照這種結(jié)構(gòu)，具有即使對象有多個屏面時也可以在各個屏面上合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述視頻圖象生成裝置，包括優(yōu)先級決定裝置，根據(jù)所計算出的多個屏面信息，按每個屏面決定優(yōu)先級；視頻圖象譯碼裝置，根據(jù)對多個視頻動圖象分別決定出的優(yōu)先級，從視頻動圖象取得視頻靜止圖象；屏蔽位置計算裝置，根據(jù)所計算出的多個屏面信息及按每個屏面決定出的優(yōu)先級，計算在每個投影面上對投影屏面進行屏蔽的位置；及屏蔽處理裝置，在所計算出的進行屏蔽的位置上，對上述變形視頻靜止圖象進行屏蔽處理；上述視頻圖象生成裝置，將進行了屏蔽處理的變形視頻靜止圖象寫入上述視頻靜止圖象存儲裝置。
按照這種結(jié)構(gòu)，按照對象的屏面決定優(yōu)先級，根據(jù)優(yōu)先級從視頻動圖象取得視頻靜止圖象，并對各屏面進行屏蔽，所以具有能夠更寫實地合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息決定優(yōu)先級，使離上述視點越近的投影屏面具有越高的優(yōu)先級。
按照這種結(jié)構(gòu)，由于投影屏面離視點越近則使其優(yōu)先級越高，所以具有能夠更寫實地合成視頻動圖象的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息計算投影屏面的面積并決定優(yōu)先級，使計算出的面積越大的投影屏面具有越高的優(yōu)先級。
按照這種結(jié)構(gòu)，由于投影屏面的面積越大則使其優(yōu)先級越高，所以具有可以進一步提高圖象質(zhì)量的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述視頻圖象譯碼裝置取得視頻靜止圖象的方式為，對優(yōu)先級最高的視頻動圖象，從視頻動圖象取得其全部視頻靜止圖象，而視頻動圖象的優(yōu)先級越低，則從視頻動圖象略過的視頻靜止圖象越多。
按照這種結(jié)構(gòu)，由于優(yōu)先級越低略過的靜止圖象越多，所以具有使視頻圖象的畫質(zhì)與優(yōu)先級一致的效果。
這里，也可以采用如下結(jié)構(gòu)，即，上述視頻圖象譯碼裝置，包括用于降低所取得的視頻靜止圖象的亮度的畫質(zhì)校正部，其校正的方式為，對優(yōu)先級最高的視頻動圖象，不降低視頻靜止圖象的亮度，而視頻動圖象的優(yōu)先級越低，則使視頻靜止圖象的亮度越低。
按照這種結(jié)構(gòu)，由于優(yōu)先級越低則將亮度校正得越低，所以，具有可以在顯示速率變低的可能性大的優(yōu)先級低的動圖象顯示面上使閃爍不引人注意的效果。
另外，本發(fā)明的動圖象合成方法，用于動圖象合成裝置，該動圖象合成裝置，對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象形狀和位置的對象信息的信息存儲裝置、及圖象存儲裝置，該動圖象合成方法的特征在于，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖象存儲裝置；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述圖象存儲裝置。
當采用這種方法時，顯然可以取得與上述動圖象合成裝置相同的效果。
另外，本發(fā)明的動圖象合成方法，用于動圖象合成裝置，該動圖象合成裝置，在對象的屏面上對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象形狀和位置及對象的屏面形狀的對象信息的信息存儲裝置、圖形靜止圖象存儲裝置、視頻靜止圖象存儲裝置、圖象存儲裝置，該動圖象合成方法的特征在于，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖形靜止圖象存儲裝置，進一步，利用飽含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖形靜止圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述視頻靜止圖象存儲裝置；及選擇步驟，利用上述所計算出的屏面信息，從存儲在上述圖形靜止圖象存儲裝置內(nèi)的圖形靜止圖象或存儲在上述視頻靜止圖象存儲裝置內(nèi)的視頻靜止圖象選擇構(gòu)成各靜止圖象的象素，并將所選定的象素寫入上述圖象存儲裝置。
當采用這種方法時，顯然可以取得與上述動圖象合成裝置相同的效果。
另外，本發(fā)明的記錄媒體，用于記錄由計算機使用的動圖象合成程序，該計算機，用于對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象及由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象的位置玫形狀的對象信息的信息存儲裝置、及圖象存儲裝置，該記錄媒體的特征在于上述動圖象合成程序，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖象存儲裝置；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述圖象存儲裝置。
通過由計算機執(zhí)行該程序，顯然可以取得與上述動圖象合成裝置相同的效果。
另外，本發(fā)明的記錄媒體，用于記錄由計算機使用的動圖象合成程序，該計算機，用于在對象的屏面上對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象及由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象的位置和形狀及對象的屏面形狀的對象信息的信息存儲裝置、圖形靜止圖象存儲裝置、視頻靜止圖象存儲裝置、圖象存儲裝置，該記錄媒體的特征在于上述動圖象合成程序，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖形靜止圖象存儲裝置，還利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖形靜止圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述視頻靜止圖象存儲裝置；及選擇步驟，利用上述所計算出的屏面信息，從存儲在上述圖形靜止圖象存儲裝置內(nèi)的圖形靜止圖象或存儲在上述視頻靜止圖象存儲裝置內(nèi)的視頻靜止圖象選擇構(gòu)成各靜止圖象的象素，并將所選定的象素寫入上述圖象存儲裝置。
通過由計算機執(zhí)行該程序，顯然可以取得與上述動圖象合成裝置相同的效果。
附圖的簡單說明

圖1示出作為本發(fā)明一實施形態(tài)的動圖象合成裝置10的外觀。
圖2是表示動圖象合成裝置10的結(jié)構(gòu)的框圖。
圖3示出數(shù)據(jù)存儲部102存儲著的對象表的一例。
圖4示出數(shù)據(jù)存儲部102存儲著的MPEG數(shù)據(jù)流的數(shù)據(jù)結(jié)構(gòu)。
圖5示出由顯示部109顯示的畫面的一例。
圖6以直觀的形式示出動圖象合成裝置10的各處理進程中的數(shù)據(jù)。
圖7是表示動圖象合成裝置10的動作的流程圖。
圖8是表示動圖象合成裝置10的動作時序的時間圖。
圖9是以直觀的形式示出用現(xiàn)有技術(shù)合成圖形靜止圖象和視頻靜止圖象的情況的圖。
圖10是以直觀的形式示出由動圖象合成裝置10合成圖形靜止圖象和視頻靜止圖象的情況的圖。
圖11示出作為本發(fā)明另一實施形態(tài)的數(shù)字廣播接收裝置20的外觀。
圖12是表示數(shù)字廣播接收裝置20的結(jié)構(gòu)的框圖。
圖13是示出由顯示部109顯示的畫面的一例。
圖14以直觀的形式示出數(shù)字廣播接收裝置20的各處理進程中的數(shù)據(jù)。
圖15是表示數(shù)字廣播接收裝置20的動作的流程圖。
圖16是表示數(shù)字廣播接收裝置20的優(yōu)先級計算動作的流程圖。
圖17是表示數(shù)字廣播接收裝置20的動作時序的時間圖。
圖18是表示作為本發(fā)明另一實施形態(tài)的動圖象合成裝置30的結(jié)構(gòu)的框圖。
圖19示出動圖象合成裝置30的控制數(shù)據(jù)存儲部內(nèi)存儲著的控制數(shù)據(jù)的一例。
圖20以直觀的形式示出動圖象合成裝置30的各處理進程中的數(shù)據(jù)。
圖21示出動圖象合成裝置30的圖形靜止圖象、視頻靜止圖象及控制數(shù)據(jù)之間的對應(yīng)關(guān)系。
圖22是表示動圖象合成裝置30的動作的流程圖。
圖23是表示動圖象合成裝置30的圖象合成動作的流程圖。
圖24是表示動圖象合成裝置30的動作時序的時間圖。
圖25是表示作為本發(fā)明另一實施形態(tài)的數(shù)字廣播接收裝置40的結(jié)構(gòu)的框圖。
圖26以直觀的形式示出數(shù)字廣播接收裝置40的各處理進程中的數(shù)據(jù)。
圖27是表示數(shù)字廣播接收裝置20的動作時序的時間圖。
圖28是表示作為本發(fā)明另一實施形態(tài)的數(shù)字廣播接收裝置50的結(jié)構(gòu)的框圖。
圖29是表示數(shù)字廣播接收裝置10的另一種動作時序的時間圖。
圖30是表示數(shù)字廣播接收裝置10的又一種動作時序的時間圖。
用于實施發(fā)明的最佳形態(tài)參照附圖詳細說明本發(fā)明的實施形態(tài)。1 實施形態(tài)1對作為本發(fā)明一實施形態(tài)的動圖象合成裝置10進行說明。1.1 動圖象合成裝置10的結(jié)構(gòu)動圖象合成裝置10，如圖1所示，由本體部11、安裝CD-ROM的CD-ROM驅(qū)動部12、執(zhí)行程序的程序器13、存儲程序和數(shù)據(jù)的半導體存儲器14、監(jiān)視器15、鍵盤16、揚聲器17、鼠標18構(gòu)成，該動圖象合成裝置10，讀出記錄在CD-ROM上的與三維對象有關(guān)的對象信息及視頻圖象，生成圖形圖象，并將視頻圖象粘貼于所生成的圖形圖象，然后顯示在監(jiān)視器15上。
動圖象合成裝置10的功能框圖，示于圖2。如該圖所示，動圖象合成裝置10，包括輸入部101、數(shù)據(jù)存儲部102、坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106、圖象變形部107、幀緩沖器108、顯示部109。
(1)輸入部101輸入部101，具體地說，由鍵盤16、鼠標18等構(gòu)成。
輸入部101，接收在如圖5所示的移動方向指定菜單303上形成的按鍵321～327的輸入。按鍵321～327，是分別接收向前、向后、向左、向右、向上、向下的指定的按鍵及接收操作結(jié)束的按鍵，當輸入部101接收這些按鍵321～327的輸入時，將指示向前、向后、向左、向右、向上、向下的信息及指示操作結(jié)束的信息輸出到坐標光源計算部103。
輸入部101，以每秒10次的速率接收按鍵321～327的輸入。
(2)數(shù)據(jù)存儲部102數(shù)據(jù)存儲部102，具體地說，由CD-ROM和安裝CD-ROM的CD-ROM驅(qū)動部12構(gòu)成，在CD-ROM上記錄著數(shù)據(jù)，CD-ROM驅(qū)動部12，根據(jù)請求而讀出存儲在CD-ROM上的數(shù)據(jù)。
數(shù)據(jù)存儲部102，如圖3和圖4所示，存儲著對象表201及MPEG數(shù)據(jù)流221。
對象表201，具有與配置在三維坐標空間A中的對象有關(guān)的信息，如圖3所示，包括由對象名211、形狀坐標212、位置坐標213及動圖象顯示面坐標214構(gòu)成的組。每個組，對應(yīng)著一個對象。
對象名211，是用于識別對象的識別名。
形狀坐標212，由一個三維坐標空間B中的多個三維坐標值構(gòu)成。該多個三維坐標值，表示形成對象的各點的三維坐標值。對象的一端，位于三維坐標空間B的原點。
位置坐標213，由三維坐標空間A中的一個三維坐標值構(gòu)成。該三維坐標值，表示上述對象的一端在三維坐標空間A中設(shè)置的位置。
動圖象顯示面坐標214，由三維坐標空間B中的多個三維坐標值構(gòu)成，該多個三維坐標值，是形狀坐標212的一部分。對該多個三維坐標值進行選擇，以使其表示一個有限的平面，并通過將視頻動圖象粘貼在由動圖象顯示面坐標214的多個三維坐標值表示的平面上進行顯示。將該有限的平面稱作動圖象顯示面或屏面。
MPEG數(shù)據(jù)流221，是根據(jù)MPEG(Moving Picture ExpertsGroup；運動圖象專家組標準)的規(guī)定對視頻動圖象進行壓縮編碼后形成的代碼序列，如圖4所示，由SH(Sequence Header；序列標題)及GOP(Group of Picture；圖象組)的多個組構(gòu)成。GOP包含多個圖象(Picture)。各個圖象相當于1幀的靜止圖象。各圖象包含多個時間片，各時間片，包含多個微數(shù)據(jù)塊(MB)，各微數(shù)據(jù)塊，由4個亮度塊Y、2個色差塊Cb、Cr構(gòu)成。各數(shù)據(jù)塊，由8個×8個總計64個要素構(gòu)成。更詳細的內(nèi)容是眾所周知的，因而將其說明省略。
通過對連續(xù)的圖象依次進行譯碼，看上去好象是運動起來的圖象。
(3)坐標光源計算部103坐標光源計算部103，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
坐標光源計算部103，存儲著三維坐標空間A中的視點坐標E(Ex、Ey、Ez)，并從輸入部101接收指示向前、向后、向左、向右、向上、向下的信息及指示操作結(jié)束的信息。
當接收指示向前、向后、向左、向右、向上、向下的信息時，坐標光源計算部103，根據(jù)接收到的信息，分別對視點坐標E進行如下所示的運算。
Ey=Ey+1Ey=Ey-1Ex=Ex+1Ex=Ex-1Ez=Ez+1Ez=Ez-1另外，坐標光源計算部103，從數(shù)據(jù)存儲部102的對象表201按每個對象讀出形狀坐標212、位置坐標213、動圖象顯示面坐標214，將位置坐標213所示的坐標值與形狀坐標212所示的各坐標值相加，并計算三維坐標空間A中的形成對象的各點的三維坐標。
接著，坐標光源計算部103，計算在三維坐標空間A中從視點坐標E(Ex、Ey、Ez)觀察并將各對象的各點投影到對象與視點坐標E(Ex、Ey、Ez)之間虛擬存在的平面H上而形成的各點的二維坐標、及表示各點離平面H的深度的深度值。然后，坐標光源計算部103，利用上述二維坐標及深度值，進行將在監(jiān)視器15的顯示窗口內(nèi)顯示的部分抽出的裁剪處理，并將進行裁剪處理后的各對象的各點在平面H上的二維坐標及表示各點離平面H的深度的深度值輸出到潤色處理部104。有關(guān)平面H上的各點的二維坐標、表示各點離平面H的深度的深度值的計算方法及潤色處理，是眾所周知的，所以將其說明省略。
另外，坐標光源計算部103，以同樣的方式，將位置坐標213所示的坐標值與動圖象顯示面坐標214所示的各坐標值相加，計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，并將所算出的三維坐標輸出到透視變換部105。
(4)潤色處理部104潤色處理部104，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
潤色處理部104，從坐標光源計算部103接收各對象的各點在平面H上的二維坐標及表示各點離平面H的深度的深度值，并利用接收到的二維坐標及深度值，進行如下的潤色處理，即，將從視點坐標觀察對象時因隱藏在其他對象之后而實際上看不到的線和面刪除的隱線·隱面刪除處理、為使各對象看上去更有真實感而進行的各面的陰影顯示、各面的顏色顯示、及對各面的紋理粘貼等，從而形成作為位映象數(shù)據(jù)的圖形靜止圖象，并將所形成的圖形靜止圖象輸出到幀緩沖器108。這里，圖形靜止圖象，包括由橫向640個象素、縱向480個象素、總計307200個象素構(gòu)成的亮度信號圖象Y；由橫向320個象素、縱向240個象素、總計76800個象素構(gòu)成的色差信號圖象Cb；及由橫向320個象素、縱向240個象素、總計76800個象素構(gòu)成的色差信號圖象Cr。各象素由8位構(gòu)成。
另外，有關(guān)隱線·隱面刪除處理、陰影顯示、顏色顯示、及紋理粘貼等潤色處理，是眾所周知的，所以將其說明省略。
(5)透視變換部105透視變換部105，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
透視變換部105，從坐標光源計算部103接收三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，以與坐標光源計算部103相同的方式，根據(jù)接收到的三維坐標，計算形成動圖象顯示面的各點在平面H上的二維坐標，并將計算出的形成動圖象顯示面的各點的二維坐標輸出到圖象變形部107。
(6)圖象譯碼部106圖象譯碼部106，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
圖象譯碼部106，讀出存儲在數(shù)據(jù)存儲部102內(nèi)的MPEG數(shù)據(jù)流221，通過擴展譯碼從所讀出的MPEG數(shù)據(jù)流221反復生成1幀的視頻靜止圖象，并將所生成的視頻靜止圖象輸出到圖象變形部107。有關(guān)從MPEG數(shù)據(jù)流生成視頻靜止圖象的方法，是眾所周知的，所以將其說明省略。
圖象譯碼部106，以每秒30幀的速率對視頻靜止圖象進行擴展譯碼。
(7)圖象變形部107圖象變形部107，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
圖象變形部107，從圖象譯碼部106接收視頻靜止圖象，并從透視變換部105接收形成動圖象顯示面的各點的二維坐標。接著，利用仿射變換將上述接收到的視頻靜止圖象變形為由接收到的二維坐標表示的形狀，從而生成變形視頻靜止圖象，并通過將所生成的變形視頻靜止圖象寫在幀緩沖器108內(nèi)的由上述接收到的二維坐標指示的區(qū)域上而進行輸出。這里，所生成的變形視頻靜止圖象，由多個象素構(gòu)成。各象素由8位構(gòu)成。
(8)幀緩沖器108幀緩沖器108，具體地說，由半導體存儲器14等構(gòu)成，用于存儲靜止圖象。
(9)顯示部109顯示部109，具體地說，由監(jiān)視器15構(gòu)成。
顯示部109，如圖5所示，顯示畫面301。在畫面301內(nèi)，包含著顯示窗口302及移動方向指定菜單303。
在移動方向指定菜單303上，顯示著按鍵321-327。按鍵321～327，是分別接收向前、向后、向左、向右、向上、向下的指定的按鍵及接收操作結(jié)束的按鍵。
顯示部109，在顯示窗口302內(nèi)顯示存儲在幀緩沖器108內(nèi)的靜止圖象。1.2動圖象合成裝置10的動作(1)動圖象合成裝置10的動作參照圖6和圖7說明動圖象合成裝置10的動作。圖6以直觀的形式示出動圖象合成裝置10的各處理進程中的數(shù)據(jù)，圖7用流程圖示出動圖象合成裝置10的動作。
坐標光源計算部103，從數(shù)據(jù)存儲部102的對象表201按每個對象讀出形狀坐標212、位置坐標213、動圖象顯示面坐標214(與對象有關(guān)的信息401)(步驟S101)，從輸入部101接收指示向前、向后、向左、向右、向上、向下的信息及指示操作結(jié)束的信息(步驟S102)，并當接收到指示操作結(jié)束的信息時，結(jié)束處理(步驟S103)。如果接收到其他信息(步驟S103)，則坐標光源計算部103，根據(jù)接收到的信息計算視點坐標E、計算三維坐標空間A中的形成對象的各點的三維坐標、計算在平面H上所形成的各點的二維坐標及表示各點離平面H的深度的深度值(信息402)，并進行裁剪處理(步驟S104)，潤色處理部104，利用二維坐標及深度值，進行隱線·隱面刪除處理、各面的陰影顯示、各面的顏色顯示、及對各面的紋理粘貼等潤色處理，從而形成作為位映象數(shù)據(jù)的圖形靜止圖象(圖象403)(步驟S105)，并將所形成的圖形靜止圖象輸出到幀緩沖器108(步驟S106)。然后，再次返回步驟S102并反復進行處理。
另外，在步驟S104之后，坐標光源計算部103，計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，透視變換部105，計算形成動圖象顯示面的各點在平面H上的二維坐標(信息405)(步驟S111)。
另一方面，圖象譯碼部106，讀出存儲在數(shù)據(jù)存儲部102內(nèi)的MPEG數(shù)據(jù)流221(步驟S121)，通過譯碼從所讀出的MPEG數(shù)據(jù)流221生成1幀的視頻靜止圖象(步驟S122)，圖象變形部107，從圖象譯碼部106接收視頻靜止圖象(圖象406)，并從透視變換部105接收在步驟111中計算出的形成動圖象顯示面的各點的二維坐標，利用仿射變換將上述接收到的視頻靜止圖象變形為由接收到的二維坐標表示的形狀從而生成變形視頻靜止圖象(圖象407)(步驟S123)，并通過將所生成的變形視頻靜止圖象寫在幀緩沖器108的由上述接收到的二維坐標指示的區(qū)域上而進行輸出(步驟S124)。因此，可將變形視頻靜止圖象粘貼于圖形靜止圖象(圖象404)。然后，再次返回步驟S121并反復進行處理。(2)動圖象合成裝置10的各構(gòu)成要素的處理時序圖8是表示各時刻的動圖象合成裝置10的各構(gòu)成要素的處理時序的時間圖。橫軸表示時刻，縱軸表示動圖象合成裝置10的各構(gòu)成要素的處理。
當生成新的圖形靜止圖象和視頻靜止圖象并將所生成的視頻靜止圖象粘貼于圖形靜止圖象時，圖象譯碼處理C101、坐標光源計算C102、坐標光源計算C105同時開始。這里，坐標光源計算C102，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，而坐標光源計算C105，則是由坐標光源計算部103計算對象在平面H上所形成的各點的二維坐標及表示各點離平面H的深度的深度值。當坐標光源計算C102結(jié)束時，進行透視變換C103，當透視變換C103結(jié)束時，進一步進行圖象變形C104。另外，當坐標光源計算C105結(jié)束時，進行潤色處理C106。當潤色處理C106及圖象變形C104結(jié)束時，進行顯示C107。
當生成新的視頻靜止圖象并將所生成的視頻靜止圖象粘貼于先前生成的圖形靜止圖象時，圖象譯碼處理C111及坐標光源計算C112同時開始。這里，坐標光源計算C112，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標。當坐標光源計算C112結(jié)束時，進行透視變換C113，當透視變換C113結(jié)束時，進一步進行圖象變形C114。當圖象變形C104結(jié)束時，進行顯示C117。
在圖8中，對坐標光源計算C105及潤色處理C106在短時間內(nèi)結(jié)束的情況、具體地說就是在視頻靜止圖象的譯碼周期時間(即從一個視頻靜止圖象的譯碼開始到下一個視頻靜止圖象的譯碼開始的時間。在本實施形態(tài)中，為1/30秒)內(nèi)結(jié)束的情況進行了說明。(圖形靜止圖象的生成處理時間長的情況)以下，說明存儲在對象表201內(nèi)的對象多、圖形靜止圖象的生成處理(坐標光源計算及潤色)不能在視頻靜止圖象的譯碼周期時間內(nèi)結(jié)束的情況。在這種情況下，輸入部101，可以進行例如每秒100次等的速度極高的輸入接收。
圖29是表示各時刻的動圖象合成裝置10的各構(gòu)成要素的處理時序的時間圖。與圖8一樣，橫軸表示時刻，縱軸表示動圖象合成裝置10的各構(gòu)成要素的處理。
在該圖中，圖象譯碼C601、坐標光源計算C608、坐標光源計算C623同時開始。這里，坐標光源計算C608，僅將與粘貼視頻靜止圖象的區(qū)域有關(guān)的點作為運算對象，與此不同，坐標光源計算C623，將所有對象作為運算對象。因此，當對象數(shù)多時，C623的處理時間要比C608長。此外，還規(guī)定坐標光源計算C608、C609及C610僅當分別進行坐標光源計算C623、C624及C625時進行。因此，圖象變形C618及C619，分別利用透視變換C613的結(jié)果進行，圖象變形C621，利用透視變換C614的結(jié)果進行。
然后，在圖象變形C616及潤色C626結(jié)束的時刻，進行顯示C629。如假定作為圖象變形C616的結(jié)果得到變形靜止圖象A1、作為潤色C626的結(jié)果得到圖形靜止圖象B1，則在顯示C629中顯示將變形靜止圖象A1與圖形靜止圖象B1合成后的靜止圖象。
接著，從圖象譯碼C601開始起經(jīng)過一定時間后(例如，1/30秒)，開始圖象譯碼C602。在開始圖象譯碼C601的同時，進行坐標光源計算C609，接著進行透視變換C613，然后進行圖象變形C617。假定作為圖象變形C617的結(jié)果得到變形靜止圖象A2。從C629開始起經(jīng)過一定時間后(例如，1/30秒后)，進行下一個顯示C630。由于在開始顯示C630的時刻下一個坐標光源計算C624正在處理中，所以將在顯示C629中使用過的圖形靜止圖象B1用作所顯示的圖形靜止圖象。即，在顯示C630中，將圖形靜止圖象B1與變形靜止圖象A2合成后進行顯示。
下一步，從圖象譯碼C602開始起經(jīng)過一定時間后，開始圖象譯碼C603。當圖象譯碼C603結(jié)束時，根據(jù)透視變換C613的結(jié)果，進行圖象變形C618，并得到變形靜止圖象A3。接著，由于在進行顯示C631時潤色C627尚未結(jié)束，所以利用作為潤色C626的結(jié)果的變形靜止圖象B1，并在顯示C631中將圖形靜止圖象B1與變形靜止圖象A3合成后進行顯示。
另外，在顯示C632中，將作為潤色C627的結(jié)果的圖形靜止圖象B2與作為圖象變形C619的結(jié)果的變形靜止圖象A4合成后進行顯示。在這之后，以同樣方式進行顯示。
如上所述，能以一定的顯示速率顯示視頻動圖象，而與圖形數(shù)據(jù)的處理時間無關(guān)。
坐標光源計算C608～C610，分別在坐標光源計算C623～C625已開始時執(zhí)行，但如圖8所示，也可以在每次進行圖象譯碼的時刻執(zhí)行。此外，也可以在開始潤色時執(zhí)行等在其他的時刻執(zhí)行。(坐標光源計算和潤色的流水線處理)另外，坐標光源計算和潤色，也可以按流水線處理進行。在這種情況下表示各時刻的動圖象合成裝置10的各構(gòu)成要素的處理時序的時間圖，示于圖30。在該圖中，與圖8一樣，橫軸表示時刻，縱軸表示動圖象合成裝置10的各構(gòu)成要素的處理。
如該圖所示，圖象譯碼C701、坐標光源計算C708、坐標光源計算C725同時開始。當坐標光源計算C725結(jié)束時，下一個視點坐標的坐標光源計算C726、及利用了坐標光源計算C725的結(jié)果的潤色C729同時開始，當潤色C729結(jié)束時，進行顯示C733。然后，當坐標光源計算C726結(jié)束時，下一個視點坐標的坐標光源計算C727、及利用了坐標光源計算C726的結(jié)果的潤色C730同時開始，隨后的處理相同。
如上所述，坐標光源計算和潤色，按流水線處理進行，所以，可以縮短圖形靜止圖象生成處理所需的時間。1.3 提要如上所述，按照不同的進程以并行方式進行圖形靜止圖象的生成處理及視頻靜止圖象的譯碼·變形處理，并將所生成的圖形靜止圖象和視頻靜止圖象在幀緩沖器中合成，所以，能以其各自的顯示速率合成圖形動圖象和視頻動圖象。
具體地說，圖形靜止圖象每秒生成10次，視頻靜止圖象每秒生成30次，并在各自生成的時刻在幀緩沖器中合成。
圖9是以直觀的形式示出用現(xiàn)有技術(shù)合成圖形靜止圖象和視頻靜止圖象的情況的圖。在該圖中，作為圖形圖象的立方體，按圖象501～503、508～510的順序轉(zhuǎn)動，并將視頻動圖象粘貼于立方體的屏面。如該圖所示，由于使圖形動圖象的顯示速率恒定，所以，當從圖象503向圖象508變化時，略過了構(gòu)成視頻動圖象的幾個幀的視頻靜止圖象，因此，視頻動圖象不能平滑流暢地運動。
在圖10中，以直觀的形式示出由動圖象合成裝置10合成圖形靜止圖象和視頻靜止圖象的情況。在該圖中，示出在圖9的圖象503與圖象508之間生成的圖象504～507。如該圖所示，當從圖象503向圖象508變化時，構(gòu)成視頻動圖象的幾個幀的視頻靜止圖象并沒有被略過，而是貼附在圖形靜止圖象上，因此，視頻動圖象看上去是平滑流暢的運動圖象。
另外，由透視變換部105進行的透視變換，也可以由潤色處理部104進行。因此，可以不必設(shè)置透視變換部105而將由潤色處理部104進行透視變換后的計算結(jié)果輸出到圖象變形部107。此外，在圖象變形部107中，也可以通過從透視變換部105獲取轉(zhuǎn)動信息而進行深度的校正、即所謂的透視校正。
另外，坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106及圖象變形部107，在上述實施形態(tài)中，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成，但也可以分別由專用硬件構(gòu)成。
另外，在上述實施形態(tài)中，視頻動圖象，假定為由MPEG規(guī)定的MPEG數(shù)據(jù)流，但也可以是其他數(shù)據(jù)結(jié)構(gòu)。2 實施形態(tài)2對作為本發(fā)明另一實施形態(tài)的數(shù)字廣播接收裝置20進行說明。2.1 數(shù)字廣播接收裝置20的結(jié)構(gòu)數(shù)字廣播接收裝置20，如圖11所示，由本體部26、監(jiān)視器21、遙控器22、天線23等構(gòu)成，本體部26，具有沿每個信道傳送由MPEG數(shù)據(jù)流構(gòu)成的視頻動圖象并接收所播放的廣播波的調(diào)諧器110、安裝CD-ROM的CD-ROM驅(qū)動部、執(zhí)行程序的程序器、存儲程序和數(shù)據(jù)的半導體存儲器，該數(shù)字廣播接收裝置20，讀出記錄在CD-ROM上的與三維對象有關(guān)的對象信息，并接收所播放的多個視頻動圖象，生成由多個對象構(gòu)成的圖形圖象，各對象具有各自的動圖象顯示面，將各視頻圖象粘貼于所生成的圖形圖象的各動圖象顯示面后，顯示在監(jiān)視器21上。
數(shù)字廣播接收裝置20的功能框圖，示于圖12。如該圖所示，數(shù)字廣播接收裝置20，包括輸入部101、數(shù)據(jù)存儲部102、坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106a、106b、106c、圖象變形部107a、107b、107c、幀緩沖器108、顯示部109、調(diào)諧器110、優(yōu)先級控制部111、屏蔽控制部112、屏蔽處理部113a、113b、113c、天線23。
(1)輸入部101
輸入部101，具體地說，由遙控器22等等構(gòu)成。
在遙控器22的上表面，如圖11所示，備有數(shù)字按鍵、移動方向指定按鍵25、菜單按鍵24等，當使用者操作這些按鍵時，將與所操作的按鍵對應(yīng)的信息輸出到調(diào)諧器110及坐標光源計算部103。
數(shù)字按鍵，在指定接收視頻動圖象的信道時操作，菜單按鍵24，在將如圖13所示的節(jié)目菜單顯示在監(jiān)視器21上時操作，移動方向指定按鍵25，在該圖所示的節(jié)目菜單中移動虛擬的視點時操作，用于指示向前、向后、向左、向右、向上、向下的移動。
(2)數(shù)據(jù)存儲部102數(shù)據(jù)存儲部102，與動圖象合成裝置10的數(shù)據(jù)存儲部102相同，用于存儲對象表201。
對象表201，與存儲在動圖象合成裝置10的數(shù)據(jù)存儲部102內(nèi)的對象表201相同。
(3)坐標光源計算部103坐標光源計算部103，與動圖象合成裝置10的坐標光源計算部103相同，由存儲在半導體存儲器14內(nèi)的程序、處理器等構(gòu)成。
坐標光源計算部103，存儲著三維坐標空間A中的視點坐標E(Ex、Ey、Ez)，并從輸入部101接收指示向前、向后、向左、向右、向上、向下的信息及指示操作結(jié)束的信息。
當接收指示向前、向后、向左、向右、向上、向下的信息時，坐標光源計算部103，根據(jù)接收到的信息，分別對視點坐標E進行如下所示的運算。
Ey=Ey+1Ey=Ey-1Ex=Ex+1Ex=Ex-1Ez=Ez+1Ez=Ez-1另外，坐標光源計算部103，從數(shù)據(jù)存儲部102的對象表201按每個對象讀出形狀坐標212、位置坐標213、動圖象顯示面坐標214，將位置坐標213所示的坐標值與形狀坐標212所示的各坐標值相加，并計算三維坐標空間A中的形成對象的各點的三維坐標。
接著，坐標光源計算部103，計算在三維坐標空間A中從視點坐標E(Ex、Ey、Ez)觀察并將各對象的各點投影到對象與視點坐標E(Ex、Ey、Ez)之間虛擬存在的平面H上而形成的各點的二維坐標、及表示各點離平面H的深度的深度值。然后，坐標光源計算部103，利用上述二維坐標及深度值，進行將在監(jiān)視器15的顯示窗口內(nèi)顯示的部分抽出的裁剪處理，并將進行裁剪處理后的各對象的各點在平面H上的二維坐標及表示各點離平面H的深度的深度值輸出到潤色處理部104。有關(guān)平面H上的各點的二維坐標、表示各點離平面H的深度的深度值的計算方法及潤色處理，是眾所周知的，所以將其說明省略。
另外，坐標光源計算部103，以同樣的方式，將位置坐標213所示的坐標值與形狀坐標212所示的各坐標值相加，計算三維坐標空間A中的形成各對象的各點的三維坐標，并將所算出的三維坐標輸出到透視變換部105和優(yōu)先級控制部111。
(4)潤色處理部104潤色處理部104，與動圖象合成裝置10的潤色處理部104相同，因而將說明省略。
(5)透視變換部105透視變換部105，與動圖象合成裝置10的透視變換部105相同，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
透視變換部105，從坐標光源計算部103接收三維坐標空間A中的形成各對象的各點的三維坐標，以與坐標光源計算部103相同的方式，根據(jù)接收到的三維坐標，計算形成各對象的動圖象顯示面的各點在平面H上的二維坐標，并將計算出的形成各對象的動圖象顯示面的各點的二維坐標輸出到與各對象對應(yīng)的圖形變形部107a、107b、107c，將計算出的形成各對象的動圖象顯示面的各點在平面H上的二維坐標輸出到優(yōu)先級控制部111。
(6)優(yōu)先級控制部111優(yōu)先級控制部111，從坐標光源計算部103接收三維坐標空間A中的形成各對象的各點的三維坐標，并從透視變換部105接收形成各對象的動圖象顯示面的各點在平面H上的二維坐標。
優(yōu)先級控制部111將形成一個對象的動圖象顯示面的各點的Z坐標值中的最大的Z坐標值作為對象的代表值，并以同樣的方式對各對象決定代表值。然后，從具有最小的代表值的對象起按順序賦予優(yōu)先級。由此，可以對每個對象的動圖象顯示面賦予優(yōu)先級。
接著，優(yōu)先級控制部111根據(jù)形成各對象的各點的三維坐標，對動圖象顯示面相互重合著的對象進行檢測，并檢測在重合的動圖象顯示面中具有最接近正面的動圖象顯示面的對象。進一步，將所檢出的上述最接近正面的動圖象顯示面的優(yōu)先級保持不變，而將具有相互重合的其他動圖象顯示面的對象的優(yōu)先級依次降低。
按照如上方式，決定對象的優(yōu)先級。如按這種方式?jīng)Q定優(yōu)先級，則在三維空間中，離平面H越近，優(yōu)先級越高。根據(jù)該優(yōu)先級，決定各圖象譯碼部的優(yōu)先級，并將所決定的各對象的圖象顯示面輸出到對應(yīng)的圖象譯碼部106a、106b、106c。
(7)天線23、調(diào)諧器110天線23，接收廣播波，并將所接收的廣播波輸出到調(diào)諧器110。
調(diào)諧器110，從輸入部101接收與菜單按鍵24對應(yīng)的信息，在接收該信息后，從由天線23接收到的廣播波中選擇通過3個信道播放的3個由MPEG數(shù)據(jù)流構(gòu)成的視頻動圖象，并將所選定的3個視頻動圖象分別輸出到圖象譯碼部106a、106b、106c。
(8)圖象譯碼部106a、106b、106c圖象譯碼部106a，與動圖象合成裝置10的圖象譯碼部106相同，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
圖象譯碼部106a，從優(yōu)先級控制部111接收優(yōu)先級。
另外，圖象譯碼部106a，從調(diào)諧器110接收由1個MPEG數(shù)據(jù)流構(gòu)成的視頻動圖象，根據(jù)上述接收到的優(yōu)先級，通過擴展譯碼從接收到的MPEG數(shù)據(jù)流反復生成1幀的視頻靜止圖象，并將所生成的視頻靜止圖象輸出到圖象變形部107a。
當接收到最高優(yōu)先級時，圖象譯碼部106a，從MPEG數(shù)據(jù)流中對全部靜止圖象進行擴展譯碼。
當接收到中等程度的優(yōu)先級時，圖象譯碼部106a，從MPEG數(shù)據(jù)流中對靜止圖象每隔一個進行擴展譯碼。
當接收到低的優(yōu)先級時，圖象譯碼部106a，從MPEG數(shù)據(jù)流對每4個靜止圖象中的1個進行擴展譯碼。換句話說，在每4個靜止圖象中略過3個。
這樣，優(yōu)先級越低，則從MPEG數(shù)據(jù)流中略過而不進行擴展譯碼的靜止圖象越多。
圖象譯碼部106b、106c，與圖象譯碼部106a相同。
(9)圖象變形部107a、107b、107c圖象變形部107a，與動圖象合成裝置10的圖象變形部107相同，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
圖象變形部107a，從圖象譯碼部106a接收視頻靜止圖象，并從透視變換部105接收形成動圖象顯示面的各點的二維坐標。接著，利用仿射變換將上述接收到的視頻靜止圖象變形為由接收到的二維坐標表示的形狀，從而生成變形視頻靜止圖象，并將所生成的變形視頻靜止圖象輸出到屏蔽處理部113a。
圖象變形部107b、107c，與圖象變形部107a相同。
(10)屏蔽控制部112屏蔽控制部112，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
屏蔽控制部112，從坐標光源計算部103接收三維坐標空間A中的形成各對象的各點的三維坐標，并從透視變換部105接收形成各對象的動圖象顯示面的各點在平面H上的二維坐標，并利用接收到的形成各對象的各點的三維坐標及各點在平面H上的二維坐標，檢測對象的重合，對每個動圖象顯示面計算因隱藏在其他對象之后而看不到的屏蔽區(qū)域，并將計算出的屏蔽區(qū)域輸出到各對象的圖象顯示面對應(yīng)的屏蔽處理部113 a、113b、113c。
(11)屏蔽處理部113a、113b、113c屏蔽處理部113a，具體地說，由存儲在半導體存儲器14內(nèi)的程序、處理器13等構(gòu)成。
屏蔽處理部113a，從透視變換部105接收形成各對象的動圖象顯示面的各點的二維坐標。
另外，屏蔽處理部113a，從圖象變形部107a接收變形視頻靜止圖象，從屏蔽控制部112接收屏蔽區(qū)域，并將變形視頻靜止圖象中由屏蔽區(qū)域指示的區(qū)域內(nèi)所包含的全部象素值設(shè)定為0。然后，屏蔽控制部112，通過將由屏蔽區(qū)域指示的區(qū)域內(nèi)包含的全部象素值為0的變形視頻靜止圖象寫在幀緩沖器108內(nèi)的由上述接收到的二維坐標指示的區(qū)域上而進行輸出。
(12)幀緩沖器108幀緩沖器108，與動圖象合成裝置10的幀緩沖器108相同。
(13)顯示部109顯示部109，如圖13所示，顯示畫面321在畫面321內(nèi)，顯示著對象332、333、334，各對象具有圖象顯示面322、323、324，在各圖象顯示面上，顯示著各視頻動圖象。2.2 數(shù)字廣播接收裝置20的動作(1)數(shù)字廣播接收裝置20的動作參照圖14-圖16說明數(shù)字廣播接收裝置20的動作。圖14以直觀的形式示出數(shù)字廣播接收裝置20的各處理進程中的數(shù)據(jù)，圖15用流程圖示出數(shù)字廣播接收裝置20的動作，圖16用流程圖示出數(shù)字廣播接收裝置20的優(yōu)先級控制部111的動作。
在圖15的流程圖示出的步驟中，具有與圖7流程圖所示步驟相同的符號的步驟，與圖7流程圖所示步驟的內(nèi)容相同。這里，以與圖7流程圖的不同點為中心進行說明。
根據(jù)存儲在數(shù)據(jù)存儲部102內(nèi)的與對象有關(guān)的信息411，計算三維坐標空間A中的形成各對象的各點的三維坐標412，并根據(jù)三維坐標412計算形成動圖象顯示面的坐標414。此外，根據(jù)三維坐標412形成圖形靜止圖象413。
在步驟S111中，當形成動圖象顯示面的坐標414的計算結(jié)束時，優(yōu)先級控制部111對每個圖象譯碼部決定優(yōu)先級，并將所決定的優(yōu)先級輸出到對應(yīng)的圖象譯碼部(步驟S201)。然后，圖象譯碼部106a，接收MPEG數(shù)據(jù)流(步驟S121a)，通過對接收到的MPEG數(shù)據(jù)流進行過擴展譯碼而生成視頻靜止圖象415(步驟S122a)，并根據(jù)優(yōu)先級決定是否再生視頻靜止圖象，如果不再生(步驟S202a)，則返回步驟S201，如果再生(步驟S202a)，則圖象變形部107a將視頻靜止圖象變形從而生成變形視頻靜止圖象416(步驟S123a)，屏蔽處理部113a，生成進行了屏蔽處理的變形視頻靜止圖象417(步驟S203a)，并寫入幀緩沖器108(步驟S124a)，然后，返回步驟S201。
在步驟S121b～S122b、S202b、S123b、S203b、S124b中，同樣，也生成視頻圖象418，生成變形視頻靜止圖象419，并將進行了屏蔽處理的變形視頻靜止圖象420寫入幀緩沖器108。此外，在步驟S121c～S122c、S202c、S123c、S203c、S124c中，同樣，也生成視頻靜止圖象421，生成變形視頻靜止圖象422，并將進行了屏蔽處理的變形視頻靜止圖象423寫入幀緩沖器108。
按照如上方式，即可在幀緩沖器中形成表示3個對象的圖形靜止圖象及將3個視頻靜止圖象貼在各動圖象顯示面上的靜止圖象425。
以下，說明步驟S201中的由優(yōu)先級控制部111進行的決定優(yōu)先級的動作。
優(yōu)先級控制部111，將形成對象的動圖象顯示面的各點的Z坐標值中的最大的Z坐標值作為對象的代表值，并以同樣的方式對各對象決定代表值，從具有最小的代表值的對象起按順序賦予優(yōu)先級(步驟211)。接著，優(yōu)先級控制部111，根據(jù)形成各對象的各點的三維坐標，對動圖象顯示面相互重合著的對象進行檢測(步驟S211)，并檢測在重合的動圖象顯示面中具有最接近正面的動圖象顯示面的對象(步驟S213)，并將所檢出的上述最接近正面的動圖象顯示面的優(yōu)先級保持不變，而將具有相互重合的其他動圖象顯示面的對象的優(yōu)先級依次降低(步驟S214)。(2)數(shù)字廣播接收裝置20的各構(gòu)成要素的處理時序圖17是表示各時刻的數(shù)字廣播接收裝置20的各構(gòu)成要素的處理時序的時間圖。橫軸表示時刻，縱軸表示數(shù)字廣播接收裝置20的各構(gòu)成要素的處理。
當生成新的圖形靜止圖象和視頻靜止圖象并將所生成的視頻靜止圖象粘貼于圖形靜止圖象時，坐標光源計算C204及坐標光源計算C211同時開始。這里，坐標光源計算C204，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，而坐標光源計算C211，則是由坐標光源計算部103計算對象在平面H上所形成的各點的二維坐標及表示各點離平面H的深度的深度值。接著，當坐標光源計算C204結(jié)束時，進行透視變換C205，當透視變換C205結(jié)束時，優(yōu)先級控制C206及屏蔽控制C207同時開始。接著，當優(yōu)先級控制C206結(jié)束時，由圖象譯碼部106a、106b、106c開始進行圖象譯碼C201、C202、C203，當各圖象譯碼C201、C202、C203結(jié)束時，開始進行圖象變形·屏蔽處理C208、C209、C210。另一方面，當坐標光源計算C211結(jié)束時，進行潤色處理C212。當潤色處理C212、圖象變形·屏蔽處理C208、C209、C210結(jié)束時，進行顯示C213。
當生成新的視頻靜止圖象并將所生成的視頻靜止圖象粘貼于先前生成的圖形靜止圖象時，坐標光源計算C224開始。這里，坐標光源計算C224，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標。當坐標光源計算C224結(jié)束時，進行透視變換C225，當透視變換C225結(jié)束時，優(yōu)先級控制C226及屏蔽控制C227同時開始。接著，當優(yōu)先級控制C226結(jié)束時，由圖象譯碼部106a、106b、106c開始進行圖象譯碼C221、C222、C223，當各圖象譯碼C221、C222、C223結(jié)束時，開始進行圖象變形·屏蔽處理C228、C229、C230。當圖象變形·屏蔽處理C228、C229、C230結(jié)束時，進行顯示C231。2.3提要如上所述，按照不同的進程以并行方式進行圖形靜止圖象的生成處理及多個視頻靜止圖象的譯碼·變形處理，并將所生成的圖形靜止圖象和多個視頻靜止圖象在幀緩沖器中合成，所以，能以其各自的顯示速率合成圖形動圖象和多個視頻動圖象。另外，由于使最接近正面的動圖象顯示面具有較高的優(yōu)先級并使由對應(yīng)的圖象譯碼部譯碼的視頻靜止圖象的每一定時間的幀數(shù)增多，所以能夠根據(jù)優(yōu)先級改善畫質(zhì)。
優(yōu)先級控制部111以Z坐標值為基準并使最接近正面的動圖象顯示面具有較高的優(yōu)先級，但也可以將動圖象顯示面的面積作為基準，并計算動圖象顯示面的面積，而且，該面積越大，具有的優(yōu)先級越高。
另外，坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106a、106b、106c、圖象變形部107a、107b、107c、優(yōu)先級控制部111、屏蔽控制部112、屏蔽處理部113a、113b、113c，在上述實施形態(tài)中，由存儲在半導體存儲器14內(nèi)的程序、處理器等構(gòu)成，但也可以分別由專用硬件構(gòu)成。
另外，可以使圖象譯碼部106a、106b、106c中進行優(yōu)先級較高的處理的圖象譯碼部由專用硬件構(gòu)成，而進行優(yōu)先級較低的處理的圖象譯碼部，可以由存儲在半導體存儲器14內(nèi)的程序、處理器等構(gòu)成。因此，能夠快速地對優(yōu)先級高的視頻動圖象進行譯碼處理。3 實施形態(tài)3對作為本發(fā)明另一實施形態(tài)的動圖象合成裝置30進行說明。3.1 動圖象合成裝置30的結(jié)構(gòu)動圖象合成裝置30，與動圖象合成裝置10一樣，由本體部11、安裝CD-ROM的CD-ROM驅(qū)動部12、執(zhí)行程序的程序器13、存儲程序和數(shù)據(jù)的半導體存儲器14、監(jiān)視器15、鍵盤16、揚聲器17、鼠標18構(gòu)成，該動圖象合成裝置30，讀出記錄在CD-ROM上的與三維對象有關(guān)的對象信息及視頻圖象，并生成圖形圖象，將視頻圖象粘貼于所生成的圖形圖象后，顯示在監(jiān)視器15上。
動圖象合成裝置30的功能框圖，示于圖18。如該圖所示，動圖象合成裝置30，包括輸入部101、數(shù)據(jù)存儲部102、坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106、圖象變形部107、幀緩沖器108、顯示部109、控制數(shù)據(jù)存儲部114、靜止圖象存儲部115、圖形圖象存儲部116、選擇部117。
在動圖象合成裝置30的構(gòu)成要素中，與動圖象合成裝置10的構(gòu)成要素具有相同符號的構(gòu)成要素，結(jié)構(gòu)與動圖象合成裝置10的構(gòu)成要素相同。在下文中，以與動圖象合成裝置10的構(gòu)成要素的不同點為中心進行說明。(1)圖形圖象存儲部116圖形圖象存儲部116，具有圖形圖象區(qū)域A116a及圖形圖象區(qū)域B116b，圖形圖象區(qū)域A116a及圖形圖象區(qū)域B116b，分別存儲圖形靜止圖象。(2)潤色處理部104潤色處理部104，將所形成的圖形靜止圖象交替地輸出到圖形圖象區(qū)域A116a及圖形圖象區(qū)域B116b中的任何一個，而不是輸出到幀緩沖器108。(3)控制數(shù)據(jù)存儲部114控制數(shù)據(jù)存儲部114，具有控制數(shù)據(jù)區(qū)域A114a及控制數(shù)據(jù)區(qū)域B114b，控制數(shù)據(jù)區(qū)域A114a及控制數(shù)據(jù)區(qū)域B114b，分別存儲控制數(shù)據(jù)。(4)透視變換部105透視變換部105，進一步，如下文所述，生成控制數(shù)據(jù)，并將所生成的控制數(shù)據(jù)交替地輸出到控制數(shù)據(jù)區(qū)域A114a及控制數(shù)據(jù)區(qū)域B114b中的任何一個。
作為控制數(shù)據(jù)的一例，在圖19中示出控制數(shù)據(jù)601?？刂茢?shù)據(jù)601，是由橫向640位、縱向480位、總計307200位構(gòu)成數(shù)據(jù)序列。各位具有「0」或「1」的值。控制數(shù)據(jù)601的各位，對應(yīng)于由潤色處理部104生成的圖形靜止圖象的各個象素。
透視變換部105，對控制數(shù)據(jù)601中的與動圖象顯示面對應(yīng)的位，全部設(shè)定為「1」值，對其他的位，設(shè)定為「0」值。(5)靜止圖象存儲部115靜止圖象存儲部115，具有靜止圖象區(qū)域A115a及靜止圖象區(qū)域B115b，靜止圖象區(qū)域A115a及靜止圖象區(qū)域B115b，分別存儲視頻靜止圖象。(6)圖象變形部107圖象變形部107，將所生成的變形視頻靜止圖象交替地輸出到靜止圖象區(qū)域A115a及靜止圖象區(qū)域B115b中的任何一個，而不是通過將所生成的變形視頻靜止圖象寫在幀緩沖器108的由上述接收到的二維坐標指示的區(qū)域上而進行輸出。(7)選擇部117選擇部117，從圖形圖象區(qū)域A116a及圖形圖象區(qū)域B116b中的任何一個交替地讀出圖形靜止圖象，從靜止圖象區(qū)域A115a及靜止圖象區(qū)域B115b中的任何一個交替地讀出視頻靜止圖象，并從控制數(shù)據(jù)區(qū)域A114a及控制數(shù)據(jù)區(qū)域B114b中的任何一個交替地讀出控制數(shù)據(jù)。
選擇部117，對所讀出的控制數(shù)據(jù)的每個位進行判斷，如果該位為「0」，則從構(gòu)成所讀出的圖形靜止圖象的象素中讀出位于與該位對應(yīng)的位置的象素，并將所讀出的象素寫入幀緩沖器108的對應(yīng)位置，如果該位為「1」，則從構(gòu)成所讀出的視頻靜止圖象的象素中讀出位于與該位對應(yīng)的位置的象素，并將所讀出的象素寫入幀緩沖器108的對應(yīng)位置3.2 動圖象合成裝置30的動作參照圖20-圖24說明動圖象合成裝置30的動作。(1)動圖象合成裝置30的各處理進程中的數(shù)據(jù)形狀圖20以直觀的形式示出動圖象合成裝置30的各處理進程中的數(shù)據(jù)。
如該圖所示，坐標光源計算部103，利用與對象有關(guān)的信息451計算三維坐標空間A中的形成各對象的各點的三維坐標452，潤色處理部104，進行潤色處理，形成作為位映象數(shù)據(jù)的圖形靜止圖象，并將所形成的圖形靜止圖象輸出到圖形圖象區(qū)域B116b，透視變換部105，計算形成動圖象顯示面的各點在平面H上的二維坐標453，生成控制數(shù)據(jù)，并將控制數(shù)據(jù)輸出到控制數(shù)據(jù)區(qū)域B114b，圖象變形部107，生成使視頻靜止圖象454變形后的變形視頻靜止圖象，并將所生成的變形視頻靜止圖象輸出到靜止圖象區(qū)域B115b。
另一方面，選擇部117，從圖形圖象區(qū)域A116a讀出圖形靜止圖象，從靜止圖象區(qū)域A115a讀出視頻靜止圖象，從控制數(shù)據(jù)區(qū)域A114a讀出控制數(shù)據(jù)，利用所讀出的控制數(shù)據(jù)將圖形靜止圖象和視頻靜止圖象合成后，寫入幀緩沖器108。
在另外的時刻，潤色處理部104，將所形成的圖形靜止圖象輸出到圖形圖象區(qū)域A116a，透視變換部105，將控制數(shù)據(jù)輸出到控制數(shù)據(jù)區(qū)域A114a，圖象變形部107，將變形視頻靜止圖象輸出到靜止圖象區(qū)域A115a。另一方面，選擇部117，從圖形圖象區(qū)域B116b讀出圖形靜止圖象，從靜止圖象區(qū)域B115b讀出視頻靜止圖象，利用所讀出的控制數(shù)據(jù)將圖形靜止圖象和視頻靜止圖象合成后，寫入幀緩沖器108。
按照上述方式，各數(shù)據(jù)對圖形圖象區(qū)域A116a、控制數(shù)據(jù)區(qū)域A114a、靜止圖象區(qū)域A115a的輸出及從圖形圖象區(qū)域B116b、靜止圖象區(qū)域B115b、控制數(shù)據(jù)區(qū)域B114b的各數(shù)據(jù)的讀出，可以與各數(shù)據(jù)對圖形圖象區(qū)域B116b、控制數(shù)據(jù)區(qū)域B114b、靜止圖象區(qū)域B115b的輸出及從圖形圖象區(qū)域A116a、靜止圖象區(qū)域A115a、控制數(shù)據(jù)區(qū)域A114a的各數(shù)據(jù)的讀出交替地反復進行。(2)圖形靜止圖象、視頻靜止圖象及控制數(shù)據(jù)之間的對應(yīng)關(guān)系圖21示出動圖象合成裝置30的圖形靜止圖象、視頻靜止圖象及控制數(shù)據(jù)之間的對應(yīng)關(guān)系。
在該圖中，與圖形靜止圖象471的不是動圖象顯示面的部分47a對應(yīng)的控制數(shù)據(jù)473的位473a，是「0」，將不是動圖象顯示面的部分471a寫入幀緩沖器108。
另外，與視頻靜止圖象472的部分472a對應(yīng)的控制數(shù)據(jù)473的位473b，是「1」，將視頻靜止圖象472的部分472a寫入幀緩沖器108。(3)動圖象合成裝置30的動作圖22是表示動圖象合成裝置30的動作的流程圖。
坐標光源計算部103，從數(shù)據(jù)存儲部102的對象表201按每個對象讀出形狀坐標212、位置坐標213、動圖象顯示面坐標214(步驟S101)，從輸入部101接收指示向前、向后、向左、向右、向上、向下的信息及指示操作結(jié)束的信息(步驟S102)，并當接收到指示操作結(jié)束的信息時，結(jié)束處理(步驟S103)。當接收到其他信息時(步驟S103)，如果是進行圖形計算的時刻(步驟S301)，則坐標光源計算部103，根據(jù)接收到的信息計算視點坐標E、計算三維坐標空間A中的形成對象的各點的三維坐標、計算在平面H上所形成的各點的二維坐標及表示各點離平面H的深度的深度值，并進行裁剪處理(步驟S104)，潤色處理部104，利用二維坐標及深度值，進行隱線·隱面刪除處理、各面的陰影顯示、各面的顏色顯示、及對各面的紋理粘貼等潤色處理，形成作為位映象數(shù)據(jù)的圖形靜止圖象(步驟S105)，并將所形成的圖形靜止圖象輸出到圖形圖象區(qū)域A116a或圖形圖象區(qū)域B116b(步驟S106)。然后，再次返回步驟S102并反復進行處理。
另外，在步驟S104之后，坐標光源計算部103，計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，透視變換部105，計算形成動圖象顯示面的各點在平面H上的二維坐標(步驟S111)，并將控制轉(zhuǎn)移到步驟S123。另外，透視變換部105，還生成控制數(shù)據(jù)(步驟304)，然后返回步驟S102并反復進行處理。
如果不是進行圖形計算的時刻(步驟S301)，則再次返回步驟S102并反復進行處理。
另一方面，圖象譯碼部106，讀出存儲在數(shù)據(jù)存儲部102內(nèi)的MPEG數(shù)據(jù)流221(步驟S121)，通過譯碼從所讀出的MPEG數(shù)據(jù)流221反復生成1幀的視頻靜止圖象(步驟S122)，圖象變形部107，從圖象譯碼部106接收視頻靜止圖象，并從透視變換部105接收在步驟111中計算出的形成動圖象顯示面的各點的二維坐標，利用仿射變換將上述接收到的視頻靜止圖象變形為由接收到的二維坐標表示的形狀從而生成變形視頻靜止圖象(步驟S123)，并將所生成的變形視頻靜止圖象輸出到靜止圖象區(qū)域A115a或靜止圖象區(qū)域B115b(步驟S124)。然后，再次返回步驟S102并反復進行處理。
另外，選擇部117，從圖形圖象區(qū)域A116a或圖形圖象區(qū)域B116b讀出圖形靜止圖象，從靜止圖象區(qū)域A115a或靜止圖象區(qū)域B115b讀出視頻靜止圖象，從控制數(shù)據(jù)區(qū)域A114a或控制數(shù)據(jù)區(qū)域B114b讀出控制數(shù)據(jù)，并利用所讀出的控制數(shù)據(jù)將圖形靜止圖象和視頻靜止圖象進行合成，將合成后的靜止圖象，寫入幀緩沖器108(步驟S305)，顯示部109，從幀緩沖器108讀出并顯示靜止圖象(步驟S306)，然后，再次返回步驟S102并反復進行處理。
圖23是表示動圖象合成裝置30的圖象合成動作的流程圖。
選擇部117，如下所述，對寫入幀緩沖器108的靜止圖象的所有象素反復進行步驟S312～S314。
選擇部117，當控制數(shù)據(jù)的位C(x、y)為「1」時(步驟S312)，將幀緩沖器108的靜止圖象的象素F(x、y)設(shè)定為視頻靜止圖象的象素V(x、y)(步驟S313)，當控制數(shù)據(jù)的位C(x、y)為「0」時(步驟S312)，將幀緩沖器108的靜止圖象的象素F(x、y)設(shè)定為圖形靜止圖象的象素G(x、y)(步驟S314)。這里，(x、y)是表示靜止圖象位置的坐標。(4)動圖象合成裝置30的各構(gòu)成要素的處理時序圖24是表示各時刻的動圖象合成裝置30的各構(gòu)成要素的處理時序的時間圖。橫軸表示時刻，縱軸表示動圖象合成裝置30的各構(gòu)成要素的處理。
當生成新的圖形靜止圖象和視頻靜止圖象并將所生成的視頻靜止圖象粘貼于圖形靜止圖象時，圖象譯碼處理C301、坐標光源計算C302、坐標光源計算C305、合成C307同時開始。這里，坐標光源計算C302，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，而坐標光源計算C305，則是由坐標光源計算部103計算對象在平面H上所形成的各點的二維坐標及表示各點離平面H的深度的深度值。當坐標光源計算C302結(jié)束時，進行透視變換C303，當透視變換C303結(jié)束時，進一步進行圖象變形C304。另外，當坐標光源計算C305結(jié)束時，進行潤色處理C306。進一步，當合成307結(jié)束時，進行顯示C308。
當生成新的視頻靜止圖象并將所生成的視頻靜止圖象粘貼于先前生成的圖形靜止圖象時，圖象譯碼處理C311、坐標光源計算C312、合成317同時開始。這里，坐標光源計算C312，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標。當坐標光源計算C312結(jié)束時，進行透視變換C313，當透視變換C313結(jié)束時，進一步進行圖象變形C314。當合成C317結(jié)束時，進行顯示C318。3.3 提要如上所述，按照不同的進程以并行方式進行圖形靜止圖象的生成處理、視頻靜止圖象的譯碼·變形處理、及所生成的圖形靜止圖象和視頻靜止圖象的合成，所以，能以其各自的顯示速率合成圖形動圖象和視頻動圖象，同時能更迅速地進行圖形靜止圖象的生成處理、視頻靜止圖象的譯碼·變形處理、及所生成的圖形靜止圖象和視頻靜止圖象的合成，4 實施形態(tài)4對作為本發(fā)明另一實施形態(tài)的數(shù)字廣播接收裝置40進行說明。4.1數(shù)字廣播接收裝置40的結(jié)構(gòu)數(shù)字廣播接收裝置40，與數(shù)字廣播接收裝置20一樣，由本體部26、監(jiān)視器21、遙控器22、天線23等構(gòu)成，該數(shù)字廣播接收裝置40，讀出記錄在CD-ROM上的與三維對象有關(guān)的對象信息，并接收所播放的多個視頻動圖象，生成由多個對象構(gòu)成的圖形圖象，各對象具有各自的動圖象顯示面，將各視頻圖象粘貼于所生成的圖形圖象的各動圖象顯示面后，顯示在監(jiān)視器21上。
在本實施形態(tài)中，接收第1、第2和第3視頻動圖象，第1、第2和第3對象分別具有第1、第2和第3動圖象顯示面。
數(shù)字廣播接收裝置40的功能框圖，示于圖25。如該圖所示，數(shù)字廣播接收裝置40，包括輸入部101、數(shù)據(jù)存儲部102、坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106a、106b、106c、圖象變形部107a、107b、107c、幀緩沖器108、顯示部109、調(diào)諧器110、優(yōu)先級控制部111、控制數(shù)據(jù)存儲部114、靜止圖象存儲部115、圖形圖象存儲部116、選擇部117、天線23。
在數(shù)字廣播接收裝置40的構(gòu)成要素中，與數(shù)字廣播接收裝置20的構(gòu)成要素具有相同符號的構(gòu)成要素，結(jié)構(gòu)與數(shù)字廣播接收裝置20的構(gòu)成要素相同。此外，控制數(shù)據(jù)存儲部114、靜止圖象存儲部115、圖形圖象存儲部116及選擇部117，分別與動圖象合成裝置30的控制數(shù)據(jù)存儲部114、靜止圖象存儲部115、圖形圖象存儲部116、選擇部117相同。
因此，數(shù)字廣播接收裝置40是數(shù)字廣播接收裝置20與動圖象合成裝置30的組合。
在下文中，以與數(shù)字廣播接收裝置20的構(gòu)成要素的不同點為中心進行說明。(1)潤色處理部104潤色處理部104，將所形成的圖形靜止圖象交替地輸出到圖形圖象區(qū)域A116a及圖形圖象區(qū)域B116b中的任何一個，而不是輸出到幀緩沖器108。(2)透視變換部105透視變換部105，進一步，與動圖象合成裝置30的透視變換部105一樣，生成控制數(shù)據(jù)，并將所生成的控制數(shù)據(jù)交替地輸出到控制數(shù)據(jù)區(qū)域A114a及控制數(shù)據(jù)區(qū)域B114b中的任何一個。
這里，控制數(shù)據(jù)，作為一例，是由橫向640個、縱向480個、總計307200個構(gòu)成的數(shù)據(jù)序列。各數(shù)據(jù)由2位構(gòu)成，具有「0」、「1」、「2」或「3」的值。各數(shù)據(jù)，對應(yīng)于由潤色處理部104生成的圖形靜止圖象的各個象素。
透視變換部105，對控制數(shù)據(jù)中的與第1動圖象顯示面對應(yīng)的位，全部設(shè)定為「1」值，對與第2動圖象顯示面對應(yīng)的位，全部設(shè)定為「2」值，對與第3動圖象顯示面對應(yīng)的位，全部設(shè)定為「3」值，對其他的位，設(shè)定為「0」值。另外，對多個動圖象顯示面的重合的部分，采用最上邊的動圖象顯示面的值。(3)圖象變形部107a、107b、107c圖象變形部107a，將所生成的變形視頻靜止圖象交替地輸出到靜止圖象區(qū)域A115a及靜止圖象區(qū)域B115b中的任何一個，而不是輸出到屏蔽處理部113a。
圖象變形部107b、107c，與圖象變形部107a相同。(4)選擇部117選擇部117，對所讀出的控制數(shù)據(jù)的每個數(shù)據(jù)進行判斷，如果該位為「0」，則從構(gòu)成所讀出的圖形靜止圖象的象素中讀出位于與該位對應(yīng)的位置的象素，并將所讀出的象素寫入幀緩沖器108的對應(yīng)位置，如果該位為「1」，則從構(gòu)成所讀出的第1視頻靜止圖象的象素中讀出位于與該位對應(yīng)的位置的象素，并將所讀出的象素寫入幀緩沖器108的對應(yīng)位置，如果該位為「2」，則從構(gòu)成所讀出的第2視頻靜止圖象的象素中讀出位于與該位對應(yīng)的位置的象素，并將所讀出的象素寫入幀緩沖器108的對應(yīng)位置，如果該位為「3」，則從構(gòu)成所讀出的第2視頻靜止圖象的象素中讀出位于與該位對應(yīng)的位置的象素，并將所讀出的象素寫入幀緩沖器108的對應(yīng)位置，4.2數(shù)字廣播接收裝置40的動作(1)數(shù)字廣播接收裝置40的各處理進程中的數(shù)據(jù)參照圖26說明數(shù)字廣播接收裝置40的動作。該圖以直觀的形式示出數(shù)字廣播接收裝置40的各處理進程中的數(shù)據(jù)，如該圖所示，坐標光源計算部103，利用與對象有關(guān)的信息701計算三維坐標空間A中的形成各對象的各點的三維坐標704，潤色處理部104，進行潤色處理，形成作為位映象數(shù)據(jù)的圖形靜止圖象702，并將所形成的圖形靜止圖象702輸出到圖形圖象區(qū)域B116b，透視變換部105，計算形成動圖象顯示面的各點在平面H上的二維坐標，生成控制數(shù)據(jù)705，并將控制數(shù)據(jù)705輸出到控制數(shù)據(jù)區(qū)域B114b，圖象變形部107a、107b、107c，分別從視頻靜止圖象707、711、715生成變形視頻靜止圖象708、712、716，并將所生成的變形視頻靜止圖象708、712、716輸出到靜止圖象區(qū)域B115b。
另一方面，選擇部117，從圖形圖象區(qū)域A116a讀出圖形靜止圖象703，從靜止圖象區(qū)域A115a讀出視頻靜止圖象710、714、718，從控制數(shù)據(jù)區(qū)域A114a讀出控制數(shù)據(jù)706，利用所讀出的控制數(shù)據(jù)706將圖形靜止圖象703和視頻靜止圖象710、714、718合成后，生成靜止圖象719，寫入幀緩沖器108。(2)數(shù)字廣播接收裝置40的各構(gòu)成要素的處理時序圖27是表示各時刻的數(shù)字廣播接收裝置40的各構(gòu)成要素的處理時序的時間圖。橫軸表示時刻，縱軸表示數(shù)字廣播接收裝置40的各構(gòu)成要素的處理。
當生成新的圖形靜止圖象和視頻靜止圖象并將所生成的視頻靜止圖象粘貼于圖形靜止圖象時，坐標光源計算C404、坐標光源計算C410、合成C412同時開始。這里，坐標光源計算C404，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標，而坐標光源計算C410，則是由坐標光源計算部103計算對象在平面H上所形成的各點的二維坐標及表示各點離平面H的深度的深度值。當坐標光源計算C404結(jié)束時，進行透視變換C405，當透視變換C405結(jié)束時，開始進行優(yōu)先級控制C406。接著，當優(yōu)先級控制C406結(jié)束時，由圖象譯碼部106a、106b、106c開始進行圖象譯碼C401、C402、C403，當各圖象譯碼C401、C402、C403結(jié)束時，開始進行圖象變形C407、C408、C409。另一方面，當坐標光源計算C410結(jié)束時，進行潤色C411。當合成412結(jié)束時，進行顯示C413。
當生成新的視頻靜止圖象并將所生成的視頻靜止圖象粘貼于先前生成的圖形靜止圖象時，坐標光源計算C424及合成C432同時開始。這里，坐標光源計算C424，是由坐標光源計算部103計算三維坐標空間A中的形成動圖象顯示面的各點的三維坐標。然后，當坐標光源計算C424結(jié)束時，進行透視變換C425，當透視變換C425結(jié)束時，開始進行優(yōu)先級控制C426。接著，當優(yōu)先級控制C426結(jié)束時，由圖象譯碼部106a、106b、106c開始進行圖象譯碼C421、C422、C423，當各圖象譯碼C421、C422、C423結(jié)束時，開始進行圖象變形C427、C428、C429。當合成432結(jié)束時，進行顯示C433。4.3 提要如上所述，按照不同的進程以并行方式進行圖形靜止圖象的生成處理、多個視頻靜止圖象的譯碼·變形處理、及所生成的圖形靜止圖象和多個視頻靜止圖象的合成，所以，能以其各自的顯示速率合成圖形動圖象和多個視頻動圖象，同時能更迅速地進行圖形靜止圖象的生成處理、視頻靜止圖象的譯碼·變形處理、及所生成的圖形靜止圖象和視頻靜止圖象的合成。另外，由于使最接近面前的動圖象顯示面具有較高的優(yōu)先級并使由對應(yīng)的圖象譯碼部譯碼的視頻靜止圖象的每一定時間的幀數(shù)增多，所以能夠根據(jù)優(yōu)先級改善畫質(zhì)。5 實施形態(tài)5對作為本發(fā)明另一實施形態(tài)的數(shù)字廣播接收裝置50進行說明。5.1 數(shù)字廣播接收裝置50的結(jié)構(gòu)數(shù)字廣播接收裝置50，與數(shù)字廣播接收裝置20一樣，由本體部26、監(jiān)視器21、遙控器22、天線23等構(gòu)成，該數(shù)字廣播接收裝置50，讀出記錄在CD-ROM上的與三維對象有關(guān)的對象信息，并接收所播放的多個視頻動圖象，生成由多個對象構(gòu)成的圖形圖象，各對象具有各自的動圖象顯示面，將各視頻圖象粘貼于所生成的圖形圖象的各動圖象顯示面后，顯示在監(jiān)視器21上。
數(shù)字廣播接收裝置50的功能框圖，示于圖28。如該圖所示，數(shù)字廣播接收裝置50，包括輸入部101、數(shù)據(jù)存儲部102、坐標光源計算部103、潤色處理部104、透視變換部105、圖象譯碼部106a、106b、106c、圖象變形部107a、107b、107c、幀緩沖器108、顯示部109、調(diào)諧器110、優(yōu)先級控制部111、屏蔽控制部112、屏蔽處理部113a、113b、113c、圖象校正部118a、118b、118c、天線23。
在數(shù)字廣播接收裝置50的構(gòu)成要素中，與數(shù)字廣播接收裝置20的構(gòu)成要素具有相同符號的構(gòu)成要素，結(jié)構(gòu)與數(shù)字廣播接收裝置20的構(gòu)成要素相同。在下文中，以不同點為中心進行說明。(1)圖象譯碼部106a、106b、106c圖象譯碼部106a，將所生成的視頻靜止圖象輸出到圖象校正部118a，而不是輸出到圖象變形部107a。其它各點與數(shù)字廣播接收裝置20的圖象譯碼部106a相同。
圖象譯碼部106b和106c，與圖象譯碼部106a相同。(2)優(yōu)先級控制部111優(yōu)先級控制部111，進一步，將所決定的優(yōu)先級輸出到與各對象的動圖象顯示面對應(yīng)的圖象校正部118a、118b、118c。(3)圖象校正部118a、118b、118c圖象校正部118a，從圖象譯碼部106a接收視頻靜止圖象，并從優(yōu)先級控制部111接收所決定的優(yōu)先級。
當接收到的優(yōu)先級最高時，圖象校正部118a，將所接收的視頻靜止圖象直接輸出到圖象變形部107a，而不進行校正。
當接收到的優(yōu)先級為中等程度或較低時，圖象校正部118a進行校正，使視頻靜止圖象的亮度降低，且優(yōu)先級越低亮度越低。降低視頻靜止圖象的亮度的校正，具體地說，通過將視頻靜止圖象的各象素的值除以適當?shù)闹颠M行。這里，作為該適當值的例，當優(yōu)先級為中等程度時為4，當優(yōu)先級較低時為8。此外，也可以將構(gòu)成各象素的位序列向低位側(cè)移位。例如，當優(yōu)先級為中等程度時，可向低位側(cè)移1位，當優(yōu)先級較低時，可向低位側(cè)移2位。5.3 提要如上所述，按照不同的進程以并行方式進行圖形靜止圖象的生成處理、多個視頻靜止圖象的譯碼·變形處理，并將所生成的圖形靜止圖象和多個視頻靜止圖象在幀緩沖器上合成，所以，能以其各自的顯示速率合成圖形動圖象和多個視頻動圖象。另外，由于使最接近面前的動圖象顯示面具有較高的優(yōu)先級并使由對應(yīng)的圖象譯碼部譯碼的視頻靜止圖象的每一定時間的幀數(shù)增多，所以能夠根據(jù)優(yōu)先級改善畫質(zhì)。進一步，由于對優(yōu)先級低的動圖象顯示面將亮度校正得較低，所以，在顯示速率變低的可能性大的優(yōu)先級低的動圖象顯示面上可以使閃爍不引人注意。6.其他變形例(1)在上述實施形態(tài)中說明的圖形靜止圖象和視頻靜止圖象的合成，也可以應(yīng)用于電視游戲機、DVD/VCD/CD播放機等圖象再生裝置、或信息處理終端裝置。(2)在上述實施形態(tài)中，將動圖象粘貼在對象具有的屏面上，但也可以-將圖形動圖象和視頻動圖象并行地顯示在電視畫面上。(3)在上述實施形態(tài)中，視頻動圖象的顯示速率為每秒30幀，圖形動圖象的顯示速率為每秒10幀，但當然也可以是其他顯示速率。例如，可以使視頻動圖象的顯示速率為每秒10幀，使圖形動圖象的顯示速率為每秒30幀，(4)在上述實施形態(tài)中，假定對象具有1個屏面，但對象也可以具有多個屏面。(5)作為其他實施形態(tài)之一，可以是如上所述的動圖象合成方法。另外，也可以是用計算機執(zhí)行上述動圖象合成方法的動圖象合成程序，也可以是記錄著上述動圖象合成程序的可由計算機讀取的記錄媒體。該記錄媒體，例如，可以是軟盤、CD-ROM、DVD-ROM、DVD-RAM、半導體存儲器等。進一步，可以通過通信線路傳送上述動圖象合成程序，也可以是通過上述通信線路傳送的數(shù)字信號。(6)也可以將如上所述的多個實施形態(tài)及其變形例分別進行組合。
產(chǎn)業(yè)上的可應(yīng)用性在接收通過多個信道播放的數(shù)字廣播波的數(shù)字廣播接收裝置中，可以用作選擇節(jié)目用的用戶接口。另外，在電視游戲機、DVD/VCD/CD播放機等圖象再生裝置、個人計算機或信息處理終端裝置中，可以用作圖象效果更佳的顯示裝置。
權(quán)利要求
1．一種動圖象合成裝置，對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象及由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，該動圖象合成裝置的特征在于，備有信息存儲裝置，存儲著表示三維空間中的對象形狀和位置的對象信息；視頻動圖象取得裝置，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；圖象存儲裝置；接收裝置，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成裝置，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖象存儲裝置；及視頻圖象生成裝置，在生成上述圖形靜止圖象并寫入上述圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述圖象存儲裝置。
2．根據(jù)權(quán)利要求1所述的動圖象合成裝置，其特征在于上述圖形圖象生成裝置，利用上述對象信息，從上述視點觀察并將對象投影到投影面上，進一步，通過進行潤色處理而生成圖形靜止圖象，
3．根據(jù)權(quán)利要求2所述的動圖象合成裝置，其特征在于上述對象，具有合成視頻動圖象的屏面，上述動圖象合成裝置，在對象的屏面上將圖形動圖象與視頻動圖象合成，上述對象信息，包含表示對象的屏面形狀的信息，上述圖形圖象生成裝置，進一步，利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息，上述視頻圖象生成裝置，在存儲在上述圖象存儲裝置內(nèi)的圖形靜止圖象上的由上述計算出的屏面信息所指示的位置上，寫入所抽出的視頻靜止圖象。
4．根據(jù)權(quán)利要求3所述的動圖象合成裝置，其特征在于上述視頻圖象生成裝置，包括根據(jù)由上述屏面信息表示的形狀使上述視頻靜止圖象變形從而生成變形視頻靜止圖象的圖象變形裝置，上述視頻圖象生成裝置，將所生成的變形視頻靜止圖象寫入上述圖象存儲裝置。
5．根據(jù)權(quán)利要求4所述的動圖象合成裝置，其特征在于上述對象具有多個屏面，上述視頻動圖象取得裝置，從外部取得多個視頻動圖象，上述動圖象合成裝置，在多個屏面上分別將圖形動圖象與各視頻動圖象合成，上述對象信息，包含表示多個屏面的形狀的信息，上述圖形圖象生成裝置，對表示多個對象的屏面形狀的每個信息計算屏面信息，上述視頻圖象生成裝置，從多個視頻動圖象分別取得視頻靜止圖象，并在由上述多個屏面信息所指示的位置上，寫入分別取得的多個視頻靜止圖象。
6．根據(jù)權(quán)利要求5所述的動圖象合成裝置，其特征在于上述視頻圖象生成裝置，包括優(yōu)先級決定裝置，根據(jù)所計算出的多個屏面信息，按每個屏面決定優(yōu)先級；視頻圖象譯碼裝置，根據(jù)對多個視頻動圖象決定出的優(yōu)先級，從視頻動圖象取得視頻靜止圖象；屏蔽位置計算裝置，根據(jù)所計算出的多個屏面信息及按每個屏面決定出的優(yōu)先級，計算在每個投影面上對投影屏面進行屏蔽的位置；及屏蔽處理裝置，在所計算出的進行屏蔽的位置上，對上述變形視頻靜止圖象進行屏蔽處理；上述視頻圖象生成裝置，將進行了屏蔽處理的變形視頻靜止圖象寫入上述圖象存儲裝置。
7．根據(jù)權(quán)利要求6所述的動圖象合成裝置，其特征在于上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息決定優(yōu)先級，使離上述視點越近的屏面具有越高的優(yōu)先級。
8．根據(jù)權(quán)利要求6所述的動圖象合成裝置，其特征在于上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息計算投影屏面的面積并決定優(yōu)先級，使計算出的面積越大的投影屏面具有越高的優(yōu)先級。
9．根據(jù)權(quán)利要求6所述的動圖象合成裝置，其特征在于上述視頻圖象譯碼裝置取得視頻靜止圖象的方式為，對優(yōu)先級最高的視頻動圖象，從視頻動圖象取得其全部視頻靜止圖象，而視頻動圖象的優(yōu)先級越低，則從視頻動圖象略過的視頻靜止圖象越多。
10．根據(jù)權(quán)利要求6所述的動圖象合成裝置，其特征在于上述視頻圖象譯碼裝置，包括用于降低所取得的視頻靜止圖象的亮度的畫質(zhì)校正部，其校正的方式為，對優(yōu)先級最高的視頻動圖象，不降低視頻靜止圖象的亮度，而視頻動圖象的優(yōu)先級越低，則使視頻靜止圖象的亮度越低。
11．一種動圖象合成裝置，在對象的屏面上對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，該動圖象合成裝置的特征在于，備有信息存儲裝置，存儲著表示三維空間中的對象形狀和位置及對象的屏面形狀的對象信息；視頻動圖象取得裝置，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；圖形靜止圖象存儲裝置；視頻靜止圖象存儲裝置；圖象存儲裝置；接收裝置，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成裝置，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖形靜止圖象存儲裝置，還利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息；及視頻圖象生成裝置，在生成上述圖形靜止圖象并寫入上述圖形靜止圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述視頻靜止圖象存儲裝置；及選擇裝置，利用上述所計算出的屏面信息，從存儲在上述圖形靜止圖象存儲裝置內(nèi)的圖形靜止圖象或存儲在上述視頻靜止圖象存儲裝置內(nèi)的視頻靜止圖象選擇構(gòu)成各靜止圖象的象素，并將所選定的象素寫入上述圖象存儲裝置。
12．根據(jù)權(quán)利要求11所述的動圖象合成裝置，其特征在于上述圖形靜止圖象存儲裝置，包括第1圖形存儲部和第2圖形存儲部，上述視頻靜止圖象存儲裝置，包括第1視頻存儲部和第2視頻存儲部，上述圖形靜止圖象生成裝置，將所取得的圖形靜止圖象交替地寫入第1圖形存儲部或第2圖形存儲部，上述視頻圖象生成裝置，將所取得的視頻靜止圖象交替地寫入第1視頻存儲部或第2視頻存儲部，上述選擇裝置，在由上述圖形圖象生成裝置將圖形靜止圖象寫入第1圖形存儲部的時間帶，從第2圖形存儲部讀出圖形靜止圖象，在由上述圖形靜止圖象生成裝置將圖形靜止圖象寫入第2圖形存儲部的時間帶，從第1圖形存儲部讀出圖形靜止圖象，在由上述視頻圖象生成裝置將視頻靜止圖象寫入第1視頻存儲部的時間帶，從第2視頻存儲部讀出視頻靜止圖象，在由上述視頻靜止圖象生成裝置將視頻靜止圖象寫入第2視頻存儲部的時間帶，從第1視頻存儲部讀出視頻靜止圖象，并從所讀出的圖形靜止圖象和視頻靜止圖象選擇構(gòu)成各靜止圖象的象素。
13．根據(jù)權(quán)利要求12所述的動圖象合成裝置，其特征在于上述圖形圖象生成裝置，利用上述對象信息，從上述視點觀察并將對象投影到投影面上，進一步，通過進行潤色處理而生成圖形靜止圖象，
14．根據(jù)權(quán)利要求13所述的動圖象合成裝置，其特征在于上述視頻圖象生成裝置，包括根據(jù)由上述屏面信息表示的形狀使上述視頻靜止圖象變形從而生成變形視頻靜止圖象的圖象變形裝置，上述視頻圖象生成裝置，將所生成的變形視頻靜止圖象寫入上述圖象存儲裝置。
15．根據(jù)權(quán)利要求14所述的動圖象合成裝置，其特征在于上述對象具有多個屏面，上述視頻動圖象取得裝置，從外部取得多個視頻動圖象，上述動圖象合成裝置，在多個屏面上分別將圖形動圖象與各視頻動圖象合成，上述對象信息，包含表示多個屏面的形狀的信息，上述圖形圖象生成裝置，對表示多個屏面的形狀的每個信息計算屏面信息，上述視頻圖象生成裝置，從多個視頻動圖象分別取得視頻靜止圖象，并在由上述多個屏面信息所指示的位置上，寫入分別取得的多個視頻靜止圖象。
16．根據(jù)權(quán)利要求15所述的動圖象合成裝置，其特征在于上述視頻圖象生成裝置，包括優(yōu)先級決定裝置，根據(jù)所計算出的多個屏面信息，按每個屏面決定優(yōu)先級；視頻圖象譯碼裝置，根據(jù)對多個視頻動圖象決定出的優(yōu)先級，從視頻動圖象取得視頻靜止圖象；屏蔽位置計算裝置，根據(jù)所計算出的多個屏面信息及按每個屏面決定出的優(yōu)先級，計算在每個投影面上對投影屏面進行屏蔽的位置；及屏蔽處理裝置，在所計算出的進行屏蔽的位置上，對上述變形視頻靜止圖象進行屏蔽處理；上述視頻圖象生成裝置，將進行了屏蔽處理的變形視頻靜止圖象寫入上述視頻靜止圖象存儲裝置。
17．根據(jù)權(quán)利要求16所述的動圖象合成裝置，其特征在于上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息決定優(yōu)先級，使離上述視點越近的屏面具有越高的優(yōu)先級。
18．根據(jù)權(quán)利要求16所述的動圖象合成裝置，其特征在于上述優(yōu)先級決定裝置，利用所計算出的多個屏面信息計算投影屏面的面積并決定優(yōu)先級，使計算出的面積越大的屏面具有越高的優(yōu)先級。
19．根據(jù)權(quán)利要求16所述的動圖象合成裝置，其特征在于上述視頻圖象譯碼裝置取得視頻靜止圖象的方式為，對優(yōu)先級最高的視頻動圖象，從視頻動圖象取得其全部視頻靜止圖象，而視頻動圖象的優(yōu)先級越低，則從視頻動圖象略過的視頻靜止圖象越多。
20．根據(jù)權(quán)利要求16所述的動圖象合成裝置，其特征在于上述視頻圖象譯碼裝置，包括用于降低所取得的視頻靜止圖象的亮度的畫質(zhì)校正部，其校正的方式為，對優(yōu)先級最高的視頻動圖象，不降低視頻靜止圖象的亮度，而視頻動圖象的優(yōu)先級越低，則使視頻靜止圖象的亮度越低。
21．一種動圖象合成方法，用于動圖象合成裝置，該動圖象合成裝置，對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象形狀和位置的對象信息的信息存儲裝置、及圖象存儲裝置，該動圖象合成方法的特征在于，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖象存儲裝置；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述圖象存儲裝置。
22．一種動圖象合成方法，用于動圖象合成裝置，該動圖象合成裝置，在對象的屏面上對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象形狀和位置及對象的屏面形狀的對象信息的信息存儲裝置、圖形靜止圖象存儲裝置、視頻靜止圖象存儲裝置、圖象存儲裝置，該動圖象合成方法的特征在于，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖形靜止圖象存儲裝置，還利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖形靜止圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述視頻靜止圖象存儲裝置；及選擇步驟，利用上述所計算出的屏面信息，從存儲在上述圖形靜止圖象存儲裝置內(nèi)的圖形靜止圖象或存儲在上述視頻靜止圖象存儲裝置內(nèi)的視頻靜止圖象選擇構(gòu)成各靜止圖象的象素，并將所選定的象素寫入上述圖象存儲裝置。
23．一種記錄媒體，用于記錄由計算機執(zhí)行的動圖象合成程序，該計算機，對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象的形狀和位置的對象信息的信息存儲裝置、及圖象存儲裝置，該記錄媒體的特征在于上述動圖象合成程序，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖象存儲裝置；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述圖象存儲裝置。
24.一種記錄媒體，用于記錄由計算機執(zhí)行的動圖象合成程序，該計算機，在對象的屏面上對從在三維空間內(nèi)移動的視點觀察對象而得到的圖形動圖象和由多個視頻靜止圖象構(gòu)成的視頻動圖象進行合成，并備有存儲著表示三維空間中的對象的形狀和位置及對象的屏面形狀的對象信息的信息存儲裝置、圖形靜止圖象存儲裝置、視頻靜止圖象存儲裝置、圖象存儲裝置，該記錄媒體的特征在于上述動圖象合成程序，包括視頻動圖象取得步驟，從外部取得由連續(xù)的多個視頻靜止圖象構(gòu)成的視頻動圖象；接收步驟，反復接收表示在三維空間內(nèi)移動的一個視點的位置的信息；圖形圖象生成步驟，利用上述對象信息，生成從上述視點觀察并將對象投影到投影面上而得到的圖形靜止圖象，并將所生成的圖形靜止圖象寫入上述圖形靜止圖象存儲裝置，還利用包含表示屏面形狀的信息的對象信息，計算從上述視點觀察并將屏面投影到上述投影面上而得到的表示投影屏面的形狀及位置的屏面信息；及視頻圖象生成步驟，在生成上述圖形靜止圖象并寫入上述圖形靜止圖象存儲裝置的時間帶，從上述所取得的視頻動圖象反復抽出視頻靜止圖象，并將所抽出的視頻靜止圖象寫入上述視頻靜止圖象存儲裝置；及選擇步驟，利用上述所計算出的屏面信息，從存儲在上述圖形靜止圖象存儲裝置內(nèi)的圖形靜止圖象或存儲在上述視頻靜止圖象存儲裝置內(nèi)的視頻靜止圖象選擇構(gòu)成各靜止圖象的象素，并將所選定的象素寫入上述圖象存儲裝置。
全文摘要
坐標光源計算部103,計算形成對象的各點的三維坐標,并進行裁剪處理,潤色處理部104,進行潤色處理,并將所形成的圖形靜止圖象輸出到幀緩沖器108。坐標光源計算部103,計算形成動圖象顯示面的各點的三維坐標,透視變換部105計算形成動圖象顯示面的各點的二維坐標。圖象譯碼部106,對視頻靜止圖象進行譯碼,圖象變形部107將視頻靜止圖象變形后輸出到幀緩沖器108。由此,可將視頻靜止圖象粘貼于圖形靜止圖象。
文檔編號H04N7/24GK1287743SQ9980172
公開日2001年3月14日 申請日期1999年7月29日 優(yōu)先權(quán)日1998年7月30日
發(fā)明者稻垣悟, 津田賢治郎, 錦織義久 申請人:松下電器產(chǎn)業(yè)株式會社