一種提高實(shí)物展示流暢性的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及實(shí)物展示技術(shù)領(lǐng)域，具體涉及一種提高實(shí)物展示流暢性的方法及系統(tǒng)。
【背景技術(shù)】
[0002]在通過視頻進(jìn)行實(shí)物展示過程中，一般需要通過攝像頭或攝像機(jī)采集實(shí)物的圖像信息，然后將實(shí)物的圖像通過顯示設(shè)備以視頻的方式展示出來。在圖像以視頻的方式展示過程中，大致包括了幀處理、渲染以及顯示三部分。
[0003]幀處理是通過讀取攝像頭采集的幀數(shù)據(jù)并轉(zhuǎn)換成開源計(jì)算機(jī)圖像庫(OpenSource Computer Vis1nibrary，OpenCV)圖像，并將該圖像送入每個(gè)自定義的過濾器(Filter)中進(jìn)行處理，過濾器是基于DirectShow創(chuàng)建的組件對(duì)象模型(COM)，執(zhí)行一些多媒體流的操作，如繪圖、批注等。過濾器的種類有很多，不同種類的過濾器相互連接在一起就形成了過濾器圖表。同時(shí)，幀處理過程還包括通過開源計(jì)算機(jī)圖像庫對(duì)視頻圖像進(jìn)行的處理包括如視頻繪圖、視頻的旋轉(zhuǎn)、圖像的糾偏、圖像的自動(dòng)捕捉與拍照、圖像的自動(dòng)去黑邊、剪切等，高效率的實(shí)現(xiàn)了視頻圖像的實(shí)時(shí)處理。
[0004]在幀處理過程中，為了可以提高數(shù)據(jù)的處理速度，一般會(huì)在在通過dxshow打開攝像頭以后創(chuàng)建了一個(gè)線程，該線程專門負(fù)責(zé)讀取幀數(shù)據(jù)并將該幀數(shù)據(jù)進(jìn)行過濾器處理，完后調(diào)用渲染模塊，將經(jīng)過處理后的圖像顯示在用戶指定的窗口中。但是當(dāng)用戶啟動(dòng)了繪圖(或批注等)過濾器后，為了讓繪圖比較流暢，必須要把渲染的幀率提高起來，這時(shí)候就會(huì)出現(xiàn)一個(gè)現(xiàn)象，渲染(刷新)的幀率大于攝像頭本身支持的最大幀率，這個(gè)情況下如果還是每一幀數(shù)據(jù)都從攝像頭獲取，會(huì)拖慢渲染的速度，直接影響了用戶體驗(yàn)。

【發(fā)明內(nèi)容】

[0005]針對(duì)以上不足，本發(fā)明的目的之一在于提供一種提高實(shí)物展示流暢性的方法，其通過將渲染的幀數(shù)據(jù)和通過攝像頭獲取的幀數(shù)據(jù)的速率進(jìn)行分離，刷新較快時(shí)幀進(jìn)行重復(fù)使用，可以在界面操作頻繁的時(shí)候設(shè)置較大的渲染速度，讓繪圖或者批注的操作相對(duì)流暢，提供了更好的用戶體驗(yàn)。
[0006]本發(fā)明的目的是這樣實(shí)現(xiàn)的:
[0007]—種提高實(shí)物展示流暢性的方法，其包括以下步驟:
[0008]步驟1、通過攝像頭對(duì)實(shí)物進(jìn)行圖像掃描，獲取所述實(shí)物的在前視頻圖像；
[0009]步驟2、采集所述在前視頻圖像，并將所述在前視頻圖像以及采集該在前視頻圖像的時(shí)間存儲(chǔ)到存儲(chǔ)單元中；
[0010]步驟3、對(duì)步驟2中存儲(chǔ)到存儲(chǔ)單元中的在前視頻圖像進(jìn)行幀處理；
[0011]步驟4、將步驟3中幀處理完畢后的在前視頻圖像經(jīng)過渲染后進(jìn)行顯示；
[0012]步驟5、在步驟4中，如果渲染該在前視頻圖像的時(shí)間小于一間隔時(shí)間，則繼續(xù)執(zhí)行步驟3-4，反之，則執(zhí)行步驟6 ;
[0013]步驟6、對(duì)實(shí)物進(jìn)行再次圖像掃描，獲取所述實(shí)物的在后視頻圖像，并將該在后視頻圖像執(zhí)行步驟2-5的操作，所述間隔時(shí)間為采集所述在后視頻圖像的時(shí)間與采集在前視頻圖像的時(shí)間之差。
[0014]所述步驟I還包括通過麥克風(fēng)捕獲音頻信息，并將所述音頻信息經(jīng)步驟2-4進(jìn)行處理。
[0015]所述在前視頻圖像和再后視頻圖像均為I幀數(shù)據(jù)。
[0016]幀處理后執(zhí)行掛起操作，所述間隔時(shí)間包括該掛起的時(shí)間。
[0017]所述步驟3中，如果在單位時(shí)間內(nèi)從攝像頭獲取的視頻圖像幀數(shù)大于幀處理的視頻圖像幀數(shù)，則執(zhí)行丟幀操作，所述丟幀操作為將多余部分不進(jìn)行幀處理以及渲染而直接釋放，所述多余部分為在單位時(shí)間內(nèi)從攝像頭獲取的視頻圖像幀與幀處理的視頻圖像幀相減后的視頻圖像幀。
[0018]本發(fā)明的目的之一在于提供一種提高實(shí)物展示流暢性的系統(tǒng)，其通過將渲染的幀數(shù)據(jù)和通過攝像頭獲取的幀數(shù)據(jù)的速率進(jìn)行分離，刷新較快時(shí)幀進(jìn)行重復(fù)使用，可以在界面操作頻繁的時(shí)候設(shè)置較大的渲染速度，讓繪圖或者批注的操作相對(duì)流暢，提供了更好的用戶體驗(yàn)。
[0019]本發(fā)明的目的是這樣實(shí)現(xiàn)的:
[0020]一種提高實(shí)物展示流暢性的系統(tǒng)，其包括:
[0021]圖像掃描單元，用于通過攝像頭對(duì)實(shí)物進(jìn)行圖像掃描，獲取所述實(shí)物的在前視頻圖像；
[0022]圖像采集和存儲(chǔ)單元，用于采集所述在前視頻圖像，并將所述在前視頻圖像以及采集該在前視頻圖像的時(shí)間存儲(chǔ)到存儲(chǔ)單元中；
[0023]幀處理單元，用于對(duì)圖像采集和存儲(chǔ)單元中存儲(chǔ)到存儲(chǔ)單元中的在前視頻圖像進(jìn)行幀處理；
[0024]顯示單元，用于將幀處理單元中幀處理完畢后的在前視頻圖像經(jīng)過渲染后進(jìn)行顯示;
[0025]比較單元，在顯示單元中，如果渲染該在前視頻圖像的時(shí)間小于一間隔時(shí)間，則繼續(xù)執(zhí)行幀處理單元和顯示單元，反之，則執(zhí)行圖像再掃描單元；
[0026]圖像再掃描單元，用于對(duì)實(shí)物進(jìn)行再次圖像掃描，獲取所述實(shí)物的在后視頻圖像，并將該在后視頻圖像依次執(zhí)行圖像采集和存儲(chǔ)單元、幀處理單元、顯示單元和比較單元的操作，所述間隔時(shí)間為采集所述在后視頻圖像的時(shí)間與采集在前視頻圖像的時(shí)間之差。
[0027]所述圖像掃描單元還包括音頻信息采集單元，用于通過麥克風(fēng)捕獲音頻信息，并將所述音頻信息經(jīng)圖像采集和存儲(chǔ)單元、幀處理單元和顯示單元依次進(jìn)行處理。
[0028]所述在前視頻圖像和再后視頻圖像均為I幀數(shù)據(jù)。
[0029]所述幀處理單元中，幀處理后執(zhí)行掛起操作，所述間隔時(shí)間包括該掛起的時(shí)間。
[0030]所述幀處理單元中，如果在單位時(shí)間內(nèi)從攝像頭獲取的視頻圖像幀數(shù)大于幀處理的視頻圖像幀數(shù)，則執(zhí)行丟幀操作，所述丟幀操作為將多余部分不進(jìn)行幀處理以及渲染而直接釋放，所述多余部分為在單位時(shí)間內(nèi)從攝像頭獲取的視頻圖像幀與幀處理的視頻圖像幀相減后的視頻圖像幀。
[0031]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于:
[0032]1、通過將渲染的幀數(shù)據(jù)和通過攝像頭獲取的幀數(shù)據(jù)的速率進(jìn)行分離，刷新較快時(shí)幀進(jìn)行重復(fù)使用，可以在界面操作頻繁的時(shí)候設(shè)置較大的渲染速度，讓繪圖或者批注的操作相對(duì)流暢，提供了更好的用戶體驗(yàn)。
[0033]2、在每次幀處理后執(zhí)行掛起(通過sle印函數(shù)實(shí)現(xiàn))操作，這樣既可以降低CPU的使用率，也可以控制幀率。
[0034]3、在人眼分辨不出的情況下，通過適當(dāng)丟幀的操作，進(jìn)一步提高流暢度。
【附圖說明】
[0035]圖1為本發(fā)明一種提高實(shí)物展示流暢性的方法的流程圖。
【具體實(shí)施方式】
[0036]下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的說明。
[0037]請(qǐng)參照?qǐng)D1所示，一種提高實(shí)物展示流暢性的方法，其大致包括以下步驟:
[0038]步驟1、通過攝像頭對(duì)實(shí)物進(jìn)行圖像掃描，獲取所述實(shí)物的在前視頻圖像；
[0039]步驟2、采集所述在前視頻圖像，并將所述在前視頻圖像以及采集該在前視頻圖像的時(shí)間存儲(chǔ)到存儲(chǔ)單元中；
[0040]步驟3、創(chuàng)建幀處理線程；
[0041]步驟4、通過幀處理線程對(duì)存儲(chǔ)單元中的在前視頻圖像進(jìn)行幀處理；
[0042]步驟5、幀處理完畢后，創(chuàng)建一渲染隊(duì)列和與所述渲染隊(duì)列對(duì)應(yīng)的渲染隊(duì)列處理線程，所述渲染隊(duì)列在內(nèi)存中建立；
[0043]步驟6、將幀處理后的在前視頻圖像壓入到所述渲染隊(duì)列中；
[0044]步驟7、通過渲染隊(duì)列處理線程實(shí)時(shí)檢測所述渲染隊(duì)列中是否存在在前視頻圖像，如果存在，則執(zhí)行步驟8;
[0045]步驟8、通過渲染隊(duì)列處理線程對(duì)該在前視頻圖像進(jìn)行渲染后使其顯示在用戶指定的窗口中；
[0046]步驟9、在步驟8中，如果渲染該在前視頻圖像的時(shí)間小于一間隔時(shí)間，則繼續(xù)執(zhí)行步驟8，反之，則執(zhí)行步驟10 ;
[0047]步驟10、對(duì)實(shí)物進(jìn)行再次圖像掃描，獲取所述實(shí)物的在后視頻圖像，并將該在后視頻圖像依次執(zhí)行步驟2、4、6、7的操作，所述間隔時(shí)間為采集所述在后視頻圖像的時(shí)間與采集在前視頻圖像的時(shí)間之差。
[0048]其中，上述步驟5-7涉及異步渲染技術(shù)，為本發(fā)明的一種優(yōu)選方案，下面對(duì)各步驟的實(shí)現(xiàn)方式及實(shí)現(xiàn)過程做一詳細(xì)描述。
[0049]步驟I涉及圖像掃描
[0050]通過攝像頭對(duì)實(shí)物進(jìn)行圖像掃描，獲取所述實(shí)物的在前視頻圖像。例如通過CMOS (Complementary Metal Oxie Semiconductor)鏡頭對(duì)待掃描的實(shí)物進(jìn)行圖像掃描，也即拍攝，從而獲取所述實(shí)物的視頻圖像。同時(shí)，根據(jù)實(shí)際需要，可通過麥克風(fēng)捕獲實(shí)物拍攝現(xiàn)場的音頻信息，音頻信息的處理過程與視頻圖像的處理過程相似，這里僅以視頻圖像進(jìn)行詳細(xì)的說明。這種拍攝式掃描的方式對(duì)掃描實(shí)物的介質(zhì)沒有要求，而且可實(shí)現(xiàn)對(duì)普通平面實(shí)物及書籍等立體實(shí)物的掃描。將首次掃描獲取的實(shí)物的視頻圖像定義為在前視頻圖像，以與在后掃描獲取的視頻圖像進(jìn)行區(qū)分。
[0051 ] 步驟2涉及圖像采集和存儲(chǔ)
[0052]采集所述在前視頻圖像，并將所述在前視頻圖像以及采集該在前視頻圖像的時(shí)間存儲(chǔ)到存儲(chǔ)單元中，存儲(chǔ)單元為在內(nèi)存中創(chuàng)建；視頻圖像通過視頻采集卡進(jìn)行采集，然后再由視頻采集過濾器(Video Capture Filter)從視頻采集卡中獲得視頻圖像數(shù)據(jù)流進(jìn)行解碼。解碼后的視頻圖像直接存儲(chǔ)到存儲(chǔ)單元中，這樣幀處理即可直接從存儲(chǔ)單元中調(diào)取。
[0053]步驟3涉及創(chuàng)建幀處理線程
[0054]為了實(shí)現(xiàn)異步渲染，將原本只有一個(gè)線程實(shí)現(xiàn)幀處理和渲染的過程，分割成由獨(dú)立的幀處理線程實(shí)現(xiàn)幀處理過程以及由獨(dú)立的渲染隊(duì)列處理線程實(shí)現(xiàn)渲染過程，幀處理過程的幀數(shù)據(jù)(視頻圖像，開始為在前視頻圖像)來自于存儲(chǔ)單元，幀處理后的幀數(shù)據(jù)在儲(chǔ)存到渲染隊(duì)列中，渲染隊(duì)列處理線程只針對(duì)渲染隊(duì)列中的幀數(shù)據(jù)進(jìn)行渲染。創(chuàng)建幀處理線程以及渲染隊(duì)列處理線程只執(zhí)行一次，之后的各種操作時(shí)忽略這兩個(gè)步驟。
[0055]步驟4涉及幀處理
[0056]幀處理是通過幀處理線程讀取攝像頭采集的幀數(shù)據(jù)并轉(zhuǎn)換成開源計(jì)算機(jī)圖像庫(Open Source Computer Vis1nibrary, OpenCV)圖像，并將該圖像送入每個(gè)自定義的過濾器(Filter)中進(jìn)行處理，過濾器是基于DirectShow創(chuàng)建的組件對(duì)象模型(C0M)，執(zhí)行一些多媒體流的操作，如繪圖、批注等。過濾器的種類有很多，不同種類的過濾器相互連接在一起就形成了過濾器圖表。同時(shí)，幀處理過程還包括通過開源計(jì)算機(jī)圖像庫對(duì)視頻圖像進(jìn)行的處理包括如視頻繪圖、視頻的旋轉(zhuǎn)、圖像的糾偏、圖像的自動(dòng)捕捉與拍照、圖像的自動(dòng)