專(zhuān)利名稱(chēng)：數(shù)據(jù)采集的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)數(shù)據(jù)采集技術(shù)領(lǐng)域，特別是數(shù)據(jù)采集的方法及系統(tǒng)。
背景技術(shù)：
在計(jì)算機(jī)數(shù)據(jù)采集領(lǐng)域，經(jīng)常需要將某一信號(hào)通過(guò)傳感器轉(zhuǎn)化為模擬信號(hào)，然后經(jīng)數(shù)據(jù) 采集裝置再將其轉(zhuǎn)換為計(jì)算機(jī)可以識(shí)別的數(shù)字信號(hào)，最后導(dǎo)入計(jì)算機(jī)進(jìn)行分析處理并加以存 儲(chǔ)。隨著信息科技的進(jìn)步，計(jì)算機(jī)數(shù)據(jù)采集技術(shù)的應(yīng)用已經(jīng)深入到各行各業(yè)，需求的迅猛增 長(zhǎng)也促進(jìn)該技術(shù)在各方面得以快速發(fā)展，特別是傳感器、數(shù)據(jù)采集裝置和計(jì)算機(jī)存儲(chǔ)等方面
在傳感器領(lǐng)域，從開(kāi)發(fā)最早、應(yīng)用最廣泛的溫度傳感器開(kāi)始，先后誕生了滿(mǎn)足各種領(lǐng)域 需求的傳感器，如壓力、速度、位移、生物傳感器等，這些傳感器通常產(chǎn)生容易觀察和處理 的模擬或數(shù)字電信號(hào)。目前的應(yīng)用所產(chǎn)生的數(shù)據(jù)更多來(lái)自于影像和聲音等多媒體信息，其中 獲取影像資料最常用的器件是CCD (Charge Coupled Device,電荷耦合器件)和CM0S ( Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物半導(dǎo)化)傳感器。CCD從 1969年開(kāi)始，經(jīng)歷30多年的發(fā)展，已經(jīng)從最初的十萬(wàn)像素級(jí)發(fā)展到千萬(wàn)像素級(jí)；CM0S在靈敏 度上略遜于CCD，但在高速成像領(lǐng)域應(yīng)用廣泛，其成像速度可以達(dá)到500幀/秒到10000幀/秒
數(shù)據(jù)采集卡是使用最為廣泛的數(shù)據(jù)采集裝置，它通常是計(jì)算機(jī)獲取信號(hào)的媒介。為了獲 得更大的采集速率，目前數(shù)據(jù)采集卡的發(fā)展趨勢(shì)體現(xiàn)在更多的通道數(shù)、更高的采樣率以及功 能的多樣化，特別是用于圖像和視頻采集的相關(guān)接口卡。如加拿大IO Industries公司推出 的CLFC Full系列高速記錄卡，采用5通道設(shè)計(jì)、66腿z的采樣率能夠獲得高達(dá)850M/s的理論 最大采集速率。用于視頻采集的采集卡能夠在數(shù)據(jù)獲取的同時(shí)對(duì)數(shù)據(jù)進(jìn)行壓縮，不僅免除了 獲取數(shù)據(jù)后再專(zhuān)門(mén)進(jìn)行壓縮處理的不便，而且有效降低了采集數(shù)據(jù)的存儲(chǔ)空間需求。
在計(jì)算機(jī)數(shù)據(jù)采集過(guò)程中，外部傳輸線(xiàn)纜和計(jì)算機(jī)總線(xiàn)發(fā)展也十分重要。在外部高速線(xiàn) 纜方面，先后產(chǎn)生了LVDS和Camera Link等標(biāo)準(zhǔn)，用于解決數(shù)字?jǐn)z像機(jī)和圖像采集卡之間的 高速數(shù)據(jù)傳輸問(wèn)題，其中，Camera Link標(biāo)準(zhǔn)支持的最高數(shù)據(jù)傳輸率可達(dá)680MB/s。另外，在 計(jì)算機(jī)內(nèi)部，計(jì)算機(jī)總線(xiàn)的發(fā)展也經(jīng)歷著從低速到高速的變革，從早先的ISA (Industrial Standard Architecture, 工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)總線(xiàn))，至IJPCI (Peripheral Component Interconnechttp:〃corp. itl68. com/corp/88—index, shtmlt，夕卜設(shè)咅I5件互連標(biāo)準(zhǔn))和AGP (Accelerated Graphics Port,加速圖形端口)，再到現(xiàn)在的PCI-E，總線(xiàn)也從32位向64位或 更高的帶寬發(fā)展，總的傳輸速率有很大提高。
數(shù)據(jù)采集所得的數(shù)據(jù)一般需要保存到計(jì)算機(jī)主存用于處理，處理完畢后一般需要采用海 量存儲(chǔ)設(shè)備長(zhǎng)期保存。計(jì)算機(jī)軟件的發(fā)展以及中央處理器性能的提升，對(duì)計(jì)算機(jī)主存容量以 及工作頻率有了更高的要求，其容量從最開(kāi)始的KB級(jí)逐步發(fā)展到現(xiàn)今常見(jiàn)的GB級(jí)，工作頻率 也從早期的幾十Hz發(fā)展到幾百甚至幾千MHz，這使得計(jì)算機(jī)總體性能有了巨大提升；人類(lèi)社 會(huì)產(chǎn)生的越來(lái)越多的數(shù)據(jù)，使得單一的硬盤(pán)在容量和速度方面都難以滿(mǎn)足需求，以磁盤(pán)陣列 為典范的海量存儲(chǔ)設(shè)備應(yīng)運(yùn)而生，它與傳統(tǒng)硬盤(pán)相比，總體速度和容量幾乎是單個(gè)硬盤(pán)效能 的疊加。
通過(guò)上述技術(shù)的高速發(fā)展，使人們有條件對(duì)海量的外部信息進(jìn)行獲取，針對(duì)這一問(wèn)題， 目前主要有兩類(lèi)解決方案
第一類(lèi)方案高速傳感器獲取的電信號(hào)，經(jīng)數(shù)據(jù)采集裝置轉(zhuǎn)換為專(zhuān)有數(shù)據(jù)格式，在不經(jīng)
任何處理的情況下通過(guò)專(zhuān)用傳輸線(xiàn)纜保存到外部海量存儲(chǔ)設(shè)備。 一個(gè)典型的案例是io
Industries公司推出的，用于研究高速運(yùn)動(dòng)物體的高速長(zhǎng)時(shí)記錄系統(tǒng)，系統(tǒng)主要由高分辨率 高速CM0S相機(jī)、10 Industries公司的高性能圖像采集記錄卡、相應(yīng)的圖像采集記錄分析軟 件及高速存儲(chǔ)單元組成。這類(lèi)方案能夠解決海量數(shù)據(jù)連續(xù)采集與存儲(chǔ)問(wèn)題，采集速度很高、 連續(xù)工作時(shí)間長(zhǎng)、存儲(chǔ)空間足夠大，但缺點(diǎn)在于經(jīng)濟(jì)成本較高。
第二類(lèi)方案?jìng)鞲衅鳙@取的電信號(hào)，首先經(jīng)過(guò)具有壓縮編碼模塊的數(shù)據(jù)采集裝置轉(zhuǎn)換為 專(zhuān)有數(shù)據(jù)格式，并進(jìn)行壓縮編碼，再通過(guò)計(jì)算機(jī)外部總線(xiàn)進(jìn)入計(jì)算機(jī)，最后保存到計(jì)算機(jī)附 帶的外部存儲(chǔ)器。這類(lèi)方案能以較低的經(jīng)濟(jì)成本解決海量數(shù)據(jù)連續(xù)采集與存儲(chǔ)問(wèn)題，但由于 數(shù)據(jù)采集裝置附帶的壓縮編碼模塊本身的缺點(diǎn)，如自身附帶的數(shù)據(jù)緩存容量有限，使它很難 勝任高速數(shù)據(jù)采集需求。
在實(shí)際工業(yè)生產(chǎn)和科學(xué)研究中，還存在一類(lèi)特別的需求，即對(duì)海量、高速、間歇性產(chǎn)生 的數(shù)據(jù)進(jìn)行獲取。對(duì)于這類(lèi)需求，上述兩類(lèi)方案都難以較好地滿(mǎn)足。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的在于提供數(shù)據(jù)采集的方法及系統(tǒng)，用于實(shí)現(xiàn)對(duì)海量、高速、間 歇性產(chǎn)生的數(shù)據(jù)進(jìn)行采集。
為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)采集的系統(tǒng)，包括 傳感器模塊，用于將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)；
數(shù)據(jù)采集模塊，用于提供所述傳感器模塊與大容量高速緩存模塊之間的數(shù)據(jù)接口；大容量高速緩存模塊，用于接收和臨時(shí)保存所述數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)； 壓縮編碼模塊，用于對(duì)所述大容量高速緩存模塊中的數(shù)據(jù)進(jìn)行壓縮編碼處理； 專(zhuān)用存儲(chǔ)模塊，用于保存所述經(jīng)過(guò)壓縮編碼處理的數(shù)據(jù)。 本發(fā)明還提供了一種數(shù)據(jù)采集方法，包括
將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)，并寫(xiě)入大容量高速緩存，對(duì)所述大容量高速緩存 中的數(shù)據(jù)進(jìn)行壓縮編碼處理，保存到專(zhuān)用存儲(chǔ)模塊中。
本發(fā)明通過(guò)利用大容量高速緩存模塊和壓縮編碼模塊共同對(duì)獲取的數(shù)據(jù)進(jìn)行壓縮編碼， 能夠大大降低專(zhuān)用存儲(chǔ)模塊的空間需求，也降低海量數(shù)據(jù)存儲(chǔ)的經(jīng)濟(jì)成本。


圖l為本發(fā)明實(shí)施例中實(shí)現(xiàn)海量、高速、間歇性的數(shù)據(jù)采集的系統(tǒng)結(jié)構(gòu)圖； 圖2為本發(fā)明實(shí)施例中利用圖1系統(tǒng)實(shí)現(xiàn)海量、高速、間歇性的數(shù)據(jù)采集的方法流程圖； 圖3為本發(fā)明的實(shí)施例中對(duì)數(shù)據(jù)進(jìn)行寫(xiě)入和壓縮處理的方法流程圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì) 描述。
圖l為本發(fā)明實(shí)施例中實(shí)現(xiàn)海量、高速、間歇性的數(shù)據(jù)采集的系統(tǒng)結(jié)構(gòu)圖，該系統(tǒng)包括 傳感器模塊、數(shù)據(jù)采集模塊、大容量高速緩存模塊、壓縮編碼模塊以及專(zhuān)用存儲(chǔ)模塊，其中
傳感器模塊，可以為各種能夠輸出電信號(hào)的傳感器，如CCD、 CM0S、加速度傳感器、光 電倍增管等，用于將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)。
數(shù)據(jù)采集模塊，位于計(jì)算機(jī)中，根據(jù)所述傳感器的類(lèi)型選擇使用，可以為各種數(shù)據(jù)采集 卡、記錄卡或視頻卡，提供所述傳感器模塊和計(jì)算機(jī)總線(xiàn)之間的接口，必要時(shí)對(duì)數(shù)據(jù)進(jìn)行一 定的變換，如將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。
大容量高速緩存模塊，位于計(jì)算機(jī)中，可以為計(jì)算機(jī)主存儲(chǔ)器或是硬盤(pán)，用于接收和臨 時(shí)保存計(jì)算機(jī)獲得的大量數(shù)據(jù)，并參與壓縮編碼計(jì)算。
壓縮編碼模塊，常常位于計(jì)算機(jī)中，可以為計(jì)算機(jī)內(nèi)部單個(gè)或多個(gè)中央處理器、外部計(jì) 算機(jī)集群系統(tǒng)，甚至是DSP (digital singnal processor,數(shù)字信號(hào)處理器)等專(zhuān)用硬件處 理卡，用于對(duì)所述大容量高速緩存模塊中的數(shù)據(jù)進(jìn)行壓縮編碼處理。該壓縮編碼處理可使用 各種壓縮算法，如對(duì)于圖像數(shù)據(jù)可以為JPEG、 PNG等；對(duì)于視頻音頻數(shù)據(jù)，可以為RM、 AVI、 WMA等；對(duì)于普通一維信號(hào)，可以為游程編碼等。專(zhuān)用存儲(chǔ)模塊，用于保存最終獲取的數(shù)據(jù)， 一般要求具有一定的容量，可以為通過(guò)專(zhuān)用 接口與計(jì)算機(jī)相連的本地硬盤(pán)，或是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與該數(shù)據(jù)采集系統(tǒng)相連的異地存儲(chǔ)設(shè)備
通過(guò)以上系統(tǒng)，利用大容量高速緩存模塊和壓縮編碼模塊共同對(duì)獲取的數(shù)據(jù)進(jìn)行壓縮編 碼，能夠大大降低專(zhuān)用存儲(chǔ)模塊的空間需求，也降低海量數(shù)據(jù)存儲(chǔ)的經(jīng)濟(jì)成本。
圖2是利用圖1系統(tǒng)實(shí)現(xiàn)海量、高速、間歇性的數(shù)據(jù)采集的方法流程圖，該方法具體包括 以下步驟
步驟201、 一個(gè)外部信號(hào)源能夠產(chǎn)生周期性或非周期性間歇信號(hào)，所述傳感器模塊從該 外部信號(hào)源獲取模擬或數(shù)字電信號(hào)。本實(shí)施例主要對(duì)間歇性數(shù)據(jù)進(jìn)行采集處理。
步驟202、數(shù)據(jù)采集模塊接收傳感器獲取的電信號(hào)，如果是模擬信號(hào)則將其轉(zhuǎn)換為數(shù)字 信號(hào)，并將產(chǎn)生的數(shù)據(jù)寫(xiě)入大容量高速緩存模塊。
步驟203、數(shù)據(jù)在大容量高速緩存模塊和壓縮編碼模塊的配合下進(jìn)行壓縮編碼處理。由 于外部信號(hào)來(lái)源的間歇性，數(shù)據(jù)產(chǎn)生和數(shù)據(jù)壓縮都以間歇性方式進(jìn)行，后一事件的存在取決 于大容量高速緩存模塊中是否有數(shù)據(jù)，只要緩存中存在數(shù)據(jù)，就要對(duì)其進(jìn)行壓縮處理。具體 處理過(guò)程如圖3所示，包括以下步驟
步驟2030、在主存儲(chǔ)器中申請(qǐng)N塊高速緩存存儲(chǔ)區(qū)域作為緩存區(qū)。這一步驟是一個(gè)預(yù)處 理的步驟，在整個(gè)流程開(kāi)始前就已執(zhí)行，數(shù)據(jù)采集模塊采集到的數(shù)據(jù)被直接寫(xiě)入該區(qū)域。
步驟2031、初始化m^。 m值是緩存的計(jì)數(shù)器，表示將數(shù)據(jù)存入哪一塊存儲(chǔ)區(qū)域。
步驟2032、持續(xù)檢測(cè)數(shù)據(jù)采集模塊是否有數(shù)據(jù)寫(xiě)入，當(dāng)有寫(xiě)入時(shí)，執(zhí)行下一步。
步驟2033、獲取該數(shù)據(jù)，向緩存區(qū)申請(qǐng)緩存塊m，并將數(shù)據(jù)寫(xiě)入該緩存塊。
步驟2034、判斷是否還有其它數(shù)據(jù)寫(xiě)入，如果有，則令m,+ l，判斷m是否大于N，如果 大于，則令m^，并執(zhí)行步驟2033;否則直接執(zhí)行步驟2033。如果沒(méi)有其它數(shù)據(jù)寫(xiě)入，則結(jié) 束本流程。這一步驟的作用是將新數(shù)據(jù)寫(xiě)入下一緩存塊，當(dāng)m〉N時(shí)，表明緩存區(qū)的最后一個(gè) 緩存塊都已分配完，如果再有新數(shù)據(jù)到達(dá)，則將計(jì)數(shù)器歸l，將以前寫(xiě)入的并已完成壓縮保 存的第一個(gè)緩存塊覆蓋。
以上流程是向緩存器寫(xiě)入數(shù)據(jù)的流程，與此同時(shí)，還執(zhí)行對(duì)緩存區(qū)中數(shù)據(jù)進(jìn)行壓縮保存 的流程，該流程包括以下步驟
步驟2031'、初始化!!=1。 n值是壓縮存儲(chǔ)的計(jì)數(shù)器，表示將哪一塊存儲(chǔ)區(qū)域中的數(shù)據(jù)進(jìn) 行壓縮保存。
步驟2032'、判斷緩存塊n中是否保存有數(shù)據(jù)，如果有，則執(zhí)行下一步；否則令『n+l，令!!=1。本步驟的目的主要是從第一個(gè)緩存塊起，査找被寫(xiě)入數(shù) 據(jù)的緩存塊，當(dāng)n〉N時(shí)，表明整個(gè)緩存區(qū)已査找完，此時(shí)應(yīng)重新査找第一個(gè)塊。
步驟2033'、將緩存塊n中的數(shù)據(jù)壓縮編碼并保存到專(zhuān)用存儲(chǔ)模塊中，并釋放緩存塊n。 步驟2034'、令11=11+1，執(zhí)行步驟2032'。如果n〉N，則令11=1。 持續(xù)執(zhí)行以上步驟，直到對(duì)緩存區(qū)中的所有數(shù)據(jù)都完成壓縮保存。
通過(guò)以上流程，寫(xiě)入到大容量高速緩存模塊中的數(shù)據(jù)在大容量高速緩存模塊和壓縮編碼 模塊的配合下經(jīng)過(guò)一系列壓縮編碼處理，最后被保存到專(zhuān)用存儲(chǔ)模塊中。
該方法利用兩個(gè)獨(dú)立的線(xiàn)程對(duì)整個(gè)數(shù)據(jù)采集過(guò)程進(jìn)行控制， 一方面對(duì)數(shù)據(jù)產(chǎn)生過(guò)程進(jìn)行 控制，即控制數(shù)據(jù)采集模塊將傳感器模塊獲取的數(shù)據(jù)寫(xiě)入大容量高速緩存模塊；另一方面對(duì) 數(shù)據(jù)壓縮保存過(guò)程進(jìn)行控制，即控制壓縮編碼模塊對(duì)大容量高速緩存模塊中的數(shù)據(jù)進(jìn)行壓縮 編碼。這兩個(gè)獨(dú)立的線(xiàn)程中分別對(duì)上述兩個(gè)過(guò)程進(jìn)行控制，兩個(gè)線(xiàn)程通過(guò)共享高速緩存的方 式進(jìn)行同步，以便實(shí)現(xiàn)數(shù)據(jù)產(chǎn)生與數(shù)據(jù)壓縮保存的并行化。
本發(fā)明涉及兩種速率， 一種是數(shù)據(jù)采集的平均速率Vh即單位時(shí)間內(nèi)傳感器模塊從外部 信號(hào)源獲取并最終寫(xiě)入大容量高速緩存模塊的數(shù)據(jù)量。對(duì)于周期間歇性數(shù)據(jù)采集，可表示為 :在外部信號(hào)源的一個(gè)工作周期內(nèi)，傳感器模塊獲取、并被最終寫(xiě)入大容量高速緩存模塊的 數(shù)據(jù)量Sh與外部信號(hào)源的工作周期h的比值；另一種是連續(xù)工作狀態(tài)下數(shù)據(jù)壓縮與保存的 平均速率V2，即單位時(shí)間內(nèi)從大容量高速緩存模塊持續(xù)導(dǎo)出并寫(xiě)入專(zhuān)用存儲(chǔ)模塊的數(shù)據(jù)量， 具體表示為，當(dāng)大容量高速緩存模塊中具有足夠多的數(shù)據(jù)量時(shí)，處理一定的數(shù)據(jù)量S2，與所 消耗時(shí)間T2的比值。理論上，在數(shù)據(jù)采集過(guò)程中，只要使V2》V1，即可保證數(shù)據(jù)采集的正常 進(jìn)行，實(shí)際實(shí)施過(guò)程中，為了確保數(shù)據(jù)安全，應(yīng)使V2和V1間保留一段安全距離。
通過(guò)以上實(shí)施例，在兩個(gè)線(xiàn)程的控制下，利用大容量高速緩存模塊和壓縮編碼模塊共同 對(duì)獲取的數(shù)據(jù)進(jìn)行壓縮編碼，能夠大大降低專(zhuān)用存儲(chǔ)模塊的空間需求，即降低海量數(shù)據(jù)存儲(chǔ) 的經(jīng)濟(jì)成本。
本發(fā)明通過(guò)軟件實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)生與數(shù)據(jù)壓縮保存的并行化，主要適用于海量、高速、間 歇性數(shù)據(jù)采集。另外對(duì)于海量、高速、連續(xù)性數(shù)據(jù)采集需求，如果也符合V2》V1的條件，本 發(fā)明同樣適用，即在經(jīng)濟(jì)條件允許時(shí)，采用更高性能的高速緩存模塊、壓縮編碼模塊以及專(zhuān) 用存儲(chǔ)模塊，可以提高數(shù)據(jù)壓縮與保存的平均速率V2，使本發(fā)明的適用范圍更廣。
下面以另一實(shí)施例來(lái)闡述本發(fā)明如何應(yīng)用。
本實(shí)施例中的傳感器模塊包含信號(hào)獲取和信號(hào)傳輸兩個(gè)部分。信號(hào)獲取部分采用高靈敏 線(xiàn)陣CCD，最大行頻52KHz，有效像素2048，理論最大數(shù)據(jù)采集速率約104MBps;信號(hào)傳輸部分可選base配置或medium配置的Camera Link接口線(xiàn)纜。
數(shù)據(jù)采集模塊采用加拿大IO Industries公司的圖像采集卡，采用33MHz/32位PCI總線(xiàn)設(shè)計(jì)，理論突發(fā)性數(shù)據(jù)帶寬峰值132MBps，實(shí)際穩(wěn)定帶寬可達(dá)95MBps。
大容量高速緩存模塊采用計(jì)算機(jī)內(nèi)部主存儲(chǔ)器，具體采用2根DDR 400型、SDRAM芯片、2GB內(nèi)存條，主存總線(xiàn)頻率400腿z，理論最大帶寬1.6GBps。
壓縮編碼模塊采用計(jì)算機(jī)內(nèi)部單核心中央處理器，2.8GHz CPU，前端總線(xiàn)頻率800腿z，理論最大帶寬3. 2GBps。
專(zhuān)用存儲(chǔ)模塊采用SCSI硬盤(pán)，轉(zhuǎn)速7200RPM，緩存8MB，平均讀寫(xiě)速率約60MBps。
軟件部分采用基于圖像采集卡配套的軟件開(kāi)發(fā)包(SDK)開(kāi)發(fā)而來(lái)的圖像采集控制軟件。所述圖像采集控制軟件基于多線(xiàn)程實(shí)現(xiàn)，主線(xiàn)程主要用于向計(jì)算機(jī)主存儲(chǔ)器申請(qǐng)若干個(gè)內(nèi)存塊，構(gòu)成通過(guò)一定方式進(jìn)行管理的內(nèi)存池。另外包含兩個(gè)子線(xiàn)程，子線(xiàn)程l用來(lái)控制CL160圖像采集卡將線(xiàn)陣CCD獲取的圖像數(shù)據(jù)持續(xù)分塊寫(xiě)入內(nèi)存池。在每次寫(xiě)入數(shù)據(jù)之前，首先要從內(nèi)存池申請(qǐng)一個(gè)內(nèi)存塊用于存放數(shù)據(jù)。子線(xiàn)程2利用中央處理器，對(duì)內(nèi)存池中的數(shù)據(jù)進(jìn)行持續(xù)分塊壓縮編碼并保存，每次數(shù)據(jù)保存后，需將存放當(dāng)前數(shù)據(jù)的內(nèi)存塊釋放并歸還給內(nèi)存池；兩個(gè)子線(xiàn)程通過(guò)共享內(nèi)存池的方式進(jìn)行同步，以此實(shí)現(xiàn)數(shù)據(jù)產(chǎn)生與數(shù)據(jù)壓縮保存的并行化。
本實(shí)施例有一個(gè)作周期性直線(xiàn)運(yùn)動(dòng)的待測(cè)目標(biāo)，每個(gè)周期內(nèi)，所述目標(biāo)在^時(shí)間段內(nèi)作勻速直線(xiàn)運(yùn)動(dòng)，在t2時(shí)間段內(nèi)回到起始位置或不運(yùn)動(dòng)，在子線(xiàn)程l的控制下，線(xiàn)陣CCD僅在^時(shí)間段內(nèi)才會(huì)對(duì)待測(cè)目標(biāo)成像，因此該目標(biāo)構(gòu)成一個(gè)間歇性信號(hào)源。
在待測(cè)目標(biāo)的一個(gè)運(yùn)動(dòng)周期，即一個(gè)完整的數(shù)據(jù)采集周期內(nèi)，在子線(xiàn)程l的控制下，線(xiàn)陣CCD在^時(shí)間段內(nèi)采集到的圖像數(shù)據(jù)，將經(jīng)過(guò)Camera Link接口線(xiàn)纜持續(xù)到達(dá)圖像采集卡，再經(jīng)PCI總線(xiàn)和計(jì)算機(jī)系統(tǒng)總線(xiàn)進(jìn)入內(nèi)存池，保存為原始格式(RAW格式)。在子線(xiàn)程2的控制下， 一旦內(nèi)存池中存在數(shù)據(jù)，中央處理器便開(kāi)始將RAW格式數(shù)據(jù)壓縮成JPEG格式數(shù)據(jù)，最后經(jīng)計(jì)算機(jī)內(nèi)部總線(xiàn)保存到SCSI硬盤(pán)，同時(shí)內(nèi)存池的空間得到釋放。上述過(guò)程中，數(shù)據(jù)產(chǎn)生與數(shù)據(jù)壓縮保存通過(guò)圖像采集軟件的控制得以并行進(jìn)行，因存在V2》V^勺約束條件，數(shù)據(jù)的壓縮保存將在t2時(shí)間段內(nèi)完成。
實(shí)際測(cè)試中，考察一個(gè)完整的數(shù)據(jù)采集周期，子線(xiàn)程l控制線(xiàn)陣CCD在tf4s內(nèi)對(duì)待測(cè)目標(biāo)持續(xù)成像并將圖像數(shù)據(jù)寫(xiě)入內(nèi)存池，共產(chǎn)生117MB的數(shù)據(jù)。為兼顧圖像品質(zhì)和圖像尺寸，在子線(xiàn)程2中，選擇壓縮比率為10的JPEG壓縮算法，實(shí)測(cè)在t2時(shí)間段的第3s (即圖像壓縮總共用去7s)即可將內(nèi)存池中的全部圖像數(shù)據(jù)壓縮并保存至SCSI硬盤(pán)(占用所述SCSI硬盤(pán)空間約1.74MB，節(jié)省99%的空間)，另t2時(shí)間段總長(zhǎng)為8s。由此可以推算，
Vfll7MB/12s二9. 75MBps， V2=l 17MB/7s=16. 7MBps，滿(mǎn)足V2》V!的前提條件，因此整個(gè)間歇性數(shù)據(jù)采集過(guò)程可以正常進(jìn)行。
上述采集過(guò)程中，如果待測(cè)目標(biāo)作連續(xù)直線(xiàn)運(yùn)動(dòng)，S卩tf0，則上述問(wèn)題轉(zhuǎn)化為連續(xù)性數(shù)據(jù)采集問(wèn)題；根據(jù)上述條件，可以推算連續(xù)性數(shù)據(jù)采集時(shí)，V尸29.25MBps， V2=16. 7MBps，由于不滿(mǎn)足V2》V^勺約束條件，故進(jìn)行連續(xù)性數(shù)據(jù)采集時(shí)會(huì)發(fā)生數(shù)據(jù)丟失。但如果經(jīng)濟(jì)條件允許，采用更高性能的數(shù)據(jù)壓縮相關(guān)設(shè)備，如壓縮編碼模塊采用多核心中央處理器或計(jì)算機(jī)集群系統(tǒng)，進(jìn)一步提高V2，使之高于Vh則連續(xù)性數(shù)據(jù)采集過(guò)程也可正常進(jìn)行。
總之，以上所述僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
權(quán)利要求1一種數(shù)據(jù)采集系統(tǒng)，其特征在于，包括傳感器模塊，用于將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)；數(shù)據(jù)采集模塊，用于提供所述傳感器模塊與大容量高速緩存模塊之間的數(shù)據(jù)接口；大容量高速緩存模塊，用于接收和臨時(shí)保存所述數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)；壓縮編碼模塊，用于對(duì)所述大容量高速緩存模塊中的數(shù)據(jù)進(jìn)行壓縮編碼處理；專(zhuān)用存儲(chǔ)模塊，用于保存所述經(jīng)過(guò)壓縮編碼處理的數(shù)據(jù)。
2.根據(jù)權(quán)利要求l所述的系統(tǒng)，其特征在于，所述傳感器模塊為電荷 耦合器件、CM0S傳感器、加速度傳感器或光電倍增管。
3.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)采集模塊 根據(jù)所述傳感器的類(lèi)型選擇使用，為數(shù)據(jù)采集卡、記錄卡或視頻卡。
4.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述高速緩存模塊 為計(jì)算機(jī)主存儲(chǔ)器或硬盤(pán)。
5.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述壓縮編碼模塊 為計(jì)算機(jī)內(nèi)部單個(gè)或多個(gè)中央處理器或圖形處理器、外部計(jì)算機(jī)集群系統(tǒng)，或數(shù)字信號(hào)處理器。
6.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述壓縮編碼的方法為對(duì)于圖像數(shù)據(jù)該壓縮編碼方法為聯(lián)合圖像專(zhuān)家組JPEG或便攜式網(wǎng)絡(luò)圖片PNG算法；對(duì)于視頻音頻數(shù)據(jù)該壓縮編碼方法為RM、 AVI或WMA算法; 對(duì)于普通一維信號(hào)該壓縮編碼方法為游程編碼。
7 根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述專(zhuān)用存儲(chǔ)模塊 為通過(guò)專(zhuān)用接口與計(jì)算機(jī)相連的本地硬盤(pán)，或是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與該數(shù)據(jù)采集系統(tǒng)相連的異 地存儲(chǔ)設(shè)備。
8 一種數(shù)據(jù)采集方法，其特征在于，包括 將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)，并寫(xiě)入大容量高速緩存，對(duì)所述大容量高速緩 存中的數(shù)據(jù)進(jìn)行壓縮編碼處理，保存到專(zhuān)用存儲(chǔ)模塊中。
9 根據(jù)權(quán)利要求8所述的方法，其特征在于，該方法進(jìn)一步包括: 在主存儲(chǔ)器中申請(qǐng)N塊高速緩存存儲(chǔ)區(qū)域作為大容量高速緩存。
10 根據(jù)權(quán)利要求9所述的方法，其特征在于，所述寫(xiě)入大容量高速 緩存具體包括設(shè)置待寫(xiě)入緩存塊的計(jì)數(shù)器值111=1;當(dāng)有數(shù)據(jù)要寫(xiě)入大容量高速緩存時(shí)，向所述大容量高速緩存申請(qǐng)緩存塊m，并將數(shù)據(jù)寫(xiě) 入該緩存塊；判斷是否還有其它數(shù)據(jù)寫(xiě)入，如果有，則令m,+ l，并執(zhí)行上一步；否則結(jié)束本流程。
11 根據(jù)權(quán)利要求10所述的方法，其特征在于，該方法進(jìn)一步包括: 判斷m是否大于N，如果大于，則令m^。
12 根據(jù)權(quán)利要求9或10所述的方法，其特征在于，所述對(duì)大容量高速緩存中的數(shù)據(jù)進(jìn)行壓縮編碼處理并保存的步驟具體包括 設(shè)置待壓縮存儲(chǔ)緩存塊的計(jì)數(shù)器值11=1;判斷緩存塊n中是否保存有數(shù)據(jù)，如果有，則執(zhí)行下一步；否則令『n+l，并繼續(xù)執(zhí)行 本步驟；將緩存塊n中的數(shù)據(jù)壓縮編碼并保存到專(zhuān)用存儲(chǔ)模塊中，釋放緩存塊n，令『n+l，并執(zhí)行上一步。
13 根據(jù)權(quán)利要求12所述的方法，其特征在于，該方法進(jìn)一步包括: 判斷n是否大于N，如果大于，則令!!=1。
14 根據(jù)權(quán)利要求8至11中任意一項(xiàng)所述的方法，其特征在于，單位 時(shí)間內(nèi)從大容量高速緩存模塊持續(xù)導(dǎo)出并寫(xiě)入專(zhuān)用存儲(chǔ)模塊的數(shù)據(jù)量不少于單位時(shí)間內(nèi)從外 部獲取并最終寫(xiě)入大容量高速緩存模塊的數(shù)據(jù)量。
全文摘要
本發(fā)明公開(kāi)了一種數(shù)據(jù)采集系統(tǒng)，包括傳感器模塊，將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)；數(shù)據(jù)采集模塊，提供傳感器模塊與大容量高速緩存模塊之間的數(shù)據(jù)接口；大容量高速緩存模塊，接收和臨時(shí)保存數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)；壓縮編碼模塊，對(duì)大容量高速緩存模塊中的數(shù)據(jù)進(jìn)行壓縮編碼處理；專(zhuān)用存儲(chǔ)模塊，保存經(jīng)過(guò)壓縮編碼處理的數(shù)據(jù)。本發(fā)明還公開(kāi)了一種數(shù)據(jù)采集方法，包括將外部信號(hào)轉(zhuǎn)換為模擬或數(shù)字電信號(hào)，并寫(xiě)入大容量高速緩存，對(duì)所述大容量高速緩存中的數(shù)據(jù)進(jìn)行壓縮編碼處理，保存到專(zhuān)用存儲(chǔ)模塊中。本發(fā)明能夠大大降低專(zhuān)用存儲(chǔ)模塊的空間需求，也降低海量數(shù)據(jù)存儲(chǔ)的經(jīng)濟(jì)成本。
文檔編號(hào)H04N5/30GK101478643SQ200910300109
公開(kāi)日2009年7月8日 申請(qǐng)日期2009年1月8日 優(yōu)先權(quán)日2009年1月8日
發(fā)明者程 嚴(yán), 斌 張, 李安安, 駱清銘, 輝 龔 申請(qǐng)人:華中科技大學(xué)