一種基于通用pc機(jī)的射電天文數(shù)據(jù)處理方法
【專利摘要】本發(fā)明公開了一種基于通用PC機(jī)的射電天文數(shù)據(jù)處理方法，其中該方法由多臺通用PC機(jī)執(zhí)行以分別處理不同天的射電天文數(shù)據(jù)，該方法包括：對天線接收到的射電天文數(shù)據(jù)進(jìn)行預(yù)處理；根據(jù)預(yù)處理后的射電天文數(shù)據(jù)統(tǒng)計所有基線、所有通道的標(biāo)準(zhǔn)方差值；根據(jù)所得到的標(biāo)準(zhǔn)方差值對兩兩基線每天的光程差進(jìn)行校準(zhǔn)修正；根據(jù)修正后的兩兩基線每天的光程差對每天的射電天文數(shù)據(jù)進(jìn)行修正，并將多臺通用PC機(jī)處理得到的修正后的射電天文數(shù)據(jù)進(jìn)行疊加得到最終處理數(shù)據(jù)。本發(fā)明基于通用PC機(jī)，成本低、體積小、維護(hù)簡單、便于擴(kuò)展，利用本地SATA硬盤同時處理N天的數(shù)據(jù)，使得數(shù)據(jù)處理速度大大提升。
【專利說明】 一種基于通用PC機(jī)的射電天文數(shù)據(jù)處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于射電天文處理【技術(shù)領(lǐng)域】，特別涉及一種基于通用PC機(jī)射電天文數(shù)據(jù)處理方法。
【背景技術(shù)】
[0002]2ICMA (21 Centimeter Array)是工作在70_200MHz頻段的大型米波綜合孔徑天線陣，旨在于探測宇宙的再電離時代。21CMA由80個子天線陣組成，每個子天線陣的有效面積約為200平方米，分布在東西、南北3公里基線上，八十個陣列的接受信號經(jīng)放大濾波后分別經(jīng)光纜傳輸控制器，由80個服務(wù)器組成的計算機(jī)集群對信號進(jìn)行數(shù)字采集及相關(guān)處理后產(chǎn)生供后續(xù)數(shù)據(jù)處理需要的數(shù)據(jù)。產(chǎn)生的數(shù)據(jù)保存到硬盤上進(jìn)行下一步的數(shù)據(jù)處理流程.目前工作的東西40個天線陣每天產(chǎn)生I. 2T的數(shù)據(jù)，需要進(jìn)行下一步的數(shù)據(jù)處理.如果80組天線同時運(yùn)行，每天有將近2. 5T的數(shù)據(jù)需要進(jìn)行數(shù)據(jù)處理，傳統(tǒng)的射電天文數(shù)據(jù)處理方法是將數(shù)據(jù)放在高性能的工作站進(jìn)行運(yùn)算，而現(xiàn)在通用的HPC數(shù)據(jù)接口，比如 IDE (integrated development environment), SATA (serial advanced technologyattachment), SCSI (small computer system interface)和光纖的傳輸速度都是有限的。
[0003]圖I示出了現(xiàn)有技術(shù)中SGI工作站的結(jié)構(gòu)示意圖。如圖I所示，所述SGI工作站是一臺有32顆Intel Itanium雙核CPU，128GB內(nèi)存和帶寬為4G的光纖磁盤陣列容量為12TB。配置了雙控制器4通道4GB光纖硬盤陣列，有兩個盤箱構(gòu)成，把每個盤箱分別作為兩組RAID5，共4組RAID，兩個盤箱分別通過光纖與RAID控制器相連以提高并發(fā)能力。數(shù)據(jù)通過4條4GB的光纖通道分別連接到4個PCI光纖通道卡上，每個光纖通道卡分別插在不同的PCI總線上。以現(xiàn)在每天I. 2T的數(shù)據(jù)量，同時處理一個月的數(shù)據(jù)I. 2T*30 = 36ΤΒ為例，在SGI工作站需要進(jìn)行4次數(shù)據(jù)導(dǎo)入，然后進(jìn)行數(shù)據(jù)處理，最后進(jìn)行結(jié)果保存。數(shù)據(jù)導(dǎo)入通過raid5磁盤陣列的NFS協(xié)議進(jìn)行，NFS協(xié)議導(dǎo)入數(shù)據(jù)的速度為30MB/s，因此導(dǎo)入30天的數(shù)據(jù)需要3000小時，進(jìn)行數(shù)據(jù)處理后保存的數(shù)據(jù)導(dǎo)出也需要3000小時。
[0004]隨著大孔徑望遠(yuǎn)鏡和天線陣列的投入使用，隨之而來的是海量數(shù)據(jù)的產(chǎn)生，每天會有上PB量級的數(shù)據(jù)，所以需要一種通用的計算機(jī)的數(shù)據(jù)處理方法來解決。

【發(fā)明內(nèi)容】

[0005](一 )要解決的技術(shù)問題
[0006]隨著海量數(shù)據(jù)的產(chǎn)生，傳統(tǒng)的射電天文數(shù)據(jù)處理方法受到計算機(jī)數(shù)據(jù)傳輸帶寬限制的影響越來越明顯，導(dǎo)致處理方法遇到一個瓶頸期。堆積如山的數(shù)據(jù)接踵而來，如何有效快速的處理是本發(fā)明首要解決的一個問題。使用工作站來進(jìn)行天文數(shù)據(jù)處理是一種傳統(tǒng)的方法，而隨著數(shù)據(jù)的不斷膨脹，工作站擴(kuò)展的弊端越來越明顯，首先受其架構(gòu)的影響，有一個擴(kuò)展的極限值；其次受數(shù)據(jù)傳輸帶寬瓶頸的影響，不能保證數(shù)據(jù)快速的傳輸。
[0007]( 二 )技術(shù)方案
[0008]本發(fā)明提供了一種基于通用PC機(jī)的射電天文數(shù)據(jù)處理方法，其中該方法由多臺通用PC機(jī)執(zhí)行以分別處理不同天的射電天文數(shù)據(jù)，該方法包括:
[0009]步驟1:對天線接收到的射電天文數(shù)據(jù)進(jìn)行預(yù)處理；
[0010]步驟2:根據(jù)預(yù)處理后的射電天文數(shù)據(jù)統(tǒng)計所有基線、所有通道的標(biāo)準(zhǔn)方差值；
[0011]步驟3:根據(jù)所得到的標(biāo)準(zhǔn)方差值對兩兩基線每天的光程差進(jìn)行校準(zhǔn)修正；
[0012]步驟4:根據(jù)修正后的兩兩基線每天的光程差對每天的射電天文數(shù)據(jù)進(jìn)行修正，并將多臺通用PC機(jī)處理得到的修正后的射電天文數(shù)據(jù)進(jìn)行疊加得到最終處理數(shù)據(jù)。
[0013]通過一種通用的計算機(jī)系統(tǒng)來解決不斷增長的天文數(shù)據(jù)觀測處理方法，首先通過分布式的通用PC機(jī)來掛載不同的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，單機(jī)數(shù)據(jù)處理解決了數(shù)據(jù)傳輸?shù)钠款i，能更加高效的進(jìn)行數(shù)據(jù)交換和數(shù)據(jù)處理；其次數(shù)據(jù)累加采用了基于4.5Gb的INFINIBAND技術(shù)來提高傳輸功能，數(shù)據(jù)雙向傳輸速度達(dá)到900MB/s。
[0014](三)有益效果
[0015]這種方法解決了傳統(tǒng)天文數(shù)據(jù)處理方法不易擴(kuò)展、受數(shù)據(jù)傳輸帶寬限制，不能快速有效的進(jìn)行數(shù)據(jù)交換和數(shù)據(jù)處理，此方法數(shù)據(jù)處理效率得到了很大的提高。
【專利附圖】

【附圖說明】
[0016]圖1示出了現(xiàn)有技術(shù)中SGI工作站的結(jié)構(gòu)示意圖；
[0017]圖2示出了本發(fā)明中基于通用PC機(jī)的數(shù)據(jù)射電天文數(shù)據(jù)處理方法流程圖；
[0018]圖3示出了本發(fā)明中計算機(jī)系統(tǒng)配置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0019]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0020]本發(fā)明提出了一種基于通用PC機(jī)的數(shù)據(jù)射電天文數(shù)據(jù)處理方法。本發(fā)明提出的上述方法已在大型米波綜合孔徑天線陣21CMA(21Cenimeter Array)上試用并取得了不錯的成效。
[0021]21CMA是工作在70-200MHZ的米波綜合孔徑天線陣，旨在探測宇宙的再電離時代，信號經(jīng)天線系統(tǒng)、采集系統(tǒng)由光纖傳輸?shù)綌?shù)據(jù)采集中心并保存到硬盤上，每天的數(shù)據(jù)有
1.2T左右，得到的數(shù)據(jù)進(jìn)入數(shù)據(jù)處理平臺進(jìn)行后期的射電天文數(shù)據(jù)處理流程。傳統(tǒng)的射電天文數(shù)據(jù)處理方法，受大數(shù)據(jù)格式的影響，必須在高性能的工作站上進(jìn)行，此類計算載體體積大、成本高、維護(hù)復(fù)雜、不利于擴(kuò)展，而本發(fā)明是基于通用PC機(jī)，成本低、體積小、維護(hù)簡單、便于擴(kuò)展，利用本地SATA硬盤同時處理N天的數(shù)據(jù)，使得數(shù)據(jù)處理速度大大提升
[0022]圖2示出了本發(fā)明提出的一種基于通用PC機(jī)的數(shù)據(jù)射電天文數(shù)據(jù)處理方法流程圖。如圖2所示，該方法首先通過分布式的多臺通用PC機(jī)來掛載不同的天線數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，單機(jī)數(shù)據(jù)處理解決了數(shù)據(jù)傳輸?shù)钠款i，能更加高效的進(jìn)行數(shù)據(jù)交換和數(shù)據(jù)處理；其次數(shù)據(jù)累加采用了基于4.5Gb的INFINIBAND技術(shù)來提高傳輸功能，數(shù)據(jù)雙向傳輸速度達(dá)到900MB/S ;該方法中每臺PC機(jī)可以處理不同天接收到的天線數(shù)據(jù)，每臺的處理過程包括:
[0023]步驟1、對天線接收到的射電天文數(shù)據(jù)進(jìn)行預(yù)處理，如扣除壞點數(shù)據(jù)等，具體包括:根據(jù)天線工作狀態(tài)記錄日志扣除不工作天線的數(shù)據(jù)以及由條紋擾動的天線數(shù)據(jù)；根據(jù)時間記錄文件扣除相應(yīng)時間段內(nèi)問題天線的數(shù)據(jù)。所有的問題天線包括:周邊人類活動過程中產(chǎn)生的干擾信號，如對講機(jī)、飛機(jī)反射的遠(yuǎn)方的電臺廣播等，都可能在一定時間內(nèi)壓制真正想測量的信號，此外，天線單元本身在工作中出現(xiàn)的異常狀況，例如斷電、自激等都可能造成某些節(jié)點的信號不可用。為了在數(shù)據(jù)處理的過程中避免上述因素的干擾，必須剔除。
[0024]步驟2、計算閾值flag，具體用于統(tǒng)計所有天線信號的方均根離散值，并根據(jù)所統(tǒng)計的所有天線信號的方均根離散值計算出每一根基線每一頻率通道全天所有時間內(nèi)構(gòu)成基線的兩兩天線之間相位的標(biāo)準(zhǔn)方差值，作為所述閾值flag ;該標(biāo)準(zhǔn)方差值如下計算：
[0025]標(biāo)準(zhǔn)差的定義為
【權(quán)利要求】
1.一種基于通用PC機(jī)的射電天文數(shù)據(jù)處理方法，其中該方法由多臺通用PC機(jī)執(zhí)行以分別處理不同天的射電天文數(shù)據(jù)，該方法包括: 步驟1:對天線接收到的射電天文數(shù)據(jù)進(jìn)行預(yù)處理； 步驟2:根據(jù)預(yù)處理后的射電天文數(shù)據(jù)統(tǒng)計所有基線、所有通道的標(biāo)準(zhǔn)方差值； 步驟3:根據(jù)所得到的標(biāo)準(zhǔn)方差值對兩兩基線每天的光程差進(jìn)行校準(zhǔn)修正； 步驟4:根據(jù)修正后的兩兩基線每天的光程差對每天的射電天文數(shù)據(jù)進(jìn)行修正，并將多臺通用PC機(jī)處理得到的修正后的射電天文數(shù)據(jù)進(jìn)行疊加得到最終處理數(shù)據(jù)。
2.如權(quán)利要求1所述的射電天文數(shù)據(jù)處理方法，其中，步驟I中預(yù)處理具體包括扣除接收到的射電天文數(shù)據(jù)中的壞點數(shù)據(jù)。
3.如權(quán)利要求2所述的射電天文數(shù)據(jù)處理方法，其中，扣除壞點數(shù)據(jù)具體包括:根據(jù)天線工作狀態(tài)記錄日志扣除不工作天線的數(shù)據(jù)以及由條紋擾動的天線數(shù)據(jù)；根據(jù)時間記錄文件扣除相應(yīng)時間段內(nèi)問題天線的數(shù)據(jù)。
4.如權(quán)利要求1所述的射電天文數(shù)據(jù)處理方法，其中，步驟3中具體如下修正一條基線的光程差: 步驟31:對于每一個互相關(guān)數(shù)據(jù)文件，依次從當(dāng)前互相關(guān)數(shù)據(jù)文件中讀入屬于當(dāng)前時間點的所有頻率通道數(shù)據(jù)，然后根據(jù)時間計算出當(dāng)前的本地恒星時角Θ，并將當(dāng)前的互相關(guān)數(shù)據(jù)填入一個格點中； 步驟32:假定一個初始光程差，并利用其對相關(guān)數(shù)據(jù)進(jìn)行修正； 步驟33:對修正后的相關(guān)數(shù)據(jù)進(jìn)行傅里葉變換，得到天空圖像； 步驟34:調(diào)整所述光程差，并轉(zhuǎn)步驟32重復(fù)執(zhí)行，使得所述天空圖像中最亮的點源亮度達(dá)到極大值，完成光程差的修正。
5.如權(quán)利要求4所述的射電天文數(shù)據(jù)處理方法，其中，步驟3中將模值大于flag閾值預(yù)定倍數(shù)的數(shù)據(jù)丟棄。
6.如權(quán)利要求5所述的射電天文數(shù)據(jù)處理方法，其中，所述flag閾值為每個通道中兩兩天線在24小時內(nèi)的相位標(biāo)準(zhǔn)方差值。
7.如權(quán)利要求5所述的射電天文數(shù)據(jù)處理方法，其中，所述方法由30臺通用PC機(jī)執(zhí)行，每臺PC機(jī)本地同時掛載一塊數(shù)據(jù)硬盤和一塊系統(tǒng)硬盤，同時并行處理30天數(shù)據(jù)。
8.如權(quán)利要求1-7任一項所述的射電天文數(shù)據(jù)處理方法，其中，步驟4中數(shù)據(jù)疊加采用基于4.5Gb的INFINIBAND技術(shù)實現(xiàn)。
【文檔編號】G06F15/173GK103810140SQ201410055134
【公開日】2014年5月21日 申請日期:2014年2月18日 優(yōu)先權(quán)日:2014年2月18日
【發(fā)明者】李寬君, 顧俊驊, 武向平 申請人:中國科學(xué)院國家天文臺