專利名稱：一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型是關(guān)于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)，特別是關(guān)于一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)。
背景技術(shù)：
聯(lián)機(jī)數(shù)據(jù)處理按照數(shù)據(jù)處理的時效性可以分為實(shí)時更新和非實(shí)時更新兩種。需要實(shí)時更新的數(shù)據(jù)是對時效性要求較高的數(shù)據(jù)，用戶進(jìn)行操作后要立刻在數(shù)據(jù)庫中得到體現(xiàn)，后續(xù)用戶操作必需基于前一次操作得出的結(jié)果，且與數(shù)據(jù)操作先后順序有關(guān)；不需要實(shí)時更新的數(shù)據(jù)是對時效性要求不高的數(shù)據(jù)，用戶進(jìn)行操作后不需要立刻在數(shù)據(jù)表中體現(xiàn)，只需在一定的時間間隔內(nèi)體現(xiàn)即可，后續(xù)各用戶的操作不一定基于前一次操作的結(jié)果。在大型的商業(yè)銀行系統(tǒng)中，由于業(yè)務(wù)處理量巨大，各種系統(tǒng)數(shù)據(jù)的更新時會爭奪系統(tǒng)資源，并且數(shù)據(jù)的更新具有排他性，即在數(shù)據(jù)更新時必須對數(shù)據(jù)記錄進(jìn)行加鎖閱讀，造成了熱表記錄實(shí)時更新時出現(xiàn)瓶頸。例如業(yè)務(wù)量統(tǒng)計(jì)數(shù)據(jù)，每天在業(yè)務(wù)高峰期8個小時內(nèi)需要被更新100萬次，即平均每秒鐘需要被更新34次。若這種數(shù)據(jù)也采用實(shí)時更新的方式進(jìn)行更新，由于數(shù)據(jù)的更新熱度高，且數(shù)據(jù)更新具有排他性，會導(dǎo)致聯(lián)機(jī)數(shù)據(jù)處理等待時間較長，系統(tǒng)運(yùn)行時間較長影響用戶操作和增加系統(tǒng)運(yùn)行的開銷。所以對于更新熱度高且數(shù)據(jù)更新時效性要求不高的數(shù)據(jù)，可以采用非實(shí)時更新的數(shù)據(jù)更新方式，把這部分?jǐn)?shù)據(jù)更新從實(shí)時數(shù)據(jù)更新中抽離出來進(jìn)行異步操作，提高聯(lián)機(jī)處理的整體運(yùn)行速度?，F(xiàn)有技術(shù)在對非實(shí)時更新數(shù)據(jù)進(jìn)行異步處理時，會對待處理數(shù)據(jù)進(jìn)行全表掃描，以便找出處理狀態(tài)為未處理的記錄。一般需要異步處理的數(shù)據(jù)量巨大，每次處理都全量掃描待處理數(shù)據(jù)表找出未處理記錄，會導(dǎo)致處理效率異常低下。針對這種情況，另外一種處理方式是先確定一個本次處理的時間范圍，對在此時間范圍內(nèi)的未處理記錄進(jìn)行處理，下次再依次確定后續(xù)的時間范圍，進(jìn)行異步數(shù)據(jù)處理，以提高查找待處理數(shù)據(jù)的效率。但是這種確定時間范圍的處理方式使得處于時間范圍臨界值的某些記錄存在被漏處理的可能。產(chǎn)生漏處理的原因主要是因?yàn)閿?shù)據(jù)記錄的時間戳與數(shù)據(jù)記錄真正出現(xiàn)在數(shù)據(jù)表上的時間點(diǎn)之間有一定的時間差。在數(shù)據(jù)記錄生成的時候，系統(tǒng)依據(jù)當(dāng)前時間為其登記了一個時間戳，但是該記錄可能還會進(jìn)行其它特殊操作后，記錄才真正插入到數(shù)據(jù)表中。如圖I所示，一筆待處理的a記錄執(zhí)行新增SQL時間戳為10:00，新增后還可能還會執(zhí)行其它查詢、新增、刪除SQL，到10:01才對之前的操作統(tǒng)一做COMMIT(提交)處理真正寫入到數(shù)據(jù)表中。這個時間差也許非常的微小，但是對計(jì)算機(jī)來說，本次掃描的時間截止到10 00時該條(或若干條)記錄未出現(xiàn)在數(shù)據(jù)表中，下次掃描起始時間為“大于10 :00”而該條記錄的時間戳為10 00又不符合下一次掃描的時間要求，則導(dǎo)致該條(或若干條)記錄會被漏處理。因此，需要一種解決方案，既能夠解決熱表記錄實(shí)時更新的瓶頸問題，又能夠避免在對非實(shí)時更新數(shù)據(jù)進(jìn)行異步處理過程中出現(xiàn)待處理記錄遺漏的情況。
實(shí)用新型內(nèi)容本實(shí)用新型提供一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)，以解決熱表記錄實(shí)時更新的瓶頸問題，避免異步處理時出現(xiàn)待處理記錄遺漏的情況。為了實(shí)現(xiàn)上述目的，本實(shí)用新型提供一種一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)，該系統(tǒng)包括銀行服務(wù)器，用戶終端，異步處理裝置及顯示裝置；所述銀行服務(wù)器、用戶終端及顯示裝置分別與所述的異步處理裝置相連接；所述的銀行服務(wù)器中具有存儲器，用于存儲待更新數(shù)據(jù)；所述的異步處理裝置包括數(shù)據(jù)監(jiān)測通信接口，與所述的存儲器相連接，用于監(jiān)測所述待更新數(shù)據(jù)是否為非實(shí)時更新數(shù)據(jù)；數(shù)據(jù)存儲裝置，與所述的數(shù)據(jù)監(jiān)測通信接口相連接，用于存儲所述數(shù)據(jù)監(jiān)測通信接口篩選出的非實(shí)時更新數(shù)據(jù)、待處理記錄、系統(tǒng)運(yùn)行參數(shù)及系統(tǒng)運(yùn)行過程中暫時生成的各時間值；異步處理模塊，與所述的數(shù)據(jù)存儲裝置相連接，用于對所述數(shù)據(jù)存儲裝置中存儲的非實(shí)時更新數(shù)據(jù)進(jìn)行更新處理；異步監(jiān)測接口，與所述的異步處理模塊相連接，用于監(jiān)測所述的異步處理模塊是否正常運(yùn)行，并根據(jù)所述的用戶終端端的指令重啟所述的異步處理模塊；所述的顯示裝置與所述的異步處理模塊相連接，用于顯示數(shù)據(jù)更新結(jié)構(gòu)、系統(tǒng)運(yùn)行參數(shù)及系統(tǒng)運(yùn)行過程中暫時生成的各時間值。 進(jìn)一步地，所述的數(shù)據(jù)存儲裝置包括參數(shù)存儲模塊，用于存儲包含回滾時間及自啟動間隔時間參數(shù)系統(tǒng)運(yùn)行參數(shù)；時間暫存模塊，用于存儲包含上次時間范圍結(jié)束值、上次啟動結(jié)束時間、運(yùn)行監(jiān)控時間的數(shù)據(jù)處理過程中的時間數(shù)值；待處理記錄存儲模塊，用于存儲包含數(shù)據(jù)信息、處理狀態(tài)、時間戳的非實(shí)時更新數(shù)據(jù)。進(jìn)一步地，所述的異步監(jiān)測接口包括監(jiān)測模塊，用于根據(jù)運(yùn)行監(jiān)控時間與當(dāng)前系 統(tǒng)時間的對比，監(jiān)測所述的異步處理模塊是否正常運(yùn)行；重啟模塊，與所述的用戶終端相連接，用于所述的用戶終端的指令重啟所述的異步處理模塊。進(jìn)一步地，所述的異步處理模塊為單片機(jī)或FPGA。進(jìn)一步地，所述的系統(tǒng)還包括打印裝置，與所述顯示裝置相連接，用于打印所述顯示裝置顯示的內(nèi)容。本實(shí)用新型實(shí)施例的有益效果在于，通過將非實(shí)時處理數(shù)據(jù)與實(shí)時處理數(shù)據(jù)分開進(jìn)行異步處理，使得大量對時效性要求不高的數(shù)據(jù)可以非實(shí)時更新，避免系統(tǒng)出現(xiàn)熱點(diǎn)表更新效率低下的問題。在異步處理數(shù)據(jù)時，采用了確定每次處理的時間范圍，通過時間范圍來查找待處理的記錄，避免了全量掃描待處理記錄表，查找效率低、系統(tǒng)開銷大的問題。通過采用時間回滾計(jì)算時間范圍的方法，使得前后兩次異步處理的時間范圍互相覆蓋，處于時間范圍臨界值的某些記錄，即使需要進(jìn)行各種特殊處理后才能真正登記在待處理記錄表中，也不會被前后兩次異步處理所遺漏，提高了系統(tǒng)的可靠性。對異步處理進(jìn)行監(jiān)控，在異常情況下能夠及時提醒用戶，提高了數(shù)據(jù)處理的安全性。

為了更清楚地說明本實(shí)用新型實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本實(shí)用新型的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。在附圖中[0017]圖I為現(xiàn)有技術(shù)記錄漏處理不意圖；圖2為本實(shí)用新型實(shí)施例用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)結(jié)構(gòu)示意圖；圖3為本實(shí)用新型實(shí)施例數(shù)據(jù)存儲裝置的結(jié)構(gòu)框圖；圖4為本實(shí)用新型實(shí)施例異步處理裝置的結(jié)構(gòu)框圖；圖5為本實(shí)用新型實(shí)施例時間范圍示意圖；圖6為本實(shí)用新型實(shí)施例異步監(jiān)測接口的結(jié)構(gòu)框圖；圖7為本實(shí)用新型實(shí)施例熱表數(shù)據(jù)更新的異步處理方法流程圖。
具體實(shí)施方式
·[0024]為使本實(shí)用新型實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，
以下結(jié)合附圖對本實(shí)用新型實(shí)施例做進(jìn)一步詳細(xì)說明。在此，本實(shí)用新型的示意性實(shí)施例及其說明用于解釋本實(shí)用新型，但并不作為對本實(shí)用新型的限定。如圖2所示，本實(shí)施例提供一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)，該系統(tǒng)包括銀行服務(wù)器101，用戶終端102，異步處理裝置103及顯示裝置104。銀行服務(wù)器101、用戶終端102及顯示裝置104分別與異步處理裝置103相連接。銀行系統(tǒng)的銀行服務(wù)器101中具有存儲器105，存儲器105存儲了待更新數(shù)據(jù)。所述的異步處理裝置103包括數(shù)據(jù)監(jiān)測通信接口 106、數(shù)據(jù)存儲裝置107、異步處理模塊108及異步監(jiān)測接口 109。數(shù)據(jù)監(jiān)測通信接口 106與存儲器105相連接，其功能是接收銀行系統(tǒng)的銀行服務(wù)器101的存儲器105存儲的需要進(jìn)行更新操作的數(shù)據(jù)，并進(jìn)行篩選，若需要進(jìn)行更新操作的數(shù)據(jù)判斷為實(shí)時更新數(shù)據(jù)則直接進(jìn)行更新操作并退出處理，數(shù)據(jù)更新處理為本領(lǐng)域的現(xiàn)有技術(shù)，在此不再贅述。若需要進(jìn)行更新操作的數(shù)據(jù)判斷為非實(shí)時更新數(shù)據(jù)，將該非實(shí)時更新數(shù)據(jù)存儲到數(shù)據(jù)存儲裝置107，作為待處理的數(shù)據(jù)記錄。數(shù)據(jù)監(jiān)測通信接口 106包括串口或USB 口等接口，以及數(shù)據(jù)接收模塊和數(shù)據(jù)發(fā)送模塊。數(shù)據(jù)存儲裝置107與數(shù)據(jù)監(jiān)測通信接口 106相連接，用于存儲所述數(shù)據(jù)監(jiān)測通信接口篩選出的非實(shí)時更新數(shù)據(jù)、待處理記錄、系統(tǒng)運(yùn)行參數(shù)及系統(tǒng)運(yùn)行過程中暫時生成的各時間值。如圖3所示，數(shù)據(jù)存儲裝置107包括參數(shù)存儲模塊21、時間暫存模塊22及待處理記錄存儲模塊23。參數(shù)存儲模塊21可以用于存儲系統(tǒng)運(yùn)行所需參數(shù)，如表I所示，系統(tǒng)運(yùn)行所需參數(shù)至少包括回滾時間、自啟動間隔時間參數(shù)。其中，“回滾時間”參數(shù)是異步處理模塊108計(jì)算時間范圍時所需要用到的參數(shù)；“自啟動間隔時間”參數(shù)是確定下一次啟動異步處理模塊108的時間所需要用到的參數(shù)，以及異步監(jiān)測接口 109判斷異步處理模塊108是否正常運(yùn)行所需要用到的參數(shù)。表I
I數(shù)名稱I常數(shù)f
—回滾時間—t
自啟動間隔時間 w時間暫存模塊22用于存儲異步處理模塊108在進(jìn)行數(shù)據(jù)處理過程中獲取的各項(xiàng)時間數(shù)值，如表2所示，各項(xiàng)時間數(shù)值主要包括上次時間范圍結(jié)束值、上次啟動結(jié)束時間、運(yùn)行監(jiān)控時間三條記錄。“上次時間范圍結(jié)束值”保存上次事務(wù)處理的時間范圍的結(jié)束值，用于計(jì)算下一次事務(wù)處理的時間范圍的開始值；“上次啟動結(jié)束時間”保存上一次異步處理模塊108數(shù)據(jù)處理的運(yùn)行結(jié)束時間，用于計(jì)算下一次啟動異步處理模塊108的時間；“運(yùn)行監(jiān)控時間”保存每次處理的運(yùn)行時間，用于判斷異步處理是否正在正常運(yùn)行。表 權(quán)利要求1.一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)，其特征在于，所述的系統(tǒng)包括銀行服務(wù)器，用戶終端，異步處理裝置及顯示裝置； 所述銀行服務(wù)器、用戶終端及顯示裝置分別與所述的異步處理裝置相連接； 所述的銀行服務(wù)器中具有存儲器，用于存儲待更新數(shù)據(jù)； 所述的異步處理裝置包括 數(shù)據(jù)監(jiān)測通信接口，與所述的存儲器相連接，用于監(jiān)測所述待更新數(shù)據(jù)是否為非實(shí)時更新數(shù)據(jù)， 數(shù)據(jù)存儲裝置，與所述的數(shù)據(jù)監(jiān)測通信接口相連接，用于存儲所述數(shù)據(jù)監(jiān)測通信接口篩選出的非實(shí)時更新數(shù)據(jù)、待處理記錄、系統(tǒng)運(yùn)行參數(shù)及系統(tǒng)運(yùn)行過程中暫時生成的各時間值， 異步處理模塊，與所述的數(shù)據(jù)存儲裝置相連接，用于對所述數(shù)據(jù)存儲裝置中存儲的非實(shí)時更新數(shù)據(jù)進(jìn)行更新處理， 異步監(jiān)測接口，與所述的異步處理模塊相連接，用于監(jiān)測所述的異步處理模塊是否正常運(yùn)行，并根據(jù)所述的用戶終端端的指令重啟所述的異步處理模塊； 所述的顯示裝置與所述的異步處理模塊相連接，用于顯示數(shù)據(jù)更新結(jié)構(gòu)、系統(tǒng)運(yùn)行參數(shù)及系統(tǒng)運(yùn)行過程中暫時生成的各時間值。
2.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述的異步處理模塊為單片機(jī)或FPGA。
3.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述的系統(tǒng)還包括 打印裝置，與所述顯示裝置相連接，用于打印所述顯示裝置顯示的內(nèi)容。
專利摘要一種用于熱表數(shù)據(jù)更新的異步處理系統(tǒng)，該系統(tǒng)包括銀行服務(wù)器，用戶終端，異步處理裝置及顯示裝置；銀行服務(wù)器中具有存儲器，存儲待更新數(shù)據(jù)；異步處理裝置包括數(shù)據(jù)監(jiān)測通信接口，監(jiān)測待更新數(shù)據(jù)是否為非實(shí)時更新數(shù)據(jù)；數(shù)據(jù)存儲裝置，用于存儲數(shù)據(jù)監(jiān)測通信接口篩選出的非實(shí)時更新數(shù)據(jù)信息；異步處理模塊，用于對非實(shí)時更新數(shù)據(jù)進(jìn)行更新處理；異步監(jiān)測接口，用于監(jiān)測異步處理模塊是否正常運(yùn)行，并根據(jù)用戶終端端的指令重啟異步處理模塊；顯示裝置用于顯示數(shù)據(jù)更新結(jié)構(gòu)、系統(tǒng)運(yùn)行參數(shù)及系統(tǒng)運(yùn)行過程中暫時生成的各時間值。本實(shí)用新型可以解決熱表記錄實(shí)時更新的瓶頸問題，避免異步處理時出現(xiàn)待處理記錄遺漏的情況，提高系統(tǒng)的整體運(yùn)行效率和可靠性。
文檔編號G06F17/30GK202600778SQ201220050680
公開日2012年12月12日 申請日期2012年2月16日 優(yōu)先權(quán)日2012年2月16日
發(fā)明者何敏華, 蔡凌瑋, 韋東俊, 鄧校鋒, 梁柱標(biāo), 劉圣杰 申請人:中國工商銀行股份有限公司