流應(yīng)用性能監(jiān)測(cè)度量的制作方法
【專利摘要】所公開的技術(shù)用于計(jì)算與數(shù)據(jù)流相關(guān)聯(lián)的性能度量。配置用于處理流經(jīng)基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的處理元件經(jīng)由數(shù)據(jù)流接收數(shù)據(jù)元組。在該處理元件處，處理一個(gè)或多個(gè)元組的每一個(gè)元組，以及將該一個(gè)或多個(gè)元組的每一個(gè)元組與包括與該處理元件對(duì)該元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)。繼而，基于與該一個(gè)或多個(gè)元組相關(guān)聯(lián)的元數(shù)據(jù)、針對(duì)該數(shù)據(jù)流計(jì)算性能度量。
【專利說明】流應(yīng)用性能監(jiān)測(cè)度量
【背景技術(shù)】
[0001]計(jì)算機(jī)數(shù)據(jù)庫已經(jīng)變得非常成熟，例如，對(duì)于數(shù)據(jù)庫系統(tǒng)的計(jì)算需求已經(jīng)快速增長。數(shù)據(jù)庫系統(tǒng)典型地配置用于將存儲(chǔ)數(shù)據(jù)的過程與訪問、操縱或使用存儲(chǔ)于數(shù)據(jù)庫中的數(shù)據(jù)相分離。更具體地，數(shù)據(jù)庫使用這樣的模型，其中，數(shù)據(jù)首先被存儲(chǔ)、而后進(jìn)行索引，以及隨后進(jìn)行查詢。然而，此模型不能滿足某些實(shí)時(shí)應(yīng)用的性能需求。例如，數(shù)據(jù)庫系統(tǒng)可以接收并存儲(chǔ)傳入數(shù)據(jù)的速率會(huì)限制可以處理或者以其他方式評(píng)估的數(shù)據(jù)量，而這繼而限制了配置用于實(shí)時(shí)處理大量數(shù)據(jù)的數(shù)據(jù)庫應(yīng)用的效用。
[0002]為了解決此問題，基于流的計(jì)算和基于流的數(shù)據(jù)庫計(jì)算作為針對(duì)數(shù)據(jù)庫系統(tǒng)的發(fā)展技術(shù)應(yīng)運(yùn)而生，其中，產(chǎn)品可用并且允許用戶創(chuàng)建這樣的應(yīng)用，在流數(shù)據(jù)到達(dá)數(shù)據(jù)庫文件之前、對(duì)其進(jìn)行處理和查詢。利用此新生技術(shù)，用戶可以指定處理邏輯在入站數(shù)據(jù)記錄處于“飛行狀態(tài)(in flight)”時(shí)應(yīng)用于入站數(shù)據(jù)記錄，而結(jié)果則在毫秒級(jí)可用。使用這種類型的處理來構(gòu)建應(yīng)用開啟了新的編程典范，其將允許開發(fā)出各種創(chuàng)新的應(yīng)用、系統(tǒng)和過程，而同時(shí)又給應(yīng)用程序員和數(shù)據(jù)庫開發(fā)者呈現(xiàn)了新的挑戰(zhàn)。
[0003]對(duì)基于流的應(yīng)用性能進(jìn)行測(cè)量使得可以確定該基于流的應(yīng)用是否以最佳方式操作。在基于流的應(yīng)用中，經(jīng)由數(shù)據(jù)流接收數(shù)據(jù)的“元組(tuple)”，并且將這些“元組”跨處理元件(PE)進(jìn)行路由，其中這些處理元件對(duì)元組執(zhí)行操作，并繼而將這些元組轉(zhuǎn)發(fā)至不同的處理元件以進(jìn)行進(jìn)一步處理。測(cè)量基于流的應(yīng)用性能的一種技術(shù)涉及確定經(jīng)由數(shù)據(jù)流接收的元組的吞吐量，例如，當(dāng)每分鐘一百個(gè)元組完全由一個(gè)或多個(gè)PE處理時(shí)，可以認(rèn)為特定的基于流的應(yīng)用是高效的。然而，此度量單獨(dú)不能用來指示基于流的應(yīng)用是否運(yùn)行在最優(yōu)方式下，因?yàn)楦鞣N條件會(huì)影響元組在數(shù)據(jù)流中到達(dá)的速率。例如，經(jīng)由真正簡單聚合(RSS)訂閱(即，數(shù)據(jù)流)接收的元組數(shù)量會(huì)因一天中的時(shí)間而變化，因?yàn)槔缭谠绯亢屯砩线@樣的一天中的特定時(shí)間，通常會(huì)更頻繁地產(chǎn)生新的文章。結(jié)果，用戶可能錯(cuò)誤地被通知基于流的應(yīng)用正經(jīng)歷性能問題，即便基于流的應(yīng)用正以最佳方式操作時(shí)也是如此。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的一個(gè)實(shí)施方式提供了一種用于計(jì)算與數(shù)據(jù)流相關(guān)聯(lián)的性能度量的技術(shù)。該技術(shù)涉及步驟:在配置用于處理流經(jīng)基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的第一處理元件處，接收與第一數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)元組；在第一處理元件處，處理該一個(gè)或多個(gè)元組的每一個(gè)元組；將該一個(gè)或多個(gè)元組的每一個(gè)元組與包括與第一處理元件對(duì)元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)；基于與該一個(gè)或多個(gè)元組相關(guān)聯(lián)的元數(shù)據(jù)來計(jì)算性能度量；以及經(jīng)由顯示設(shè)備上的用戶接口來顯示計(jì)算的性能度量。
[0005]本發(fā)明的另一實(shí)施方式提供了一種系統(tǒng)，包括多個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)包括處理器和存儲(chǔ)器，其中存儲(chǔ)器存儲(chǔ)流性能管理器，當(dāng)在計(jì)算節(jié)點(diǎn)上執(zhí)行時(shí)、其配置用于執(zhí)行用于計(jì)算與數(shù)據(jù)流相關(guān)聯(lián)的性能度量的操作。該操作包括步驟:在配置用于處理流經(jīng)基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的第一處理元件處，接收與第一數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)元組；在第一處理元件處，處理該一個(gè)或多個(gè)元組的每一個(gè)元組；將該一個(gè)或多個(gè)元組的每一個(gè)元組與包括與第一處理元件對(duì)元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)；基于與該一個(gè)或多個(gè)元組相關(guān)聯(lián)的元數(shù)據(jù)來計(jì)算性能度量；以及經(jīng)由顯示設(shè)備上的用戶接口來顯示計(jì)算的性能度量。
[0006]本發(fā)明的其他實(shí)施方式提供了非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括用于使得計(jì)算機(jī)系統(tǒng)執(zhí)行上文給出的一個(gè)或多個(gè)方法的指令。
【專利附圖】

【附圖說明】
[0007]為了獲得并且可以詳細(xì)理解上文記載的諸方面的方式，通過參考附圖、可以提供在上文簡述的本發(fā)明實(shí)施方式的更詳細(xì)描述。
[0008]然而，應(yīng)當(dāng)注意，附圖僅示出了本發(fā)明的典型實(shí)施方式，并且因此不認(rèn)為是限制本發(fā)明的范圍，本發(fā)明可以允許其他等效實(shí)施方式。
[0009]圖1A-圖1B示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式、配置用于執(zhí)行流數(shù)據(jù)庫應(yīng)用的計(jì)算基礎(chǔ)架構(gòu)。
[0010]圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的計(jì)算節(jié)點(diǎn)。
[0011]圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的管理系統(tǒng)。
[0012]圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式、在其中計(jì)算與一個(gè)或多個(gè)數(shù)據(jù)流相關(guān)聯(lián)的性能度量的操作器圖。
[0013]圖5是根據(jù)本發(fā)明一個(gè)實(shí)施方式、用于計(jì)算與數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)性能度量的方法流程圖。
【具體實(shí)施方式】
[0014]本發(fā)明的實(shí)施方式提供了用于確定與基于流的應(yīng)用相關(guān)聯(lián)的各種性能度量的技術(shù)。在本公開的上下文中，基于流的應(yīng)用包括接收數(shù)據(jù)流的一個(gè)或多個(gè)處理元件，其中數(shù)據(jù)流向該一個(gè)或多個(gè)處理元件遞送元組。每個(gè)處理元件通常可以接收元組(或多個(gè)元組)以及向其他處理元件發(fā)送元組(或多個(gè)元組)。所發(fā)送的元組可以不由處理元件改變，但是也可以生成新的或修改的元組。包括在數(shù)據(jù)流中的元組在由一個(gè)或多個(gè)處理元件處理時(shí)、利用元數(shù)據(jù)加標(biāo)簽，這使得流性能管理器能夠識(shí)別與數(shù)據(jù)流相關(guān)聯(lián)的各種性能度量。結(jié)果，這些各種性能度量可以用來確定基于流的應(yīng)用的性能，并且識(shí)別出基于流的應(yīng)用中的潛在處理瓶頸。而且，對(duì)基于流的應(yīng)用的調(diào)整可以自動(dòng)地基于各種性能度量來進(jìn)行，從而減輕處理瓶頸。
[0015]在下文中，參考本發(fā)明的實(shí)施方式。然而，應(yīng)當(dāng)理解，本發(fā)明不限于特定描述的實(shí)施方式。替代地，下述特征和元素(無論是否涉及不同實(shí)施方式)的組合都可以實(shí)現(xiàn)和實(shí)踐本發(fā)明。此外，盡管本發(fā)明的實(shí)施方式較之于其他可能解決方案和/或現(xiàn)有技術(shù)可以實(shí)現(xiàn)優(yōu)勢(shì)，但是給定實(shí)施方式能否實(shí)現(xiàn)特定優(yōu)勢(shì)并不限制本發(fā)明。由此，下述方面、特征、實(shí)施方式和優(yōu)勢(shì)僅是示意的，并且不被認(rèn)為是所附權(quán)利要求的元素或限制，除非在權(quán)利要求中明確提到。同樣地，對(duì)“本發(fā)明”的參考不應(yīng)當(dāng)理解為此處公開的任何發(fā)明主題的綜述，并且不應(yīng)當(dāng)認(rèn)為是所附權(quán)利要求的元素或限制，除非權(quán)利要求明確記載。
[0016]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道，本發(fā)明的各個(gè)方面可以實(shí)現(xiàn)為系統(tǒng)、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明的各個(gè)方面可以具體實(shí)現(xiàn)為以下形式，即:完全的硬件實(shí)施方式、完全的軟件實(shí)施方式(包括固件、駐留軟件、微代碼等)，或硬件和軟件方面結(jié)合的實(shí)施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。此外，在一些實(shí)施例中，本發(fā)明的各個(gè)方面還可以實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。
[0017]可以采用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)例如可以是一但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個(gè)或多個(gè)導(dǎo)線的電連接、便攜式計(jì)算機(jī)盤、硬盤、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦式可編程只讀存儲(chǔ)器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲(chǔ)器(CD-ROM)、光存儲(chǔ)器件、磁存儲(chǔ)器件、或者上述的任意合適的組合。在本文件中，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是任何包含或存儲(chǔ)程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0018]計(jì)算機(jī)可讀的信號(hào)介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號(hào)，其中承載了計(jì)算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號(hào)可以采用多種形式，包括——但不限于——電磁信號(hào)、光信號(hào)或上述的任意合適的組合。計(jì)算機(jī)可讀的信號(hào)介質(zhì)還可以是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以外的任何計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0019]計(jì)算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括一但不限于一無線、有線、光纜、RF等等，或者上述的任意合適的組合。
[0020]可以以一種或多種程序設(shè)計(jì)語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的計(jì)算機(jī)程序代碼，所述程序設(shè)計(jì)語言包括面向?qū)ο蟮某绦蛟O(shè)計(jì)語言一諸如Java、Smalltalk、C++等，還包括常規(guī)的過程式程序設(shè)計(jì)語言一諸如“C”語言或類似的程序設(shè)計(jì)語言。程序代碼可以完全地在用戶計(jì)算機(jī)上執(zhí)行、部分地在用戶計(jì)算機(jī)上執(zhí)行、作為一個(gè)獨(dú)立的軟件包執(zhí)行、部分在用戶計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計(jì)算機(jī)的情形中，遠(yuǎn)程計(jì)算機(jī)可以通過任意種類的網(wǎng)絡(luò)一包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計(jì)算機(jī)，或者，可以連接到外部計(jì)算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。
[0021]下面將參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中各方框的組合，都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些計(jì)算機(jī)程序指令在通過計(jì)算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)，產(chǎn)生了實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的裝置。
[0022]也可以把這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，這些指令使得計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作，從而，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出包括實(shí)現(xiàn)流程圖和/或框圖中的一個(gè)或多個(gè)方框中規(guī)定的功能/動(dòng)作的指令的制造品(article of manufacture)0
[0023]也可以把計(jì)算機(jī)程序指令加載到計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置、或其他設(shè)備上，使得在計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備上執(zhí)行一系列操作步驟，以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，從而使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行的指令能夠提供實(shí)現(xiàn)流程圖和/或框圖中的框中規(guī)定的功能/動(dòng)作的過程。
[0024]本發(fā)明的實(shí)施方式可以通過云計(jì)算基礎(chǔ)架構(gòu)提供至最終用戶。云計(jì)算通常涉及通過網(wǎng)絡(luò)將可擴(kuò)展的計(jì)算資源作為一項(xiàng)服務(wù)來提供。更正式地，云計(jì)算可以定義為計(jì)算能力，其提供計(jì)算資源及其底層技術(shù)基礎(chǔ)架構(gòu)(例如，服務(wù)器、儲(chǔ)存器、網(wǎng)絡(luò))之間的抽象，支持對(duì)可配置計(jì)算資源共享池的便利的按需網(wǎng)絡(luò)訪問，可配置計(jì)算資源可以利用最小的管理代價(jià)或服務(wù)提供者交互而快速地提供或釋放。由此，云計(jì)算允許用戶訪問“云”中的虛擬計(jì)算資源(例如，儲(chǔ)存器、數(shù)據(jù)、應(yīng)用乃至整個(gè)虛擬化計(jì)算系統(tǒng))，而不用考慮用來提供計(jì)算資源的底層物理系統(tǒng)(或者這些系統(tǒng)的位置)。[0025]典型地，云計(jì)算資源在按使用付費(fèi)的基礎(chǔ)上提供給用戶，其中用戶只針對(duì)實(shí)際使用的計(jì)算資源(例如，用戶消耗的儲(chǔ)存空間量，或者用戶實(shí)例化的虛擬系統(tǒng)數(shù)量)付費(fèi)。用戶可以在任何時(shí)候、通過因特網(wǎng)從任何地點(diǎn)訪問駐留在云中的任何資源。在本發(fā)明的上下文中，用戶可以訪問云中可用的應(yīng)用或相關(guān)數(shù)據(jù)。這樣做允許用戶從附接于連接至云的網(wǎng)絡(luò)(例如，因特網(wǎng))的任何計(jì)算系統(tǒng)來訪問此信息。
[0026]附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
[0027]圖1A-圖1B示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的配置用于執(zhí)行基于流的應(yīng)用的計(jì)算基礎(chǔ)架構(gòu)100。如所示，計(jì)算基礎(chǔ)架構(gòu)100包括管理系統(tǒng)105和多個(gè)計(jì)算節(jié)點(diǎn)13(^4，每個(gè)連接至通信網(wǎng)絡(luò)120。而且,管理系統(tǒng)105包括操作器圖(operator graph) 132和流管理器134。操作器圖132代表從一個(gè)或多個(gè)源處理元件(PE)開始到一個(gè)或多個(gè)宿PE的基于流的應(yīng)用。數(shù)據(jù)元素流入基于流的應(yīng)用的源PE中，并且由該P(yáng)E進(jìn)行處理。典型地，處理元件從流接收數(shù)據(jù)元素的N元組，并且向流中發(fā)送數(shù)據(jù)元素的N元組(除了流在該處結(jié)束的宿PE之外)。當(dāng)然，處理元件接收的N元組不需要是向下游發(fā)送的相同的N元組。
[0028]并且，處理元件可以配置用于以除了 N元組的格式之外的格式來接收或發(fā)出數(shù)據(jù)(例如，處理元件可以交換標(biāo)記為XML文檔的數(shù)據(jù))。附加地，每個(gè)處理元件可以配置用于在接收的元組上執(zhí)行任何形式的數(shù)據(jù)處理功能，包括，例如，向數(shù)據(jù)庫表的寫入，或者執(zhí)行其他數(shù)據(jù)庫操作，諸如，數(shù)據(jù)聯(lián)合、拆分、讀取等，以及執(zhí)行其他數(shù)據(jù)分析功能或操作。
[0029]流管理器134可以配置用于監(jiān)測(cè)在計(jì)算節(jié)點(diǎn)130卜4上運(yùn)行的基于流的應(yīng)用，以及改變操作器圖132的結(jié)構(gòu)。例如，流管理器134可以從一個(gè)計(jì)算節(jié)點(diǎn)130向另一個(gè)計(jì)算節(jié)點(diǎn)移動(dòng)處理元件(PE)，例如，以用于管理計(jì)算基礎(chǔ)架構(gòu)100中計(jì)算節(jié)點(diǎn)130的處理負(fù)載。此外，流管理器134可以通過插入、移除、融合(fuse)、去融合或以其他方式修改在計(jì)算節(jié)點(diǎn)130^上運(yùn)行的處理元件(或什么數(shù)據(jù)元組流向處理元件)，從而控制基于流的應(yīng)用。[0030]圖1B示出了示例性操作器圖，其包括運(yùn)行在計(jì)算節(jié)點(diǎn)130卜4上的10個(gè)處理元件(標(biāo)記為PE1-PE10)。盡管處理元件可以作為獨(dú)立運(yùn)行進(jìn)程(其具有自己的進(jìn)程ID (PID)和存儲(chǔ)器空間)執(zhí)行，但是多個(gè)處理元件可以融合以作為單個(gè)進(jìn)程(帶有PID和存儲(chǔ)器空間)運(yùn)行。在兩個(gè)(或更多)處理元件獨(dú)立運(yùn)行的情況下，可以使用網(wǎng)絡(luò)套接字(例如，TCP/IP套接字)來實(shí)現(xiàn)進(jìn)程間通信。然而，當(dāng)進(jìn)程融合在一起時(shí)，融合的處理元件可以使用更快速的通信技術(shù)來在處理元件(以及每個(gè)處理元件中的操作器)之間傳遞N元組(或其他數(shù)據(jù))。
[0031]如所示，操作器圖開始于PEl，其從源135讀取，并且在PE6和PElO結(jié)束，這二者均向宿140卜2寫入。計(jì)算節(jié)點(diǎn)UO1包括源PEl和PE2，PE3。源PEl發(fā)出由PE2和PE3接收的元組。例如，PEl可以拆分在元組中接收的數(shù)據(jù)元素，并將某些數(shù)據(jù)元素傳遞至PE2，另一些傳遞至PE3。流向PE2的數(shù)據(jù)產(chǎn)生發(fā)往計(jì)算節(jié)點(diǎn)1302上的PE4的元組。以及，PE4發(fā)出的數(shù)據(jù)元組流向宿PE6，其向宿HO1寫入。類似地，從PE3流向PE5的數(shù)據(jù)元組也到達(dá)宿PE6，其向宿HO1寫入。由此，除了作為用于此示例操作器圖的宿之外，PE6可以配置用于執(zhí)行聯(lián)合操作，以將從PE4和PE5接收的元組進(jìn)行組合。此示例性操作器圖也示出了從PE3流向計(jì)算節(jié)點(diǎn)1303上的PE7的數(shù)據(jù)元組，該計(jì)算節(jié)點(diǎn)1303自身示出了流向PE8并流回PE7的數(shù)據(jù)元組。從PE8發(fā)出的數(shù)據(jù)元組流向計(jì)算節(jié)點(diǎn)1304上的PE9，PE9發(fā)出由宿PElO處理的元組，PElO向宿1402寫入。
[0032]圖2是根據(jù)本發(fā)明一個(gè)實(shí)施方式、圖1A-圖1B的計(jì)算節(jié)點(diǎn)130的更詳細(xì)視圖。如所示，計(jì)算節(jié)點(diǎn)130包括但不限于中央處理單元(CPU) 205、網(wǎng)絡(luò)接口 215、互連220、存儲(chǔ)器225和儲(chǔ)存器230。計(jì)算節(jié)點(diǎn)130也可以包括用于將I/O設(shè)備212(例如，鍵盤、顯示器和鼠標(biāo)設(shè)備)連接至計(jì)算節(jié)點(diǎn)130的I/O設(shè)備接口 210。
[0033]CPU205取回并執(zhí)行存儲(chǔ)在存儲(chǔ)器225中的編程指令。類似地，CPU205存儲(chǔ)并取回駐留在存儲(chǔ)器225中的應(yīng)用數(shù)據(jù)?；ミB220用于在CPU205、I/0設(shè)備接口 210、儲(chǔ)存器230、網(wǎng)絡(luò)接口 215和存儲(chǔ)器225之間傳輸編程指令和應(yīng)用數(shù)據(jù)。包括CPU205以代表單個(gè)CPU、多個(gè)CPU、具有多個(gè)處理核的單個(gè)CPU等。并且存儲(chǔ)器225通常被包括進(jìn)來以代表隨機(jī)訪問存儲(chǔ)器。諸如硬盤驅(qū)動(dòng)、固態(tài)設(shè)備(SSD)或閃存儲(chǔ)存驅(qū)動(dòng)的儲(chǔ)存器230可以存儲(chǔ)非易失性數(shù)據(jù)。
[0034]在此示例中，存儲(chǔ)器225包括融合的處理元件(PE)235、流節(jié)點(diǎn)245、流性能監(jiān)測(cè)器248和流連接數(shù)據(jù)255。流節(jié)點(diǎn)245包括操作器240的集合。每個(gè)操作器240可以提供少量的可執(zhí)行代碼，其配置用于處理流入處理元件(例如，PE235)的數(shù)據(jù)，以及發(fā)出數(shù)據(jù)至該P(yáng)E中的其他操作器240，以及至基于流的應(yīng)用中的其他PE。這種PE可以位于相同計(jì)算節(jié)點(diǎn)130上，或者位于通過數(shù)據(jù)通信網(wǎng)絡(luò)120訪問的其他計(jì)算節(jié)點(diǎn)上。
[0035]流性能監(jiān)測(cè)器248配置用于利用元數(shù)據(jù)對(duì)經(jīng)由數(shù)據(jù)流接收的元組加標(biāo)簽，該元數(shù)據(jù)使得流性能管理器(在下文結(jié)合圖3-圖5進(jìn)行詳細(xì)描述)識(shí)別與該數(shù)據(jù)流相關(guān)聯(lián)的各種性能度量。流連接數(shù)據(jù)255代表計(jì)算節(jié)點(diǎn)130上的PE之間的連接(例如，TCP/IP套接字連接)和去往具有基于流的應(yīng)用中的上游和下游PE的其他計(jì)算節(jié)點(diǎn)130的連接，該連接也經(jīng)由TCP/IP套接字(或其他進(jìn)程間數(shù)據(jù)通信機(jī)制)。
[0036]緩沖的流數(shù)據(jù)260代表用于從上游處理元件(或者從用于基于流的應(yīng)用的數(shù)據(jù)源)流入計(jì)算節(jié)點(diǎn)105的數(shù)據(jù)的存儲(chǔ)空間。例如，緩沖的流數(shù)據(jù)可以包括等待由處理元件(諸如PE235)處理的數(shù)據(jù)元組。緩沖的流數(shù)據(jù)260也可以存儲(chǔ)由PE235執(zhí)行的數(shù)據(jù)處理的結(jié)果，該結(jié)果將被發(fā)送至下游處理元件(或在下游處理元件處丟棄的負(fù)載)。
[0037]圖3是根據(jù)本發(fā)明一個(gè)實(shí)施方式、圖1的管理系統(tǒng)105的更詳細(xì)視圖。如所示，管理系統(tǒng)105包括但不限于中央處理單元(CPU) 305、網(wǎng)絡(luò)接口 315、互連320、存儲(chǔ)器325和儲(chǔ)存器330?？蛻舳讼到y(tǒng)130也可以包括將I/O設(shè)備312 (例如，鍵盤、顯示器和鼠標(biāo)設(shè)備)連接至管理系統(tǒng)105的I/O設(shè)備接口 310。
[0038]與圖2的CPU205類似，CPU305配置用于取回并執(zhí)行存儲(chǔ)在存儲(chǔ)器325和儲(chǔ)存器330中的編程指令。類似地，CPU305配置用于存儲(chǔ)并取回駐留在存儲(chǔ)器325和儲(chǔ)存器330中的應(yīng)用數(shù)據(jù)?；ミB320配置用于在CPU305、I/O設(shè)備接口 310、儲(chǔ)存單元330、網(wǎng)絡(luò)接口315和存儲(chǔ)器325之間移動(dòng)數(shù)據(jù)(諸如編程指令和應(yīng)用數(shù)據(jù))。與CPU205類似，CPU305被包括以代表單個(gè)CPU、多個(gè)CPU、具有多個(gè)處理核的單個(gè)CPU等。存儲(chǔ)器325通常被包括進(jìn)來以代表隨機(jī)訪問存儲(chǔ)器。網(wǎng)絡(luò)接口 315配置用于經(jīng)由通信網(wǎng)絡(luò)120傳輸數(shù)據(jù)。盡管示出為單個(gè)單元，但是儲(chǔ)存器330可以是固定和/或可移除存儲(chǔ)設(shè)備的組合，諸如固定盤驅(qū)動(dòng)、可移除存儲(chǔ)卡、光儲(chǔ)存器、SSD或閃存設(shè)備、網(wǎng)絡(luò)附接存儲(chǔ)(NAS)或去往存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)設(shè)備的連接。
[0039]如所示，存儲(chǔ)器325存儲(chǔ)流管理器134和流性能管理器335。儲(chǔ)存器330包括操作器圖132。操作器圖132代表從一個(gè)或多個(gè)源處理元件(PE)開始到一個(gè)或多個(gè)宿PE的基于流的應(yīng)用。在一個(gè)實(shí)施方式中，流管理器134監(jiān)測(cè)在計(jì)算節(jié)點(diǎn)130卜4上運(yùn)行的基于流的應(yīng)用，以及在需要的時(shí)候改變操作器圖132的結(jié)構(gòu)。例如，流管理器134可以從一個(gè)計(jì)算節(jié)點(diǎn)130向另一個(gè)計(jì)算節(jié)點(diǎn)移動(dòng)處理元件(PE)，例如，以用于管理計(jì)算基礎(chǔ)架構(gòu)100中計(jì)算節(jié)點(diǎn)130的處理負(fù)載。此外，流管理器134可以通過插入、移除、融合、去融合或以其他方式修改運(yùn)行在計(jì)算節(jié)點(diǎn)130卜4上的處理元件(或什么數(shù)據(jù)元組流向處理元件)，從而控制基于流的應(yīng)用。
[0040]流性能管理器335配置用于通過使用一個(gè)或多個(gè)流性能監(jiān)測(cè)器248來分析加標(biāo)簽至元組的元數(shù)據(jù)。通過這種分析，流性能管理器335計(jì)算與從其中接收元組的數(shù)據(jù)流相關(guān)聯(lián)的有用性能度量。例如，流性能管理器335可以配置用于確定元組在包括于操作器圖中的兩個(gè)特定PE之間行進(jìn)所花費(fèi)的時(shí)間總量、確定元組在PE群組之間行進(jìn)所花費(fèi)的時(shí)間總量、確定元組跨包括在操作器圖中所有PE行進(jìn)所花費(fèi)的時(shí)間總量，和/或確定元組跨兩個(gè)或更多計(jì)算節(jié)點(diǎn)行進(jìn)所花費(fèi)的時(shí)間總量。流性能管理器335也可以配置用于確定特定元組穿過的操作器總數(shù)量、計(jì)算元組的每個(gè)屬性被更新的總次數(shù)，和/或識(shí)別一個(gè)或多個(gè)PE、操作器圖或計(jì)算節(jié)點(diǎn)中完全重復(fù)或部分重復(fù)的流。
[0041]有利地，這些性能度量可以用于識(shí)別基于流的應(yīng)用中的處理低效。例如，如果基于上述一個(gè)或多個(gè)性能度量檢測(cè)到經(jīng)由數(shù)據(jù)流接收的元組吞吐量存在下降，則經(jīng)由數(shù)據(jù)流接收的元組屬性的進(jìn)一步分析(結(jié)合如何在基于流的應(yīng)用中對(duì)數(shù)據(jù)進(jìn)行處理的分析)可以由流管理器134使用，以自動(dòng)地引起在試圖恢復(fù)數(shù)據(jù)流元組吞吐量時(shí)創(chuàng)建附加的流路徑。在一個(gè)示例中，經(jīng)由數(shù)據(jù)流到達(dá)的元組在“RYAN”或“JOHN”的姓名屬性基礎(chǔ)上進(jìn)行拆分，這典型地導(dǎo)致元組通過基于流的應(yīng)用時(shí)的均勻分布。然而，基于流的應(yīng)用可能在某個(gè)時(shí)間點(diǎn)歸因于僅接收帶有姓名屬性“JOHN”的元組這種不規(guī)則分布而過載。在這種情況下，處理具有姓名屬性“JOHN”的元組的另一路徑可以由例如流管理器134自動(dòng)創(chuàng)建，從而均衡基于流的應(yīng)用中的元組分布?；诹鞯膽?yīng)用的更新配置繼而由流性能管理器335進(jìn)行采樣，以確定更新的配置是否緩解了吞吐量低效。
[0042]圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的操作器圖400，在其中計(jì)算與一個(gè)或多個(gè)數(shù)據(jù)流相關(guān)聯(lián)的性能度量。如所示，數(shù)據(jù)流402^從ΡΕ404流向ΡΕ406，其中ΡΕ406分發(fā)數(shù)據(jù)流402^至PE408進(jìn)行處理，以及分發(fā)數(shù)據(jù)流4024_6至PElO進(jìn)行處理。如上所述，諸如流性能監(jiān)測(cè)器430的一個(gè)或多個(gè)流性能監(jiān)測(cè)器配置用于利用元數(shù)據(jù)對(duì)經(jīng)由數(shù)據(jù)流402接收的、并由PE404、406、408、410和412處理的元組加標(biāo)簽。以此方式，流性能管理器335能夠計(jì)算針對(duì)數(shù)據(jù)流402、PE404、406、408、410和412、操作器圖400和執(zhí)行PE404、406、408、410和412的一個(gè)或多個(gè)計(jì)算節(jié)點(diǎn)(未示出)的各種性能度量。
[0043]在圖4所示的示例中，當(dāng)PE408和PE410分別處理數(shù)據(jù)流402”和數(shù)據(jù)流4024_6時(shí)，這些數(shù)據(jù)流作為數(shù)據(jù)流402i_3’和數(shù)據(jù)流4024_6’輸出并且轉(zhuǎn)發(fā)至PE412做進(jìn)一步處理。當(dāng)PE412處理數(shù)據(jù)流402^’時(shí)，數(shù)據(jù)流作為數(shù)據(jù)流402^’’輸出，而數(shù)據(jù)流402^’’被轉(zhuǎn)發(fā)至ΡΕ414，以及數(shù)據(jù)流4026’’被“循環(huán)回”ΡΕ410以由ΡΕ410做附加處理，其中ΡΕ410可以可選地輸出數(shù)據(jù)流4026’ ’至ΡΕ412。
[0044]在一個(gè)實(shí)施方式中，PE的每一個(gè)(例如ΡΕ408)處在與其關(guān)聯(lián)的流性能監(jiān)測(cè)器430的操作下，配置用于最初利用元數(shù)據(jù)向在ΡΕ408處接收的每個(gè)元組加標(biāo)簽，其中元數(shù)據(jù)包括I)與ΡΕ408相關(guān)聯(lián)的標(biāo)識(shí)(ID)編號(hào)，2) ΡΕ408被包括在其中的操作器圖(即，操作器圖400)的ID編號(hào)，3)ΡΕ408在其上執(zhí)行的計(jì)算節(jié)點(diǎn)(未示出)的ID編號(hào)，和4)指示ΡΕ408接收元組時(shí)間的時(shí)間戳。在輸出處理的元組之前，ΡΕ408在與其相關(guān)聯(lián)的流性能監(jiān)測(cè)器430的操作下，利用附加的元數(shù)據(jù)對(duì)處理的元組加標(biāo)簽，其中附加的元數(shù)據(jù)指示當(dāng)前時(shí)間戳和上述ID。由此，當(dāng)元組被傳輸至后續(xù)PE412時(shí)，流性能管理器335能夠經(jīng)由與PE412相關(guān)聯(lián)的流性能監(jiān)測(cè)器430確定PE408處理元組所花費(fèi)的時(shí)間量。
[0045]如上所述，前文元數(shù)據(jù)由流管理器335使用，以確定各種性能度量。在一個(gè)示例中，流管理器335確定元組在包括在操作器圖中的兩個(gè)特定PE (例如，包括在操作器圖400中的PE404和PE412)之間行進(jìn)所花費(fèi)的時(shí)間總量。為了做出此確定，流管理器335從元組的元數(shù)據(jù)取回與PE404和PE412的ID相關(guān)聯(lián)的時(shí)間戳，并且計(jì)算時(shí)間戳之間的差值，其中該差值代表元組在PE404和PE412之間行進(jìn)所花費(fèi)的時(shí)間量。
[0046]在另一示例中，流管理器335確定元組在PE群組(B卩，包括在操作器圖中的兩個(gè)或更多PE，例如，PE410，412和414)間行進(jìn)所花費(fèi)的總時(shí)間量。為了做出此確定，流管理器335分析操作器圖400的組織，以確定PE群組的起點(diǎn)和終點(diǎn)(即，PE410和PE412)，繼而從元組的元數(shù)據(jù)取回與PE410和412的ID相關(guān)聯(lián)的時(shí)間戳，并且計(jì)算時(shí)間戳之間的差值，其中該差值代表元組在PE410，412和414的群組間行進(jìn)所花費(fèi)的時(shí)間量。
[0047]在另一示例中，流管理器335確定元組跨包括在操作器圖中的所有PE(例如，包括在操作器圖400中的PE404，406，408，410和412)行進(jìn)所花費(fèi)的總時(shí)間量。為了做出此確定，流管理器335分析操作器圖400的組織，以確定操作器圖400的起點(diǎn)和終點(diǎn)(B卩，PE404和PE412)，繼而從元組的元數(shù)據(jù)取回與PE404和412的ID相關(guān)聯(lián)的時(shí)間戳，并且計(jì)算時(shí)間戳之間的差值，其中該差值代表元組跨操作器圖400行進(jìn)所花費(fèi)的時(shí)間量。
[0048]在另一示例中，流管理器335確定元組跨兩個(gè)或更多計(jì)算節(jié)點(diǎn)(未示出)行進(jìn)所花費(fèi)的總時(shí)間量。在一個(gè)示例中，PE404和PE406在第一計(jì)算節(jié)點(diǎn)上執(zhí)行，而PE408、410和412在第二計(jì)算節(jié)點(diǎn)上執(zhí)行。`為了確定元組在第一計(jì)算節(jié)點(diǎn)和第二計(jì)算節(jié)點(diǎn)之間行進(jìn)所花費(fèi)的時(shí)間量，流管理器從元組的元數(shù)據(jù)取回與第一計(jì)算節(jié)點(diǎn)的ID和第二計(jì)算節(jié)點(diǎn)的ID相關(guān)聯(lián)的時(shí)間戳，并且計(jì)算時(shí)間戳之間的差值，其中該差值代表元組在第一計(jì)算節(jié)點(diǎn)和第二計(jì)算節(jié)點(diǎn)之間行進(jìn)所花費(fèi)的時(shí)間量。
[0049]在另一示例中，流管理器335確定特定元組行進(jìn)所通過的操作器的總數(shù)量。為了做出此確定，流管理器335參考元組的元數(shù)據(jù)，并且對(duì)包括于其中的時(shí)間戳/ID進(jìn)行解析，從而建立針對(duì)處理元組的一個(gè)或多個(gè)計(jì)算節(jié)點(diǎn)、操作器圖或PE的計(jì)數(shù)，其中每個(gè)計(jì)數(shù)指示關(guān)聯(lián)實(shí)體處理該元組的次數(shù)。
[0050]附加地，PE的每一個(gè)(例如，PE408)在與其關(guān)聯(lián)的流性能監(jiān)測(cè)器430的操作下，配置用于利用元數(shù)據(jù)對(duì)在PE408處接收的每個(gè)元組加標(biāo)簽，其中元數(shù)據(jù)指示該元組的每個(gè)數(shù)據(jù)屬性被改變的次數(shù)。例如，如果元組具有第一、第二和第三屬性，以及PE408更新元組的第一和第二屬性，則針對(duì)第一屬性的計(jì)數(shù)器和針對(duì)第二屬性的計(jì)數(shù)器遞增。因此，流性能管理器335參考此元數(shù)據(jù)，以計(jì)算該元組的每個(gè)屬性在元組跨例如操作器圖400行進(jìn)時(shí)更新的總次數(shù)。
[0051]流性能管理器335進(jìn)一步配置用于分析前述元數(shù)據(jù)，以識(shí)別在一個(gè)或多個(gè)PE、操作器圖或計(jì)算節(jié)點(diǎn)中的完全相同或部分相同的流。更具體地，流性能管理器335分析包括在與兩個(gè)或更多元組相關(guān)聯(lián)的元數(shù)據(jù)中的時(shí)間戳和ID—以及這兩個(gè)或更多元組的數(shù)據(jù)屬性一以識(shí)別這兩個(gè)或更多元組之間的相似性。例如，如果第一元組指示第一處理元件在時(shí)間X處理第一元組，而第二元組指示第二處理元件在時(shí)間X處理第二元組，其中第一元組和第二元組具有相同屬性，則流性能管理器335可以向用戶指示:歸因于數(shù)據(jù)流中重復(fù)元組的存在而出現(xiàn)了潛在的處理瓶頸。
[0052]圖5是根據(jù)本發(fā)明一個(gè)實(shí)施方式、用于計(jì)算與數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)性能度量的方法500的流程圖。在一個(gè)實(shí)施方式中，方法步驟500由流性能管理器335執(zhí)行。如所示，方法500開始于步驟502，其中流性能管理器335建立與提供多個(gè)元組的數(shù)據(jù)流的連接。在步驟504，流性能管理器335將包括在多個(gè)元組中的第一元組設(shè)置為當(dāng)前元組。在步驟506，流性能管理器335根據(jù)上文結(jié)合圖4描述的技術(shù)、利用性能度量元數(shù)據(jù)對(duì)當(dāng)前元組加標(biāo)簽。
[0053]在步驟508，流性能管理器335確定是否有附加的元組包括在該多個(gè)元組中。如果在步驟508處、流性能管理器335確定附加元組包括在該多個(gè)元組中，則方法500前進(jìn)至步驟510，其中流性能管理器335將包括在該多個(gè)元組中的下一元組設(shè)置為當(dāng)前元組。方法步驟506-510重復(fù),直到包括在該多個(gè)元組中的每個(gè)元組已利用性能度量元數(shù)據(jù)加標(biāo)簽為止。
[0054]在步驟512，流性能管理器335從用戶接收計(jì)算與數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)性能度量的請(qǐng)求。此請(qǐng)求可以例如由訪問流管理器335提供的用戶接口的用戶生成，其中該用戶能夠選擇他/她有興趣查看的特定性能度量。該用戶也可以通過用戶接口指定縮窄性能度量的值，諸如計(jì)算節(jié)點(diǎn)、操作器圖和處理元件的ID。
[0055]在步驟514，流性能管理器335解析與一個(gè)或多個(gè)元組相關(guān)聯(lián)的元數(shù)據(jù)，以計(jì)算一個(gè)或多個(gè)性能度量，諸如上文結(jié)合圖4描述的性能度量。在步驟516，流性能管理器335經(jīng)由例如顯示設(shè)備上的接口向用戶顯示該一個(gè)或多個(gè)性能度量。
[0056]本發(fā)明的實(shí)施方式提供了用于確定與基于流的應(yīng)用相關(guān)聯(lián)的各種性能度量的技術(shù)。具體地，包括在數(shù)據(jù)流中的元組在由一個(gè)或多個(gè)處理元件處理時(shí)、被利用元數(shù)據(jù)加標(biāo)簽，這使得流性能管理器能夠識(shí)別與數(shù)據(jù)流相關(guān)聯(lián)的各種性能度量。結(jié)果，這些各種性能度量可以用來確定基于流的應(yīng)用的健康狀況和性能，并且識(shí)別出基于流的應(yīng)用中的潛在處理瓶頸。
[0057]附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
[0058]盡管上文針對(duì)本發(fā)明的實(shí)施方式，但是在不脫離本發(fā)明基本范圍的情況下、可以設(shè)想出本發(fā)明的其他和進(jìn)一步實(shí)施方式，并且本發(fā)明的范圍由隨后的權(quán)利要求確定。
【權(quán)利要求】
1.一種實(shí)現(xiàn)在基于流的計(jì)算系統(tǒng)中的方法，所述方法包括: 在配置用于處理流經(jīng)所述基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的第一處理元件處，接收與第一數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)元組； 在所述第一處理元件處，處理所述一個(gè)或多個(gè)元組的每一個(gè)元組； 將所述一個(gè)或多個(gè)元組的每一個(gè)元組與包括與由所述第一處理元件對(duì)所述元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)； 基于與所述一個(gè)或多個(gè)元組相關(guān)聯(lián)的所述元數(shù)據(jù)計(jì)算性能度量；以及 經(jīng)由顯示設(shè)備上的用戶接口顯示計(jì)算的所述性能度量。
2.如權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)信息包括時(shí)間戳、所述第一處理元件的標(biāo)識(shí)(ID)、所述第一處理元件被包括在其中的操作器圖的ID、所述第一處理元件在其上執(zhí)行的計(jì)算節(jié)點(diǎn)的ID，以及針對(duì)包括在所述元組中的每個(gè)數(shù)據(jù)屬性的不同計(jì)數(shù)器值。
3.如權(quán)利要求2所述的方法，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示所述第一處理元件和包括在所述基于流的計(jì)算系統(tǒng)內(nèi)的其他處理元件處理所述元組的時(shí)間量。
4.如權(quán)利要求2所述的方法，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示包括在所述基于流的計(jì)算系統(tǒng)內(nèi)的兩個(gè)或更多處理元件處理所述元組的時(shí)間量。
5.如權(quán) 利要求2所述的方法，其中計(jì)算的所述性能度量指示所述一個(gè)或多個(gè)元組的每一個(gè)元組行經(jīng)所述基于流的計(jì)算系統(tǒng)的時(shí)間量。
6.如權(quán)利要求2所述的方法，其中計(jì)算的所述性能度量指示所述一個(gè)或多個(gè)元組的每一個(gè)元組在包括在所述基于流的計(jì)算系統(tǒng)中的兩個(gè)或更多計(jì)算節(jié)點(diǎn)之間行進(jìn)的時(shí)間量。
7.如權(quán)利要求2所述的方法，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示包括在所述基于流的計(jì)算系統(tǒng)內(nèi)的每個(gè)計(jì)算節(jié)點(diǎn)、處理元件、和/或操作器圖處理所述元組的次數(shù)。
8.如權(quán)利要求2所述的方法，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示包括在所述元組中的每個(gè)數(shù)據(jù)屬性被修改的次數(shù)。
9.如權(quán)利要求2所述的方法，進(jìn)一步包括步驟: 在配置用于處理流經(jīng)所述基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的第二處理元件處，接收與第二數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)元組； 在所述第二處理元件處，處理所述一個(gè)或多個(gè)元組的每一個(gè)元組；以及 將所述一個(gè)或多個(gè)元組的每一個(gè)元組與包括與由所述第二處理元件對(duì)所述元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)。
10.如權(quán)利要求9所述的方法，其中計(jì)算的所述性能度量指示:基于與經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組和經(jīng)由所述第二數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組相關(guān)聯(lián)的所述元數(shù)據(jù)、所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流彼此互為副本。
11.如權(quán)利要求1所述的方法，其中計(jì)算的所述性能度量用于自動(dòng)調(diào)整所述基于流的計(jì)算系統(tǒng)的配置。
12.—種存儲(chǔ)應(yīng)用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述應(yīng)用在基于流的計(jì)算系統(tǒng)的處理器上被執(zhí)行時(shí)，所述應(yīng)用執(zhí)行過程，包括: 在配置用于處理流經(jīng)所述基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的第一處理元件處，接收與第一數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)元組； 在所述第一處理元件處，處理所述一個(gè)或多個(gè)元組的每一個(gè)元組； 將所述一個(gè)或多個(gè)元組的每一個(gè)元組與包括與由所述第一處理元件對(duì)所述元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)； 基于與所述一個(gè)或多個(gè)元組相關(guān)聯(lián)的所述元數(shù)據(jù)計(jì)算性能度量；以及 經(jīng)由顯示設(shè)備上的用戶接口顯示計(jì)算的所述性能度量。
13.如權(quán)利要求12所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述元數(shù)據(jù)信息包括時(shí)間戳、所述第一處理元件的標(biāo)識(shí)(ID)、所述第一處理元件被包括在其中的操作器圖的ID、所述第一處理元件在其上執(zhí)行的計(jì)算節(jié)點(diǎn)的ID，以及針對(duì)包括在所述元組中的每個(gè)數(shù)據(jù)屬性的不同計(jì)數(shù)器值。
14.如權(quán)利要求13所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示所述第一處理元件和包括在所述基于流的計(jì)算系統(tǒng)內(nèi)的其他處理元件處理所述元組的時(shí)間量。
15.如權(quán)利要求13所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示包括在所述基于流的計(jì)算系統(tǒng)內(nèi)的兩個(gè)或更多處理元件處理所述元組的時(shí)間量。
16.如權(quán)利要求13所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量指示所述一個(gè)或多個(gè)元組的每一個(gè)元組行經(jīng)所述基于流的計(jì)算系統(tǒng)的時(shí)間量。`
17.如權(quán)利要求13所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量指示所述一個(gè)或多個(gè)元組的每一個(gè)元組在包括在所述基于流的計(jì)算系統(tǒng)中的兩個(gè)或更多計(jì)算節(jié)點(diǎn)之間行進(jìn)的時(shí)間量。
18.如權(quán)利要求13所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示包括在所述基于流的計(jì)算系統(tǒng)內(nèi)的每個(gè)計(jì)算節(jié)點(diǎn)、處理元件、和/或操作器圖處理所述元組的次數(shù)。
19.如權(quán)利要求13所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量針對(duì)經(jīng)由所述第一數(shù)據(jù)流接收的所述一個(gè)或多個(gè)元組的每一個(gè)元組、指示包括在所述元組中的每個(gè)數(shù)據(jù)屬性被修改的次數(shù)。
20.如權(quán)利要求12所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中計(jì)算的所述性能度量用于自動(dòng)調(diào)整所述基于流的計(jì)算系統(tǒng)的配置。
21.—種系統(tǒng),包括: 多個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)包括處理器和存儲(chǔ)器，其中所述存儲(chǔ)器存儲(chǔ)流性能管理器，當(dāng)所述流性能管理器在計(jì)算節(jié)點(diǎn)上執(zhí)行時(shí)，其配置用于執(zhí)行用于計(jì)算性能度量的操作，所述操作包括: 在配置用于處理流經(jīng)所述基于流的計(jì)算系統(tǒng)的數(shù)據(jù)元組的第一處理元件處，接收與第一數(shù)據(jù)流相關(guān)聯(lián)的一個(gè)或多個(gè)元組； 在所述第一處理元件處，處理該一個(gè)或多個(gè)元組的每一個(gè)元組； 將所述一個(gè)或多個(gè)元組的每一個(gè)元組與包括與由所述第一處理元件對(duì)所述元組的處理有關(guān)的信息的元數(shù)據(jù)相關(guān)聯(lián)； 基于與所述一個(gè)或多個(gè)元組相關(guān)聯(lián)的所述元數(shù)據(jù)計(jì)算性能度量；以及 經(jīng)由顯示設(shè)備上的用戶接口來顯示計(jì)算的所述性能度量。
22.如權(quán)利要求21所述的系統(tǒng)，其中所述元數(shù)據(jù)信息包括時(shí)間戳、所述第一處理元件的標(biāo)識(shí)(ID)、所述第一處理元件被包括 在其中的操作器圖的ID、所述第一處理元件在其上執(zhí)行的計(jì)算節(jié)點(diǎn)的ID，以及針對(duì)包括 在所述元組中的每個(gè)數(shù)據(jù)屬性的不同計(jì)數(shù)器值。
【文檔編號(hào)】G06F17/30GK103733198SQ201280040271
【公開日】2014年4月16日 申請(qǐng)日期:2012年7月3日 優(yōu)先權(quán)日:2011年8月26日
【發(fā)明者】R·K·克拉迪克, J·桑托索索, M·D·普費(fèi)弗 申請(qǐng)人:國際商業(yè)機(jī)器公司