本發(fā)明涉及大數(shù)據(jù)平臺(tái)監(jiān)控，具體為一種基于prometheus的監(jiān)控系統(tǒng)動(dòng)態(tài)設(shè)置標(biāo)簽方法及系統(tǒng)。

背景技術(shù)：

1、隨著數(shù)字化、智能化、平臺(tái)化技術(shù)的迅速發(fā)展，paas平臺(tái)中出現(xiàn)了新老系統(tǒng)共存、容器化與非容器化集群并行的復(fù)雜局面。因此，對(duì)監(jiān)控?cái)?shù)據(jù)的采集和監(jiān)控系統(tǒng)的接入需求變得多樣化，要求監(jiān)控?cái)?shù)據(jù)能夠根據(jù)來(lái)源、內(nèi)容和范圍進(jìn)行精確標(biāo)簽設(shè)置。

2、然而，傳統(tǒng)的設(shè)置方式往往由監(jiān)控的服務(wù)系統(tǒng)自行開發(fā)設(shè)置添加，或者通過繁瑣人工操作修改prometheus中和監(jiān)控工具的配置，這不僅增加了開發(fā)工作量，而且修改過程繁瑣且效率低下。對(duì)于已經(jīng)部署或搭建的系統(tǒng)平臺(tái)，為保障服務(wù)的穩(wěn)定性和減小運(yùn)維成本，通常不會(huì)輕易改造原有系統(tǒng)進(jìn)行監(jiān)控接入。更為復(fù)雜的是，由于容器的特性，服務(wù)的pod往往會(huì)動(dòng)態(tài)的在節(jié)點(diǎn)中漂移或服務(wù)的不同pod需設(shè)置需要不同的標(biāo)簽，這使得服務(wù)標(biāo)簽的管理變得異常困難。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于prometheus的監(jiān)控系統(tǒng)動(dòng)態(tài)設(shè)置標(biāo)簽方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于prometheus的監(jiān)控系統(tǒng)動(dòng)態(tài)設(shè)置標(biāo)簽方法，所述方法包括以下步驟：

3、在prometheus配置文件中，利用relabel_configs配置項(xiàng)對(duì)從kubernetes?api獲取的標(biāo)簽進(jìn)行過濾、重命名和添加操作，以實(shí)現(xiàn)對(duì)kubernetes中service和pod的監(jiān)控標(biāo)簽的動(dòng)態(tài)設(shè)置；

4、通過shell-operator工具編寫并執(zhí)行shell腳本，監(jiān)聽kubernetes事件并根據(jù)pod的標(biāo)簽和節(jié)點(diǎn)信息動(dòng)態(tài)地為pod設(shè)置或修改監(jiān)控標(biāo)簽，確保prometheus基于標(biāo)簽進(jìn)行監(jiān)控?cái)?shù)據(jù)的有效收集與分類；

5、在consul服務(wù)注冊(cè)與發(fā)現(xiàn)系統(tǒng)中，允許用戶通過界面或api為服務(wù)設(shè)置自定義的監(jiān)控標(biāo)簽，prometheus則基于標(biāo)簽從consul中自動(dòng)發(fā)現(xiàn)并監(jiān)控相應(yīng)的服務(wù)；

6、在helm?charts的yaml定義中，為kubernetes資源設(shè)置與監(jiān)控相關(guān)的標(biāo)簽和注解，以便prometheus能夠識(shí)別并收集這些資源的監(jiān)控?cái)?shù)據(jù)；

7、在exporter的配置中，指定要收集的監(jiān)控指標(biāo)并為其添加自定義的標(biāo)簽，通過exporter將帶有標(biāo)簽的監(jiān)控?cái)?shù)據(jù)發(fā)送到prometheus服務(wù)器，實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的精細(xì)化分類和管理。

8、優(yōu)選的，所述relabel_configs配置項(xiàng)在prometheus配置文件中用于修改從kubernetes?api獲取的標(biāo)簽，包括但不限于過濾不需要的標(biāo)簽、重命名標(biāo)簽以及添加新的監(jiān)控標(biāo)簽。

9、優(yōu)選的，所述shell-operator工具通過監(jiān)聽kubernetes的pod創(chuàng)建、更新或刪除事件，結(jié)合pod的標(biāo)簽和節(jié)點(diǎn)信息，執(zhí)行自定義的shell腳本，為pod動(dòng)態(tài)設(shè)置或修改annotations和labels，進(jìn)而在prometheus中實(shí)現(xiàn)對(duì)pod的精細(xì)監(jiān)控。

10、優(yōu)選的，所述consul服務(wù)注冊(cè)與發(fā)現(xiàn)系統(tǒng)中，用戶通過界面或api為服務(wù)設(shè)置自定義的監(jiān)控標(biāo)簽，標(biāo)簽作為服務(wù)注冊(cè)信息的一部分，由prometheus在進(jìn)行服務(wù)發(fā)現(xiàn)時(shí)讀取并應(yīng)用于監(jiān)控目標(biāo)的選擇與數(shù)據(jù)收集。

11、優(yōu)選的，所述helm?charts在定義kubernetes資源時(shí)，通過為資源的metadata.labels和metadata.annotations添加與監(jiān)控相關(guān)的配置，使prometheus基于配置自動(dòng)發(fā)現(xiàn)并收集資源的監(jiān)控?cái)?shù)據(jù)，實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的動(dòng)態(tài)標(biāo)簽設(shè)置和分類管理。

12、一種基于prometheus的監(jiān)控系統(tǒng)動(dòng)態(tài)設(shè)置標(biāo)簽系統(tǒng)，所述系統(tǒng)包括：

13、一個(gè)prometheus監(jiān)控系統(tǒng)，用于收集并處理監(jiān)控?cái)?shù)據(jù)；

14、配置模塊，用于在prometheus中設(shè)置external_labels屬性，以便在查詢或?qū)С鰯?shù)據(jù)時(shí)自動(dòng)添加這些標(biāo)簽到所有指標(biāo)中；

15、job配置模塊，用于根據(jù)監(jiān)控目標(biāo)的類型劃分不同的prometheus?job，實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的精細(xì)化劃分；

16、kubernetes集成模塊，通過kubernetes的service?discovery機(jī)制和relabel_configs配置項(xiàng)，自動(dòng)發(fā)現(xiàn)集群中的service和pod，并允許對(duì)從kubernetes?api獲取的標(biāo)簽進(jìn)行過濾、重命名、添加和修改；

17、shell-operator集成模塊，用于監(jiān)聽kubernetes事件，并根據(jù)事件類型和pod屬性通過shell腳本動(dòng)態(tài)設(shè)置或修改pod的監(jiān)控標(biāo)簽；

18、consul集成模塊，允許用戶通過界面或api為consul中的服務(wù)設(shè)置自定義監(jiān)控標(biāo)簽，prometheus基于這些標(biāo)簽進(jìn)行服務(wù)發(fā)現(xiàn)和監(jiān)控；

19、helm?charts集成模塊，允許在charts的yaml定義中為kubernetes資源設(shè)置與監(jiān)控相關(guān)的標(biāo)簽和注解；

20、exporter配置模塊，用于在exporter配置中指定監(jiān)控指標(biāo)并添加自定義標(biāo)簽，以便將帶有標(biāo)簽的監(jiān)控?cái)?shù)據(jù)發(fā)送到prometheus服務(wù)器。

21、優(yōu)選的，所述kubernetes集成模塊進(jìn)一步包括：

22、使用metadata.labels在pod的yaml定義中添加監(jiān)控標(biāo)簽；

23、使用metadata.annotations在pod的yaml定義中添加與監(jiān)控相關(guān)的元數(shù)據(jù)；

24、在prometheus配置文件中，通過relabel_configs配置項(xiàng)對(duì)從kubernetes?api獲取的標(biāo)簽進(jìn)行過濾、重命名、添加和修改。

25、優(yōu)選的，所述shell-operator集成模塊進(jìn)一步包括：

26、編寫shell腳本以監(jiān)聽kubernetes中指定命名空間pod的事件；

27、根據(jù)pod的當(dāng)前標(biāo)簽、節(jié)點(diǎn)信息和事件類型，動(dòng)態(tài)地為pod設(shè)置或修改監(jiān)控標(biāo)簽和注解；

28、通過檢查pod的標(biāo)簽和注解，識(shí)別需要監(jiān)控的服務(wù)，并為其添加必要的監(jiān)控標(biāo)簽，以便prometheus進(jìn)行自動(dòng)發(fā)現(xiàn)和監(jiān)控。

29、優(yōu)選的，所述consul集成模塊進(jìn)一步包括：

30、允許用戶通過界面或api為consul中的服務(wù)設(shè)置自定義監(jiān)控標(biāo)簽；

31、標(biāo)簽作為服務(wù)注冊(cè)信息的一部分進(jìn)行存儲(chǔ)，并通過consul的api進(jìn)行查詢；

32、prometheus使用consul作為服務(wù)發(fā)現(xiàn)源，并基于標(biāo)簽來(lái)過濾和選擇需要監(jiān)控的服務(wù)。

33、優(yōu)選的，所述exporter配置模塊進(jìn)一步包括：

34、在exporter配置中指定要收集的監(jiān)控指標(biāo)，并為其添加自定義的標(biāo)簽；

35、標(biāo)簽作為監(jiān)控?cái)?shù)據(jù)的一部分被發(fā)送到prometheus服務(wù)器，實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)的精細(xì)化分類和管理；

36、不同的exporter為不同的應(yīng)用或服務(wù)收集監(jiān)控?cái)?shù)據(jù)，并為數(shù)據(jù)添加獨(dú)特的標(biāo)簽，以便在prometheus中進(jìn)行查詢和分析。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

38、本發(fā)明提出的基于prometheus的監(jiān)控系統(tǒng)動(dòng)態(tài)設(shè)置標(biāo)簽方法及系統(tǒng)，靈活的適應(yīng)不同場(chǎng)景下的監(jiān)控需求，無(wú)需修改代碼或部署的應(yīng)用程序；可以滿足更細(xì)粒度的監(jiān)控要求；可以滿足檢索特定場(chǎng)景或事件的詳細(xì)信息；可以滿足特定監(jiān)控?cái)?shù)據(jù)更精確報(bào)警的要求；可以為故障排查和診斷提供更快速的定位，追根溯源；擴(kuò)展性強(qiáng)，可以輕松的添加新的標(biāo)簽用于描述監(jiān)控的元素?？傊?，動(dòng)態(tài)設(shè)置監(jiān)控標(biāo)簽為監(jiān)控系統(tǒng)帶來(lái)了更高的靈活性、細(xì)粒度、準(zhǔn)確性和可擴(kuò)展性。