背景

過(guò)去很長(zhǎng)一段時(shí)間，我們都在監(jiān)控平臺(tái)建設(shè)的道路上不斷探索和實(shí)踐。 同時(shí)，監(jiān)控需求也在隨著技術(shù)架構(gòu)和業(yè)務(wù)規(guī)模不斷演進(jìn)：

但是最終不管我們?cè)趺窗l(fā)展，我們運(yùn)維的核心目標(biāo)還是一樣的，就是為業(yè)務(wù)服務(wù)。

問(wèn)題

在監(jiān)控平臺(tái)運(yùn)行過(guò)程中，我們一般會(huì)面臨以下問(wèn)題：

其中，監(jiān)控與業(yè)務(wù)的分離一直是我們忽略的一個(gè)問(wèn)題。 隨著架構(gòu)和業(yè)務(wù)規(guī)模的不斷發(fā)展，多維監(jiān)控通常看起來(lái)對(duì)業(yè)務(wù)應(yīng)用的可用性起著重要作用服務(wù)器運(yùn)維技術(shù)，難以與業(yè)務(wù)流程實(shí)現(xiàn)有效結(jié)合。 聯(lián)系。 這時(shí)候需要對(duì)業(yè)務(wù)比較了解或者比較了解的相關(guān)人員做進(jìn)一步的判斷，這無(wú)疑大大延長(zhǎng)了宕機(jī)時(shí)間，嚴(yán)重影響了我們的SLA。

需要

針對(duì)以上問(wèn)題，我們其實(shí)還是提倡多維監(jiān)控的概念。 我們從業(yè)務(wù)結(jié)構(gòu)上收集了超過(guò)20萬(wàn)條各個(gè)維度的監(jiān)控指標(biāo)數(shù)據(jù)，但是它們都是離散的，很難有效串聯(lián)起來(lái)幫助我們更精準(zhǔn)的進(jìn)行監(jiān)控。 定位問(wèn)題。

為此，我們對(duì)監(jiān)控平臺(tái)提出了幾個(gè)新的要求：

事實(shí)上，我們希望更貼近業(yè)務(wù)流程進(jìn)行監(jiān)控服務(wù)器運(yùn)維技術(shù)，只有通過(guò)圖形化的數(shù)據(jù)展示，才能更直觀地定位到業(yè)務(wù)流程中的問(wèn)題節(jié)點(diǎn)。

解決方案

由于監(jiān)控平臺(tái)數(shù)據(jù)可能存儲(chǔ)在各種數(shù)據(jù)庫(kù)、ES等多個(gè)監(jiān)控子系統(tǒng)中，我們采用多數(shù)據(jù)源和豐富的插件來(lái)滿足圖形可視化的需求。 現(xiàn)在我們既有圖形又有數(shù)據(jù)，現(xiàn)在只缺一套完整的業(yè)務(wù)流程把它們結(jié)合起來(lái)完成最后一步的圖形展示。

基于以上對(duì)現(xiàn)狀的分析，我們最終的解決方案有兩種：

其中，連接各個(gè)監(jiān)控子系統(tǒng)，插件可以根據(jù)業(yè)務(wù)流程生成圖形，通過(guò)正則匹配從各個(gè)數(shù)據(jù)源中提取數(shù)據(jù)，以圖形方式展示。

在 .js 庫(kù)的幫助下創(chuàng)建流程圖、序列圖和甘特圖。

其中，組合是一個(gè)比較引人注目的功能。 通過(guò)聚合多個(gè)功能，它可以清楚地顯示哪個(gè)節(jié)點(diǎn)有問(wèn)題。

根據(jù)我們實(shí)際的業(yè)務(wù)流程，我們可以通過(guò)

graph LR
      LB[Load Balancer] -- route1 --> web1
      LB[Load Balancer] --> web2
      web1 --> app1(fa:fa-check app1)
      web1 ==> app2
      web2 ==> app2(fa:fa-ban app2)
      web2 --> app1
      app1 --> D[(database)]

根據(jù)定義的句型，可以生成如下圖形：

如圖，我們的app2就是我們定義的一個(gè)組合。 作為業(yè)務(wù)流程圖中的前端服務(wù)，聚合了三、三、三。 通過(guò)組合可以直觀的看出應(yīng)用此時(shí)超過(guò)了閾值，可以快速定位問(wèn)題。

并且通過(guò)實(shí)際使用，即使在功能上滿足了我們的需求，但在細(xì)節(jié)上還是存在不足：

可以顯示復(fù)雜的圖表，需要使用在線圖形庫(kù)draw.io來(lái)創(chuàng)建各種類(lèi)型的圖表：

可提供實(shí)時(shí)數(shù)據(jù)，并可在流程圖中定義數(shù)據(jù)與圖形交互。 具體功能如下：

通過(guò)Draw繪制的網(wǎng)絡(luò)拓?fù)鋱D，結(jié)合數(shù)據(jù)交互，如右圖所示：

與Draw相比，它可以更全面地根據(jù)業(yè)務(wù)流程進(jìn)行繪制，方便維護(hù)，并且可以靈活地為每個(gè)設(shè)置閾值。

遺憾

，完全可以滿足我們對(duì)圖形+數(shù)據(jù)+業(yè)務(wù)流程的可視化監(jiān)控，使用前我們需要做以下兩件事：

以上第一點(diǎn)是常年工作，也是非常重要的基礎(chǔ)工作； 而第二點(diǎn)需要我們繼續(xù)探索，尋找突破口。

總結(jié)

有了這套解決方案，剩下的問(wèn)題就是我們需要了解和熟悉業(yè)務(wù)流程。 這不是一件簡(jiǎn)單的事情。 需要覆蓋業(yè)務(wù)流程變更等所有環(huán)節(jié)。 只有了解業(yè)務(wù)，才能更好地為業(yè)務(wù)服務(wù)。

通過(guò)不斷的排序和補(bǔ)全，我們可以圖形化的展示各種業(yè)務(wù)流程。 除了能夠更快地定位問(wèn)題，其直觀的可視化展示可以幫助相關(guān)團(tuán)隊(duì)成員更快上手和適應(yīng)工作，有利于團(tuán)隊(duì)的發(fā)展。 進(jìn)步特別有幫助。