在剛剛結束的龍蜥大會eBPF&Linux 上，龍蜥系統運維SIG張毅做了《SysAK系統運維工具集》的主題演講。 以下為演講實錄。

您好，在今年的云棲大會上，我們在龍蜥社區開源了系統運維工具集SysAK，并提供了多種診斷功能。 作為系統運維SIG（集團）的主要項目之一。 在過去的一年里，SysAK也在技術架構和應用場景上進行了更多的升級，以適應更多的場景。 明天分享最新版本的核心技術架構和使用場景。 由于時間關系，我將重點介紹監控模式的相關組件。 借助 OS 和 SysAK 的改進功能，我將監控疑難問題和系統健康狀況。

一、SysAK框架介紹

SysAK的全稱是Kit，是 的運維SIG。 通過對以往百萬臺服務器運維經驗的具體總結，提供完善的系統運維工具集，可覆蓋日常系統監控、在線問題診斷、系統故障修復等常見運維場景. 主要包括三個方面：

SysAK框架包括兩種模式，監控模式和診斷模式。

系統資源困難的指標包括CPU困難、內存困難、網絡困難、IO困難。 通過難點監控，可以找出應用運行過程中對資源的依賴，進而利用依賴與其他數據進行有效的配合。 應用程序應該做合理的調度和資源分配。

除了硬件四大資源外，系統軟件本身也存在困難。 例如，Linux內核系統在訪問各種文件、句柄、緩存和共享資源的過程中可能會形成并發困境。 SysAK 為解決這一難題也做了很多工作。

干擾是應用程序運行過程中比較常見的原因，它會導致晃動或運行中斷。 SysAK順應當前云原生趨勢，實現了容器資源的可視化。

診斷模式是指及時發現問題，根據問題根源進行診斷，隨時可用。 根據用戶運維場景，目前支持以下三種：

除了用戶場景，我們還為中級技術人員提供更深層次的數據診斷，比如有長期系統調用數據的功能，中斷運行統計，調度模塊，內存模塊，延時抖動，內存泄漏等，都會基于每個孩子。 通過特殊功能診斷系統的特性。

SysAK通過松耦合、依賴管理、多架構、多版本建立支持保障工具開發者服務器運維，只需一次開發，無需額外工作即可集成在主流架構和操作系統版本上。

2. SysAK監控場景應用

SysAK的監控服務主要提供三種能力：資源監控、異常告警、根因分析。 其中，異常告警功能會設置一個特殊的閾值，提供告警，并進行人工分析。

SysAK可以借助增強指標來監控容器資源的使用情況，主要依賴于 OS內核的增強特性和SysAK自身的擴展。

抖動是日常運維過程中偶爾會出現的問題。 在零星的過程中沒有收集到實際的根本原因數據。 如果采集的數據過多服務器運維，會影響系統的整體性能； 如果收集的數據太少，則不足以分析問題的根本原因。 業務波動的原因可以歸納為以下三類：

以上三類原因基本可以涵蓋70%-80%的抖動根本原因，所以檢查以上三類問題基本可以解決抖動問題。

SysAk 還改進了系統健康警報。

比如應用沒有鳴笛，而是突然變慢，長期積累會導致系統進入無法使用的狀態，如夯實。 撞擊會造成很大的影響，而且大部分都無法恢復。 但在此之前，可以通過各種方式進行預警。 例如，可以通過算法查看夯機的沖擊指標，判斷是否會發生夯機，提前預測健康度。 主要判斷指標包括調度延遲、內核態鎖競爭信噪比、內存回收信噪比等。

根據以往經驗，我們將當前的異常參考閾值設置為50%。

SysAK目前主要用于單機診斷和監控。 它不僅在本機使用SysAK命令直接查看數據，還支持通過http端口對外提供數據服務，如上圖所示。 同時，還可以根據數據進行圖形化展示。

三、未來演進路線

未來，我們不僅會建立工具本身的使用場景，還會繼續完善SysAK的其他能力。 現在，

SysAK 只能在系統級別進行診斷。 未來我們也會考慮在應用層面做診斷，為應用診斷提供更多的數據。

另外，SysAK已經在 開源，希望有更多的開發者加入，讓運維發展的更好。 我們也希望SysAK工具能繼續發展，發揮運維平臺技術資料收集的作用，所以會以平臺插件為主。 目前已經作為SysOM和云監控的組件使用，希望未來可以作為插件擴展，滿足更多場景。

相關地址鏈接：

系統運維SIG：

來源官網：

關于 eBPF&Linux 講義的獲取形式：