1.概述

Alertmanager与Prometheus是相互分离的两个组件。Prometheus服务器根据报警规则将警报发送给Alertmanager，然后Alertmanager将silencing、inhibition、aggregation等消息通过电子邮件、PaperDuty和HipChat发送通知。

在 Prometheus 中告警分为两部分:

• Prometheus 服务根据所设置的告警规则将告警信息发送给 Alertmanager。

• Alertmanager 对收到的告警信息进行处理，包括分组，抑制，静默策略路由告警通知。
  使用告警服务主要的步骤如下：

• 安装配置 Alertmanager。

• 通过设置 -alertmanager.url 让 Prometheus 服务与 Alertmanager 进行通信。

• 在 Prometheus 服务中设置告警规则。

2.Grouping:分组

分组是指当出现问题时，Alertmanager会收到一个单一的通知，而当系统宕机时，很有可能成百上千的警报会同时生成，这种机制在较大的中断中特别有用。

例如，当数十或数百个服务的实例在运行，网络发生故障时，有可能服务实例的一半不可达数据库。在告警规则中配置为每一个服务实例都发送警报的话，那么结果是数百警报被发送至Alertmanager。

但是作为用户只想看到单一的报警页面，同时仍然能够清楚的看到哪些实例受到影响，因此，人们通过配置Alertmanager将警报分组打包，并发送一个相对看起来紧凑的通知。

分组警报、警报时间，以及接收警报的receiver是在配置文件中通过路由树配置的。

3.Inhibition:抑制

抑制是指当警报发出后，停止重复发送由此警报引发其他错误的警报的机制。

例如，当警报被触发，通知整个集群不可达，可以配置Alertmanager忽略由该警报触发而产生的所有其他警报，这可以防止通知数百或数千与此问题不相关的其他警报。

抑制机制可以通过Alertmanager的配置文件来配置。

1.前言

在 Prometheus 中负责数据汇报的程序统一叫做 Exporter, 而不同的 Exporter 负责不同的业务。 它们具有统一命名格式，即 xx_exporter, 例如负责主机信息收集的 node_exporter。

Exporter原理就是将收集的数据转化为文本格式，并对外暴露接口，提供 http 请求。

2.node_exporter

node_exporter 主要用于 *NIX 系统监控, 用 Golang 编写。

默认开启的功能：

默认关闭的功能：

注意：我们可以使用 –collectors.enabled 运行参数指定 node_exporter 收集的功能模块, 如果不指定，将使用默认模块。

3.程序安装和启动

3.1 二进制安装

我们可以到下载页面 选择对应的二进制安装包，下面我将以 0.14.0 作为例子：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

#使用 wget 下载 Node Exporter
cd /usr/local/src/
https://github.com/prometheus/node_exporter/releases/download/v0.14.0/node_exporter-0.14.0.linux-amd64.tar.gz

#使用 tar 解压缩 node_exporter-0.14.0.linux-amd64.tar.gz
cd /usr/local/src/
tar -xvzf ~/Download/node_exporter-0.14.0.linux-amd64.tar.gz
cd node_exporter-0.14.0.linux-amd64
#启动 Node Exporter
#我们可以使用 ./node_exporter -h 查看运行选项，./node_exporter 运行 Node Exporter, 如果看到类似输出，表示启动成功。
./node_exporter
INFO[0000] Starting node_exporter (version=0.14.0, branch=master, revision=840ba5dcc71a084a3bc63cb6063003c1f94435a6)  source="node_exporter.go:140"
INFO[0000] Build context (go=go1.7.5, user=root@bb6d0678e7f3, date=20170321-12:13:32)  source="node_exporter.go:141"
INFO[0000] No directory specified, see --collector.textfile.directory  source="textfile.go:57"
INFO[0000] Enabled collectors:                           source="node_exporter.go:160"
.....
INFO[0000] Listening on :9100                            source="node_exporter.go:186"

1.前言

Prometheus 启动的时候，可以加载运行参数 -config.file 指定配置文件，默认为 prometheus.yml。

在配置文件中我们可以指定 global, alerting, rule_files, scrape_configs, remote_write, remote_read 等属性。

2.全局配置

global 属于全局的默认配置，它主要包含 4 个属性，

scrape_interval: 拉取 targets 的默认时间间隔。
scrape_timeout: 拉取一个 target 的超时时间。
evaluation_interval: 执行 rules 的时间间隔。
external_labels: 额外的属性，会添加到拉取的数据并存到数据库中。

3.告警配置

通常我们可以使用运行参数 -alertmanager.xxx 来配置 Alertmanager， 但是这样不够灵活，没有办法做到动态更新加载，以及动态定义告警属性。

所以 alerting 配置主要用来解决这个问题，它能够更好的管理 Alertmanager, 主要包含 2 个参数：

• alert_relabel_configs: 动态修改 alert 属性的规则配置。
• alertmanagers: 用于动态发现 Alertmanager 的配置。

4.规则配置

rule_files 主要用于配置 rules 文件，它支持多个文件以及文件目录。

配置文件结构大致为：

1
2
3

rule_files:
- "rules/node.rules"
- "rules2/*.rules"

1.前言

PromQL (Prometheus Query Language) 是 Prometheus 自己开发的数据查询 DSL 语言，语言表现力非常丰富，内置函数很多，在日常数据可视化，rule 告警中都会使用到它。

我们可以在页面 http://localhost:9090/graph 中，输入下面的查询语句，查看结果，例如：

http_requests_total{code=”200”}

2.字符串和数字

1
2
3
4
5
6
7
8

字符串: 在查询语句中，字符串往往作为查询条件 labels 的值，和 Golang 字符串语法一致，可以使用 "", '', 或者 `` , 格式如：
"this is a string"
'these are unescaped: \n \\ \t'
`these are not unescaped: \n ' " \t`

正数，浮点数: 表达式中可以使用正数或浮点数，例如：
3
-2.4

3.查询结果类型

PromQL 查询结果主要有 3 种类型：

• 瞬时数据 (Instant vector): 包含一组时序，每个时序只有一个点，例如：http_requests_total
• 区间数据 (Range vector): 包含一组时序，每个时序有多个点，例如：http_requests_total[5m]
• 纯量数据 (Scalar): 纯量只有一个数字，没有时序，例如：count(http_requests_total)

1.数据模型

Prometheus 存储的是时序数据, 即按照相同时序(相同的名字和标签)，以时间维度存储连续的数据的集合。

1.1 时序索引

时序(time series) 是由名字(Metric)，以及一组 key/value 标签定义的，具有相同的名字以及标签属于相同时序。

时序的名字由 ASCII 字符，数字，下划线，以及冒号组成，它必须满足正则表达式 [a-zA-Z_:][a-zA-Z0-9_:]*, 其名字应该具有语义化，一般表示一个可以度量的指标，例如 http_requests_total, 可以表示 http 请求的总数。

时序的标签可以使 Prometheus 的数据更加丰富，能够区分具体不同的实例，例如 http_requests_total{method=”POST”} 可以表示所有 http 中的 POST 请求。

标签名称由 ASCII 字符，数字，以及下划线组成， 其中 __ 开头属于 Prometheus 保留，标签的值可以是任何 Unicode 字符，支持中文。

1.2 时序样本

按照某个时序以时间维度采集的数据，称之为样本，其值包含：

• 一个 float64 值
• 一个毫秒级的 unix 时间戳

1.3 格式

Prometheus 时序格式与 OpenTSDB 相似：

<metric name>{<label name>=<label value>, …}
其中包含时序名字以及时序的标签。

1.二进制包安装方式部署

我们可以到 Prometheus 二进制下载页面，选择自己需要的系统版本，下面我们将以 centos server 作为演示。

环境准备:

• linux amd64 (centos server)
• prometheus 2.1.0(这个是本次演示版，生产应该使用最新的稳定版)

1.1 下载 Prometheus Server

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

#使用 wget 下载 Prometheus 的安装包

wget https://github.com/prometheus/prometheus/releases/download/v2.1.0/prometheus-2.1.0.linux-amd64.tar.gz

#创建 Prometheus 目录，用于存放所有 Prometheus 相关的运行服务

mkdir /usr/local/prometheus

#使用 tar 解压缩 prometheus-2.1.0.linux-amd64.tar.gz

tar -xvzf prometheus-2.1.0.linux-amd64.tar.gz

#移动解压的目录到规范好的目录

mv prometheus-2.1.0.linux-amd64/*  /usr/local/prometheus

#当解压缩成功后，可以运行 version 检查运行环境是否正常

./prometheus --version

#如果你看到类似输出，表示你已安装成功:

prometheus, version 2.1.0 (branch: HEAD, revision: 85f23d82a045d103ea7f3c89a91fba4a93e6367a)
build user: root@6e784304d3ff
build date: 20180119-12:01:23
go version: go1.9.2

1.前言

一种新工具的出现，都意味着解决某一种或者某一类问题，那Prometheus的出现是解决什么问题呢，让我们从Prometheus和各种监控对比过程中得出答案。

2.Prometheus vs Zabbix

• Zabbix 使用的是 C 和 PHP, Prometheus 使用 Golang, 整体而言 Prometheus 运行速度更快一点。
• Zabbix 属于传统主机监控，主要用于物理主机，交换机，网络等监控，Prometheus 不仅适用主机监控，还适用于 Cloud, SaaS, Openstack，Container 监控。
• Zabbix 在传统主机监控方面，有更丰富的插件。
• Zabbix 可以在 WebGui 中配置很多事情，但是 Prometheus 需要手动修改文件配置。

3.Prometheus vs InfluxDB

• InfluxDB 是一个开源的时序数据库，主要用于存储数据，如果想搭建监控告警系统， 需要依赖其他系统。
• InfluxDB 在存储水平扩展以及高可用方面做的更好, 毕竟核心是数据库。

4.Prometheus vs OpenTSDB

• OpenTSDB 是一个分布式时序数据库，它依赖 Hadoop 和 HBase，能存储更长久数据， 如果你系统已经运行了 Hadoop 和 HBase, 它是个不错的选择。

• 如果想搭建监控告警系统，OpenTSDB 需要依赖其他系统。

1.概念

Prometheus是一个开源的系统监控和报警的工具包，最初由SoundCloud发布。从 2012 年开始编写代码，再到 2015 年 github 上开源以来，已经吸引了 9k+ 关注，以及很多大公司的使用；2016 年 Prometheus 成为继 k8s 后，第二名CNCF成员。作为新一代开源解决方案，很多理念与 Google SRE 运维之道不谋而合。

2.主要功能

• 多维 数据模型（时间序列数据由 metric 名字和 k/v 的 labels 构成）。
• 灵活的查询语句（PromQL）。
• 无依赖存储，支持 local 和 remote 不同模型。
• 通过pull方式采集时间序列，通过http协议传输。
• 支持通过中介网关的push时间序列的方式
• 监控目标，可以采用服务发现或静态配置的方式。
• 支持多种可视化图表及仪表盘。

3.核心组件

• Prometheus Server， 主要用于抓取数据和存储时序数据，另外还提供查询和 Alert Rule 配置管理。
• client libraries，用于对接 Prometheus Server, 可以查询和上报数据。
• push gateway ，用于批量，短期的监控数据的汇总节点，主要用于业务数据汇报等。
• 各种汇报数据的 exporters ，例如汇报机器数据的 node_exporter, 汇报 MongoDB 信息的 MongoDB exporter 等等。
• 用于告警通知管理的 alertmanager 。