Doris学习笔记之监控

背景

Doris可以使用Prometheus和Grafana进行监控和采集，官网下载最新版即可。

1. Prometheus官网下载：https://prometheus.io/download/；
2. Grafana官网下载：https://grafana.com/grafana/download。

Doris的监控数据通过FE和BE的http接口向外暴露。监控数据以key-value的文本形式对外展现。每个key还可能有不同的Label加以区分。当用户搭建好Doris 后，可以在浏览器，通过以下接口访问监控数据：

1. Frontend: fe_host:fe_http_port/metrics，如http://scentos:8030/metrics；
2. Backend: be_host:be_web_server_port/metrics，如 http://scentos:8040/metrics

整个监控架构如下图：

Prometheus

首先下载压缩包（https://github.com/prometheus/prometheus/releases/download/v2.26.0/prometheus-2.26.0.linux-amd64.tar.gz），上传，解压，重命名：

[[email protected] szc]# tar -zxvf prometheus-2.26.0.linux-amd64.tar.gz
[[email protected] szc]# mv prometheus-2.26.0.linux-amd64/ prometheus-2.26.0/
[[email protected] szc]# cd prometheus-2.26.0/

修改prometheus.yml，配置两个targets，分别表示FE和BE，并定义labels和groups：

[[email protected] prometheus-2.26.0]# vim prometheus.yml
...............
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus-doris'


    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.


    static_configs:
    - targets: ['scentos:8030']
      labels:
          group: fe
    - targets: ['scentos:8040']
      labels:
          group: be

启动Prometheus：

[[email protected] prometheus-2.26.0]# nohup ./prometheus --config.file=./prometheus.yml

在浏览器访问ip:9090，并查看Status->Targets：

便可以看到FE和BE已经上线：

点击一个，结果如下：

Grafana

下载安装和启动：

[[email protected] szc]# wget https://dl.grafana.com/enterprise/release/grafana-enterprise-7.5.2-1.x86_64.rpm
[[email protected] szc]# yum install grafana-enterprise-7.5.2-1.x86_64.rpm
[[email protected] szc]# service grafana-server start

访问ip:3000，用户名密码都是admin：

第一次访问要修改密码，不过可以点击下面的skip跳过这一步，就进入grafana的主界面：

然后，添加数据源：


选中Prometheus，点击Select，然后配置URL即可：

点击下面的保存并测试，出现数据源正常就行：

然后添加Dashboard，点击导入：
通过面板json导入中需要输入的内容参见百度网盘：链接：https://pan.baidu.com/s/1OTaQd3CZSSKmsJFwhn6HrQ ，提取码：y4p1
再点击加载：

在下一步里，palo选择上一步创建的Prometheus数据源，点击导入：

在下一步里，palo选择上一步创建的Prometheus数据源，点击导入：