项目实战五：搭建ELk日志收集系统

本文主要总结整体思路和kibana自定义图表和Dashboard

整体思路如下：

思路说明：我们的程序或app生成日志后，由Filebeat进行收集，发送到Logstash，Logstash进行分割处理等，处理完后再发送 es中，最后由Kibana进行展示，Kibana展示时可以自定义图表等

一：Elasticsearch及Kibana安装

        参考地址：Elasticsearch及Kibana安装_cc_南柯一梦的博客-CSDN博客

二：Logstash安装及使用

        参考地址：Logstash安装及使用_cc_南柯一梦的博客-CSDN博客

        参考文章中的配置的是直接读取的文件，需要修改配置文件

        ​​​​​​​ 

        原日志截图

        

        配置filter说明：用|进行分割，分割后会生成数组， 再添加字段添加到日志中发送给es

        

input {
  beats{
    port => "5044"
  }
}

filter {
  mutate {
    split => {"message"=>"|"}
  }
  mutate {
    add_field => {
      "cc" => "%{[message][3]}"
      "visit" => "%{[message][4]}"
    }
  }
  mutate {
    convert => {
      "cc" => "string"
      "visit" => "string"
    }
  }

}

output {
  elasticsearch {
    hosts => ["192.168.231.147:9200"]
   }
}

三：Filebeat安装及使用

        参考地址：Filebeat安装及使用_cc_南柯一梦的博客-CSDN博客

        注意参考文章中filebeat是直接发送到es中，此时我们要修改配置文件，把收集到的日志发送到Logstash，配置如下

        

四：kibana自定义图表和Dashboard

        【1】创建pattern

        

        

        

        【2】创建柱形图

                1、开始创建

                 

                 

                

                 2、可以设置一个时间轴        ​​​​​​​    

                

                可以设置读取数据的时间段，统计间隔，刷新时间等

                 

 

                 3、进行保存

                

        【3】创建饼图分布

                

                 

                添加字段，设置属性，生成自己想要的饼图

                 

                 

                 进行保存

                

         【4】数据表格

                add我们想要的数据

                

                 进行保存

                

        【5】制作Dashboard

                

                 

                点击即可

                 

                可以拖动位置，及大小。调整为自己想要的样式

        ​​​​​​​        

                 一样也进行保存

                

 

这样我们的elk日志管理系统搭建完成了。