当前位置：网站首页>Graylog 新一代日志收集预警系统安装配置

Graylog 新一代日志收集预警系统安装配置

2022-06-27 18:19:00 【51CTO】

在公司里面一直负责整个公司的监控体系的建设，主要包括底层服务器的硬件监控、系统层面的监控、网络设备的监控、中间件和应用层面的监控等等。虽然Zabbix支持日志监控，由于在数据量、搜索和日志展示方面都比较弱化，只能做简单的日志报警。因此日志监控还是需要通过专业的工具来做。我对比过ELK、商业日志工具Splunk和Graylog，后面选择了Graylog。Graylog简单说就是一款开源的日志聚合、分析、审计、展现和预警工具。相比ELK，Graylog更轻量，UI界面更美观，有丰富和完善的API接口。目前收集了网络设备的日志、MySQL错误日志、Linux系统日志等，后期将考虑接入微服务日志。各种日志都按照错误级别做了统计分析，通过查看Dashboards报表就可以确认线上几千台设备是否有问题。对应高级别的日志通过Graylog +Python程序实现微信和邮件的告警的功能。

一、Graylog优点

零开发：从收集->存储->分析->呈现完整流程。
部署维护简单：一体化解决方案，不像ELK三个独立系统集成。
多日志源接入：syslog、Filebeat、Log4j、Logstash等。
多协议接入：UDP、TCP、HTTP、AMQP。
自定义面板：提供曲线图、饼状图、世界地图等丰富的图形列表。
全文搜索：支持按语法进行过滤搜索全部日志。
支持报警：具有报警功能的日志分析平台，目前只支持邮件，可以通过API实现微信告警。
权限管理：灵活的权限分配和管理。
支持集群：可以根据应用扩展平台性能。

二、Graylog架构设计，支持集群

GrayLog：提供 GrayLog对外接口，属于CPU密集。
Elasticsearch：日志文件的持久化存储和检索，属于IO密集。
MongoDB：存储一些 GrayLog 的配置信息。

Graylog 新一代日志收集预警系统安装配置_mongodb

三、安装配置

3.1 通过Docker安装mongodb数据库。

#获取3.6.5版本的mongo镜像。
docker pull mongo:3.6.5

#运行容器。
docker run -itd --name graylog-mongo01 -p 27017:27017 mongo:3.6.5 --auth 

#进入mongo数据库，创建admin用户并授超级用户权限。
docker exec -it graylog-mongo01 mongo admin

> use admin
switched to db admin
> db.createUser(
...     {
...         user:"admin",
...         pwd:"xxxxxx",
...         roles:[{role:"root",db:"admin"}]
...     }
... );

#给graylog新建用户和密码,必须把数据库切换到该数据库下面。
> use graylog
switched to db graylog

> db.createUser(
   {
      user:"grayloguser",
      pwd:"xxxxxx",
      roles:[{role:"readWrite",db:"graylog"}]
   }
);
#查看用户是否存在。
> show users;
{
        "_id" : "graylog.grayloguser",
        "user" : "grayloguser",
        "db" : "graylog",
        "roles" : [
                {
                        "role" : "readWrite",
                        "db" : "graylog"
                }
        ]
}

#通过用户名密码进入mongo容器里面
[[email protected] ~]# docker exec -it graylog-mongo01 mongo admin -u admin -p
MongoDB shell version v3.6.5
Enter password:
connecting to: mongodb://127.0.0.1:27017/admin
MongoDB server version: 3.6.5


     
      1.
      2.
      3.
      4.
      5.
      6.
      7.
      8.
      9.
      10.
      11.
      12.
      13.
      14.
      15.
      16.
      17.
      18.
      19.
      20.
      21.
      22.
      23.
      24.
      25.
      26.
      27.
      28.
      29.
      30.
      31.
      32.
      33.
      34.
      35.
      36.
      37.
      38.
      39.
      40.
      41.
      42.
      43.
      44.
      45.
      46.
      47.
      48.
      49.
      50.
      51.

3.2 通过docker compose的方式安装ES。

[[email protected] ~]# cat /etc/docker/conf/docker-compose.yml 
version: '2.2'
services:
  sw-es01:
    image: xx.xx.xx.xx:5000/library/elasticsearch:7.6.0
    container_name: sw-es01
    restart: always
    environment:
      - cluster.name=sw-docker-cluster
      - node.name=sw-es01
      - discovery.type=single-node
      - network.host=0.0.0.0
      - network.publish_host=192.168.xx.xx
      - transport.tcp.port=9300
      - http.cors.enabled=true
      - http.cors.allow-origin=*
      - "ES_JAVA_OPTS=-Xms32g -Xmx32g"
      - bootstrap.memory_lock=true
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elsearch/data:/usr/share/elasticsearch/data
      - /data/elsearch/logs:/usr/share/elasticsearch/logs
    ports:
      - 9200:9200


    network_mode: host


    ulimits:
      memlock:
        soft: -1
        hard: -1
      nofile:
        soft: 65535
        hard: 65535

[[email protected] ~]# nohub docker-compose -f /etc/docker/conf/sw.yml up &

     
      1.
      2.
      3.
      4.
      5.
      6.
      7.
      8.
      9.
      10.
      11.
      12.
      13.
      14.
      15.
      16.
      17.
      18.
      19.
      20.
      21.
      22.
      23.
      24.
      25.
      26.
      27.
      28.
      29.
      30.
      31.
      32.
      33.
      34.
      35.
      36.
      37.
      38.
      39.
      40.
      41.

3.3 安装Graylog服务。

创建graylog配置文件目录。

安装graylog服务。

[[email protected] software]# tar -zxvf graylog-VERSION.tgz -C /usr/loca/
[[email protected] software ]# cd /usr/local/
[[email protected] local]# ln -s  graylog-VERSION graylog

     
      1.
      2.
      3.

拷贝和编辑graylog配置文件和启动文件。

[[email protected] local]# cp graylog/graylog.conf /etc/graylog/server/
[[email protected] local]# cp graylog/bin/graylogctl /etc/init.d/
[[email protected] ~]# grep '^[a-z]' /etc/graylog/server/server.conf
is_master = true
node_id_file = /etc/graylog/server/graylog-node-1
password_secret = Z2LoxxeFvWoAPbMF0sIlYWhHH06leW6bfUAeImqhUe86Wzq8p4HDZAyKTQpaedvBuCoKYjaQAGQTj93R33sREiSIVt1sTRg0
root_username = admin
root_password_sha2 = xxxxxx
root_timezone = Asia/Shanghai
bin_dir = bin
data_dir = data
plugin_dir = plugin
http_bind_address = 0.0.0.0:8080
http_publish_uri = http://192.168.xx.xx:8080/
rotation_strategy = count
elasticsearch_max_docs_per_index = 20000000
elasticsearch_max_number_of_indices = 20
retention_strategy = delete
elasticsearch_shards = 4
elasticsearch_replicas = 0
elasticsearch_index_prefix = graylog
allow_leading_wildcard_searches = false
allow_highlighting = false
elasticsearch_analyzer = standard
output_batch_size = 500
output_flush_interval = 1
output_fault_count_threshold = 5
output_fault_penalty_seconds = 30
processbuffer_processors = 5
outputbuffer_processors = 3
processor_wait_strategy = blocking
ring_size = 65536
inputbuffer_ring_size = 65536
inputbuffer_processors = 2
inputbuffer_wait_strategy = blocking
message_journal_enabled = true
message_journal_dir = data/journal
lb_recognition_period_seconds = 3
#指定mongodb数据库用户名和密码。
mongodb_uri = mongodb://grayloguser:[email protected]:27017/graylog
mongodb_max_connections = 1000
mongodb_threads_allowed_to_block_multiplier = 5
#指定graylog邮件服务，后期告警可以通过这个发邮件。
transport_email_enabled = true
transport_email_hostname = 192.168.xx.xx
transport_email_port = 25
transport_email_use_auth = false
transport_email_subject_prefix = [graylog]
transport_email_from_email = [email protected]
proxied_requests_thread_pool_size = 32

     
      1.
      2.
      3.
      4.
      5.
      6.
      7.
      8.
      9.
      10.
      11.
      12.
      13.
      14.
      15.
      16.
      17.
      18.
      19.
      20.
      21.
      22.
      23.
      24.
      25.
      26.
      27.
      28.
      29.
      30.
      31.
      32.
      33.
      34.
      35.
      36.
      37.
      38.
      39.
      40.
      41.
      42.
      43.
      44.
      45.
      46.
      47.
      48.
      49.
      50.