Logstash安装及使用

Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理

说明：logstash收集日记相比较Filebeat很慢，所以收集日记使用Filebeat，可以不用logstash

一、下载

        地址：https://www.elastic.co/cn/downloads/logstash

二、安装

        依赖环境：jdk1.8+

        上传解压安装包

        tar -xvf logstash-7.13.3-linux-x86_64.tar.gz

        

        

 三、验证

        进入bin执行logstash启动命令，我们进行第一个logstash示例

        # bin/logstash -e 'input { stdin { } } output { stdout { } }'
        

        说明：此示例为做任何处理。输入什么就输出什么。

           启动后，输入hello及输出

          

 四、配置

        配置有三部分如下所示

         

        1、input文件读取和filter处理

             【1】创建配置文件

                vim itcast-log.conf

                内容

                

input{
  file{
    path => "/opt/cc.log"
    start_position => "beginning"
  }
}

filter{
  mutate {
    split => {"message"=>"|"}
  }
}

output{
  stdout { codec => rubydebug }
}

                 【2】：创建cc.log，进行演示准备

                        

                 【3】启动

                        命令：./bin/logstash -f itcast-log.conf 

                        

                 【4】启动后会看到已经获取到日志内容，且进行了处理

                         

         2、输出到Elasticsearch

                修改配置文件中output模块，hosts为数组，集群配置直接逗号分隔，进行添加即可。

                output{
                    elasticsearch{
                        hosts => ["192.168.231.146:9200"]
                    }
                }

                 

               在cc.log中添加新纪录

                 

                 查看（查看使用的是kibana）