Logstash安装与使用

1. 简介

略

2. 安装过程：

需要java环境

确定Java环境无误时，官网下载并解压，执行：

cd bin
./logstash -e "input { stdin { } } output { stdout {} }"

windows下单引号出错，改写为双引号可以执行

windows下可能出现的java环境问题

这时候需要编辑logstash文件中的，给CLASSPATH加上引号。

在此执行指令，成功。

安装插件(需要翻墙或者挂镜像)：

打包：

# cd /usr/share/logstash/bin
# ./logstash-plugin prepare-offline-pack --overwrite --output logstash-input-jdbc-4.2.2.zip logstash-input-jdbc    
Offline package created at: logstash-input-jdbc-4.2.2.zip
 
You can install it with this command `bin/logstash-plugin install file:///usr/share/logstash/bin/logstash-input-jdbc-4.2.2.zip`

3. 通过logstash将Mysql数据导入ES

需要安装上述的logstash-input-jdbc插件。安装完成后，配置一个.conf文件，参考格式如下：

input {
  stdin {
  }
  jdbc {
  jdbc_connection_string => "jdbc:mysql://localhost:3306/world"
  jdbc_user => "root"
  jdbc_password => "******"
  jdbc_driver_library => "G:/ElasticSearch/logstash-6.3.2/driver/mysql-connector-java-5.1.41-bin.jar"
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  statement => "SELECT * FROM city"
  type => "test02"
  }
}

filter {
  json {
  source => "message"
  remove_field => ["message"]
  }
}

output {
  elasticsearch {
  hosts => "localhost:9200"
  index => "world"
  document_id => "%{id}"
  }
  stdout {
  codec => json_lines
  }
}

官方input内容模板：
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.36-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb"
    jdbc_user => "mysql"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * * * *"
    statement => "SELECT * from songs where artist = :favorite_artist"
  }
}

statement 可以改为 statement_filepath，通过路径指向一个sql文件。

配置文件编写完成后，通过 > logstash -f *.conf 运行，运行结果可以反馈到cmd页面进行查看。