ELK 三剑客安装配置

前言

之前使用 Linux 安装 Elasticsearch 并配置/Elasticsearch 安装过程中问题小记 两篇文章记录了 Elasticsearch 安装过程和注意点。

而这节主要说明 elk 中 l 所代表 logstash, 以及 k: kibana 相关内容

ELK 国内镜像地址

国内镜像：mirrors.huaweicloud.com/

• filebeat：mirrors.huaweicloud.com/filebeat/
• elasticsearch: mirrors.huaweicloud.com/elasticsear…
• Kibana: mirrors.huaweicloud.com/kibana/
• Logstash: mirrors.huaweicloud.com/logstash/
• RabbitMQ: mirrors.huaweicloud.com/rabbitMQ/

下载并安装 logstash

下载 logstash 压缩包

解压 logstash-7.8.0.tar.gz 并进入 logstash 文件夹

tar zxvf logstash-7.8.0.tar.gz

使用命令 ./bin/logstash -f logstash.conf 启动 logstash服务

配置 logstash.conf

准备 logstash 配置文件，配置内容重点在:

• input 指定采集文件路径、开始位置
• filter 过滤内容信息
• output 日志输出方式指定

input {
  file {
    path => "/work/env/elk/logstash-7.8.0/data/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://127.0.0.1:9200" 
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

kibana

下载 kibana

国内镜像：www.newbe.pro/tags/Mirror…

• filebeat：www.newbe.pro/Mirrors/Mir…
• elasticsearch: www.newbe.pro/Mirrors/Mir…
• Kibana: www.newbe.pro/Mirrors/Mir…
• Logstash: www.newbe.pro/Mirrors/Mir…
• RabbitMQ: www.newbe.pro/Mirrors/Mir…

在 Linux 系统安装 kibana

下载 kibana 压缩包

wget mirrors.huaweicloud.com/kibana/7.8.…

解压 kibana-7.8.0-linux-x86_64.tar.gz 并进入 kibana 文件夹

tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz && cd kibana-7.8.0

配置 kibana.yml 文件 以下内容 vim config/kibana.yml

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://127.0.0.1:9200"]

i18n.locale: "zh-CN"

启动 kibana

使用命令 ./bin/kibana 启动 kibana。启动成功过后，访问地址 http://localhost:5601 查看是否能正常访问即可

其他 kibana 命令

• bin/kibana-plugin list
• bin/kibana-plugin remove
• bin/kibana-plugin install analysis-icu # 安装 插件