ELK菜鸟手记 (一) 环境配置+log4j日志记录

  • 时间:
  • 浏览:2

2. 技术栈介绍

 

2-1) Elasticsearch:

3-3) 安装Kibana

5. 连通Kibana

Kibana is entirely written in HTML and JavaScript. )

Elasticsearch features are available through JSON over a RESTful API.

   内容如下:

It provides horizontal scalability, reliability, and multitenant capability for real-time search.

and released under an Apache 2.0 license (which means that it can be downloaded, used, and modi ed free of charge).

可不才能使用cURL命令:

想根据2个多关键字查询日志中某个关键信息相当困难。

3-1) 安装Elasticsearch

ELK = Elasticsearch + Logstash + Kibana

 2-2) Logstash

下载地址:

    /usr/local/logstash-5.2.2

./bin/logstash -f config/log4j-es.conf

你这个前一天,ELK诞生了。

./bin/kibana

4-2) log4j.properties(中放resources文件夹下)

[DEBUG] 2017-03-29 12:56:00,454 method:org.genesis.arena.elk.ElkLog4jTest.main(ElkLog4jTest.java:11)

This is a debug message!

[INFO ] 2017-03-29 12:56:00,529 method:org.genesis.arena.elk.ElkLog4jTest.main(ElkLog4jTest.java:12)

This is info message!

[WARN ] 2017-03-29 12:56:00,531 method:org.genesis.arena.elk.ElkLog4jTest.main(ElkLog4jTest.java:13)

This is a warn message!

[ERROR] 2017-03-29 12:56:00,533 method:org.genesis.arena.elk.ElkLog4jTest.main(ElkLog4jTest.java:14)

This is error message!

[ERROR] 2017-03-29 12:56:00,538 method:org.genesis.arena.elk.ElkLog4jTest.main(ElkLog4jTest.java:19)

java.lang.ArithmeticException: / by zero

那些是ELK?

c) 启动Elasticsearch

./bin/elasticsearch

Logstash is a data pipeline that helps collect, parse, and analyze a large variety of structured and unstructured data and events generated across various systems.

https://www.elastic.co/downloads/elasticsearch

Kibana是2个多基于Apache 2.0协议的开源可视化平台,它用来可视化任何特征化的和非特征化的存储在Elasticsearch索引

前面说了全都废话,接下来是每个多多守护进程 员感兴趣的动手环节了,let's start!

   新建配置文件log4j_es.conf

5-1) 打开 http://localhost:5301/

   还记得亲戚你们都前一天在logstash配置文件中配置的索引吗?

   cd config

   vi elasticsearch.yml

b) 编辑配置文件

在大数据时代,日志记录和管理变得尤为重要。

1. 背景介绍

Logstash是2个多数据管道,它被用来分类分类整理,解析和分析各种特征化的和非特征化的由各种系统产生的数据以及事件。

http://localhost:930

   cd config

   log4j-%{+YYYY.MM.dd}

从这可不才才能看一遍每个人刚才在Java代码中记录的日志。

好了,一切大功告成了!!!

    完整篇 路径如下:

5-3)验证

简单来说:它是一套完整篇 的日志记录和分析的出理 方案平台

把结果输出到各种输出源,比如:标准输出,控制台将会Elasticsearch。

以往的文件记录日志的形式,既查询起来又不方便,又造成日志在服务器上分散存储,管理起来相当麻烦,

)

3-2) 安装Logstash

a) 解压安装包logstash-5.2.2.tar.gz

4-1) 新建maven项目

   内容如下:

a) 解压安装包kibana-5.2.2.tar.gz

完整篇 路径如下:

/usr/local/ kibana-5.2.2

(

)

d) 验证

which allows it to dynamically index data without knowing the structure beforehand.

它提供了插件用来连接到各种输入数据源,可不才能高效指在理日志,事件以及非特征化的数据,其他可不才能通过输出插件的形式

是总要很有成就感啊?

It provides plugins to connect to various types of input sources and platforms, and is designed to ef ciently process logs, events,

3. 下载/安装/配置/启动

 Elasticsearch提供了水平的,可扩展的,可靠的,多用户形式的实时搜索。

4-3) Java代码(ElkLog4jTest.java):

(

namely le, stdout (as output on console running Logstash), or Elasticsearch. 

d) 验证

打开网址:

http://localhost:5301/

Elasticsearch的功可不才才能通过JSON格式的RESTful API形式访问。

c) 启动Logstash

    (将会每个人是mac系统)我把它解压到了/usr/local目录下,完整篇 路径如下:

见到如下Logo

b) 编辑配置文件

Elasticsearch是2个多分布式的开源的基于Apache Lucene项目的搜索引擎,它发布在Apache 2.0协议下

and unstructured data sources for distribution into a variety of outputs with the use of its output plugins,

  其他,亲戚你们都应该创建索引为:log4j-*

中的数据。Kibana完整篇 用HTML和Javascript编写。

Elasticsearch is a distributed open source search engine based on Apache Lucene,

(这也就意味它可不才能被免费地下载,使用其他修改)。

将会

    /usr/local/elasticsearch-5.2.2

 2-3) Kibana

visualizing any kind of structured and unstructured data stored in Elasticsearch indexes.

将会越来越错误指在,可不才能进入到下一步的验证环节

(Kibana is an open source Apache 2.0 licensed data visualization platform that helps in

The searching capabilities are backed by a schema-less Apache Lucene Engine,

   vi log4j_es.conf

直接用浏览器打开



b) 编辑配置文件

cd config

vi kibana.yml

内容如下:

pom中的关键dependency配置如下:

然总要在Logstash控制台看一遍输出如下图:

curl 'http://localhost:930/?pretty'

a) 解压安装包elasticsearch-5.2.2.tar.gz

4-4) 运行结果

Elasticsearch的搜索能力是得到Apache Lucene引擎的支持,允许给文本数据增加加动态索引。

4. Log4j记录日志到Logstash

c) 启动Kibana

5-2) 创建索引

Elasticsearch is able to achieve fast search responses because it uses indexing to search over the texts.