Linux操作系统安装ELK stack日志管理系统--(1)Logstash和Filebeat的安装与使用

ELK 专栏收录该内容
2 篇文章 0 订阅

安装测试环境:Ubuntu 16.04.2 LTS

前言

(1)ELK是Elasticsearch,Logstash,Kibana 开源软件的集合,对外是作为一个日志管理系统的开源方案。它可以从任何来源,任何格式进行日志搜索,分析获取数据,并实时进行展示。

(2)基本软件作用如下:

1、Filebeat:监控日志文件、转发,获取指定路径的日志文件,传输日志文件给Logstash;

2、Logstash: 日志收集,管理,存储,转发日志给Elasticsearch进行处理;

3、Elasticsearch:搜索,提供分布式全文搜索引擎,搜索是实时进行处理的,对数据进行索引和聚合等;

4、Kibana :日志的过滤web展示,图形界面话操作日志记录。别名Elasticsearch Dashboard
顾名思义是基于游览器的Elasticsearch分析和仪表盘工具;

(3)官网地址:https://www.elastic.co

(4)分支软件官方文档地址:

1、Logstash官方文档地址:https://www.elastic.co/guide/en/logstash/current/index.html

2、Filebeat官方文档地址:https://www.elastic.co/guide/en/beats/filebeat/current/index.html

3、Elasticsearch官方文档地址:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

4、Kibana 官方文档地址:https://www.elastic.co/guide/en/kibana/current/index.html

ELK可用来干什么

ELK之间的架构关系

最简单的一个安装ELK的架构图如下:

这里写图片描述

以下是各数字代表箭头的含义:

(1)第1、2步代表使用FileBeat获取Tomcat服务器上的日志。当启动Filebeat时,它将启动一个或多个prospectors (检测者),查找Tomcat上指定的日志文件,作为日志的源头等待输出到Logstash。

(2)第3步代表Logstash从FileBeat获取日志文件。Filebeat作为Logstash的输入input将获取到的日志进行处理(FileBeat其实就是Logstash的一个输入插件beats,具体的处理过程后边学习),将处理好的日志文件输出到Elasticsearch进行处理。

(3)第4步代表Elasticsearch得到Logstash的数据之后进行相应的搜索存储操作。将写入的数据可以被检索和聚合等以便于搜索操作。

(4)第5代表Kibana 通过Elasticsearch提供的API将日志信息可视化的操作。

上述的1-5步骤中,我们可以看出一个Tomcat服务器产生的日志文件,如何由ELK系统获取,传输,处理,存储,可视化等操作的。

明白了ELK个软件的关系,那么安装起来就相对简单了很多,不会出现他们之间不知道具有什么关系的问题,下边就开始具体的安装过程。

Logstash安装与使用

Logstash官方文档地址:https://www.elastic.co/guide/en/logstash/current/index.html

根据上图中的架构图的话,应该是先安装FileBeat的,其实FileBeat只是Logstash的一个输入插件beats,Logstash具有很多输入插件,例如:标准输入插件stdin、文件输入插件file、syslog输入插件等等。

具体的Logstash输入插件可以参考官方文档:https://www.elastic.co/guide/en/logstash/current/input-plugins.html

既然,Logstash可以有多个输入插件,那么就使用最简单的方式进行Logstash的安装与验证工作。

一、Logstash安装

(1)确保JDK版本为1.8以上

(2)下载Logstash并解压

下载地址:https://www.elastic.co/downloads/logstash

这里写图片描述

选择红色框中版本!右键复制下载地址

这里为:https://artifacts.elastic.co/downloads/logstash/logstash-5.2.1.tar.gz

(3)使用wget下载:

这里写图片描述

(4)等待下载完成后解压:

使用tar -xvf logstash-5.1.1.tar.gz 命令解压文件,解压后使用cd命令进入文件夹内部:

这里写图片描述

主要文件夹包含bin、data、lib、config等。其中bin包含了一写可执行脚本文件,data是用于存储数据的,lib是一些系统所依赖的jar文件,config包含一些配置文件。

(5)要测试Logstash安装,运行最基本的Logstash管道:

cd logstash-5.1.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'

-e 参数表示执行后边的语句,标志使您能够直接从命令行指定配置。在命令行中指定配置允许您快速测试配置,而无需在迭代之间编辑文件。示例中的管道从标准输入stdin获取输入,并以结构化格式将输入移动到标准输出stdout。

(6)等待片刻等提示信息之后,就可以在控制台输入任何内容,他都会输出:

这里写图片描述

至此,一个Logstash的安装与使用完成!

* 二、Logstash使用配置文件的方式运行*

上述,是通过命令行运行的,下边就是通过配置文件运行的一个完整的例子:

首先创建一个名为logstash.conf的配置文件放置在logstash-5.1.1目录下,内容就是刚才使用命令行方式的代码,如下:

这里写图片描述

然后在终端上运行:

bin/logstash -f logstash.conf

-f 表示指定使用哪一个配置文件进行执行。

这里写图片描述

* 三、Logstash基本原理*

Logstash管道有两个必需的元素,输入和输出,以及一个可选元素,过滤器。输入插件从源消耗数据,过滤器插件根据您指定的内容修改数据,输出插件将数据写入目标。如下图:

这里写图片描述

Logstash事件处理管道有三个阶段:输入→过滤器→输出。输入生成事件,过滤器修改它们,并将输出发送到其他地方。输入和输出支持编解码器,使您能够在数据进入或退出流水线时对其进行编码或解码,而无需使用单独的过滤器。也就是说,其实Logstash是一个input–decode –filter–encode–output的数据流!

使用Filebeat将日志行发送到Logstash

在创建Logstash管道之前,可以配置Filebeat以将日志行发送到Logstash。Filebeat客户端是一个轻量级的,资源友好的工具,他可以从服务器上的文件中收集日志,并将这些日志转发到Logstash实例进行处理。

Filebeat设计用于可靠性和低延迟。 Filebeat占用主机上轻量级的资源,Beats input插件可以最大限度地减少对Logstash实例的资源需求。

注意:

在实际的开发和生产环境中,Filebeat在运行Logstash实例机器的单独机器上运行。为了本教程的目的,Logstash和Filebeat在同一台机器上运行。

默认情况下Logstash安装的时候,已经包括Beats输入插件。Beats输入插件使Logstash能够从Elastic Beats框架中接收事件,这意味着任何写入Beat框架的Beat(如Packetbeat和Metricbeat)都可以将事件数据发送到Logstash。

一、下载安装Filebeat

由于新版本中已经默认安装了Filebeat插件,下边只是简要介绍:

(1)下载地址:https://www.elastic.co/downloads/beats/filebeat

这里写图片描述

(2)同样右键复制下载地址,通过wget下载:

这里写图片描述

(3)通过 tar -xvf filebeat-5.2.1-linux-x86_64.tar.gz 解压:

这里写图片描述

(4)修改配置文件将Tomcat服务器和Filebeat连接起来:

打开位于Filebeat安装目录中的filebeat.yml文件,修改需要检测的Tomcat服务器的文件位置:

这里写图片描述

其中:/home/xuliugen/www/ufind/logs/*.log 是我Tomcat服务器下项目的日志文件。并且已经开启了Tomcat。

(5)修改配置文件将Filebeat和Logstash连接起来:

同样是修改filebeat.yml文件,将output.elasticsearch注释掉,并打开Logstash的注释,修改之后内容如下:

这里写图片描述

保存更改。

(6)启动Filebeat

在数据源计算机上,使用以下命令运行Filebeat:

./filebeat -e -c filebeat.yml -d "publish"

Filebeat将尝试在端口5044上连接。直到Logstash探测到活动的Beats插件开始,该端口将不会有任何内容,因此,您看到的有关无法在该端口上连接的任何消息是正常的。

如果配置成功的话,就会去读取你指定的日志文件,如下:

这里写图片描述

(6)修改Logstash的配置文件

由于使用Filebeat作为输入,则需要修改相应的输入插件,修改前几步创建的logstash.conf文件,修改后的配置文件如下:

input {
 beats {
    port => "5044"
 }
}

output {
  stdout {
    codec => rubydebug
  }
}

这里将beats(就是Filebeat)插件作为输入插件,端口号为5044,通过标准输出插件stdout 将数据显示在控制台中,其中stdout{} 里的codec => rubydebug 其中,rubydebug就是一种Codec,一般也只用在stdout插件中,作为配置测试或者调试的工具。

这里写图片描述

要验证您的配置,请运行以下命令:

bin/logstash -f logstash.conf --config.test_and_exit

--config.test_and_exit 选项将解析配置文件并报告任何出现错误的错误。

如果配置文件通过配置测试,请使用以下命令启动Logstash:

bin/logstash -f logstash.conf --config.reload.automatic

--config.reload.automatic 选项启用自动配置重新加载,这样的话你就不必在每次修改配置文件时停止和重新启动Logstash。

如果配置成功的话,如果你的Tomcat服务器有日志更新,在Logstash和Filebeat都会显示出来:

这里写图片描述

这个时候Filebeat也不会在报错,因为已经在5044端口和Logstash建立了连接。

第二篇

Linux操作系统安装ELK stack日志管理系统–(2)Elasticsearch与Kibana的安装与使用以及和Logstash的连接

  • 5
    点赞
  • 0
    评论
  • 5
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

打赏
文章很值,打赏犒劳作者一下
<p> <span style="font-size:18px;">版本定位:</span> </p> <p> <span style="font-size:18px;">目前采用ELK7.x:即ELKelasticsearch7.3+logstash7.3+kibana7.3)</span> </p> <span style="font-size:18px;">官网最新版本搭建集群和展示</span><br /> <p> <span style="font-size:18px;"></span> </p> <p> <span style="font-size:18px;"><strong>elk是什么意思中文?</strong></span> </p> <p> <span style="color:#333333;">ELK StackElasticsearchLogstash、Kiban三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称。 ELK Stack成为机器数据分析,或者说实时日志处理领域,开源界的第一选择。和传统的日志处理方案相比,ELK Stack 具有如下几个优点: • 处理方式灵活。Elasticsearch 是实时全文索引,不需要像 storm 那样预先编程才能使用; • 配置简易上手。Elasticsearch 全部采用 JSON 接口,Logstash 是 Ruby DSL 设计,都是目前业界最通用的配置语法设计; • 检索性能高效。虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应; • 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的; • 前端操作炫丽。Kibana 界面上,只需要点击鼠标,就可以完成搜索、聚合功能,生成炫丽的仪表板。 官网地址:https://www.elastic.co/cn/</span> </p> <p> <strong><span style="font-size:18px;">elk日志分析系统?</span></strong> </p> <p> ELK+Beats日志分析系统部署,<span style="color:#333333;">Elasticsearch分布式集群部署,加上ELK Stack堆栈,让搜索发挥极致</span> </p> <p> <br /> </p>
相关推荐
<p> <span style="font-size:14px;">Elastic Stack</span><span style="font-size:14px;">日志系统是目前企业应用广泛的一套日志解决方案。</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;">包含的组件有</span><span style="font-size:14px;">Filebeat,Logstash,Elastic,Kibana</span><span style="font-size:14px;">等</span><span></span> </p> <p> <span style="font-size:14px;">本堂课引入</span><span style="font-size:14px;">Kafka </span><span style="font-size:14px;">让</span><span style="font-size:14px;">Elastic Stack </span><span style="font-size:14px;">能适应企业</span><span style="font-size:14px;">PB</span><span style="font-size:14px;">级的业务日志量 并弥补传统</span><span style="font-size:14px;">ELk</span><span style="font-size:14px;">架构的不足</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;">★ 学完这门课程会获得什么?</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;">首先从零开始教你部署</span><span style="font-size:14px;">Elastic Stack</span><span style="font-size:14px;">系统</span><span style="font-size:14px;">, </span><span style="font-size:14px;">详细讲解</span><span style="font-size:14px;">Elastic</span><span style="font-size:14px;">产品</span><span style="font-size:14px;">,</span><span style="font-size:14px;">包括</span><span style="font-size:14px;"> Kibana.Logstash,Beats</span><span style="font-size:14px;">的详细讲解以及</span><span style="font-size:14px;">Elastic</span><span style="font-size:14px;">的</span><span style="font-size:14px;">api</span><span style="font-size:14px;">操作,</span><span></span> </p> <p> <span style="font-size:14px;">并如何监控 如何绘图等。最后结合自己的运维过程中的案例讲解,让学员能更加清楚了解原理以及少走一些弯路。</span><span></span> </p> <p> <span style="font-size:14px;"> </span> </p> <p> <span style="font-size:14px;"><span style="color:#333333;">目前我们公司每天产生至少8个T的数据量,历史日志保存半年。此教程足以能承担PB级的日志收集系统的量。</span></span><span style="font-size:14px;"></span> </p> <p> <span style="color:#E53333;">此教程的背景介绍请参阅我的CSDN博客,置顶内容的第一篇博文。</span> </p> <p> <img src="https://img-bss.csdn.net/202004150822414470.png" alt="" /></p> <p> <img src="https://img-bss.csdn.net/202001060812528245.png" alt="" /></p>
DirectX修复工具(DirectX Repair)是一款系统级工具软件,简便易用。本程序为绿色版,无需安装,可直接运行。 本程序的主要功能是检测当前系统的DirectX状态,如果发现异常则进行修复。程序主要针对0xc000007b问题设计,可以完美修复该问题。本程序中包含了最新版的DirectX redist(Jun2010),并且全部DX文件都有Microsoft的数字签名,安全放心。 本程序为了应对一般电脑用户的使用,采用了易用的一键式设计,只要点击主界面上的“检测并修复”按钮,程序就会自动完成校验、检测、下载、修复以及注册的全部功能,无需用户的介入,大大降低了使用难度。在常规修复过程中,程序还会自动检测DirectX加速状态,在异常时给予用户相应提示。 本程序适用于多个操作系统,如Windows XP(需先安装.NET 2.0,详情请参阅“致Windows XP用户.txt”文件)、Windows Vista、Windows 7、Windows 8、Windows 8.1、Windows 8.1 Update、Windows 10,同时兼容32位操作系统和64位操作系统。本程序会根据系统的不同,自动调整任务模式,无需用户进行设置。 本程序的V4.0版分为标准版、增强版以及在线修复版。所有版本都支持修复DirectX的功能,而增强版则额外支持修复c++的功能。在线修复版功能与标准版相同,但其所需的数据包需要在修复时自动下载。各个版本之间,主程序完全相同,只是其配套使用的数据包不同。因此,标准版和在线修复版可以通过补全扩展包的形式成为增强版。本程序自V3.5版起,自带扩展功能。只要在主界面的“工具”菜单下打开“选项”对话框,找到“扩展”标签,点击其中的“开始扩展”按钮即可。扩展过程需要Internet连接,扩展成功后新的数据包可自动生效。扩展用时根据网络速度不同而不同,最快仅需数秒,最慢需要数分钟,烦请耐心等待。如扩展失败,可点击“扩展”界面左上角小锁图标切换为加密连接,即可很大程度上避免因防火墙或其他原因导致的连接失败。 本程序自V2.0版起采用全新的底层程序架构,使用了异步多线程编程技术,使得检测、下载、修复单独进行,互不干扰,快速如飞。新程序更改了自我校验方式,因此使用新版本的程序时不会再出现自我校验失败的错误;但并非取消自我校验,因此程序安全性与之前版本相同,并未降低。 程序有更新系统c++功能。由于绝大多数软件运行时需要c++的支持,并且c++的异常也会导致0xc000007b错误,因此程序在检测修复的同时,也会根据需要更新系统中的c++组件。自V3.2版本开始使用了全新的c++扩展包,可以大幅提高工业软件修复成功的概率。修复c++的功能仅限于增强版,标准版及在线修复版在系统c++异常时(非丢失时)会提示用户使用增强版进行修复。除常规修复外,新版程序还支持C++强力修复功能。当常规修复无效时,可以到本程序的选项界面内开启强力修复功能,可大幅提高修复成功率。请注意,请仅在常规修复无效时再使用此功能。 程序有两种窗口样式。正常模式即默认样式,适合绝大多数用户使用。另有一种简约模式,此时窗口将只显示最基本的内容,修复会自动进行,修复完成10秒钟后会自动退出。该窗口样式可以使修复工作变得更加简单快速,同时方便其他软件、游戏将本程序内嵌,即可进行无需人工参与的快速修复。开启简约模式的方法是:打开程序所在目录下的“Settings.ini”文件(如果没有可以自己创建),将其中的“FormStyle”一项的值改为“Simple”并保存即可。 新版程序支持命令行运行模式。在命令行中调用本程序,可以在路径后直接添加命令进行相应的设置。常见的命令有7类,分别是设置语言的命令、设置窗口模式的命令,设置安全级别的命令、开启强力修复的命令、设置c++修复模式的命令、控制Direct加速的命令、显示版权信息的命令。具体命令名称可以通过“/help”或“/?”进行查询。 程序有高级筛选功能,开启该功能后用户可以自主选择要修复的文件,避免了其他不必要的修复工作。同时,也支持通过文件进行辅助筛选,只要在程序目录下建立“Filter.dat”文件,其中的每一行写一个需要修复文件的序号即可。该功能仅针对高级用户使用,并且必须在正常窗口模式下才有效(简约模式时无效)。 本程序有自动记录日志功能,可以记录每一次检测修复结果,方便在出现问题时,及时分析和查找原因,以便找到解决办法。 程序的“选项”对话框中包含了7项高级功能。点击"常规”选项卡可以调整程序的基本运行情况,包括日志记录、安全级别控制、调试模式开启等。只有开启调试模式后才能在C
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页

打赏

徐刘根

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值