ELK环境搭建

ELK环境搭建教程

ELK 作为一个日志收集和检索系统,其实是是三个组件的缩写, 分别是 elasticsearch, logstash, kibana。ELK 平台可以用于实现日志收集、日志搜索和日志分析。

ELK 的使用流程为:应用产生数据,logstash 从应用收集数据,将数据放入 es,使用 kibana 进行数据展示以及分析。

elk下载

elasticsearch下载

我们打开如下的下载地址:

https://www.elastic.co/cn/downloads/

进入到下载的首页,如下图所示:

01_elk环境搭建.png

现在,我们点击下面的下载按钮,如下图所示:

02_elk环境搭建.png

点击下载后,跳转到下载页面,如下图所示:

03_elk环境搭建.png

我们下拉网页,选择 Linux 版本,如下图所示:

04_elk环境搭建.png

我们点击,就可以开始下载。

logstash下载

我们打开如下的下载地址:

https://www.elastic.co/cn/downloads/

进入到下载的首页,我们选择 Kibana 栏目,选择下载按钮,如下图所示:

05_elk环境搭建.png

点击下载后,跳转到下载页面,如下图所示:

06_elk环境搭建.png

我们下拉网页,选择 Linux 版本,如下图所示:

07_elk环境搭建.png

我们点击,就可以开始下载。

kibana下载

我们打开如下的下载地址:

https://www.elastic.co/cn/downloads/

进入到下载的首页,我们选择 Kibana 栏目,选择下载按钮,如下图所示:

08_elk环境搭建.png

点击下载后,跳转到下载页面,如下图所示:

09_elk环境搭建.png

我们下拉网页,选择 Linux 版本,如下图所示:

10_elk环境搭建.png

我们点击,就可以开始下载。

elk安装

elasticsearch安装

我们通过 ftp 工具,将下载好的 elk 压缩包,上传到 Linux 服务器,上传完毕后,如下图所示:

11_elk环境搭建.png

我们首先,使用 mkdir 命令,创建我们需要安装的目录,具体命令如下:

mkdir -p /usr/local/elk

运行后,我们使用 ls 命令,查看,具体命令如下:

ls -d /usr/local/elk

运行后,如下图所示:

12_elk环境搭建.png

现在,我们通过 tar 命令,解压下载好的压缩包,具体命令如下:

tar zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz -C /usr/local/elk/

解压完毕后,如下图所示:

13_elk环境搭建.png

现在,我们使用 mv 命令,将文件夹进行重命名,具体命令如下:

mv /usr/local/elk/elasticsearch-7.6.2/ /usr/local/elk/es

解压完毕后,我们使用 ls 命令,查看解压后的文件,此时输出如下:

14_elk环境搭建.png

至此,解压完毕,因为,elasticsearch 不能以 root 用户进行启动,因此,我们需要创建一个用户,使用 useradd 命令,具体命令如下:

useradd es

创建完毕后,我们使用 chown 命令,修改用户组,具体命令如下:

chown -R es:es /usr/local/elk

现在,我们使用 su 切换到 es 用户,具体命令如下:

su - es

执行完毕后,我们使用 ls 命令,查看文件夹所属用户组,具体命令如下:

ls -ld /usr/local/elk/

执行完毕后,如下图所示:

15_elk环境搭建.png

我们看到,现在用户组已经变成了 es,我们使用 vim 修改 elasticsearch 的配置文件,命令如下:

vim /usr/local/elk/es/config/elasticsearch.yml

打开文件后,我们修改如下配置项:

cluster.name: my-es node.name: node-1 network.host: 0.0.0.0 http.port: 9200 cluster.initial_master_nodes: ["node-1"]

现在,我们使用如下命令,启动 elasticsearch,具体命令如下:

/usr/local/elk/es/bin/elasticsearch

按下回车,此时会报错,如下:

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

具体错误,显示如下图所示:

16_elk环境搭建.png

我们使用 root 用户,并使用 echo 修改配置,具体命令如下:

echo 262144 > /proc/sys/vm/max_map_count

修改完毕后,我们再次启动,此时不再报错,现在,我们使用 curl 命令,访问测试,具体命令如下;

curl 127.0.0.1:9200

执行完毕后,如下图所示:

18_elk环境搭建.png

我们看到,输出了 elasticsearch 的版本信息,同时,我们还可以使用浏览器访问,至此,我们的 elasticsearch 就安装并启动完成了。

kibana安装

我们通过 tar 命令,解压下载好的压缩包,具体命令如下:

tar zxvf kibana-7.6.2-linux-x86_64.tar.gz -C /usr/local/elk/

解压完毕后,如下图所示:

19_elk环境搭建.png

现在,我们使用 mv 命令,将文件夹进行重命名,具体命令如下:

mv /usr/local/elk/kibana-7.6.2-linux-x86_64/ /usr/local/elk/kibana

解压完毕后,我们使用 ls 命令,查看解压后的文件,此时输出如下:

20_elk环境搭建.png

至此,解压完毕,现在,我们使用 vim 修改 kibana 的配置,具体命令如下:

vim /usr/local/elk/kibana/config/kibana.yml

打开之后,我们加入如下配置:

server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://localhost:9200/"] kibana.index: ".kibana"

我们配置了 kibana 的启动端口以及配置了 elasticsearch 的地址,保存并退出之后,我们启动 kibana,具体命令如下:

/usr/local/elk/kibana/bin/kibana

此时,可能会出现以下报错,具体错误如下:

Could not create APM Agent configuration: Request Timeout after 30000ms

错误信息如下:

21_elk环境搭建.png

现在,我们使用 vim 修改 es 的配置文件,具体命令如下:

vim /usr/local/elk/es/config/jvm.options

我们找到如下配置:

22_elk环境搭建.png

将其修改为:

23_elk环境搭建.png

并再次,修改 kibana 的配置,具体命令如下:

vim /usr/local/elk/kibana/config/kibana.yml

找到如下配置:

24_elk环境搭建.png

将其修改为:

25_elk环境搭建.png

修改完毕后,重启 es 和 kibana,现在,kibana 启动成功,如下图所示:

26_elk环境搭建.png

我们使用浏览器打开如下地址:

127.0.0.1:5601

此时如下:

27_elk环境搭建.png

即,此时,es 和 kibana 的环境搭建成功了。