elk日志分析平臺以及數(shù)據(jù)的可視化解析

Elasticsearch是一個高度可伸縮的開源全文搜索和分析引擎。它允許你以近實時的方式快速存儲、搜索和分析大量的數(shù)據(jù)。它通常被用作基礎的技術來賦予應用程序復雜的搜索特性和需求。

一、elk日志分析平臺的搭建

  [root@server1 ~]# ls  elasticsearch-2.3.3.rpm  [root@server1 ~]#  yum install elasticsearch-2.3.3.rpm  -y  [root@server1 ~]# cd /etc/elasticsearch/  

  [root@server1 elasticsearch]# vim elasticsearch.yml 

ps：bootstrap true這一項在生產(chǎn)環(huán)境中需要打開，目前實驗環(huán)境內存不夠，所以不打開

  [root@server1 elasticsearch]# /etc/init.d/elasticsearch  start    ##提示運行該工具需要java環(huán)境

  [root@server1 ~]# yum install jdk-8u121-linux-x64.rpm -y    ##安裝java環(huán)境  [root@server1 ~]# /etc/init.d/elasticsearch  start  

ps： 9200端口已經(jīng)開啟，負責與外界通信，9300負責集群間通信，暫未部署集群，所以忽略

在瀏覽器訪問：

  [root@server1 elasticsearch]# cd /usr/share/elasticsearch/bin/  [root@server1 bin]# ls  

本地安裝：

  [root@server1 bin]# ./plugin install file:/root/elk/elasticsearch-head-master.zip 

另一種方式–在線安裝（在github上找到相應的安裝文件）：

訪問：

二、集群搭建

在server2安裝：

  [root@server2 ~]# yum install jdk-8u121-linux-x64.rpm   [root@server2 ~]# yum install elk/elasticsearch-2.3.3.rpm -y  [root@server2 ~]# /usr/share/elasticsearch/bin/plugin install file:/root/elk/elasticsearch-head-master.zip   

在server3安裝：

  [root@server3 ~]# yum install jdk-8u121-linux-x64.rpm   [root@server3 ~]# yum install elk/elasticsearch-2.3.3.rpm   [root@server3 ~]# /usr/share/elasticsearch/bin/plugin install file:/root/elk/elasticsearch-head-master.zip  

配置server1：

  [root@server1 elasticsearch]# vim elasticsearch.yml    

##添加以下三項

##修改這一項

  [root@server1 elasticsearch]# scp elasticsearch.yml root@172.25.129.2:/etc/elasticsearch/  [root@server1 elasticsearch]# scp elasticsearch.yml root@172.25.129.3:/etc/elasticsearch/  [root@server1 elasticsearch]# /etc/init.d/elasticsearch  reload  

配置server2：

  [root@server2 elasticsearch]# vim elasticsearch.yml 

  [root@server2 ~]# /etc/init.d/elasticsearch start

配置server3：

  [root@server3 ~]# vim /etc/elasticsearch/elasticsearch.yml 

  [root@server3 ~]# /etc/init.d/elasticsearch start

瀏覽器測試：

  [root@server1 elasticsearch]#  curl -XGET 'http://172.25.129.1:9200/_cluster/healthpretty=true'     ##健康狀態(tài)檢查

三、數(shù)據(jù)采集工具

server1：

  [root@server1 elk]# rpm -ivh logstash-2.3.3-1.noarch.rpm   [root@server1 elk]# /opt/logstash/bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug } }'     ##只輸出到終端  

##添加索引

  [root@server1 elk]# /opt/logstash/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["172.25.129.1"] } }'  ##輸入為終端，輸出為elasticsearch  

在網(wǎng)頁查看，數(shù)據(jù)已經(jīng)到達elasticsearch