站長(zhǎng)資訊網(wǎng)公司原本已經(jīng)做了日志收集，不過(guò)是收集于單臺(tái)云服務(wù)器，還需要研發(fā)以及運(yùn)維去登陸查看日志。以前用的都是低版本的ELK（2.X），這次準(zhǔn)備體驗(yàn)試用下最新版本的。理論以及架構(gòu)這些不再說(shuō)明，網(wǎng)上很多請(qǐng)自行查看！
環(huán)境說(shuō)明：CentOS7.4、jdk1.8等
下面是安裝過(guò)程
首先是確認(rèn)環(huán)境rpm -qa|grep Java
如果有其他版本的請(qǐng)刪除
rpm–e –nodeps java-*
檢查是否刪除
java –version
# 開(kāi)始安裝jdk1.8自行從Oracle官網(wǎng)下載
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
解壓改名設(shè)置環(huán)境變量
vim /etc/profile在末行加入
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${PATH}
配置設(shè)置source /etc/profile
測(cè)試java -version
# 設(shè)置內(nèi)核參數(shù)
vim /etc/sysctl.conf
增加以下參數(shù)
vm.max_map_count=655360
執(zhí)行以下命令，確保生效配置生效：
sysctl -p
設(shè)置資源參數(shù)
vim /etc/security/limits.conf
#修改
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
#設(shè)置elk用戶(hù)參數(shù)
vim /etc/security/limits.d/20-nproc.conf
elk soft nproc 65536
elk用戶(hù)默認(rèn)已經(jīng)創(chuàng)建
ELK官網(wǎng)下載地址
https://www.elastic.co/cn/downloads
所有組件都在根據(jù)自己喜歡下
# elasticsearch-6.2.4（3臺(tái)）
解壓到/usr/local改名elasticsearch
chown -R elk.elk elasticsearch/
到解壓目錄下
vim config/elasticsearch.yml 同樣是末行加入
#這里指定的是集群名稱(chēng)，需要修改為對(duì)應(yīng)的，開(kāi)啟了自發(fā)現(xiàn)功能后，ES會(huì)按照此集群名稱(chēng)進(jìn)行集群發(fā)現(xiàn)
cluster.name: elk123
#數(shù)據(jù)目錄
path.data: data/elk/data
#log目錄
path.logs: data/elk/logs
#節(jié)點(diǎn)名稱(chēng)（3臺(tái)1-3）
node.name: node-1
#修改一下ES的監(jiān)聽(tīng)地址，這樣別的機(jī)器也可以訪(fǎng)問(wèn)
network.host: 0.0.0.0
#默認(rèn)的端口號(hào)以及訪(fǎng)問(wèn)
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: “*”
##集群以及節(jié)點(diǎn)數(shù)
discovery.zen.ping.unicast.hosts: [“192.168.1.112”, “192.168.1.113”,”192.168.1.114″]
discovery.zen.minimum_master_nodes: 3
注意配置冒號(hào)后有空格，新建日志和數(shù)據(jù)目錄給
mkdir -p /data/elk/log
mkdir -p /data/elk/data
chown -R elk.elk /data/
啟動(dòng)elasticsearch
su elk -c “/usr/local/elasticsearch/bin/elasticsearch -d “
測(cè)試訪(fǎng)問(wèn)ip:9200
es集群可視化（5.0以后ES不再提供內(nèi)置）
# elasticsearch-head安裝
依賴(lài)安裝
yum install git nodejs npm
檢測(cè) git clone git://github.com/mobz/elasticsearch-head.git
node -v
npm -v
到目錄下 npm install -g cnpm –registry=https://registry.npm.taobao.org
vim /usr/local/elasticsearch/config/elasticsearch.yml 末行加入
http.cors.enabled: true
http.cors.allow-origin: “*”
cd elasticsearch-head/
vim Gruntfile.js
在connect屬性中，增加hostname: ‘0.0.0.0’
connect: {
server: {
options: {
hostname: ‘0.0.0.0’,
port: 9100,
base: ‘.’,
keepalive: true
vi _site/app.js
#編輯配置文件，填寫(xiě)elasticsearch server的地址
init: function(parent) {
this._super();
this.prefs = services.Preferences.instance();
this.base_uri = this.config.base_uri || this.prefs.get(“app-base_uri”) || “http://es_ip:9200”;
if( this.base_uri.charAt( this.base_uri.length – 1 ) !== “/” ) {
// XHR request fails if the URL is not ending with a “/”
this.base_uri += “/”;
}
#啟動(dòng)程序
cnpm install -g grunt
重啟es
啟動(dòng)elasticsearch-head
nohup grunt server &
#訪(fǎng)問(wèn)web
http://xxx:9100
# kibana-6.2.4(單臺(tái)即可）
解壓安裝改名
cd kibana/
vim config/kibana.yml
#開(kāi)啟默認(rèn)端口5601如果5601被占用可用5602或其他
server.port: 5601
server.host: “hostname” 這里填你的主機(jī)名
#指向elasticsearch服務(wù)的ip地址
elasticsearch.url: http://localhost:9200
kibana.index: “.kibana”
啟動(dòng)
/usr/local/kibana/bin/kibana &
測(cè)試ip:5601
# logstash-6.2.4
這個(gè)要安裝在你日志所在服務(wù)器上
解壓安裝改名到目錄下
vim config/*-logst.conf新建一個(gè)配置文件名字自定
input{
file {
path => “/usr/loca/*.log” #你的日志路徑
start_position => beginning
ignore_older => 0
sincedb_path =>”/dev/null”
}}
filter{
grok {
match => { “message” =>”%{IPORHOST:clientip} – %{USER:auth}
“(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})”%{NUMBER:response} (?:%{NUMBER:bytes}|-)”}
}date {
match => [ “timestamp” ,”dd/MMM/YYYY:HH:mm:ss +0800″ ]
}
}
output{
elasticsearch { hosts => [“ip:9200” ] index => “logs-%{+YYYY.MM.dd}” }
stdout {}
}
該配置只是匹配單個(gè)項(xiàng)目如果多個(gè)請(qǐng)參考以下
input {
file {
path => “/var/log/messages”
type => “system”
start_position => “beginning”
}
file {
path => “/var/log/elasticsearch/chuck-clueser.log”
type => “es-error”
start_position => “beginning”
codec => multiline {
pattern => “^[“
negate => true
what => “previous”
}
}
}
output {
if [type] == “system” {
elasticsearch {
hosts => [“192.168.56.11:9200”]
index => “system-%{+YYYY.MM.dd}”
}
}
if [type] == “es-error” {
elasticsearch {
hosts => [“192.168.56.11:9200”]
index => “es-error-%{+YYYY.MM.dd}”
}
}
}
然后啟動(dòng)
/usr/local/logstash/bin/logstash -f /usr/local/logstash/config/*-logst.conf
然后去kibana看下是否有數(shù)據(jù)！要先創(chuàng)建索引！
此安裝模式ELK的head和kibana基本等于無(wú)任何安全措施，建議基于nginx反向代理IP限制或者內(nèi)網(wǎng)使用。
