Skip to content

Commit 5677ebf

Browse files
judasnjudasn
committed
2017-07-20
1 parent 9bf8ee9 commit 5677ebf

File tree

1 file changed

+158
-150
lines changed

1 file changed

+158
-150
lines changed

‎ELK-Install-And-Settings.md‎

Lines changed: 158 additions & 150 deletions
Original file line numberDiff line numberDiff line change
@@ -4,29 +4,177 @@
44

55
- 本文包含了：Elasticsearch 2.4.X 和 Elasticsearch 5.2.X，请有针对性地选择。
66

7-
## 本机环境
8-
9-
- 两台机子CPU 1 核，内存 4G
10-
- 192.168.1.126
11-
- 192.168.1.127
12-
- 系统：CentOS 7.3 64 位
13-
- 依赖环境：JDK 1.8，所在目录：`/usr/program/jdk1.8.0_121`
14-
15-
167
## 教程说明
178

189

1910
- 官网：<https://www.elastic.co/>
2011
- 官网总文档：<https://www.elastic.co/guide/index.html>
2112
- 官网最终指南：<https://www.elastic.co/guide/en/elasticsearch/guide/current/administration.html#administration>
22-
- 此时（201703）最新版本：**5.2**，但是我在使用过程中有很多坑，暂时又退回到 **2.X**
2313
- 官网对各个系统的支持列表：<https://www.elastic.co/support/matrix>
2414
- 5.2 版本有一个设置的新特性必须了解，测试建议我们用 CentOS 7：<https://www.elastic.co/guide/en/elasticsearch/reference/5.x/breaking-changes-5.2.html#_system_call_bootstrap_check>
2515
- Elasticsearch 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。
2616
- Logstash 日志进行收集、分析，并将其存储供以后使用（如，搜索）
2717
- kibana 为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。
2818

2919

20+
## 5.2.0
21+
22+
### Elasticsearch 5.2.0 安装
23+
24+
- 官网下载地址：<https://www.elastic.co/cn/downloads/elasticsearch>
25+
- Elasticsearch 5.2.0 版本下载地址（32M）：<https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.0.zip>
26+
27+
28+
### 环境
29+
30+
- 机子 IP：192.168.1.127
31+
- CentOS 7.3
32+
- JDK 版本：1.8（最低要求），主推：JDK 1.8.0_121 以上
33+
- Elasticsearch 版本：5.2.0
34+
- 关闭 firewall
35+
- `systemctl stop firewalld.service` #停止firewall
36+
- `systemctl disable firewalld.service` #禁止firewall开机启动
37+
38+
39+
### zip 解压安装
40+
41+
- 官网总的安装文档：<https://www.elastic.co/guide/en/elasticsearch/reference/5.x/zip-targz.html>
42+
- 我的解压目录：`/usr/program`，解压包名：`elasticsearch-5.2.0.zip`
43+
- 解压：`cd /usr/program ; unzip elasticsearch-5.2.0.zip`
44+
- 删除掉压缩包：`rm -rf elasticsearch-5.2.0.zip`
45+
- 添加组和用户
46+
- 该版本不能使用 root 用户进行使用
47+
- `useradd elasticsearch -p 123456`，添加一个名为 elasticsearch 的用户，还有一个同名的组
48+
- 添加数据目录：`mkdir -p /opt/elasticsearch/data /opt/elasticsearch/log`
49+
- 赋权限：
50+
- `chown -R elasticsearch:elasticsearch /usr/program/elasticsearch-5.2.0 /opt/elasticsearch`
51+
- 编辑配置文件：`vim /usr/program/elasticsearch-5.2.0/config/elasticsearch.yml`，打开下面注释，并修改
52+
53+
``` nginx
54+
cluster.name: youmeek-cluster
55+
node.name: youmeek-node-1
56+
path.data: /opt/elasticsearch/data
57+
path.logs: /opt/elasticsearch/log
58+
bootstrap.memory_lock: true
59+
network.host: 0.0.0.0 # 也可以是本机 IP
60+
http.port: 9200
61+
discovery.zen.ping.unicast.hosts: ["192.168.1.127"] #如果有多个机子集群，这里就写上这些机子的 IP，格式：["192.168.1.127","192.168.1.126"]
62+
```
63+
64+
- 重点说明：Elasticsearch 的集群环境，主要就是上面这段配置文件内容的差别。如果有其他机子：node.name、discovery.zen.ping.unicast.hosts 需要改下。集群中所有机子的配置文件中 discovery.zen.ping.unicast.hosts 都要有所有机子的 IP 地址。
65+
- 修改这个配置文件，不然无法锁内存：`vim /etc/security/limits.conf`
66+
- 在文件最尾部增加下面内容：
67+
68+
``` nginx
69+
# allow user 'elasticsearch' mlockall
70+
elasticsearch soft memlock unlimited
71+
elasticsearch hard memlock unlimited
72+
* soft nofile 262144
73+
* hard nofile 262144
74+
```
75+
76+
- 修改：`vim /etc/sysctl.conf`，添加下面配置
77+
78+
``` ini
79+
vm.max_map_count=262144
80+
```
81+
82+
- 重启机子：`reboot`。
83+
- 切换用户：`su elasticsearch`
84+
- 控制台运行（启动比较慢）：`cd /usr/program/elasticsearch-5.2.0 ; ./bin/elasticsearch`
85+
- 后台运行：`cd /usr/program/elasticsearch-5.2.0 ; ./bin/elasticsearch -d -p 自定义pid值`
86+
- 在本机终端输入该命令：`curl -XGET 'http://192.168.1.127:9200'`，（也可以用浏览器访问：<http://192.168.1.127:9200/>）如果能得到如下结果，则表示启动成功：
87+
88+
``` json
89+
{
90+
"name" : "youmeek-node-1",
91+
"cluster_name" : "youmeek-cluster",
92+
"cluster_uuid" : "c8RxQdOHQJq-Tg8rrPi_UA",
93+
"version" : {
94+
"number" : "5.2.0",
95+
"build_hash" : "24e05b9",
96+
"build_date" : "2017-01-24T19:52:35.800Z",
97+
"build_snapshot" : false,
98+
"lucene_version" : "6.4.0"
99+
},
100+
"tagline" : "You Know, for Search"
101+
}
102+
```
103+
104+
## 安装 Kibana 5.2.0
105+
106+
- 官网下载地址：<https://www.elastic.co/cn/downloads/kibana>
107+
- Kibana 5.2.0 版本下载地址（36M）：<https://artifacts.elastic.co/downloads/kibana/kibana-5.2.0-linux-x86_64.tar.gz>
108+
- Kibana 5.2.0 官网文档：<https://www.elastic.co/guide/en/kibana/5.2/index.html>
109+
- Kibana 5.2.0 官网安装文档：<https://www.elastic.co/guide/en/kibana/5.2/targz.html>
110+
111+
### tar.gz 解压安装
112+
113+
- 安装目录：/usr/program
114+
- 解压：`cd /usr/program ; tar zxvf kibana-5.2.0-linux-x86_64.tar.gz`
115+
- 删除压缩包：`rm -rf kibana-5.2.0-linux-x86_64.tar.gz`
116+
- 修改解压后的目录名称：`mv kibana-5.2.0-linux-x86_64 kibana-5.2.0`
117+
- 修改配置：`vim /usr/program/kibana-5.2.0/config/kibana.yml`，默认配置都是注释的，我们这里打开这些注释：
118+
119+
``` nginx
120+
server.port: 5601
121+
server.host: "0.0.0.0" # 请将这里改为 0.0.0.0 或是当前本机 IP，不然可能会访问不了
122+
erver.name: "youmeek-kibana"
123+
elasticsearch.url: "http://192.168.1.127:9200"
124+
elasticsearch.username: "elasticsearch"
125+
elasticsearch.password: "123456"
126+
```
127+
128+
- 运行：`cd /usr/program/kibana-5.2.0 ; ./bin/kibana`
129+
- 浏览器访问：<http://192.168.1.127:5601>，可以看到 Kibana `Configure an index pattern` 界面
130+
- 访问 Dev Tools 工具，后面写 DSL 语句会常使用该功能：<http://192.168.1.127:5601/app/kibana#/dev_tools/console?_g=()>
131+
132+
133+
## Beats
134+
135+
### Beats 资料
136+
137+
- Beats 官网：<https://www.elastic.co/cn/products/beats>
138+
- Beats 简单介绍：日志数据搜集器。一般安装在需要收集日志的服务器上，然后把收集的数据发送到 Elasticsearch 或是先发送到 logstash 清洗整理（解析过滤）后再发送到 Elasticsearch。
139+
- logstash 也有收集日志的功能，只是它相对 Beats 更加消耗 CPU 和内存，所以一般使用 Beats 收集日志。
140+
- 目前常见的 Beats 类型：
141+
- Filebeat（搜集文件数据）；
142+
- Packetbeat（搜集网络流量数据）；
143+
- Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；
144+
- Winlogbeat（搜集 Windows 事件日志数据）。
145+
- Heartbeat（主动探测服务是否可用）。
146+
147+
## 安装 X-Pack 或是其他插件
148+
149+
- X-Pack 是官网提供的管理增强工具，但是全部功能收费，有一个月使用，有部分功能免费。其他免费的插件。
150+
- licence 的用法可以看这篇文章：
151+
- <http://blog.csdn.net/abcd_d_/article/details/53178798>
152+
- <http://blog.csdn.net/AbnerSunYH/article/details/53436212>
153+
- 破解：<http://www.lofter.com/lpost/33be15_d4fd028>
154+
- 免费插件：
155+
- head - 节点数据查看管理：<https://github.com/mobz/elasticsearch-head>
156+
- kopf - 集群管理：<https://github.com/lmenezes/elasticsearch-kopf>
157+
- 官网说明：<https://www.elastic.co/guide/en/x-pack/5.2/installing-xpack.html>
158+
- 安装（过程比较慢）：`/usr/share/elasticsearch/bin/elasticsearch-plugin install x-pack`
159+
- 如果线上安装速度太慢，那就离线安装：
160+
- 下载，我放在 /opt 目录下（119M）：`wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.2.2.zip`
161+
- 安装：`/usr/share/elasticsearch/bin/elasticsearch-plugin install file:///opt/x-pack-5.2.2.zip`
162+
- 卸载：`/usr/share/elasticsearch/bin/elasticsearch-plugin remove x-pack`
163+
- 安装后重启服务，重启后访问你会发现需要用户和密码，我们可以关掉这个，在 elasticsearch.yml 中添加：`xpack.security.enabled: false`
164+
- 其他 5.2 资料：
165+
- <https://blog.yourtion.com/install-x-pack-for-elasticsearch-and-kibana.html>
166+
- <https://www.ko178.cn/?p=353>
167+
- <https://my.oschina.net/HeAlvin/blog/828639>
168+
- <http://www.jianshu.com/p/004765d2238b>
169+
- <http://www.cnblogs.com/delgyd/p/elk.html>
170+
- <http://www.itdadao.com/articles/c15a1135185p0.html>
171+
- <http://www.busyboy.cn/?p=920>
172+
- <http://nosmoking.blog.51cto.com/3263888/1897989>
173+
- <http://www.freebuf.com/sectool/139687.html>
174+
175+
---------------------------------------------------------------------------
176+
177+
30178
## 2.4.X
31179

32180
### 安装 elasticsearch 集群
@@ -362,146 +510,6 @@ kibana.index: ".kibana" #在elastic中添加.kibana
362510
- kibana 的高级用法请看我单独的一篇文章：[kibana 相关知识](Kibana-Base.md)
363511

364512

365-
366-
## Elasticsearch 5.2.0 安装
367-
368-
- 官网下载地址：<https://www.elastic.co/cn/downloads/elasticsearch>
369-
- Elasticsearch 5.2.0 版本下载地址（32M）：<https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.0.zip>
370-
371-
372-
### 环境
373-
374-
- 机子 IP：192.168.1.127
375-
- CentOS 7.3
376-
- JDK 版本：1.8（最低要求），主推：JDK 1.8.0_121
377-
- Elasticsearch 版本：5.2.0
378-
- 关闭 firewall
379-
- `systemctl stop firewalld.service` #停止firewall
380-
- `systemctl disable firewalld.service` #禁止firewall开机启动
381-
382-
383-
### zip 解压安装
384-
385-
- 官网总的安装文档：<https://www.elastic.co/guide/en/elasticsearch/reference/5.x/zip-targz.html>
386-
- 我的解压目录：`/usr/program`，解压包名：`elasticsearch-5.2.0.zip`
387-
- 解压：`cd /usr/program ; unzip elasticsearch-5.2.0.zip`
388-
- 删除掉压缩包：`rm -rf elasticsearch-5.2.0.zip`
389-
- 添加组和用户
390-
- 该版本不能使用 root 用户进行使用
391-
- `useradd elasticsearch -p 123456`，添加一个名为 elasticsearch 的用户，还有一个同名的组
392-
- 添加数据目录：`mkdir -p /opt/elasticsearch/data /opt/elasticsearch/log`
393-
- 赋权限：
394-
- `chown -R elasticsearch:elasticsearch /usr/program/elasticsearch-5.2.0 /opt/elasticsearch`
395-
- 编辑配置文件：`vim /usr/program/elasticsearch-5.2.0/config/elasticsearch.yml`，打开下面注释，并修改
396-
397-
``` nginx
398-
cluster.name: youmeek-cluster
399-
node.name: youmeek-node-1
400-
path.data: /opt/elasticsearch/data
401-
path.logs: /opt/elasticsearch/log
402-
bootstrap.memory_lock: true
403-
network.host: 0.0.0.0 # 也可以是本机 IP
404-
http.port: 9200
405-
discovery.zen.ping.unicast.hosts: ["192.168.1.127"] #如果有多个机子集群，这里就写上这些机子的 IP，格式：["192.168.1.127","192.168.1.126"]
406-
```
407-
408-
- 重点说明：Elasticsearch 的集群环境，主要就是上面这段配置文件内容的差别。如果有其他机子：node.name、discovery.zen.ping.unicast.hosts 需要改下。集群中所有机子的配置文件中 discovery.zen.ping.unicast.hosts 都要有所有机子的 IP 地址。
409-
- 修改这个配置文件，不然无法锁内存：`vim /etc/security/limits.conf`
410-
- 在文件最尾部增加下面内容：
411-
412-
``` nginx
413-
# allow user 'elasticsearch' mlockall
414-
elasticsearch soft memlock unlimited
415-
elasticsearch hard memlock unlimited
416-
* soft nofile 262144
417-
* hard nofile 262144
418-
```
419-
420-
- 修改：`vim /etc/sysctl.conf`，添加下面配置
421-
422-
``` ini
423-
vm.max_map_count=262144
424-
```
425-
426-
- 重启机子：`reboot`。
427-
- 切换用户：`su elasticsearch`
428-
- 控制台运行（启动比较慢）：`cd /usr/program/elasticsearch-5.2.0 ; ./bin/elasticsearch`
429-
- 后台运行：`cd /usr/program/elasticsearch-5.2.0 ; ./bin/elasticsearch -d -p 自定义pid值`
430-
- 在本机终端输入该命令：`curl -XGET 'http://192.168.1.127:9200'`，（也可以用浏览器访问：<http://192.168.1.127:9200/>）如果能得到如下结果，则表示启动成功：
431-
432-
``` json
433-
{
434-
"name" : "youmeek-node-1",
435-
"cluster_name" : "youmeek-cluster",
436-
"cluster_uuid" : "c8RxQdOHQJq-Tg8rrPi_UA",
437-
"version" : {
438-
"number" : "5.2.0",
439-
"build_hash" : "24e05b9",
440-
"build_date" : "2017-01-24T19:52:35.800Z",
441-
"build_snapshot" : false,
442-
"lucene_version" : "6.4.0"
443-
},
444-
"tagline" : "You Know, for Search"
445-
}
446-
```
447-
448-
## 安装 Kibana 5.2.0
449-
450-
- 官网下载地址：<https://www.elastic.co/cn/downloads/kibana>
451-
- Kibana 5.2.0 版本下载地址（36M）：<https://artifacts.elastic.co/downloads/kibana/kibana-5.2.0-linux-x86_64.tar.gz>
452-
- Kibana 5.2.0 官网文档：<https://www.elastic.co/guide/en/kibana/5.2/index.html>
453-
- Kibana 5.2.0 官网安装文档：<https://www.elastic.co/guide/en/kibana/5.2/targz.html>
454-
455-
### tar.gz 解压安装
456-
457-
- 安装目录：/usr/program
458-
- 解压：`cd /usr/program ; tar zxvf kibana-5.2.0-linux-x86_64.tar.gz`
459-
- 删除压缩包：`rm -rf kibana-5.2.0-linux-x86_64.tar.gz`
460-
- 修改解压后的目录名称：`mv kibana-5.2.0-linux-x86_64 kibana-5.2.0`
461-
- 修改配置：`vim /usr/program/kibana-5.2.0/config/kibana.yml`，默认配置都是注释的，我们这里打开这些注释：
462-
463-
``` nginx
464-
server.port: 5601
465-
server.host: "0.0.0.0" # 请将这里改为 0.0.0.0 或是当前本机 IP，不然可能会访问不了
466-
erver.name: "youmeek-kibana"
467-
elasticsearch.url: "http://192.168.1.127:9200"
468-
elasticsearch.username: "elasticsearch"
469-
elasticsearch.password: "123456"
470-
```
471-
472-
- 运行：`cd /usr/program/kibana-5.2.0 ; ./bin/kibana`
473-
- 浏览器访问：<http://192.168.1.127:5601>，可以看到 Kibana `Configure an index pattern` 界面
474-
- 访问 Dev Tools 工具，后面写 DSL 语句会常使用该功能：<http://192.168.1.127:5601/app/kibana#/dev_tools/console?_g=()>
475-
476-
477-
## 安装 X-Pack 或是其他插件
478-
479-
- X-Pack 是官网提供的管理增强工具，但是全部功能收费，有一个月使用，有部分功能免费。其他免费的插件。
480-
- licence 的用法可以看这篇文章：
481-
- <http://blog.csdn.net/abcd_d_/article/details/53178798>
482-
- <http://blog.csdn.net/AbnerSunYH/article/details/53436212>
483-
- 破解：<http://www.lofter.com/lpost/33be15_d4fd028>
484-
- 免费插件：
485-
- head - 节点数据查看管理：<https://github.com/mobz/elasticsearch-head>
486-
- kopf - 集群管理：<https://github.com/lmenezes/elasticsearch-kopf>
487-
- 官网说明：<https://www.elastic.co/guide/en/x-pack/5.2/installing-xpack.html>
488-
- 安装（过程比较慢）：`/usr/share/elasticsearch/bin/elasticsearch-plugin install x-pack`
489-
- 如果线上安装速度太慢，那就离线安装：
490-
- 下载，我放在 /opt 目录下（119M）：`wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.2.2.zip`
491-
- 安装：`/usr/share/elasticsearch/bin/elasticsearch-plugin install file:///opt/x-pack-5.2.2.zip`
492-
- 卸载：`/usr/share/elasticsearch/bin/elasticsearch-plugin remove x-pack`
493-
- 安装后重启服务，重启后访问你会发现需要用户和密码，我们可以关掉这个，在 elasticsearch.yml 中添加：`xpack.security.enabled: false`
494-
- 其他 5.2 资料：
495-
- <https://blog.yourtion.com/install-x-pack-for-elasticsearch-and-kibana.html>
496-
- <https://www.ko178.cn/?p=353>
497-
- <https://my.oschina.net/HeAlvin/blog/828639>
498-
- <http://www.jianshu.com/p/004765d2238b>
499-
- <http://www.cnblogs.com/delgyd/p/elk.html>
500-
- <http://www.itdadao.com/articles/c15a1135185p0.html>
501-
- <http://www.busyboy.cn/?p=920>
502-
- <http://nosmoking.blog.51cto.com/3263888/1897989>
503-
504-
505513
## 资料
506514

507515
- <http://www.centoscn.com/CentosServer/test/2017/0304/8575.html>

0 commit comments

Comments
 (0)