在CentOS上搭建ELK环境


=Start=

缘由:

学习需要;测试需要;展示需要。

参考解答:

感觉现在的软件,越是新版本,安装、搭建起来就越是方便。之前搭建ELK环境的时候还有各种不便,但现在真的是越来越方便了。

# yum install java-1.7.0-openjdk
# java -version

$ wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.2/elasticsearch-2.3.2.rpm
# yum localinstall elasticsearch-2.3.2.rpm
# /etc/init.d/elasticsearch status
# /etc/init.d/elasticsearch start
# curl -X GET http://localhost:9200/
# netstat -lntp

$ wget https://download.elastic.co/kibana/kibana/kibana-4.5.0-1.x86_64.rpm
# yum localinstall kibana-4.5.0-1.x86_64.rpm
# rpm -qc kibana
# vim $(rpm -qc kibana)     # server.port: 8080
# /etc/init.d/kibana status
# /etc/init.d/kibana start
# netstat -lntp

$ wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.2-1.noarch.rpm
# yum localinstall logstash-2.3.2-1.noarch.rpm
# /etc/init.d/logstash status
# /etc/init.d/logstash start
# netstat -lntp

虽然搭建起来很容易,但是要注意默认配置很多时候是不安全的(因为他们假设你处在一个安全的环境中,但是在部分情况下并不是这样的),建议对应用进行访问控制。

参考链接:

=END=

, ,

《“在CentOS上搭建ELK环境”》 有 42 条评论

  1. Elasticsearch 安全加固 101
    https://www.elastic.co/cn/blog/reinforce-the-security-of-elasticsearch-101
    `
    通过正规渠道下载安装
    使用最新的 Elasticsearch
    修改默认的 Elasticsearch 集群名称
    不要暴露 Elasticsearch 在公网上
    禁用批量删除索引
    安全使用动态脚本
    给 Elasticsearch 服务器加固
    不要以 root 身份运行 Elasticsearch
    正确设置 Elasticsearch 的数据目录
    定期对 Elasticsearch 进行备份
    加上监控和预警
    `

  2. ELK+Beats实现Windows服务器系统日志监控
    http://dearcharles.cn/2017/11/11/ELK-Beats%E5%AE%9E%E7%8E%B0Windows%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%B3%BB%E7%BB%9F%E6%97%A5%E5%BF%97%E7%9B%91%E6%8E%A7/
    https://paper.tuisec.win/detail/3bc8317bfa4551b
    `
    1. 步骤一:安装Winlogbeat
    2. 步骤二:配置Winlogbeat
    3. 步骤三:配置Winlogbeat使用Logstash
    4. 步骤四:加载索引模板
    5. 第五步:启动Winlogbeat
    6. 步骤六:加载Kibana仪表盘样例
    `

  3. DSL全称是 领域特定语言(Domain-specific Language),ES提供两种查询方式即DSL查询和JSON查询。
    DSL查询是基于JSON格式查询给用于提供一种简单的查询方式,而不是JSON格式那种复杂的嵌套查询。
    用户如果是简单的查询使用DSL,复杂查询还是推荐使用JSON。
    https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax
    `
    DSL的范围查询:
    # 日期
    date:[2017-01-01 TO 2017-12-31]
    # 数字
    count:[1 TO 5]
    # 大于/小于
    age:>10
    age:>=10
    age:<10
    age:<=10

    # 字符串完全匹配
    author:"john smith"
    `

  4. Kibana插件sentinl使用教程
    https://www.cnblogs.com/kellyJAVA/p/8953928.html
    https://paper.tuisec.win/detail/7b71aa435541ea9
    `
    对于Kibana的一些数据我们有时候是想要对某些字段进行持续关注的,这时候通过报警的手段就可以大幅提升对这些信息状态了解的及时性及可靠性。使用sentinl插件就可以帮助我们实现这个功能。

    此教程基于sentinl 6.2.3版本, sentinl版本最好与kibana的版本保持一致。
    `

  5. 干货 | Elasticsearch Top10 监控指标
    https://mp.weixin.qq.com/s/H8SpQqNxPx1_SYwFLGn8tA
    `
    0、监控Elasticsearch集群的重要性
    1、集群健康维度:分片和节点
    2、搜索性能维度:请求率和延迟
    3、索引性能维度:刷新(refresh)和合并(Merge)时间
    4、节点运行状况维度:内存,磁盘和CPU指标
    5、JVM运行状况维度:堆,GC和池大小(Pool Size)
    6、ElasticsearchTop10监控指标

    Cluster Health – Nodes and Shards
    Search Performance – Request Latency and
    Search Performance – Request Rate
    Indexing Performance – Refresh Times
    Indexing Performance – Merge Times
    Node Health – Memory Usage
    Node Health – Disk I/O
    Node Health – CPU
    JVM Health – Heap Usage and Garbage Collection
    JVM health – JVM Pool Size

    在监控Elasticsearch集群时,很难对每个关注领域做出公正的判断。不同指标之间的紧密耦合以及了解配置变化如何影响每个指标需要一支经验丰富且训练有素的工程师团队。

    对于将Elasticsearch作为解决方案的任何公司而言,投资全面的监控策略至关重要。有效的监控可以节省公司因非响应或无法修复的集群问题而导致的停机时间成本和经济成本。
    `

  6. ELK重难点总结和整体优化配置
    https://www.cnblogs.com/along21/p/8613115.html
    `
    一、elk 实用知识点总结
    1、编码转换问题(主要就是中文乱码)
    2、删除多余日志中的多余行
    3、grok 处理多种日志不同的行
    4、日志多行合并处理—multiline插件(重点)
    5、logstash filter 中的date使用
    6、对多类日志分类处理(重点)

    二、对elk 整体性能的优化
    1、性能分析
    2、关于收集日志的选择:logstash/filter
    3、logstash的优化相关配置
    4、引入Redis 的相关问题
    5、elasticsearch 节点优化配置
    6、性能的检查
    `

  7. Kibana中如何对 IP 类型的字段进行模糊搜索
    `
    方法:使用CIDR的方式进行搜索
    remote_addr: “172.16.16.11/8” # 172.*
    remote_addr: “172.16.16.11/24” # 172.16.16.*
    `
    https://www.elastic.co/guide/en/elasticsearch/reference/current/ip.html

    Kibana查询语法详解
    https://blog.csdn.net/cjfeii/article/details/79771399

    Kibana中可以通过将鼠标放在对应字段前面的小图标上,就可以得到提示这个字段是什么类型的了。

  8. Kibana

    探索 – Discover
    可视化 – Visualize
    仪表板 – Dashboard

    使用 Discover(发现)来探索样本数据
    对样本数据进行 Visualize(可视化)
    将可视化聚合到 Dashboard(仪表盘)

    可视化数据
    https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html

    使用仪表板汇总数据
    https://www.elastic.co/guide/cn/kibana/current/tutorial-dashboard.html

    Kibana可视化数据(Visualize)详解
    https://www.cnblogs.com/hahaha111122222/p/12841986.html

    Kibana入门指南
    http://www.zhaowenyu.com/kibana-doc/docs/21.html

回复 a-z 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注