在CentOS上搭建ELK环境

本文最后更新于2016年5月25日,已超过 1 年没有更新,如果文章内容失效,还请反馈给我,谢谢!

=Start=

缘由:

学习需要;测试需要;展示需要。

参考解答:

感觉现在的软件,越是新版本,安装、搭建起来就越是方便。之前搭建ELK环境的时候还有各种不便,但现在真的是越来越方便了。

虽然搭建起来很容易,但是要注意默认配置很多时候是不安全的(因为他们假设你处在一个安全的环境中,但是在部分情况下并不是这样的),建议对应用进行访问控制。

参考链接:

=END=

声明: 除非注明,ixyzero.com文章均为原创,转载请以链接形式标明本文地址,谢谢!
https://ixyzero.com/blog/archives/2691.html

《在CentOS上搭建ELK环境》上有39条评论

  1. Elasticsearch 安全加固 101
    https://www.elastic.co/cn/blog/reinforce-the-security-of-elasticsearch-101

    通过正规渠道下载安装
    使用最新的 Elasticsearch
    修改默认的 Elasticsearch 集群名称
    不要暴露 Elasticsearch 在公网上
    禁用批量删除索引
    安全使用动态脚本
    给 Elasticsearch 服务器加固
    不要以 root 身份运行 Elasticsearch
    正确设置 Elasticsearch 的数据目录
    定期对 Elasticsearch 进行备份
    加上监控和预警

  2. ELK+Beats实现Windows服务器系统日志监控
    http://dearcharles.cn/2017/11/11/ELK-Beats%E5%AE%9E%E7%8E%B0Windows%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%B3%BB%E7%BB%9F%E6%97%A5%E5%BF%97%E7%9B%91%E6%8E%A7/
    https://paper.tuisec.win/detail/3bc8317bfa4551b

    1. 步骤一:安装Winlogbeat
    2. 步骤二:配置Winlogbeat
    3. 步骤三:配置Winlogbeat使用Logstash
    4. 步骤四:加载索引模板
    5. 第五步:启动Winlogbeat
    6. 步骤六:加载Kibana仪表盘样例

  3. DSL全称是 领域特定语言(Domain-specific Language),ES提供两种查询方式即DSL查询和JSON查询。
    DSL查询是基于JSON格式查询给用于提供一种简单的查询方式,而不是JSON格式那种复杂的嵌套查询。
    用户如果是简单的查询使用DSL,复杂查询还是推荐使用JSON。
    https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax

    DSL的范围查询:
    # 日期
    date:[2017-01-01 TO 2017-12-31]
    # 数字
    count:[1 TO 5]
    # 大于/小于
    age:>10
    age:>=10
    age:<10
    age:<=10

    # 字符串完全匹配
    author:"john smith"

  4. Kibana插件sentinl使用教程
    https://www.cnblogs.com/kellyJAVA/p/8953928.html
    https://paper.tuisec.win/detail/7b71aa435541ea9

    对于Kibana的一些数据我们有时候是想要对某些字段进行持续关注的,这时候通过报警的手段就可以大幅提升对这些信息状态了解的及时性及可靠性。使用sentinl插件就可以帮助我们实现这个功能。

    此教程基于sentinl 6.2.3版本, sentinl版本最好与kibana的版本保持一致。

  5. 干货 | Elasticsearch Top10 监控指标
    https://mp.weixin.qq.com/s/H8SpQqNxPx1_SYwFLGn8tA

    0、监控Elasticsearch集群的重要性
    1、集群健康维度:分片和节点
    2、搜索性能维度:请求率和延迟
    3、索引性能维度:刷新(refresh)和合并(Merge)时间
    4、节点运行状况维度:内存,磁盘和CPU指标
    5、JVM运行状况维度:堆,GC和池大小(Pool Size)
    6、ElasticsearchTop10监控指标

    Cluster Health – Nodes and Shards
    Search Performance – Request Latency and
    Search Performance – Request Rate
    Indexing Performance – Refresh Times
    Indexing Performance – Merge Times
    Node Health – Memory Usage
    Node Health – Disk I/O
    Node Health – CPU
    JVM Health – Heap Usage and Garbage Collection
    JVM health – JVM Pool Size

    在监控Elasticsearch集群时,很难对每个关注领域做出公正的判断。不同指标之间的紧密耦合以及了解配置变化如何影响每个指标需要一支经验丰富且训练有素的工程师团队。

    对于将Elasticsearch作为解决方案的任何公司而言,投资全面的监控策略至关重要。有效的监控可以节省公司因非响应或无法修复的集群问题而导致的停机时间成本和经济成本。

  6. ELK重难点总结和整体优化配置
    https://www.cnblogs.com/along21/p/8613115.html

    一、elk 实用知识点总结
    1、编码转换问题(主要就是中文乱码)
    2、删除多余日志中的多余行
    3、grok 处理多种日志不同的行
    4、日志多行合并处理—multiline插件(重点)
    5、logstash filter 中的date使用
    6、对多类日志分类处理(重点)

    二、对elk 整体性能的优化
    1、性能分析
    2、关于收集日志的选择:logstash/filter
    3、logstash的优化相关配置
    4、引入Redis 的相关问题
    5、elasticsearch 节点优化配置
    6、性能的检查

发表评论

电子邮件地址不会被公开。 必填项已用*标注