ASPIRE

在CentOS上搭建ELK环境

=Start=

缘由：

学习需要；测试需要；展示需要。

参考解答：

感觉现在的软件，越是新版本，安装、搭建起来就越是方便。之前搭建ELK环境的时候还有各种不便，但现在真的是越来越方便了。

# yum install java-1.7.0-openjdk
# java -version

$ wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.3.2/elasticsearch-2.3.2.rpm
# yum localinstall elasticsearch-2.3.2.rpm
# /etc/init.d/elasticsearch status
# /etc/init.d/elasticsearch start
# curl -X GET http://localhost:9200/
# netstat -lntp

$ wget https://download.elastic.co/kibana/kibana/kibana-4.5.0-1.x86_64.rpm
# yum localinstall kibana-4.5.0-1.x86_64.rpm
# rpm -qc kibana
# vim $(rpm -qc kibana)     # server.port: 8080
# /etc/init.d/kibana status
# /etc/init.d/kibana start
# netstat -lntp

$ wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-2.3.2-1.noarch.rpm
# yum localinstall logstash-2.3.2-1.noarch.rpm
# /etc/init.d/logstash status
# /etc/init.d/logstash start
# netstat -lntp

虽然搭建起来很容易，但是要注意默认配置很多时候是不安全的（因为他们假设你处在一个安全的环境中，但是在部分情况下并不是这样的），建议对应用进行访问控制。

参考链接：

=END=

admin

, ,
,

《 “在CentOS上搭建ELK环境” 》 有 42 条评论

  3. 保存进 Elasticsearch
    http://udn.yyuap.com/doc/logstash-best-practice-cn/output/elasticsearch.html

    ELK+Filebeat 集中式日志解决方案详解
    http://www.ibm.com/developerworks/cn/opensource/os-cn-elk-filebeat/index.html

    搭建ELK Stack + Filebeat
    http://shildon.leanote.com/post/%E6%90%AD%E5%BB%BAELK%E7%AC%94%E8%AE%B0

    Filebeat的架构分析、配置解释与示例
    http://www.voidcn.com/blog/gamer_gyt/article/p-6218911.html

    lasticsearch 入门：Filebeat 安装及输出数据到 elasticsearch 或 logstash
    http://www.infocool.net/kb/OtherDB/201701/273644.html

    Filebeat + Elasitcsearch + Kibana 搭建日志收集系统
    http://www.dahouduan.com/2016/10/17/bigdata-filebeat-elasticsearch-kibana-elk/

    Python 批量写入 Elasticsearch 脚本
    http://chenlinux.com/2015/02/11/python-elasticsearch-bulk/

    使用Python进行Elasticsearch数据索引
    http://www.justinablog.com/archives/967

    使用python操作elasticsearch实现监控数据及kibana分析
    http://xiaorui.cc/2014/09/16/%E4%BD%BF%E7%94%A8python%E6%93%8D%E4%BD%9Celasticsearch%E5%AE%9E%E7%8E%B0%E7%9B%91%E6%8E%A7%E6%95%B0%E6%8D%AE%E5%8F%8Akibana%E5%88%86%E6%9E%90/

    python并行日志处理批量写入elasticsearch
    http://www.3qos.com/article/157.html

    https://elasticsearch-py.readthedocs.io/en/master/
    http://stackoverflow.com/questions/28675162/how-do-you-add-multiple-json-files-to-elasticsearch

    回复

  6. Building a Sysmon Dashboard with an ELK Stack
    http://cyberwardog.blogspot.com/2017/03/building-sysmon-dashboard-with-elk-stack.html
    Chronicles of a Threat Hunter(ELK Stack)
    http://cyberwardog.blogspot.com/2017/03/chronicles-of-threat-hunter-hunting-for.html
    http://cyberwardog.blogspot.com/2017/03/chronicles-of-threat-hunter-hunting-for_22.html
    http://cyberwardog.blogspot.com/2017/03/chronicles-of-threat-hunter-hunting-for_26.html
    http://cyberwardog.blogspot.com/2017/04/chronicles-of-threat-hunter-hunting-for.html

    回复

  11. Kibana 查询语法
    https://segmentfault.com/a/1190000002972420
    http://www.ttlsa.com/elk/elk-kibana-query-and-filter/
    http://xiaorui.cc/2015/02/13/%E5%9C%A8kibana%E9%87%8C%E4%BD%BF%E7%94%A8lucene%E8%AF%AD%E6%B3%95%E8%BF%9B%E8%A1%8C%E6%90%9C%E7%B4%A2query%E6%90%9C%E7%B4%A2/

    Lucene查询语法详解
    http://www.cnblogs.com/xing901022/p/4974977.html

    Elasticsearch: 权威指南 » 基础入门 » 请求体查询 » 最重要的查询
    https://www.elastic.co/guide/cn/elasticsearch/guide/current/_most_important_queries.html

    Kibana的Lucene的查询语法
    http://blog.willdx.me/2017/07/11/Kibana%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/

    ELKstack中文指南-搜索请求
    https://kibana.logstash.es/content/elasticsearch/api/search.html

    ELK：Kibana使用分析介绍
    http://www.billstudy.com/2016/06/29/d3624b6c5bbc5e55a9c2e4e87f82a451/

    回复

  14. Elasticsearch 安全加固 101
    https://www.elastic.co/cn/blog/reinforce-the-security-of-elasticsearch-101
    `
    通过正规渠道下载安装
    使用最新的 Elasticsearch
    修改默认的 Elasticsearch 集群名称
    不要暴露 Elasticsearch 在公网上
    禁用批量删除索引
    安全使用动态脚本
    给 Elasticsearch 服务器加固
    不要以 root 身份运行 Elasticsearch
    正确设置 Elasticsearch 的数据目录
    定期对 Elasticsearch 进行备份
    加上监控和预警
    `

    回复

  23. ELK+Beats实现Windows服务器系统日志监控
    http://dearcharles.cn/2017/11/11/ELK-Beats%E5%AE%9E%E7%8E%B0Windows%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%B3%BB%E7%BB%9F%E6%97%A5%E5%BF%97%E7%9B%91%E6%8E%A7/
    https://paper.tuisec.win/detail/3bc8317bfa4551b
    `
    1. 步骤一：安装Winlogbeat
    2. 步骤二：配置Winlogbeat
    3. 步骤三：配置Winlogbeat使用Logstash
    4. 步骤四：加载索引模板
    5. 第五步：启动Winlogbeat
    6. 步骤六：加载Kibana仪表盘样例
    `

    回复

  24. DSL全称是 领域特定语言(Domain-specific Language)，ES提供两种查询方式即DSL查询和JSON查询。
    DSL查询是基于JSON格式查询给用于提供一种简单的查询方式，而不是JSON格式那种复杂的嵌套查询。
    用户如果是简单的查询使用DSL，复杂查询还是推荐使用JSON。
    https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html#query-string-syntax
    `
    DSL的范围查询：
    # 日期
    date:[2017-01-01 TO 2017-12-31]
    # 数字
    count:[1 TO 5]
    # 大于/小于
    age:>10
    age:>=10
    age:<10
    age:<=10

    # 字符串完全匹配
    author:"john smith"
    `

    回复

  26. ElasticSearch查询 第一篇：搜索API
    https://www.cnblogs.com/ljhdo/p/4486978.html

    Term Query(项查询)
    http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260518

    Terms Query(多项查询)
    http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260558

    Bool 查询
    http://cwiki.apachecn.org/pages/viewpage.action?pageId=4882896

    ElasticSearch date range
    https://stackoverflow.com/questions/26791412/elasticsearch-date-range
    https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-range-query.html

    回复

  27. Kibana插件sentinl使用教程
    https://www.cnblogs.com/kellyJAVA/p/8953928.html
    https://paper.tuisec.win/detail/7b71aa435541ea9
    `
    对于Kibana的一些数据我们有时候是想要对某些字段进行持续关注的，这时候通过报警的手段就可以大幅提升对这些信息状态了解的及时性及可靠性。使用sentinl插件就可以帮助我们实现这个功能。

    此教程基于sentinl 6.2.3版本, sentinl版本最好与kibana的版本保持一致。
    `

    回复

  30. 干货 | Elasticsearch Top10 监控指标
    https://mp.weixin.qq.com/s/H8SpQqNxPx1_SYwFLGn8tA
    `
    0、监控Elasticsearch集群的重要性
    1、集群健康维度：分片和节点
    2、搜索性能维度：请求率和延迟
    3、索引性能维度：刷新(refresh)和合并(Merge)时间
    4、节点运行状况维度：内存，磁盘和CPU指标
    5、JVM运行状况维度：堆，GC和池大小（Pool Size）
    6、ElasticsearchTop10监控指标

    Cluster Health – Nodes and Shards
    Search Performance – Request Latency and
    Search Performance – Request Rate
    Indexing Performance – Refresh Times
    Indexing Performance – Merge Times
    Node Health – Memory Usage
    Node Health – Disk I/O
    Node Health – CPU
    JVM Health – Heap Usage and Garbage Collection
    JVM health – JVM Pool Size

    在监控Elasticsearch集群时，很难对每个关注领域做出公正的判断。不同指标之间的紧密耦合以及了解配置变化如何影响每个指标需要一支经验丰富且训练有素的工程师团队。

    对于将Elasticsearch作为解决方案的任何公司而言，投资全面的监控策略至关重要。有效的监控可以节省公司因非响应或无法修复的集群问题而导致的停机时间成本和经济成本。
    `

    回复

  33. ELK重难点总结和整体优化配置
    https://www.cnblogs.com/along21/p/8613115.html
    `
    一、elk 实用知识点总结
    1、编码转换问题（主要就是中文乱码）
    2、删除多余日志中的多余行
    3、grok 处理多种日志不同的行
    4、日志多行合并处理—multiline插件（重点）
    5、logstash filter 中的date使用
    6、对多类日志分类处理（重点）

    二、对elk 整体性能的优化
    1、性能分析
    2、关于收集日志的选择：logstash/filter
    3、logstash的优化相关配置
    4、引入Redis 的相关问题
    5、elasticsearch 节点优化配置
    6、性能的检查
    `

    回复

  38. 【漏洞预警】Kibana远程代码执行漏洞(CVE-2019-7609)预警通告
    https://mp.weixin.qq.com/s/N3NyQ6sYvBJcRobKUPs1SQ
    [漏洞预警] kibana < 6.6.0 代码执行漏洞
    https://mp.weixin.qq.com/s/R4rzYDp9-q2NYAOvPK951A

    Kibana RCE 漏洞简单分析
    https://mp.weixin.qq.com/s/OKj3uRXEsPENCA_KX48M7A

    Javascript原型链攻击与防御
    https://mp.weixin.qq.com/s?__biz=MzA4NzA5OTYzNw==&mid=2247483739&idx=1&sn=e295f34871420a2304f041a5d26811c9

    Kibana 任意代码执行漏洞
    https://mp.weixin.qq.com/s/5REWdpmVouPCD3CrSOivLw
    https://slides.com/securitymb/prototype-pollution-in-kibana/

    回复

  40. Kibana中如何对 IP 类型的字段进行模糊搜索
    `
    方法：使用CIDR的方式进行搜索
    remote_addr: “172.16.16.11/8” # 172.*
    remote_addr: “172.16.16.11/24” # 172.16.16.*
    `
    https://www.elastic.co/guide/en/elasticsearch/reference/current/ip.html

    Kibana查询语法详解
    https://blog.csdn.net/cjfeii/article/details/79771399

    Kibana中可以通过将鼠标放在对应字段前面的小图标上，就可以得到提示这个字段是什么类型的了。

    回复

  42. Kibana

    探索 – Discover
    可视化 – Visualize
    仪表板 – Dashboard

    使用 Discover（发现）来探索样本数据
    对样本数据进行 Visualize（可视化）
    将可视化聚合到 Dashboard（仪表盘）

    可视化数据
    https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html

    使用仪表板汇总数据
    https://www.elastic.co/guide/cn/kibana/current/tutorial-dashboard.html

    Kibana可视化数据(Visualize)详解
    https://www.cnblogs.com/hahaha111122222/p/12841986.html

    Kibana入门指南
    http://www.zhaowenyu.com/kibana-doc/docs/21.html

    回复

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注