MySQL的一些tips总结_3


=Start=

查看MySQL上每个IP的连接个数

要统计数据库的连接数,我们通常情况下是统计总数,没有细分到每个IP上。现在要监控每个IP的连接数,实现方式如下:

mysql> select SUBSTRING_INDEX(host,':',1) as ip, count(*) from information_schema.processlist group by ip;

# /usr/local/bin/mysql -uroot -h127.0.0.1 -e"show processlist;" | awk -F: 'NR>1 {print $2}' | sort | uniq -c
# /usr/local/bin/mysql -uroot -h127.0.0.1 --skip-column-names -e"show processlist;" | awk '{print $3}' | awk -F":" '{print $1}' | sort | uniq -c
# --skip-column-names    不显示数据列的名字

==

这里主要想记录的是MySQL的concat、concat_ws和group_concat函数,顺带翻出来了一些之前看到的较好的MySQL注入方面的文章。

搜索关键字:
  • mysql concat null
  • mysql ifnull
  • mysql concat concat_ws group_concat
  • mysql load_file
  • mysql limit offset performance optimization
  • mysql information_schema
参考链接:
==MySQL统计函数GROUP_CONCAT陷阱==

最近在用MySQL做一些数据的预处理,经常会用到group_concat函数,比如类似下面一条语句

mysql>select aid,group_concat(bid) from tbl group by aid limit 1;

sql语句比较简单,按照aid分组,并且把相应的bid用逗号串起来。这样的句子大家可能都用过,也可能不会出问题,但是如果bid非常多的话,你就要小心了,比如下面的提示信息:

Query OK, XXX rows affected, 1 warning (3 min 45.12 sec)

怎么会有警告呢,打出来看看:

mysql> show warnings;
+---------+------+--------------------------------------+
| Level   | Code | Message                                 |
+---------+------+--------------------------------------+
| Warning | 1260 | 1 line(s) were cut by GROUP_CONCAT()    |
+---------+------+--------------------------------------+

居然被GROUP_CONCAT截断了我的结果,查了一下手册,原来GROUP_CONCAT有个最大长度的限制,超过最大长度就会被截断掉,你可以通过下面的语句获得:

mysql> SELECT @@global.group_concat_max_len;
+-------------------------------+
| @@global.group_concat_max_len |
+-------------------------------+
|                      1024     |
+-------------------------------+

1024这就是一般MySQL系统默认的最大长度,如果你的bid串起来大于这个就会出问题,好在有解决的办法:

1.在MySQL配置文件中加上

group_concat_max_len = 102400 #你要的最大长度

2.可以简单一点,执行语句

mysql> SET GLOBAL group_concat_max_len=102400;
Query OK, 0 rows affected (0.01 sec)

再执行group_concat语句就不会出问题了,另外MySQL手册上还给出了group_concat的详细用法,给个示例你就明白了:

mysql>select aid,group_concat(bid order by bid separator ',') as bid_str from tbl group by aid;

还可以排序和设置分隔符,功能强大。

==

显示库基本信息
select 1,concat(user(),0x20,database(),0x20,version()),3,4--
列库
select 1,group_concat(distinct table_schema),3,4 from information_schema.columns--
列表
select 1,group_concat(distinct table_name),3,4 from information_schema.tables where table_schema=database()--
查询列
select 1,group_concat(distinct column_name),3,4 from information_schema.columns where table_schema=database()--
查询具体值
select 1,group_concat(user,0x20,password),3,4 from mysql.user--
select 1,concat(user,password),3,4 from mysql.user--


select concat(user(),0x20,ifnull(database(),'null'),0x20,version());
select concat_ws('|||',user(),database(),version());
select group_concat(user(),COALESCE(database(), 'NULL'),version());
select group_concat(user(),0x20,COALESCE(database(), 'NULL'),0x20,version());
select group_concat(user(),database(),version() SEPARATOR ',');	#separator不起作用

==

1.注释符号
# Hash 语法
/* C-style 语法
-- SQL 语法(后面需要有一个空格)
;%00 空字节
` 反引号
2.过滤空格注入
使用/**/或()或+代替空格
%0c = form feed, new page
%09 = horizontal tab
%0d = carriage return
%0a = line feed, new line
3.多条数据显示
concat()
group_concat()
concat_ws()
4.相关系统函数
system_user() 系统用户名
user() 用户名
current_user() 当前用户名
session_user() 连接数据库的用户名
database() 数据库名
version() MYSQL数据库版本
load_file() MYSQL读取本地文件的函数
@@datadir 读取数据库路径
@@basedir MYSQL安装路径
@@version_compile_os 操作系统
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
5.mysql一般注入语句
猜字段数:
order by n/*

=END=


《 “MySQL的一些tips总结_3” 》 有 8 条评论

  1. 修改MySQL的提示符
    `
    $ vim ~/.bashrc
    #MySQL
    export MYSQL_PS1=”u@h [d]> ”
    $ source ~/.bashrc
    `

  2. 初相识|performance_schema全方位介绍(一)
    https://mp.weixin.qq.com/s/hIMiOGTgUVg6pt6CDD1JjA
    `
    1、什么是performance_schema
    2、performance_schema使用快速入门
    2.1. 检查当前数据库版本是否支持
    2.2. 启用performance_schema
    2.3. performance_schema表的分类
    2.4. performance_schema简单配置与使用
    `

  3. mysql中如何将一个字符串切分成多行?
    https://stackoverflow.com/questions/17942508/sql-split-values-to-multiple-rows
    `
    select
    tablename.id,
    SUBSTRING_INDEX(SUBSTRING_INDEX(tablename.name, ‘,’, numbers.n), ‘,’, -1) name
    from
    (select 1 n union all
    select 2 union all select 3 union all
    select 4 union all select 5
    ) numbers
    INNER JOIN tablename
    on CHAR_LENGTH(tablename.name) – CHAR_LENGTH(REPLACE(tablename.name, ‘,’, ”)) >= numbers.n-1
    order by
    id, n
    ;
    `
    MySQL split comma-separated string into rows
    https://gist.github.com/duanehutchins/c6000b367b3032b0b495c46b3bc370c8

    Splitting Comma-Separated Values In MySQL
    https://www.sisense.com/blog/splitting-comma-separated-values-in-mysql/

    MySQL: split value in column to get multiple rows
    https://dba.stackexchange.com/questions/57904/mysql-split-value-in-column-to-get-multiple-rows

    How to Split Strings into Rows in MySQL
    https://logic.edchen.org/how-to-split-strings-into-rows-in-mysql/

    How to split and search in comma-separated string in MySQL
    https://www.gyrocode.com/articles/how-to-split-and-search-in-comma-separated-values-in-mysql/

  4. 数据库全量SQL分析与审计系统性能优化之旅
    https://tech.meituan.com/2022/06/09/the-route-of-database-get-audit-sql-optimize.html
    `
    个人点评:
    在生产服务器使用基于pcap抓包、解包、SQL提取和脱敏的方式做SQL分析审计的方式方法确实比较low,也不符合发展趋势(最合适的点还是在Linux内核/各应用内核中进行数据输出,数据全面且性能损耗低,唯一的缺点就是对开发团队的要求高),但除了top级别的公司,绝大部分公司连这个功能和条件都达不到,想做好SQL审计就很难,当然了在那种条件下,安全团队和数据库团队肯定还有其它的更重要的问题要处理,这个都不算是高优问题了;对于大部分常规的业务来说,安全至多只是业务的一种(可有可无、有了更好的)属性,重要程度没那么高,安全团队要学会在资源有限的条件下做安全。

    ==

    1 背景
    数据库安全一直是美团信息安全团队和数据库团队非常注重的领域,但由于历史原因,对数据库的访问只具备采样审计能力,导致对于一些攻击事件无法快速地发现、定损和优化。安全团队根据历史经验,发现攻击访问数据库基本上都存在着某些特征,经常会使用一些特定SQL,我们希望通过对MySQL访问流量进行全量分析,识别出惯用SQL,在数据库安全性上做到有的放矢。

    2 现状及挑战
    下图是采样MySQL审计系统的架构图,数据采集端基于pcap抓包方式实现,数据处理端选用美团大数据中心的日志接入方案。所有MySQL实例都部署了用于采集MySQL相关数据的rds-agent、日志收集的log-agent。rds-agent抓取到MySQL访问数据,通过log-agent上报到日志接收端,为了减少延时,上报端与接收端间做了同机房调度优化。日志接收端把数据写入到约定的Kafka中,安全团队通过Storm实时消费Kafka分析出攻击事件,并定期拉数据持久化到Hive中。

    3 分析及优化
    下面主要介绍围绕丢失率与CPU消耗这一问题,我们对数据采集端在流程、调度、垃圾回收和协议方面做的分析与改进。

    3.1 数据采集端介绍
    首先,简要介绍一下数据采集端rds-agent,它是一个MySQL实例上的进程,采用Go语言编写,基于开源的MysqlProbe的Agent改造。通过监听网卡上MySQL端口的流量,分析出客户端的访问时间、来源IP、用户名、SQL、目标数据库和目标IP等审计信息。

    3.2 基础性能测试
    抓包库gopacket的性能直接决定了系统性能上限,为了探究问题是否出在gopacket上,我们编写了简易的tcp-client和tcp-server,单独对gopacket在数据流向图中涉及到的前三个步骤(如下图所示)进行了性能测试,从下面的测试结果数据上看,性能瓶颈点不在gopacket。

    3.3 CPU画像分析
    丢失率与CPU消耗二者密不可分,为了探究如此高CPU消耗的原因,我们用Go自带的pprof工具对进程的CPU消耗进行了画像分析,从下面火焰图的调用函数可以归纳出几个大头:SQL脱敏、解包、GC和Goroutine调度。下面主要介绍一下围绕它们做的优化工作。

    3.4 脱敏分析及改进
    因为SQL中可能包含敏感信息,出于安全考虑,rds-agent会对每一条SQL进行脱敏处理。

    脱敏操作使用了pingcap的SQL解析器对SQL进行模板化:即把SQL中的值全部替换成“?”来达到目的,该操作需要解析出SQL的抽象语法树,代价较高。当前只有采样和抓取特定SQL的需求,没有必要在解析阶段对每条SQL进行脱敏。这里在流程上进行了优化,把脱敏下沉到上报模块,只对最终发送出去的样本脱敏。

    3.5 调度分析及改进
    从下面的数据流向图可以看出整个链路比较长,容易出现性能瓶颈点。同时存在众多高频运行的Goroutine(红色部分),由于数量多,Go需要经常在这些Goroutine间进行调度切换,切换对于我们这种CPU密集型的程序来说无疑是一种负担。

    3.6 垃圾回收压力分析及改进
    关于GC,我们了解到如下两种优化方案:
    * 池化:Go的标准库中提供了一个sync.Pool对象池,可通过复用对象来减少对象分配,从而降低GC压力。
    * 手动管理内存:通过系统调用mmap直接向OS申请内存,绕过GC,实现内存的手动管理。

    3.7 解包分析及改进
    MySQL是基于TCP协议之上的,在功能调试过程中,我们发现了很多空包。从下面的MySQL客户端-服务端数据的交互图可以看出:当客户端发送一条SQL命令,服务端响应结果,由于TCP的消息确认机制,客户端会发送一个空的ack包来确认消息,而且空包在整个流程中的比例较大,它们会穿透到解析环节,在高QPS下对于Goroutine调度和GC来说无疑是一个负担。
    pcap支持设置过滤规则,让我们可以在内核层将空包排除掉。

    4 最终成果
    下面是优化前后的数据对比,丢失率从最高60%下降到了0%, CPU消耗从最高占用6个核下降到了1个核。

    为了探究抓包功能对MySQL性能损耗,我们用Sysbench做了一个性能对比测试。从下面的结果数据可以看出功能对MySQL的TPS、QPS和响应时间99线指标最高大约有6%的损耗。

    5 未来规划
    虽然我们对抓包方案进行了各种优化,但对于一些延迟敏感的业务来说性能损耗还是偏大,而且该方案对一些特殊场景支持较差:如TCP协议层发生丢包、重传、乱序时,MySQL协议层使用压缩、传输大SQL时。而业界普遍采用了直接改造MySQL内核的方式来输出全量SQL,同时也支持输出更多的指标数据。目前,数据库内核团队也完成了该方案开发,正在线上灰度替换抓包方案中。另外,对于线上全量SQL端到端丢失率指标的缺失,我们也将陆续进行补齐。
    `

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注