=Start=
缘由:
之前记录过一篇《如何用Java从SQL中提取出涉及到的表名、列名?》的文章,里面介绍的是用Alibaba Druid提供的SQL解析模块来实现相应的功能,这里简单记录一下最近了解到的JSQLParser这个SQL语句解析器的用法,方便有需要的时候参考。
正文:
参考解答:
这里直接放代码:
import net.sf.jsqlparser.JSQLParserException;
import net.sf.jsqlparser.parser.CCJSqlParserUtil;
import net.sf.jsqlparser.schema.Table;
import net.sf.jsqlparser.statement.Statement;
import net.sf.jsqlparser.statement.select.*;
import net.sf.jsqlparser.util.TablesNamesFinder;
import java.util.ArrayList;
import java.util.List;
public class JSQLParserTest {
public static void main(String[] args) {
String sql = "SELECT\n" +
" a.id,\n" +
" username,\n" +
" b.workflow_name,\n" +
" reviewok_time\n" +
"FROM archer.sql_users a\n" +
" JOIN sql_workflow b ON a.username = b.engineer\n" +
" JOIN archive.table3 c ON a.username = c.col5;\n";
try {
Statement stmt = CCJSqlParserUtil.parse(sql);
Select selectStatement = (Select) stmt;
TablesNamesFinder tablesNamesFinder = new TablesNamesFinder();
List<String> tableList = tablesNamesFinder.getTableList(selectStatement);
for (String name: tableList) {
System.out.println("table: " + name);
}
System.out.println();
List<String> columnList = new ArrayList<String>();
PlainSelect ps = (PlainSelect) selectStatement.getSelectBody();
List<SelectItem> selectItems = ps.getSelectItems();
// System.out.println(selectItems);
selectItems.stream().forEach(selectItem -> columnList.add(selectItem.toString()));
for (String name: columnList) {
System.out.println("column: " + name);
}
System.out.println();
FromItem fromItem = ps.getFromItem();
Table table = (Table) fromItem;
System.out.println(table.getName() + ":\t" + table.getAlias());
List<Join> joins = ps.getJoins();
for (Join join : joins) {
fromItem = join.getRightItem();
table = (Table) fromItem;
System.out.println(table.getName() + ":\t" + table.getAlias());
}
} catch (JSQLParserException e) {
e.printStackTrace();
}
}
}
简单来说就是,JSQLParser使用起来还算简单,但就上面的测试SQL来看,效果难说完美(表名提取那里会把archer.sql_users里面的「archer.」给略掉,只剩下sql_users)。
据说「General Sql Parser’s (GSP)」的效果很好,不过是付费的(想来在很多方面要想把一件事情做好,还是需要专门的人力支持、维护,付费是有付费的道理的),还没有机会测试,以后有机会了再试试效果。
参考链接:
https://github.com/JSQLParser/JSqlParser/wiki/Examples-of-SQL-parsing
Jsqlparser使用
https://www.yuech.net/2015/10/09/Jsqlparser%E4%BD%BF%E7%94%A8/
java-How to parse sql columns with JDBC or jSqlParser ?
https://www.bswen.com/2019/05/android-How-to-parse-sql-columns-with-JDBC-or-jSqlParser.html
使用java sql parser插件Jsqlparser 实例(一)
https://blog.csdn.net/u014297722/article/details/53256533
Parsing table and column names from SQL/HQL Java
https://stackoverflow.com/questions/40908062/parsing-table-and-column-names-from-sql-hql-java
https://www.programcreek.com/java-api-examples/index.php?api=net.sf.jsqlparser.schema.Column
https://www.programcreek.com/java-api-examples/?api=net.sf.jsqlparser.statement.select.AllTableColumns
https://vimsky.com/examples/detail/java-class-net.sf.jsqlparser.schema.Table.html
https://stackoverflow.com/questions/37250588/jsqlparser-getting-table-name-from-column
JSQLParser 来分析复杂SQL,实现UI业务一次SQL搞定
https://www.jianshu.com/p/f57bc22b5b32
JPA 表租户 SQL解析实现
https://www.codenong.com/js8ad3b4d6bd43/
几种基于Java的SQL解析工具的比较与调用
https://blog.csdn.net/qq_21383435/article/details/81984297
基于Java的SQL解析工具的比较与学习
https://blog.csdn.net/czq850114000/article/details/80844689
=END=
《 “JSQLParser的简单使用” 》 有 2 条评论
或许你不知道的12条SQL技巧
https://mp.weixin.qq.com/s/AwAEJVWtYfiy79jXGC7olA
`
一、一些常见的SQL实践
(1)负向条件查询不能使用索引。
select * from order where status!=0 and stauts!=1
not in/not exists都不是好习惯。
可以优化为in查询:
select * from order where status in (2,3)
(2)前导模糊查询不能使用索引。
select * from order where desc like ‘%XX’
而非前导模糊查询则可以:
select * from order where desc like ‘XX%’
(3)数据区分度不大的字段不宜使用索引。
select * from user where sex=1
原因:性别只有男,女,每次过滤掉的数据很少,不宜使用索引。
经验上,能过滤80%数据时就可以使用索引。对于订单状态,如果状态值很少,不宜使用索引,如果状态值很多,能够过滤大量数据,则应该建立索引。
(4)在属性上进行计算不能命中索引。
select * from order where YEAR(date) < = '2020'
即使date上建立了索引,也会全表扫描,可优化为值计算:
select * from order where date < = CURDATE()
或者:
select * from order where date < = '2020-01-01'
二、并非周知的SQL实践
(5)如果业务大部分是单条查询,使用Hash索引性能更好,例如用户中心。
select * from user where uid=?
select * from user where login_name=?
原因:
B-Tree索引的时间复杂度是O(log(n));
Hash索引的时间复杂度是O(1)。
(6)允许为null的列,查询有潜在大坑。
单列索引不存null值,复合索引不存全为null的值,如果列允许为null,可能会得到“不符合预期”的结果集。
select * from user where name != 'shenjian'
如果name允许为null,索引不存储null值,结果集中不会包含这些记录。
所以,请使用not null约束以及默认值。
(7)复合索引最左前缀,并不是指SQL语句的where顺序要和复合索引一致。
用户中心建立了(login_name, passwd)的复合索引
select * from user where login_name=? and passwd=?
select * from user where passwd=? and login_name=?
都能够命中索引。
select * from user where login_name=?
也能命中索引,满足复合索引最左前缀。
select * from user where passwd=?
不能命中索引,不满足复合索引最左前缀。
(8)使用ENUM而不是字符串。
ENUM保存的是TINYINT,别在枚举中搞一些“中国”“北京”“技术部”这样的字符串,字符串空间又大,效率又低。
三、小众但有用的SQL实践
(9)如果明确知道只有一条结果返回,limit 1能够提高效率。
select * from user where login_name=?
可以优化为:
select * from user where login_name=? limit 1
原因:
你知道只有一条结果,但数据库并不知道,明确告诉它,让它主动停止游标移动。
(10)把计算放到业务层而不是数据库层,除了节省数据的CPU,还有意想不到的查询缓存优化效果。
select * from order where date < = CURDATE()
这不是一个好的SQL实践,应该优化为:
$curDate = date('Y-m-d');
$res = mysql_query(
'select * from order where date < = $curDate'
);
原因:释放了数据库的CPU。多次调用,传入的SQL相同,才可以利用查询缓存。
(11)强制类型转换会全表扫描
select * from user where phone=13800001234
你以为会命中phone索引么?大错特错了!!!
末了,再加一条,不要使用select *(潜台词,文章的SQL都不合格 =_=),只返回需要的列,能够大大的节省数据传输量,与数据库的内存使用量哟。
`
最近测试的时候用当前最新的4.6版本来看,已经可以解决之前遇到的那个问题(表名提取那里会把archer.sql_users里面的「archer.」给略掉,只剩下sql_users)了。
https://mvnrepository.com/artifact/com.github.jsqlparser/jsqlparser/4.6