JSQLParser的简单使用


=Start=

缘由:

之前记录过一篇《如何用Java从SQL中提取出涉及到的表名、列名?》的文章,里面介绍的是用Alibaba Druid提供的SQL解析模块来实现相应的功能,这里简单记录一下最近了解到的JSQLParser这个SQL语句解析器的用法,方便有需要的时候参考。

正文:

参考解答:

这里直接放代码:

import net.sf.jsqlparser.JSQLParserException;
import net.sf.jsqlparser.parser.CCJSqlParserUtil;
import net.sf.jsqlparser.schema.Table;
import net.sf.jsqlparser.statement.Statement;
import net.sf.jsqlparser.statement.select.*;
import net.sf.jsqlparser.util.TablesNamesFinder;

import java.util.ArrayList;
import java.util.List;

public class JSQLParserTest {
    public static void main(String[] args) {
        String sql = "SELECT\n" +
                "  a.id,\n" +
                "  username,\n" +
                "  b.workflow_name,\n" +
                "  reviewok_time\n" +
                "FROM archer.sql_users a\n" +
                "  JOIN sql_workflow b ON a.username = b.engineer\n" +
                "  JOIN archive.table3 c ON a.username = c.col5;\n";

        try {
            Statement stmt = CCJSqlParserUtil.parse(sql);
            Select selectStatement = (Select) stmt;

            TablesNamesFinder tablesNamesFinder = new TablesNamesFinder();
            List<String> tableList = tablesNamesFinder.getTableList(selectStatement);
            for (String name: tableList) {
                System.out.println("table: " + name);
            }
            System.out.println();

            List<String> columnList = new ArrayList<String>();
            PlainSelect ps = (PlainSelect) selectStatement.getSelectBody();
            List<SelectItem> selectItems = ps.getSelectItems();
            // System.out.println(selectItems);
            selectItems.stream().forEach(selectItem -> columnList.add(selectItem.toString()));
            for (String name: columnList) {
                System.out.println("column: " + name);
            }
            System.out.println();

            FromItem fromItem = ps.getFromItem();
            Table table = (Table) fromItem;
            System.out.println(table.getName() + ":\t" + table.getAlias());

            List<Join> joins = ps.getJoins();
            for (Join join : joins) {
                fromItem = join.getRightItem();
                table = (Table) fromItem;
                System.out.println(table.getName() + ":\t" + table.getAlias());
            }

        } catch (JSQLParserException e) {
            e.printStackTrace();
        }
    }

}

简单来说就是,JSQLParser使用起来还算简单,但就上面的测试SQL来看,效果难说完美(表名提取那里会把archer.sql_users里面的「archer.」给略掉,只剩下sql_users)。

据说「General Sql Parser’s (GSP)」的效果很好,不过是付费的(想来在很多方面要想把一件事情做好,还是需要专门的人力支持、维护,付费是有付费的道理的),还没有机会测试,以后有机会了再试试效果。

参考链接:

https://github.com/JSQLParser/JSqlParser/wiki/Examples-of-SQL-parsing

Jsqlparser使用
https://www.yuech.net/2015/10/09/Jsqlparser%E4%BD%BF%E7%94%A8/

java-How to parse sql columns with JDBC or jSqlParser ?
https://www.bswen.com/2019/05/android-How-to-parse-sql-columns-with-JDBC-or-jSqlParser.html

使用java sql parser插件Jsqlparser 实例(一)
https://blog.csdn.net/u014297722/article/details/53256533

Parsing table and column names from SQL/HQL Java
https://stackoverflow.com/questions/40908062/parsing-table-and-column-names-from-sql-hql-java

https://stackoverflow.com/questions/16768365/how-to-retrieve-table-and-column-names-from-sql-using-jsqlparse

https://www.programcreek.com/java-api-examples/index.php?api=net.sf.jsqlparser.schema.Column
https://www.programcreek.com/java-api-examples/?api=net.sf.jsqlparser.statement.select.AllTableColumns
https://vimsky.com/examples/detail/java-class-net.sf.jsqlparser.schema.Table.html

https://stackoverflow.com/questions/37250588/jsqlparser-getting-table-name-from-column

JSQLParser 来分析复杂SQL,实现UI业务一次SQL搞定
https://www.jianshu.com/p/f57bc22b5b32

JPA 表租户 SQL解析实现
https://www.codenong.com/js8ad3b4d6bd43/

几种基于Java的SQL解析工具的比较与调用
https://blog.csdn.net/qq_21383435/article/details/81984297

基于Java的SQL解析工具的比较与学习
https://blog.csdn.net/czq850114000/article/details/80844689

=END=


《 “JSQLParser的简单使用” 》 有 2 条评论

  1. 或许你不知道的12条SQL技巧
    https://mp.weixin.qq.com/s/AwAEJVWtYfiy79jXGC7olA
    `
    一、一些常见的SQL实践

    (1)负向条件查询不能使用索引。
    select * from order where status!=0 and stauts!=1
    not in/not exists都不是好习惯。

    可以优化为in查询:
    select * from order where status in (2,3)

    (2)前导模糊查询不能使用索引。
    select * from order where desc like ‘%XX’
    而非前导模糊查询则可以:
    select * from order where desc like ‘XX%’

    (3)数据区分度不大的字段不宜使用索引。
    select * from user where sex=1
    原因:性别只有男,女,每次过滤掉的数据很少,不宜使用索引。

    经验上,能过滤80%数据时就可以使用索引。对于订单状态,如果状态值很少,不宜使用索引,如果状态值很多,能够过滤大量数据,则应该建立索引。

    (4)在属性上进行计算不能命中索引。
    select * from order where YEAR(date) < = '2020'
    即使date上建立了索引,也会全表扫描,可优化为值计算:
    select * from order where date < = CURDATE()
    或者:
    select * from order where date < = '2020-01-01'

    二、并非周知的SQL实践

    (5)如果业务大部分是单条查询,使用Hash索引性能更好,例如用户中心。
    select * from user where uid=?
    select * from user where login_name=?
    原因:
    B-Tree索引的时间复杂度是O(log(n));
    Hash索引的时间复杂度是O(1)。

    (6)允许为null的列,查询有潜在大坑。
    单列索引不存null值,复合索引不存全为null的值,如果列允许为null,可能会得到“不符合预期”的结果集。
    select * from user where name != 'shenjian'
    如果name允许为null,索引不存储null值,结果集中不会包含这些记录。

    所以,请使用not null约束以及默认值。

    (7)复合索引最左前缀,并不是指SQL语句的where顺序要和复合索引一致。
    用户中心建立了(login_name, passwd)的复合索引
    select * from user where login_name=? and passwd=?
    select * from user where passwd=? and login_name=?
    都能够命中索引。

    select * from user where login_name=?
    也能命中索引,满足复合索引最左前缀。

    select * from user where passwd=?
    不能命中索引,不满足复合索引最左前缀。

    (8)使用ENUM而不是字符串。
    ENUM保存的是TINYINT,别在枚举中搞一些“中国”“北京”“技术部”这样的字符串,字符串空间又大,效率又低。

    三、小众但有用的SQL实践

    (9)如果明确知道只有一条结果返回,limit 1能够提高效率。
    select * from user where login_name=?
    可以优化为:
    select * from user where login_name=? limit 1
    原因:
    你知道只有一条结果,但数据库并不知道,明确告诉它,让它主动停止游标移动。

    (10)把计算放到业务层而不是数据库层,除了节省数据的CPU,还有意想不到的查询缓存优化效果。
    select * from order where date < = CURDATE()
    这不是一个好的SQL实践,应该优化为:
    $curDate = date('Y-m-d');
    $res = mysql_query(
    'select * from order where date < = $curDate'
    );
    原因:释放了数据库的CPU。多次调用,传入的SQL相同,才可以利用查询缓存。

    (11)强制类型转换会全表扫描
    select * from user where phone=13800001234
    你以为会命中phone索引么?大错特错了!!!

    末了,再加一条,不要使用select *(潜台词,文章的SQL都不合格 =_=),只返回需要的列,能够大大的节省数据传输量,与数据库的内存使用量哟。
    `

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注