python解析sql字段血缘_使用Druid的sql parser做一个表数据血缘分析工具

前言

大数据场景下，每天可能都要在离线集群，运行大量的任务来支持业务、运营的分析查询。任务越来越多的时候，就会有越来越多的依赖关系，每一个任务都需要等需要的input表生产出来后，再去生产自己的output表。最开始的时候，依赖关系自然是可以通过管理员来管理，随着任务量的加大，就需要一个分析工具来解析任务的inputs、outs，并且自行依赖上生产inputs表的那些任务。本文就介绍一个使用druid parser，来解析SQL的input、output的血缘分析工具。

建议对druid比较陌生的同学可以先看下druid的官方文档。

做一次sql的血缘分析的流程

解析sql，拿到抽象语法树

遍历抽象语法树，得到from、to

使用druid解析sql到语法树

druid提供了简单、快速的SQL解析工具，可以很简单拿到一段SQL的AST(抽象语法树)。而druid对语法树提供了多种的SQLStatement，使遍历语法树更加容易。

SQLStatementParser parser = SQLParserUtils.createSQLStatementParser(sql, JdbcConstants.HIVE);

SQLStatement stmt= parser.parseStatementList().get(0);

从语法树中取出from和to

拿到语法树之后，想办法把from、to从语法树中取出来就大功告成。

最初的写法

最开始，就是简单的遍历一下语法树的节点，取出from表和to表的表名。

/**

* 根据create或者insert的sql取出from、to