【开源项目推荐】通用SQL数据血缘分析工具——Sqllineage
大家好，我是独孤风，从本周开始，争取每周为大家带来一个优秀的开源项目推荐。
开源项目不仅促进了技术的发展和普及，还为全球范围内的开发者和用户社区建立了一个共享知识、协作和创新的平台。站在巨人的肩膀上才能看的更远，我们平时也应该多多关注开源项目，不仅学习其丰富的知识，也要找机会为开源事业做出自己的贡献。
话不多说，今天为大家推荐的开源项目名为SQLLineage。
SQLLineage 是一个使用 Python 开发的 SQL 血缘分析工具。它专注于提供 SQL 查询的血缘关系和依赖关系的深入分析。
Github首页地址为： https://github.com/reata/sqllineage
目前标星891，最新版本是v1.4.8，主要开发语言为Python 。
一、概述
简单来说SQLLineage 是一SQL血缘分析工具，而由于SQL在数据分析中的通用性，SQLLineage 是一数据血缘分析工具。
数据血缘（Data Lineage），也有翻译为数据沿袭，都数据血缘（Data Lineage）是指追踪数据从其源头到目的地的路径，包括它在整个数据生命周期中的流动、转换和使用情况。数据血缘的核心目的是提供对数据流动和变化的完整可视化，从而帮助组织理解数据的来源、经过的处理步骤以及最终如何被利用。
数据血缘是元数据管理的重要组成部分，通过收集获取元数据可以分析生成数据血缘，这样可以增加数据透明度，便于审计和合规，也就是说数据血缘在数据安全，数据管理领域意义重大。
而SQLLineage可以通过多SQL的分析来快速的了解血缘的来龙去脉，所以说是一个数据血缘的分析神器。
我们假设有这样的一个SQL。
通过SQLLineage可以快速的分析出表级别的血缘。
也可以分析出列级别的血缘。
这样的话，数据的前后关系就一目了然了。
同时SQLLineage还支持多种SQL语法的解析器，这不管是我们直接拿来用，还是分析其代码都非常的有帮助。
二、主要特性
SQLLineage 还提供了如下的丰富的功能支持。
简化 SQL 解析: SQLLineage 提供了一个简单易用的接口来理解 SQL 查询的源和目标表，无需担心复杂的 SQL 解析过程。
高效的解析库: 使用 sqlfluff 和 sqlparse 等库来解析 SQL 命令，分析 AST，并使用 networkx 图形库存储血缘信息。
易于安装和使用: 可以通过 PyPI 快速安装，并通过简单的命令行操作来解析 SQL 查询。
一些更高级的用法：
- 处理多个 SQL 语句: 可以分析包含多个 SQL 语句的查询，识别中间表。
- 详细血缘结果: 提供详细的血缘分析结果，每个 SQL 语句的血缘信息都可以显示出来。
- 方言意识: 支持不同的 SQL 方言，以适应不同的关键词和语法。
- 列级血缘: 支持列级血缘分析，展示所有列的血缘路径。
- 血缘可视化: 支持血缘结果的图形可视化，可以在浏览器中查看表级和列级血缘的有向无环图（DAG）表示。
三、安装部署与使用
SQLLineage 由Python开发而成，所以可以非常方便的使用Python相关组件进行安装。
安裝
可以直接使用pip安装
pip install sqllineage
也可以通过github来安装
pip install git+https://github.com/reata/sqllineage.git
分析
有两种方式，去解析sql。可以用-e直接分析一个sql语句，这里分析出了源表和目标表:
$ sqllineage -e "insert into db1.table1 select * from db2.table2"
Statements(#): 1
Source Tables:
db2.table2
Target Tables:
db1.table1
也可以用-f来直接分析一个sql文件:
$ sqllineage -f foo.sql
Statements(#): 1
Source Tables:
db1.table_foo
db1.table_bar
Target Tables:
db2.table_baz
对于连续的两个sql也可以进行分析:
$ sqllineage -e "insert into db1.table1 select * from db2.table2; insert into db3.table3 select * from db1.table1;"
Statements(#): 2
Source Tables:
db2.table2
Target Tables:
db3.table3
Intermediate Tables:
db1.table1
可以用-v指令来看每一个sql的执行结果。
$ sqllineage -v -e "insert into db1.table1 select * from db2.table2; insert into db3.table3 select * from db1.table1;"
Statement #1: insert into db1.table1 select * from db2.table2;
table read: [Table: db2.table2]
table write: [Table: db1.table1]
table cte: []
table rename: []
table drop: []
Statement #2: insert into db3.table3 select * from db1.table1;
table read: [Table: db1.table1]
table write: [Table: db3.table3]
table cte: []
table rename: []
table drop: []
==========
Summary:
Statements(#): 2
Source Tables:
db2.table2
Target Tables:
db3.table3
Intermediate Tables:
db1.table1
指定分析器
下面的例子，可以使用 --dialect=postgres关键字来指定要使用的分析引擎:
$ sqllineage -e "insert into analyze select * from foo;"
Statements(#): 1
Source Tables:
<default>.foo
Target Tables:
$ sqllineage -e "insert into analyze select * from foo;" --dialect=ansi
Statements(#): 1
Source Tables:
<default>.foo
Target Tables:
<default>.analyze
$ sqllineage -e "insert into analyze select * from foo;" --dialect=postgres
...
sqllineage.exceptions.InvalidSyntaxException: This SQL statement is unparsable, please check potential syntax error for SQL
提示：用这个命令sqllineage --dialects 看看都有哪些分析器。
列级血缘
可以分析列级血缘，比如下面的sql。
INSERT OVERWRITE TABLE foo
SELECT a.col1,
b.col1 AS col2,
c.col3_sum AS col3,
col4,
d.*
FROM bar a
JOIN baz b
ON a.id = b.bar_id
LEFT JOIN (SELECT bar_id, sum(col3) AS col3_sum
FROM qux
GROUP BY bar_id) c
ON a.id = sq.bar_id
CROSS JOIN quux d;
INSERT OVERWRITE TABLE corge
SELECT a.col1,
a.col2 + b.col2 AS col2
FROM foo a
LEFT JOIN grault b
ON a.col1 = b.col1;
可以使用-l关键字来进行列级血缘分析
$ sqllineage -f foo.sql -l column
<default>.corge.col1 <- <default>.foo.col1 <- <default>.bar.col1
<default>.corge.col2 <- <default>.foo.col2 <- <default>.baz.col1
<default>.corge.col2 <- <default>.grault.col2
<default>.foo.* <- <default>.quux.*
<default>.foo.col3 <- c.col3_sum <- <default>.qux.col3
<default>.foo.col4 <- col4
可视化
最后可以用下面的指令来启动一个web浏览器，进行血缘展示。
sqllineage -g -f foo.sql
赶紧体验一下吧~
更多【大数据、数据治理、人工智能知识分享】【开源项目推荐】【学习社群加入】，请关注大数据流动。