devbox
繁依Fanyi0
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python-AST语法树_python ast

作者：繁依Fanyi0 | 2024-05-20 12:13:44

赞

踩

python ast

一、抽象语法树

1、什么是抽象语法树

在计算机科学中，抽象语法树（abstract syntax tree ，AST），是源代码的抽象语法结构的树状表现形式，这里特指编程语言的源代码。AST是编译器或解释器在处理源代码时所使用的一种中间表示形式，在编译和代码生成过程中起着关键作用。

之所以说语法是「抽象」的，是因为这里的语法并不会表示出真实语法中出现的每个细节。

AST中的每个节点表示源代码中的一个语法构造，如变量声明、表达式、函数调用、控制结构等。树的根节点通常表示整个源代码文件，而子节点表示具体的语法元素及其关系。例如，一个函数声明的AST节点可能包含多个子节点，如函数名、参数列表和函数体等。

2、使用场景

python 和 Java 类似，解释器实际上分为两部分：编译器和虚拟机，先将代码编译成字节码，然后再由虚拟机执行。

 编译器的编译过程,书中分为了6步：扫描、语法分析、语义分析、源代码优化、代码生成和目标代码优化。

  • 词法分析：源代码可以看成字符序列，词法分析就是将源代码的字符序列分割成一系列的记号（Token，如关键字、标识符、字面量、特殊符号）。过程就是源代码程序被输入扫描器(Scanner，这里扫描器也是一个程序)，然后扫描器运用算法（如有限状态机）将字符序列分割成记号。同时扫描器会将这些记号放入一些表中。
  • 语法分析：使用语法分析器对词法分析阶段产生的记号进行语法分析，产生一棵语法树（采用上下文无关语法分析）。语法分析同时会确定符号优先级和含义，报告表达式不合法的错误等。
  • 语义分析：使用语义分析器来确定语句的语义，分为两种。静态语义：在编译期可以确定的语义，包括声明、类型匹配、类型转换。动态语义：在运行期才能确定的语义。
  • 中间语言生成（源代码优化）：编译器有很多层次的优化，对源代码级别有一个优化，使用源码级优化器。
  • 目标代码生成和优化：代码生成器将中间代码转换成目标机器代码，这个过程依赖目标机器。目标代码优化器对目标代码进行优化，如选择合适寻址方式、删除多余指令、使用位移代替乘法运算。

在编译时，AST主要用途包括：

  1. 语法检查：编译器可以通过遍历AST来检查源代码中是否存在语法错误。
  2. 语义分析：编译器可以使用AST来分析源代码的语义，例如识别类型错误、作用域错误等。
  3. 优化：编译器可以通过对AST进行变换和简化，实现源代码的优化。
  4. 代码生成：编译器可以根据AST生成目标代码，例如汇编语言或机器代码。

在实际应用中，AST除了用于编译器或解释器，还被用于诸如代码重构、静态分析和代码格式化等工具和技术中。

编译器和解释器的核心：AST是编译器和解释器处理源代码的关键数据结构。在对源代码进行语法分析之后，编译器或解释器会生成AST。接下来，它们可以在AST上进行进一步的分析、优化和代码生成。这使得编译器和解释器能够更高效地处理源代码，为生成可执行程序或执行脚本提供基础。

代码分析：AST在静态代码分析和静态类型检查中起着重要作用。通过分析AST，我们可以检测代码中的潜在错误、不良实践和安全漏洞，从而提高代码质量。

代码转换和优化：编译器、解释器和其他工具（如Babel或Webpack）可以使用AST来进行代码转换和优化。这些工具可以在AST上执行各种操作，如语法转换（例如将ES6+语法转换为ES5语法）、代码压缩、代码拆分和常量传播等。这有助于提高程序的性能和兼容性。

代码生成：基于AST，编译器和解释器可以生成目标代码（例如机器代码、字节码或其他编程语言的代码）。这使得跨平台编译和运行成为可能，例如：将C++代码编译为WebAssembly，以便在Web浏览器中运行。

代码重构和编辑器支持：AST在代码重构和编辑器支持中也起着重要作用。通过分析和操作AST，我们可以实现自动化的代码重构、代码补全、语法高亮、错误检查等功能，从而提高开发者的生产力。

3、AST还能做什么

抽象语法树（AST）在编程语言处理、软件工程和开发工具中发挥着关键作用。除了前面讨论过的用途之外，AST还可以用于以下方面：

代码生成器：可以根据AST生成代码模板和脚手架工具。例如，根据类和方法定义生成REST API的客户端和服务器端实现。

语言转换：通过分析源语言的AST，然后将其转换为目标语言的AST，可以实现源代码到目标代码的转换。例如，将TypeScript代码转换为JavaScript代码。

代码覆盖率分析：通过分析AST，我们可以检测测试用例覆盖的代码范围，从而衡量测试质量和查找潜在的漏洞。

文档生成：AST可以用于提取源代码中的注释、类、方法和属性等信息，从而自动生成API文档。

代码安全性分析：通过分析AST，可以识别不安全的代码模式和潜在的安全漏洞，从而提高软件安全性。

代码审查：AST可以帮助自动化检查代码是否符合团队的编程规范和约定，从而提高代码质量和一致性。

依赖关系分析：通过分析AST，可以识别源代码中的模块、类和函数之间的依赖关系，从而理解代码结构和优化代码组织。

自动补全和代码导航：通过分析AST，集成开发环境（IDE）和代码编辑器可以提供自动补全、代码导航、变量重命名等智能功能，从而提高开发者的生产力。

语言扩展和领域特定语言（DSL）：AST可以用于设计和实现领域特定语言，这些语言可以更简洁地表示特定领域的问题和解决方案。例如，通过将DSL转换为目标编程语言的AST，可以生成可执行代码。

三、Python AST

Python AST是Python源代码的抽象语法树表示形式。它是Python编译器在解析源代码时生成的一种数据结构，用于表示源代码的语法结构。

Python官方提供的CPython解释器对python源码的处理过程如下：

  • Parse source code into a parse tree (Parser/pgen.c)
  • Transform parse tree into an Abstract Syntax Tree (Python/ast.c)
  • Transform AST into a Control Flow Graph (Python/compile.c)
  • Emit bytecode based on the Control Flow Graph (Python/compile.c)

即实际python代码的处理过程如下：

  • 源代码解析 --> 语法树 --> 抽象语法树(AST) --> 控制流程图 --> 字节码

1、Python AST的基本结构

Python AST是由一系列节点（Node）组成的树形结构。每个节点代表了Python源代码中的一个语法结构，例如函数、类、变量、表达式等。每个节点都有一个类型（Type）和一些属性（Attribute），用于描述节点的语法结构和语义信息。

节点可以分类为：

  • 常量节点（Literals）
  • 变量节点（Variables）
  • 表达式节点（Expressions）
  • 声明节点（Statements）
  • 控制流节点（Control flow，if/for/while等）
  • 函数和类的定义节点（Function and class definitions）
  • 异步和等待节点（Async and await）
  • 顶层节点（Top level nodes）

以下是Python AST的一些常见节点类型：

  • Module: 代表整个Python模块。
  • FunctionDef: 代表函数定义。
  • ClassDef: 代表类定义。
  • Name: 代表变量名。
  • Constant: 代表常量。
  • BinOp: 代表二元操作符表达式。

其余的节点类型见：ast --- 抽象语法树 — Python 3.12.1 文档

2、AST模块的基本用法 

在Python中，我们可以使用ast模块提供的parse()函数将源代码解析为抽象语法树对象，并使用walk()方法遍历该对象。

除了ast.dump，有很多dump ast的第三方库，如astprety，astunparse，codegen，unparse等。这些第三方库不仅能够以更好的方式展示出ast结构，还能够将ast反向导出python source代码。

  1. import ast
  2. import astpretty
  3.  
  4. # 解析源代码，获得抽象语法树对象
  5. ast_tree = ast.parse("print('Hello, world!')")
  6. # 遍历抽象语法树对象
  7. for node in ast.walk(ast_tree):
  8.     # print(type(node).__name__)
  9.     print("*"*66)
  10.     astpretty.pprint(node)
  11.

以上代码输出内容如下：

  1. Module(
  2.     body=[
  3.         Expr(
  4.             lineno=1,
  5.             col_offset=0,
  6.             end_lineno=1,
  7.             end_col_offset=22,
  8.             value=Call(
  9.                 lineno=1,
  10.                 col_offset=0,
  11.                 end_lineno=1,
  12.                 end_col_offset=22,
  13.                 func=Name(lineno=1, col_offset=0, end_lineno=1, end_col_offset=5, id='print', ctx=Load()),
  14.                 args=[Constant(lineno=1, col_offset=6, end_lineno=1, end_col_offset=21, value='Hello, world!', kind=None)],
  15.                 keywords=[],
  16.             ),
  17.         ),
  18.     ],
  19.     type_ignores=[],
  20. )
  21. ******************************************************************
  22. Module(
  23.     body=[
  24.         Expr(
  25.             lineno=1,
  26.             col_offset=0,
  27.             end_lineno=1,
  28.             end_col_offset=22,
  29.             value=Call(
  30.                 lineno=1,
  31.                 col_offset=0,
  32.                 end_lineno=1,
  33.                 end_col_offset=22,
  34.                 func=Name(lineno=1, col_offset=0, end_lineno=1, end_col_offset=5, id='print', ctx=Load()),
  35.                 args=[Constant(lineno=1, col_offset=6, end_lineno=1, end_col_offset=21, value='Hello, world!', kind=None)],
  36.                 keywords=[],
  37.             ),
  38.         ),
  39.     ],
  40.     type_ignores=[],
  41. )
  42. ******************************************************************
  43. Expr(
  44.     lineno=1,
  45.     col_offset=0,
  46.     end_lineno=1,
  47.     end_col_offset=22,
  48.     value=Call(
  49.         lineno=1,
  50.         col_offset=0,
  51.         end_lineno=1,
  52.         end_col_offset=22,
  53.         func=Name(lineno=1, col_offset=0, end_lineno=1, end_col_offset=5, id='print', ctx=Load()),
  54.         args=[Constant(lineno=1, col_offset=6, end_lineno=1, end_col_offset=21, value='Hello, world!', kind=None)],
  55.         keywords=[],
  56.     ),
  57. )
  58. ******************************************************************
  59. Call(
  60.     lineno=1,
  61.     col_offset=0,
  62.     end_lineno=1,
  63.     end_col_offset=22,
  64.     func=Name(lineno=1, col_offset=0, end_lineno=1, end_col_offset=5, id='print', ctx=Load()),
  65.     args=[Constant(lineno=1, col_offset=6, end_lineno=1, end_col_offset=21, value='Hello, world!', kind=None)],
  66.     keywords=[],
  67. )
  68. ******************************************************************
  69. Name(lineno=1, col_offset=0, end_lineno=1, end_col_offset=5, id='print', ctx=Load())
  70. ******************************************************************
  71. Constant(lineno=1, col_offset=6, end_lineno=1, end_col_offset=21, value='Hello, world!', kind=None)
  72. ******************************************************************
  73. Load()

 以上内容是抽象语法树中的6个节点，其中，Module表示整个模块，Expr表示一个表达式，Call表示一个函数调用。那么我们可以画出来：

  1. import ast
  2. import ctree
  3. ast_tree = ast.parse("print('Hello, world!')")
  4. ctree.ipython_show_ast(ast_tree)

从语法树中可以看出，该语句加载(Load())了名(Name())为print的函数接口(func)，函数传参(args)是值为’Hello, world!’(value)的常量(Constant)。 

C语言分析：

  1. import ast
  2. import ctree
  3. from ctree.transformations import PyBasicConversions
  4.  
  5. ast_tree = ast.parse("print('Hello, world!')")
  6. # ctree.ipython_show_ast(ast_tree)
  7. t = PyBasicConversions()
  8. tree2 = t.visit(ast_tree)
  9. ctree.ipython_show_ast(tree2)

3、使用AST模块进行代码分析

由于AST可以表示源代码的结构，因此，我们可以结合AST模块对Python代码进行语法分析、代码检查、重构等操作。

3.1. 语法分析

我们可以使用AST模块提供的NodeVisitor类来遍历代码并进行分析。NodeVisitor是一个抽象基类，它定义了许多方法，我们只需要重写需要的方法即可。

  1. import ast
  2.  
  3. class MyVisitor(ast.NodeVisitor):
  4.     def visit_BinOp(self, node):
  5.         print(type(node).__name__)
  6.  
  7. # 解析源代码，获得抽象语法树对象
  8. tree = ast.parse("a + b")
  9.  
  10. # 实例化并遍历分析器
  11. visitor = MyVisitor()
  12. visitor.visit(tree)

以上代码定义了一个分析器类MyVisitor，它继承自NodeVisitor并重写了visit_BinOp方法。visit_BinOp方法指在遍历二元运算符节点时被调用，因此可以在该方法中进行具体的分析。

3.2. 代码检查

AST模块提供了许多内置函数和类，可以用于检查代码是否符合某些规范。

  1. import ast
  2.  
  3. # 检查函数名是否符合规范
  4. def check_func_name(node):
  5.     func_name = node.name
  6.     if not func_name.startswith("test_"):
  7.         print(f"函数名{func_name}不符合规范！")
  8.  
  9. # 解析源代码，获得抽象语法树对象
  10. tree = ast.parse("def test_add(a, b):\n    return a + b\n\ndef sub(a, b):\n    return a - b")
  11.  
  12. # 遍历抽象语法树对象
  13. for node in ast.walk(tree):
  14.     if isinstance(node, ast.FunctionDef):
  15.         check_func_name(node)

以上代码定义了一个检查器函数check_func_name，它判断函数名是否以"test_"开头。在遍历抽象语法树时，如果找到了函数节点，就可以调用check_func_name进行检查。

3.3. 代码重构

代码重构是指对已有代码的结构和实现进行修改以改进代码的质量和维护性。AST模块可以帮助我们对Python代码进行重构，例如，将代码中的print语句替换为logging模块。

  1. import ast
  2.  
  3. # 重构代码，将所有的print语句替换为调用logging模块
  4. class MyTransformer(ast.NodeTransformer):
  5.     def visit_Print(self, node):
  6.         print_node = ast.Name(id="logging.info", ctx=ast.Load())
  7.         args_node = [ast.Str(s="Print statement at line {0}".format(node.lineno))]
  8.         args_node += node.values
  9.         return ast.Expr(value=ast.Call(func=print_node, args=args_node, keywords=[]))
  10.  
  11. # 解析源代码，获得抽象语法树对象
  12. tree = ast.parse("print('Hello, world!')\n")
  13.  
  14. # 将抽象语法树对象重构为新的语法树对象
  15. my_transformer = MyTransformer()
  16. new_tree = my_transformer.visit(tree)
  17.  
  18. # 使用astunparse将语法树源代码还原为字符串
  19. import astunparse
  20. print(astunparse.unparse(new_tree))

以上代码定义了一个重构器类MyTransformer，它继承自NodeTransformer并重写了visit_Print方法。visit_Print方法指在遍历print语句节点时被调用，可以在该方法中进行替换操作。

附：运行ctree没有结果图&ctree的安装与使用

好多人问ctree的安装方式，介绍一下：

1、安装ctree

pip install ctree

2、安装graphviz 

 pip install graphviz

除了安装python的graphviz ，本地还要安装Graphviz：Download | Graphviz

选择添加系统环境变量： 

 

添加不成功可以手动添加：

CMD运行dot -version查看是否安装成功 ：

3、安装jupyter notebook

pip install jupyter notebook

4、运行jupyter notebook

 CMD输入：jupyter notebook

会自动跳转到：http://localhost:8888/tree

 新建notebook

运行代码还是没有结果？

修改代码：

D:\Program Files\anaconda3\Lib\site-packages\ctree\visual/dot_manager.py

 注释如下代码：

再次重新运行jupyter notebook-->新建notebook-->运行代码

OK！！！！！！ 

参考：

你知道什么是AST语法树嘛？你真的了解AST语法树嘛？读到最后你将对AST语法树有新的认识！ - 知乎

ast --- 抽象语法树 — Python 3.12.1 文档

Python Ast抽象语法树的介绍及应用详解 - Python技术站

https://www.cnblogs.com/qiulinzhang/p/14258626.html

Python中ast模块是什么？_笔记大全_设计学院

【python】ast模块介绍和使用_import ast-CSDN博客

不要再手动批量替换了，使用python AST模块批量替换_Python_阿呆_InfoQ写作社区

https://www.cnblogs.com/yssjun/p/10069199.html

python语法树可视化_mob649e815b1a71的技术博客_51CTO博客

Python中ast模块是什么？_笔记大全_设计学院

https://www.cnblogs.com/qiulinzhang/p/14258626.html

python 可视化AST、CFG学习_python显示ast树形状-CSDN博客

【python】ast模块介绍和使用_import ast-CSDN博客

Using IPython for AST Visualization — ctree alpha documentation

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/597609
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号