当前位置:   article > 正文

使用tree_sitter获取代码AST抽象语法树_tree-sitter使用

tree-sitter使用

1. 安装tree_sitter包

pip install tree_sitter

2. 下载语言支撑包

在当前工程目录下新建vendor目录用于存放语言支撑包,tree_sitter支持大部分主流语言,可以参考官网:Tree-sitter|Introduction

如何需要支持java、python、C、C++、C#和javascript,需要在vendor目录下下载以下依赖包:

  1. git clone https://github.com/tree-sitter/tree-sitter-java
  2. git clone https://github.com/tree-sitter/tree-sitter-python
  3. git clone https://github.com/tree-sitter/tree-sitter-c
  4. git clone https://github.com/tree-sitter/tree-sitter-cpp
  5. git clone https://github.com/tree-sitter/tree-sitter-c-sharp
  6. git clone https://github.com/tree-sitter/tree-sitter-javascript

依赖包下载完毕后,需要根据依赖包生成语法解析器my-languages.so,此处创建build.py文件,文件内容如下:

  1. #coding=utf-8
  2. from tree_sitter import Language,Parser
  3. import warnings
  4. warnings.simplefilter('ignore', FutureWarning)
  5. Language.build_library(
  6. # Store the library in the `build` directory
  7. 'build/my-languages.so',
  8. # Include one or more languages
  9. [
  10. 'vendor/tree-sitter-c',
  11. 'vendor/tree-sitter-cpp',
  12. 'vendor/tree-sitter-python'
  13. ]
  14. )

需要注意由于Language.build_library方法在tree_sitter的后期版本中将被替换,因此会出现以下告警信息:

  1. tree_sitter/__init__.py:36: FutureWarning: Language(path, name) is deprecated. Use Language(ptr, name) instead.
  2.   warn("{} is deprecated. Use {} instead.".format(old, new), FutureWarning)

 为了消除以上告警,在文件中添加以下语句:

  1. import warnings
  2. warnings.simplefilter('ignore', FutureWarning)

在build目录中生成my-languages.so后,可以验证语法解析器的功能,定义main.py文件代码如下:

  1. #coding=utf-8
  2. from tree_sitter import Language, Parser
  3. # 注意C++对应cpp,C#对应c_sharp(!这里短横线变成了下划线)
  4. # 看仓库名称
  5. CPP_LANGUAGE = Language('build/my-languages.so', 'cpp')
  6. #CS_LANGUAGE = Language('build/my-languages.so', 'c_sharp')
  7. # 举一个CPP例子
  8. cpp_parser = Parser()
  9. cpp_parser.set_language(CPP_LANGUAGE)
  10. # 这是b站网友写的代码,解析看看
  11. cpp_code_snippet = '''
  12. int mian{
  13. piantf("hell world");
  14. remake O;
  15. }
  16. '''
  17. # 没报错就是成功
  18. tree = cpp_parser.parse(bytes(cpp_code_snippet, "utf8"))
  19. # 注意,root_node 才是可遍历的树节点
  20. root_node = tree.root_node
  21. print(root_node)
  22. print('ok')

输出语法树节点信息说明ok,语法树的详细解析可以参考官网的tree格式按需解析。 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/735586
推荐阅读
相关标签
  

闽ICP备14008679号