BERT模型可视化分析总结：BertVi注意力分布与dodrio句法语义分析使用实录_如何看bert对一段文字的注意力热图

BERT可解释分析是一项十分有趣的工作，而借助可视化工具进行辅助分析更是一条有效路径。

本文主要介绍目前以注意力为核心的可解释可视化工具，包括 BertViz交互式可视化工具以及dodrio注意力可视化分析工具两种，前者聚焦于词之间的注意力分布，包括词间，句子间，后者则引入依存句法和语义显著性进行分析，具有较高的参考价值。

一、BertViz交互式可视化工具 

BertViz 是一种交互式工具，用于在Transformer语言模型（如 BERT、GPT2 或 T5）中可视化注意力网络。它可以通过支持大多数Huggingface 模型，可以简单地通过 Python API 在 Jupyter 或 Colab 笔记本中运行。

BertViz 扩展了 Llion Jones的Tensor2Tensor 可视化工具，添加了多个视图，每个视图都为注意力机制提供了独特的视角。

bertviz可视化页面分别包括bertviz_detail.ipynb、bertviz_map.ipynb 、bertviz_summary.ipynb页面。

1、安装

pip install bertviz

 2、运行方式

from bertviz import head_view, model_view