语义依存分析

定义(ltp)

语义依存分析 (Semantic Dependency Parsing, SDP)，分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现。
使用语义依存刻画句子语义，好处在于不需要去抽象词汇本身，而是通过词汇所承受的语义框架来描述该词汇，而论元的数目相对词汇来说数量总是少了很多的。
语义依存分析目标是跨越句子表层句法结构的束缚，直接获取深层的语义信息。
例如以下三个句子，用不同的表达方式表达了同一个语义信息，即张三实施了一个吃的动作，吃的动作是对苹果实施的。

语义依存分析不受句法结构的影响，将具有直接语义关联的语言单元直接连接依存弧并标记上相应的语义关系。这也是语义依存分析与句法依存分析的重要区别。

如上例对比了句法依存和语义分析的结果，可以看到两者存在两个显著差别。
第一，句法依存某种程度上更重视非实词(如介词)在句子结构分析中的作用，而语义依存更倾向在具有直接语义关联的实词之间建立直接依存弧，非实词作为辅助标记存在。
第二，两者依存弧上标记的语义关系完全不同，语义依存关系是由论元关系引申归纳而来，可以用于回答问题，如我在哪里喝汤，我在用什么喝汤，谁在喝汤，我在喝什么。但是句法依存却没有这个能力。
第三，句法依存为树结构，语义依存为图结构，即是说当前词的依存弧可以有多个。

语义依存与语义角色标注之间也存在关联，语义角色标注只关注句子主要谓词的论元及谓词与论元之间的关系，而语义依存不仅关注谓词与论元的关系，还关注谓词与谓词之间、论元与论元之间、论元内部的语义关系。语义依存对句子语义信息的刻画更加完整全面。

实现

https://github.com/geasyheart/semantic-dependency-parser

欢迎Star!

1. 数据集

目前貌似公开的只有SEMEVAL2016数据集，地址在：HIT-SCIR/SemEval-2016，代码仓库中的数据集是将text和news两类合并而来。

额外插一句，对于一个算法项目来讲，不仅仅是算法部分，还要有数据，即使不能公开，也可以造一些例子，能够跑通算法，HanLP在这方面真的是无敌存在！

2. 模型结构

• 这里使用到的模型结构：

1234567891011

semantic_dependency_parser.py [line:34] INFO SemanticDependencyModel(  (encoder): TransformerEmbedding(hfl/chinese-electra-180g-small-discriminator, n_layers=4, n_out=256, stride=256, pooling=mean, pad_index=0, dropout=0.33, requires_grad=True)  (tag_embedding): Embedding(41, 64)  (edge_mlp_d): MLP(n_in=320, n_out=600, dropout=0.33)  (edge_mlp_h): MLP(n_in=320, n_out=600, dropout=0.33)  (label_mlp_d): MLP(n_in=320, n_out=600, dropout=0.33)  (label_mlp_h): MLP(n_in=320, n_out=600, dropout=0.33)  (edge_attn): Biaffine(n_in=600, n_out=2, bias_x=True, bias_y=True)  (label_attn): Biaffine(n_in=600, n_out=158, bias_x=True, bias_y=True)  (criterion): CrossEntropyLoss())

• HanLP使用的模型结构:

1234567891011

BiaffineDependencyModel(    (encoder): EncoderWithContextualLayer()    (biaffine_decoder): BiaffineDecoder(    (mlp_arc_h): MLP(n_in=256, n_out=500, dropout=0.33)    (mlp_arc_d): MLP(n_in=256, n_out=500, dropout=0.33)    (mlp_rel_h): MLP(n_in=256, n_out=100, dropout=0.33)    (mlp_rel_d): MLP(n_in=256, n_out=100, dropout=0.33)    (arc_attn): Biaffine(n_in=500, n_out=1, bias_x=True)    (rel_attn): Biaffine(n_in=100, n_out=136, bias_x=True, bias_y=True)  ))

和dependency parser结构相同，但是loss计算和解码部分不同。

区别点在于，举个例子:

1234

# pred_arcs.shape(32, 49, 49)# true_arcs.shape(32, 49)

因为dependency parser有一个限制，即当前词只可能依存其他一个词，那么argmax(-1)即是在49那里获取最大的，表示和这49个词中最大的作为依存关系，使用交叉熵。

而semantic dependency parser没有这个限制，当前词可能和多个词存在依存关系，那么他的pred_arcs和true_arcs的维度是一样的，都是(32, 49, 49)，所以使用BCELoss。

当然也可以用交叉熵，只需要将pred_arcs的维度转换成(32, 49, 49, 2)即可，也是我下面的做法。

3. loss计算和解码

在这里计算loss时，采用的是交叉熵，也就是说s_edge.size(-1) == 2，表示当前词和句子所有词之间是或者否，然后argmax(-1)进行解码。

在HanLP计算loss时，对于arc(即edge)的shape为(batch_size, seq_length, seq_length)，因为biaffine的输出维度为1,所以这里计算loss时使用BCELoss，表示当前词和句子所有词之间是否存在关系。

另外一个两者的区别点在于计算rel时，HanLP采取的方式是各自计算各自的loss(即arc和rel)，然后loss相加。
这里计算rel loss时融合了arc的信息进来，好处就在于能够快速收敛和提升准确度吧。

各模块技术指标

https://www.ltp-cloud.com/intro#benchmark

ltp关系类型