数据的分句向量化_句子向量化

作者：我家小花儿 | 2024-07-25 09:41:27

踩

句子向量化

数据的分句向量化

本节将进行数据读入和向量化，首先，使用read_cas读入考生答案文本（介于保密，此处不展示），然后使用bert和分词方法使句子向量化。最后通过互注意力机制实现考生答案的标准答案表达。

通过Bert产生的句子是768维的一个向量，我们使用互注意力机制，实现考生答案的标准答案表达。

在这里插入图片描述

引入注意力使得模型可以同时参考标准答案和考生答案，我们的互注意力就是让每一个考生的答案可以用标准答案的向量进行表示，当然，此处采用的是线性组合的方式。

当得到了注意力向量过程中，值得注意的一点是，需要进行行归一化和列归一化。出于对数据更加合理同时利于下游任务的处理，我们采用了极值归一化方法。如下：

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/879585