NLP文本分析(文本分类与句子评分)_nlp 文本给每个句子评分

在线课堂质量评估文本分析

文本分析的任务是对一堂在线课的师生对话进行分析，得到问答、讲堂和纠错三个方面的定性评估。

---

更新

Apr 28, 2020

• 当前版本: 0.1.0, 初始版本。

目录

简介

在线课堂质量评估这个项目分成2块，分别是语音分析和图文分析，语音分析目前是最优先需求。

语音分析的任务是对一堂在线课的师生对话进行分析，得到问答、讲堂和纠错三个方面的定性评估。这里第一步是语音转文本，这一步我们暂时不管，我们的研究对象就是转换后的文本。以问答为例，首先识别文本中是问答类型的文本段，并判断该文本段中学生回答的好坏，学生回答问题的积极性如何。

工作流程

• Stage 1 : 项目开始前的准备工作:

  1. 获取数据
  2. 原始数据预处理

• Stage 2 : 使用BERT预测问答句：

  1. 训练BERT分类模型
  2. 调用模型预测问答结果(其中只有老师的话会被判断是否为问句，学生的话全不为问句)

• Stage 3 : 对学生回答进行评分：

  1. 提供两种评分模型接口：
  • tf-idf计算句子评分
  • Rake计算句子评分

• Stage 4 : 将学生回答评分转换为一节课堂的得分

  1. 将第二步中得到的问答句组合成一个对话片段
  2. 通过正则模板匹配将问句分为问答、讲题、纠错三类
  3. 对这个对话片段进行评分avgscore(学生回答总分score/学生回答句子数avg)

快速开始

用两个简单示例展示用法。

1. 原始未处理csv数据(慢)

elaboration_scores, elaboration_res, error_correction_scores, error_correction_res, qna_scores, qna_res = pipeline('example.csv')
1

2. 已经做好分类的csv数据(快)

data = pd.read_csv('example.csv', encoding="utf-8", header=None)
elaboration_scores, elaboration_res, error_correction_scores, error_correction_res, qna_scores, qna_res = scr_mod(data)
1
2

模型效果

我们以部分问答qna的结果为例展示模型效果。

qna_scores结果

qna_res结果

已知问题

• 对话语音取自两个音频，尚未做时间上的对齐(可以在转文本阶段处理，或在文本分析前处理)。
• 文本分析前的语音转文本，ASR准确率并不太高，影响后续分析效果。
• 用BERT做分类速度太慢了，需要做模型蒸馏。 （蒸馏模型已经实现）
• 评分模型目前只是不同形式的统计模型，后续加入语义分析能提高评分准确性。

其他

代码已经挂在我的Github上HoyTta0，欢迎Star，需要BERT预训练文件和训练好的ckpt可以留下邮箱地址，数据只给了一堂课，有需要可以自己根据数据格式构造。
其中，BERT代码参考了大佬的代码，稍微做了一些修改，改了一下网络结构以及修复了几个小bug，后续可能还会对数据输入部分做一些改进。