中文拼写纠错(CSC)任务各个数据集汇总与简介_wang271k

各数据集句子统计情况

---

多领域CSC数据集

有些数据集中存在异常样本（src和tgt长度不一致），因此使用+X的方式表示

---

医疗领域数据集

多领域CSC数据集

各数据集简介

CSCD-IME 数据集总结

论文地址: https://arxiv.org/pdf/2211.08788.pdf

论文代码: https://github.com/nghuyong/cscd-ime

论文代码有两个作用：

1. 用于生成违数据集
2. 对预测结果进行评价

作者知乎: https://zhuanlan.zhihu.com/p/586333153

数据集年份：2022-11

CSCD-IME全称：Chinese Spelling Correction Dataset for errors generated by pinyin IME

CSCD-IME数据集总结：

1. 数据集只关注“拼音输入法”导致的错误
2. 数据来源：经过认证的新闻媒体机构在微博上发布的博文（例如人民日报）
3. 训练集：3w，验证集5k，测试集3k。均为人工标注
4. 模拟“拼音输入法”导致的错误，构建了200w个违数据集。
5. 该数据集会包含更多的“词”错误，例如：“鸡你太美”->“鸡你钛镁”，整个“钛镁”都是错的，这也符合实际情况，但这种纠错更难。

数据集链接：百度网盘 ，

数据集文件夹介绍：

--cscd-ime
  --data
    --cscd-ime
      --dev.tsv	# 验证集，5k条数据
      --test.tsv	# 测试集，5k条数据
      --train.tsv	# 训练集，3w条数据
      --all.tsv  # 全集，3w+5k+5k=4w条数据
    --lcsts-ime-2m
      --lcsts-ime-2m.tsv	# 200w条违数据
    --resource	# 生成违数据时要用的文件
      --char_4_gram.bin
      --pinyin_distance_matrix.pkl
    --predicts
      --bert_cscd.tsv  # bert的预测结果
      --bert_cscd_report.txt	# bert预测报告
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

Wang271K 数据集总结

论文地址: https://aclanthology.org/D18-1273/

论文代码: https://github.com/wdimmy/Automatic-Corpus-Generation

论文代码的作用：

1. 用于生成违数据集

数据集年份：2018-10

Wang271K数据集总结：

1. 该数据集主要用于训练模型，通常不作为测试集使用。
2. 根据“形近似”和“音近似”两个方面替换一部分字符
3. “形近似”错字构造方式：文本转图片->对部分字图片加噪音->使用OCR识别->得到形近似错字。
4. “音近似”错字构造方式：句子转语音->语音转句子。
5. 句子来源：人民日报网站

SIGHAN

数据集年份：2013，2014，2015

SIGHAN数据集总结：

1. 外国人学中文时写的句子，内容偏生活

SIGHAN测试集的缺点：

1. 不符合实际应用场景。因为是老外学中文写的语句，所以和实际中文拼写纠错的场景不一致。
2. 语句不通顺，毕竟不是中国人写的。
3. 大量的错误数据。对，即使是测试集，也有大量的错误数据。比如漏字、多字和错字的情况。
4. 大量的重复数据。总共就1100句，很多句子都是相同的错误，比如“奴(女)生”就在好几句出现了。
5. 测试集过少
6. 从繁体翻译过来后，很多词汇或字不符合大陆习惯。

ECSpell（多领域）

论文地址：https://arxiv.org/pdf/2203.10929.pdf

论文代码：https://github.com/Aopolin-Lv/ECSpell

论文年份：2022-03

数据集地址：https://github.com/Aopolin-Lv/ECSpell/tree/main/Data

该作者提出了不同领域的CSC数据集，分布如下：

• EC_Law：法律领域
• EC_Med：医疗领域（medical treatment）
• EC_Odw：官方文章写作（official document writing）

LEMON（多领域）

论文地址：https://arxiv.org/pdf/2305.17721.pdf

论文代码：https://github.com/gingasan/lemon

论文年份：2023-05

数据集链接：https://github.com/gingasan/lemon/tree/main/lemon_v2

该论文提出了6个领域的数据集：

• lemon_car：汽车
• lemon_enc：百科（encyclopedia）
• lemon_gam：游戏（game）
• lemon_mec：医疗照护（emdical care）
• lemon_new：新闻（news）
• lemon_nov：小说（novel）
• lemon_cot：合同（contract）

MCSC

论文地址：https://arxiv.org/pdf/2210.11720.pdf

论文代码：https://github.com/yzhihao/MCSCSet

论文年份：2022-10

数据集链接：https://github.com/yzhihao/MCSCSet/tree/main/data/mcsc_benchmark_dataset

数据集特点：

1. 医疗领域数据集
2. 全是医学专家的人工标记
3. 数据来源为腾讯医典
4. 主要是一些医疗问题，例如“糖尿病如何治疗？”