花生_TL007

这个屌丝很懒，什么也没留下！

热门标签

焕新古文化传承之路，AI为古彝文识别赋能_人类使用语言一般包括三个步骤接受听到或读到的语言->；大脑理解->；输出要说的语言

作者：花生_TL007 | 2024-05-12 20:19:09

踩

在印刷体的文字识别领域，开展最早，且技术上最成熟的是国外的西方文字识别技术。早在 1929 年，德国的科学家Taushek已经取得了一项**光学字符识别(optical character recognition, OCR)**专利。自上个世纪五十年代以来，欧美国家就开始研究关于西方各个国家的文字识别技术，以便对日常生活中产生的大量文字材料进行数字化处理。经过长时间的不断研究和完善，西文的OCR技术已经有一套完备的识别方案，并广泛地用在西文的各个领域中。

说到光学字符识别大家可能比较陌生，但或多或少都应该听说过OCR，通俗来讲，OCR技术采用电子设备（例如扫描仪或数码相机）检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字。

在这里插入图片描述

国内关于印刷体文字识别技术的研究起步于上世纪七十年代末，并且主要关注于汉字的识别。通过借鉴印刷体英文识别和印刷体数字识别的方法和经验，近年我国对印刷体汉字的识别技术研究有了飞速的发展，该识别技术已经相当成熟并成功地应用在实际生活中的各个领域。但国外的研究成果主要集中在英文、法文等文字的识别，国内的研究主要集中在印刷体汉字识别上。古彝文识别技术的研究相对起步比较晚，而且研究也比较少。尽管古彝文的识别可以借鉴其他文字识别的方法和经验，但由于彝文的特殊性，相关技术也无法完全移植到相关识别任务中

2.2 古彝文识别难点

相对于汉字识别的研究而言，古彝文识别技术难度更大，具体而言

版式多样

汉文与彝文古籍的各类原稿的排版风格都不统一，字符间距和行距有密有疏，彝文古籍虽然没有大小字混排、双列夹字的校注传统，但也时常出现加字、替字、整句倒置和文字方向不统一等现象，给文字定位造成挑战；

手写识别难

近年来，深度学习由于其卓越的学习能力成为机器学习最流行的技术，被广泛应用在人工智能方面的各个领域中，并产生了革命性的影响。其中，基于**端到端(End to End)**的深度学习方法可以直接从原始数据的输入到目标结果的输出，减少了因中间环节错误影响整体结果的可能性。端到端的方法在数据量越大时会显示出更好的适应性，它可以减少人工预处理和后续处理的过程，使模型尽可能地从原始输入映射到最终输出。

然而，和汉文古籍一样，不同的彝文缮写员之间手写风格差异很大，这就需要大量的数据库来建立识别模型。古彝文目前没有公开数据集，而通晓此种文字的人越来越少，导致标注工作量大而人手少，数据量严重不足，亟须引入AI技术构建模型，以弥补本项目训练样本不足；

在这里插入图片描述

毕节市彝文文献翻译研究中心展示古籍修复原件（陈宗玉供图）

图像质量差

由于彝文古籍的保存环境更为艰苦，文本呈现墨色深浅不一、字符间距和行距大小不一的情况。

笔画相近，异体众多

彝文字从来没有统一过，不仅异体字（两个或多个视觉上完全不同的字）很多，还存在大量的“变体字”，也即各个地方的布摩为防止敌方破译其经书而故意在现有字形上增加或减少一两个笔画产生的，如下图所示的四个字都表示“种类”的意思

在这里插入图片描述

表示“种类”的彝文字的四个变体（邵文苑供图）

3 合合信息：古彝文保护新思路

在过去的十几年中，合合信息以智能文字识别技术为核心，在图像的复杂版式识别、结构化智能理解层面做了大量的研究，并取得优秀的应用效果，为古彝文识别提供了技术支持；合合信息智能文字识别技术可对图像质量进行增强，提升文字识别效率与准确性。

3.1 图像矫正

因为相机硬件不符合理论上透视相机模型针孔无限小的假设，所以真实图像会产生明显的径向失真——场景中的线条在图像中显示为曲线。径向畸变(Radial Distortion)有两种类型：筒体畸变(Barrel Distortion)与枕形失真(Pincushion Distortion)。此外由于相机组装过程中，透镜不能和成像面严格平行，会引入切向畸变(Tangential Distortion)，再加上视觉文档图像的拍摄视角一般不垂直于文档平面，产生文档图像的变形和扭曲。例如比较厚重的书籍在展开后其书脊两侧文字区会出现向内弯曲的情况。由此可见，扭曲文档的形变情况要比平面文档要复杂，对其分析和矫正的难度也比平面文档图像要高。

在这里插入图片描述
传统扭曲文档的校正方式是对选择的区域进行特征提取，以分类回归的方式得到最后的文本区域。例如：

基于连通域的方法。使用边缘的文本检测以及字符的检测方式来分离文本像素和非文本像素。利用图像的底层特征如色彩、亮度、灰度值、纹理、梯度等特点，将图像中具有最类似特征的像素点汇总作为文本候选区域的连通域，再对候选区域进行分类、合并进而来获取文本区域；
基于滑动窗口的方法。采用自顶向下检测方式，利用设计的算法来产生文本候选区域，根据阈值将划分为文本或非文本区域。这种方法的关键是采用随机森林、自适应增强等算法对复杂特征进行提取。

然而，面对古文古籍这类很复杂的文本场景时，图像受遮挡、模糊等因素的影响，加上文本在纵横比、比例、方向呈现的方式不同，传统算法的稳定性变差。

合合信息采用基于偏移场的学习方法大大改善了上述缺陷。偏移场是一种具有中间监督的堆叠U-Net网络，用于直接预测从扭曲图像到校正图像的正向映射。通过扭曲未失真的图像创建高质量的图像合成数据集，而数据驱动和学习的方法可以极大地涵盖各种真实世界条件，提高了模型泛化能力，达到商用级别。偏移场学习对网络进行端到端训练，因此没有使用手工制作的低级特征，所以在提供大规模训练数据的前提下，它可以处理各种文档类型——包括古彝文等古籍文档；且可以作为一种有效的方法部署在现实世界中应用。

3.2 图像增强

因为古籍的物理局限性，往往存在斑点、阴影等影响文字提取和识别的噪声，此时需要借助图像增强技术进行预处理。

从 2017 年开始，生成对抗网络在图像阴影去除方向的应用陆续被人提出并不断完善，以达到图像阴影去除效果进一步的提升。

GAN网络由生成器网络与判别器网络两部分共同构成。其核心思想是通过两个子网各自的最优变化，达到全局的最优效果。生成器网络的核心作用是通过一系列的网络结构生成可以骗过判别器网络的数据，判别器网络的核心作用是通过网络设计可以不被生成器网络生成的数据所骗过。生成器网络与判别器网络二者互相制约，共同成长，形成表现良好的网络结构。有时，网络内部还借助空洞卷积、注意力机制、特征融合、编码器等方法的一个或多个特性进行优化。生成器网络与判别器网络共同训练的过程如图所示

在这里插入图片描述

图中蓝色虚线代表判别器分布，黑色虚线代表真实数据，绿线实线代表生成器生成的数据。从左往右依次展示了生成对抗网络模型训练的过程中，生成器网络与判别器网络的变化过程。可见随着训练迭代次数的增加，生成器网络生成的数据逐渐接近数据库中原始的真实数据。直到判别器网络已经不能很好的判断出，它接收到的两种数据，哪个是生成器生成的数据，哪个是数据库中真实的数据，此时，生成对抗网络达到最佳效果，停止迭代。下面展示的是GAN网络对缺失信息、遮挡信息的修复效果。

在这里插入图片描述

来源项目：Awesome-Image-Inpainting

3.3 语义理解

编解码的概念广泛应用于各个领域，在 NLP 领域，人们使用语言一般包括三个步骤：

接受听到或读到的语言 -> 大脑理解 -> 输出要说的语言。

语言是一个显式存在的东西，但大脑是如何将语言进行理解、转化、存储的，则是一个目前仍未探明的东西。因此，大脑理解语言这个过程，就是大脑将语言编码成一种可理解、可存储形式的过程，这个过程就叫做语言的编码。相应的，把大脑中想要表达的内容，使用语言表达出来，就叫做语言的解码。在语言模型中，编码器和解码器都是由一个个的Transformer组件拼接在一起形成的

在这里插入图片描述
具体到古彝文识别中，就是将输入的古文单词图像的多帧序列转化成一个固定长度的背景向量，完成编码工作，将生成的固定长度的向量再通过一定的方式转化为对应的输出字母序列，完成解码工作

而在这种模型中，输入的古文单词图像往往是一个包含多帧图像的序列，在进行编码解码工作时，要想从输入的一系列信息中关注到与图像对应的输出最相关的显著区域，显然是很困难的。近年来，注意力机制被广泛的应用在图像识别和NLP领域

在这里插入图片描述

举例：将"who are you"翻译为"你是谁"，传统的模型处理方式是一个seq-to-seq的模型，其包含一个encoder端和一个decoder端，其中encoder端对"who are you"进行编码，然后将整句话的信息传递给decoder端，由decoder解码出"我是谁"。在这个过程中，decoder是逐字解码的，在每次解码的过程中，如果接收信息过多，可能会导致模型的内部混乱，从而导致错误结果的出现。而在生成"你"的时候和单词"you"关系比较大，和"who are"关系不大，所以我们更希望在这个过程中能够使用Attention机制，将更多注意力放到"you"上，而不要太多关注"who are"，从而提高整体模型的表现

在古彝文识别中，合合信息就借助了注意力机制完成语义理解。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数同学面临毕业设计项目选题时，很多人都会感到无从下手，尤其是对于计算机专业的学生来说，选择一个合适的题目尤为重要。因为毕业设计不仅是我们在大学四年学习的一个总结，更是展示自己能力的重要机会。

因此收集整理了一份《2024年计算机毕业设计项目大全》，初衷也很简单，就是希望能够帮助提高效率，同时减轻大家的负担。