“智能语音指令解析“ 基于NLP与语音识别的工单关键信息提取_智能语音识别工单

本文将介绍如何利用 PaddleSpeech 的语音识别技术与 PaddleNLP 的通用信息抽取技术，实现基于智能语音指令解析的关键工单信息提取。我们将通过语音交互的方式，在交通报销场景下实现智能信息抽取，以提高工作效率与质量。

1. 背景介绍

智能语音指令解析集成了语音识别（ASR）与信息抽取（IE）等技术，广泛应用于智能语音填单、语音交互、手机APP语音唤醒等场景，提高人机交互效率。其中，智能语音填单可通过口述记录信息，并利用算法解析口述内容中的关键信息，完成自动信息录入。

1.1 场景痛点

• 电话分析：边询问边记录，容易遗漏关键信息，例如社区疫情防控信息记录。
• 工单生成：特定场景下无法完成文字录入，如电力路线巡检工作人员在高空巡检高压电线路。
• 信息登记：重复性工作效率低易出错，例如汽车售后客服话务员每天接听大量电话。

针对以上场景，利用PaddleSpeech的语音识别技术和PaddleNLP的信息抽取技术，可以自动识别和抽取语音中的关键信息，帮助简化记录流程，提高工作效率和质量。

1.2 方案选型

• PaddleSpeech语音识别模型：包含多种领先国际水平的语音算法与预训练模型，提供简单易用的语音识别功能。
• PaddleNLP通用信息抽取模型（UIE）：支持实体识别、关系和事件抽取、情感分析等多种信息抽取任务，具有良好的泛化效果。

2. 准备开发环境

安装PaddleSpeech与PaddleNLP：

!pip install paddlespeech
!pip install paddlenlp
1
2

下载必要数据包与示例音频，并进行初始化设置。

3. PaddleSpeech 语音识别快速使用

通过PaddleSpeech调用语音识别方法简单易行：

from paddlespeech.cli.asr.infer import ASRExecutor
asr = ASRExecutor()
result = asr(audio_file="ie.wav", force_yes=True)
print(result)
1
2
3
4

4. PaddleNLP 信息抽取快速使用

利用PaddleNLP提供的信息抽取能力，直接调用Taskflow API进行预测：

from paddlenlp import Taskflow

schema = ["时间", "出发地", "目的地", "费用"]
ie = Taskflow("information_extraction", schema=schema, task_path="/home/aistudio/work")

ie_result = ie(result)
print(ie_result)
1
2
3
4
5
6
7

5. 语音工单信息抽取核心功能实现

将语音识别与信息抽取功能进行串联，实现语音工单信息抽取的核心功能模块：

def audio_ie(audio_path):
    asr_result = asr(audio_file=audio_path, force_yes=True)
    ie_result = ie(asr_result)
    return ie_result

audio_ie("ie.wav")
1
2
3
4
5
6

6. 语音工单信息抽取网页应用

构建网页应用，通过前后端交互实现语音工单信息抽取的服务。

6.1 网页前端

利用Vue框架，结合js-audio-recorder库实现网页前端的录音功能。

6.2 网页后端

利用FastAPI框架搭建后端服务，核心功能为语音信息抽取函数。

6.3 aistudio服务演示

在aistudio中，通过FastAPI搭建网页应用，模拟网页调用语音工单信息提取的后端服务。

6.4 启动服务

启动FastAPI服务，提供后端服务支持。

6.5 构造Post请求测试

通过requests库构造Post请求，模拟调用语音工单信息提取的后端服务。

通过以上步骤，你可以快速上手使用PaddleSpeech与PaddleNLP实现语音工单信息提取的应用，提高工作效率与质量。

服务