小程序中使用微信同声传译插件实现语音识别、语音合成、文本翻译功能----语音识别（一）_小程序同声传译

官方文档链接：https://mp.weixin.qq.com/wxopen/plugindevdoc?appid=wx069ba97219f66d99&token=370941954&lang=zh_CN#-
要使用插件需要先在小程序管理后台的设置->第三方设置->插件管理中添加插件，目前该插件仅认证后的小程序。

语音识别功能

提供语音的实时流式识别能力，通过获取全局唯一的语音识别管理器recordRecoManager实现。

recordRecoManager对象的方法

1、start 开始语音识别

参数说明：
duration：指定录音的时长，单位ms，Number类型，默认值为60000，最大为60000。如果传入了合法的 duration ，在到达指定的 duration 后会自动停止录音。
lang：识别的语言，String类型，默认值zh_CN，目前支持zh_CN en_US zh_HK sichuanhua

2、stop 结束语音识别

3、onStart 正常开始录音识别时会调用

回调结果说明：
res：String类型，默认Ok

4、onRecognize 有新的识别内容返回会调用

回调结果说明：
result：识别结果，String类型

5、onStop 识别结束监听

回调结果说明：
tempFilePath：录音临时文件地址，String类型；
duration：录音总时长，单位: ms，Number类型；
fileSize：文件大小，单位: B，Number类型；
Result：最终识别结果，String类型。

6、onError 识别错误监听

回调结果说明：
retcode：错误码，Int类型；
msg：错误信息， String类型

使用：

1、注册插件

在app.json中注册插件
“plugins”: {
“WechatSI”: {
“version”: “0.3.5”,
“provider”: “wx069ba97219f66d99”
}
},

2、在页面中引入插件并获取语音识别管理器

//引入微信同声传译插件
const plugin = requirePlugin(‘WechatSI’);
//获取全局唯一的语音识别管理器recordRecoManager
const manager = plugin.getRecordRecognitionManager();

这里要注意：需要获取录音的权限，并且在用户隐私协议中加入，否则无法使用。
// 权限询问
getRecordAuth: function() {
wx.getSetting({
success: (res) => {
if (!res.authSetting[‘scope.record’]) {
wx.authorize({
scope: ‘scope.record’,
success() {
// 用户已经同意小程序使用录音功能，后续调用 wx.startRecord 接口不会弹窗询问
console.log(“succ auth”)
}, fail: () => {
console.log(“fail auth”)
this.userAuthFail(‘scope.record’, ‘请授权录音服务，用于获取语音识别’).then(authRecordRes => {
console.log(authRecordRes);
}).catch(authRecordErr => {
console.log(authRecordErr);
wx.showToast({
title: authRecordErr,
icon: ‘none’,
duration: 2000,
})
})
}
})
} else {
console.log(“record has been authed”)
}
}, fail(res) {
console.log(“fail”)
console.log(res)
}
})
},

用户拒绝授权
@param {string} scope 需授权的权限
@param {string} tip 权限对应的提示

userAuthFail(scope, tip) {
return new Promise((resolve, reject) => {
wx.showModal({
title: ‘提示’,
content: tip,
confirmText: ‘去授权’,
cancelText: ‘不授权’,
success(res) {
if (res.confirm) {
wx.openSetting({
success: (res) => {
resolve(res.authSetting[scope])
}
})
}
if (res.cancel) {
reject(‘您拒绝了授权’)
}
},
})
})
},

3、上述1、2步骤完成后开始语音识别初始化

//识别语音 – 初始化
initRecord: function () {
const that = this;
// 有新的识别内容返回，则会调用此事件
manager.onRecognize = function (res) {
console.log(res)
if (res.result === ‘’) return
const text = that.data.content + res.result
that.setData({
content: text
})
}
// 正常开始录音识别时会调用此事件
manager.onStart = function (res) {
console.log(“成功开始识别”, res)
}
// 识别错误事件
manager.onError = function (res) {
console.error(“error msg”, res)
}
//识别结束事件
manager.onStop = function (res) {
console.log(‘------结束-------’)
console.log(res);
console.log(‘录音临时文件地址 -->’ + res.tempFilePath);
console.log(‘录音总时长 -->’ + res.duration + ‘ms’);
console.log('文件大小 --> ’ + res.fileSize + ‘B’);
console.log('语音内容 --> ’ + res.result);
if (res.result == ‘’) {
console.log(‘没有听清楚，请再说一遍’);
return;
}
// 识别内容拼接
var text = that.data.content + res.result;
console.log(text); // 最后识别内容
}
},

//语音 --按住说话
touchStart(e) {
console.log(‘start’);
// 语音开始识别
manager.start({
lang: ‘zh_CN’,// 识别的语言，目前支持zh_CN en_US zh_HK sichuanhua
})
},
//语音 --松开结束
touchEnd(e) {
// 语音结束识别
manager.stop();
},

语音识别错误时的错误码说明：
-30001 录音接口出错
-30002 录音暂停接口被调用，录音终止，识别终止
-30003 录音帧数据未产生或者发送失败导致的数据传输失败
-30004 因网络或者其他非正常状态导致的未查询识别结果
-30005 语音识别服务内部错误
-30006 语音识别服务未在限定时间内识别完成
-30007 start启动参数错误
-30008 查询请求时网络失败
-30009 创建鉴权内部失败
-30010 发送鉴权时网络失败
-30011 试图在识别正在进行中是再次调用start，返回错误，正在进行的识别任务正常进行
-30012 当前无识别任务进行时调用stop错误
-30013 其他未知错误
-40001 达到接口调用频率限制

案例实现代码：

<view class="container-voice">
  <!-- maxlength最大输入长度，设置为-1时不限制最大长度 -->
  <textarea class="content" maxlength="-1" placeholder='等待说话' value="{{content}}" bindinput="conInput"/>
  <!-- <view class="content">识别的内容：{{content}}</view> -->
  <button class="btn" type="primary" bind:touchstart="touchStart" bind:touchend="touchEnd">
    <text wx:if="{{recordState == false}}">按住说话</text>
    <text wx:else>松开结束</text>
  </button>
</view>
1
2
3
4
5
6
7
8
9

//引入插件：微信同声传译
const plugin = requirePlugin('WechatSI');
//获取全局唯一的语音识别管理器recordRecoManager
const manager = plugin.getRecordRecognitionManager();
 
Page({
 
  /**
   * 页面的初始数据
   */
  data: {
    //语音
    recordState: false, //录音状态
    content:'',//识别的内容
  },
  /**
   * 生命周期函数--监听页面加载
   */
  onLoad: function (options) {
    console.log('load');
    //识别语音
    this.initRecord();
  },

  onShow(){
    // 获取录音授权
    this.getRecordAuth()
  },

  // 权限询问
  getRecordAuth: function() {
    wx.getSetting({
      success: (res) => {
        if (!res.authSetting['scope.record']) {
          wx.authorize({
            scope: 'scope.record',
            success() {
                // 用户已经同意小程序使用录音功能，后续调用 wx.startRecord 接口不会弹窗询问
                console.log("succ auth")
            }, fail: () => {
                console.log("fail auth")
                this.userAuthFail('scope.record', '请授权录音服务，用于获取语音识别').then(authRecordRes => {
                  console.log(authRecordRes);
                }).catch(authRecordErr => {
                  console.log(authRecordErr);
                  wx.showToast({
                    title: authRecordErr,
                    icon: 'none',
                    duration: 2000,
                  })
                })
            }
          })
        } else {
          console.log("record has been authed")
        }
      }, fail(res) {
          console.log("fail")
          console.log(res)
      }
    })
  },

    /**
  * 用户拒绝授权
  * @param {string} scope 需授权的权限
  * @param {string} tip 权限对应的提示
  */
  userAuthFail(scope, tip) {
    return new Promise((resolve, reject) => {
      wx.showModal({
        title: '提示',
        content: tip,
        confirmText: '去授权',
        cancelText: '不授权',
        success(res) {
          if (res.confirm) {
            wx.openSetting({
              success: (res) => {
                resolve(res.authSetting[scope])
              }
            })
          }
          if (res.cancel) {
            reject('您拒绝了授权')
          }
        },
      })
    })
  },

  // 手动输入内容
  conInput: function (e) {
    this.setData({
      content:e.detail.value,
    })
  },
  //识别语音 -- 初始化
  initRecord: function () {
    const that = this;
    // 有新的识别内容返回，则会调用此事件
    manager.onRecognize = function (res) {
      console.log(res)
      if (res.result === '') return
      const text = that.data.content + res.result
      that.setData({
        content: text
      })
    }
    // 正常开始录音识别时会调用此事件
    manager.onStart = function (res) {
      console.log("成功开始识别", res)
    }
    // 识别错误事件
    manager.onError = function (res) {
      console.error("error msg", res)
    }
    //识别结束事件
    manager.onStop = function (res) {
      console.log('------结束-------')
      console.log(res);
      console.log('录音临时文件地址 -->' + res.tempFilePath); 
      console.log('录音总时长 -->' + res.duration + 'ms'); 
      console.log('文件大小 --> ' + res.fileSize + 'B');
      console.log('语音内容 --> ' + res.result);
      if (res.result == '') {
        that.playTextToVoice('我没有听清楚，请重新说一遍！')
        return;
      }
      var text = that.data.content + res.result;
      that.setData({
        content: text
      })
    }
  },
  //语音  --按住说话
  touchStart: function (e) {
    console.log('start');
    this.setData({
      recordState: true  //录音状态
    })
    // 语音开始识别
    manager.start({
      lang: 'zh_CN',// 识别的语言，目前支持zh_CN en_US zh_HK sichuanhua
    })
  },
  //语音  --松开结束
  touchEnd: function (e) {
    console.log('end');
    this.setData({
      recordState: false
    })
    // 语音结束识别
    manager.stop();
  },
})
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156

page{
  box-sizing: border-box;
  /* 兼容ios<11.2 */
  padding-bottom: constant(safe-area-inset-bottom);  /* 底部安全区域*/
  /* 兼容ios>11.2 */
  padding-bottom: env(safe-area-inset-bottom);
  /* env() 跟 constant() 需要同时存在，而且顺序[先c后e]不能换 */
}
.content{
  width: 100%;
  border: 1rpx solid green;
  padding: 20rpx;
  line-height: 34rpx;
  min-height: 34rpx;
}
.btn{
  position: fixed;
  left: 50%;
  bottom: 0;
  /* ios 适配 */
  bottom: constant(safe-area-inset-bottom);
  bottom: env(safe-area-inset-bottom);
  transform: translateX(-50%);
  margin-top: 20rpx;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

具体案例代码亦可参考：https://gitee.com/mei-ruohan/mini-program-collection/tree/master/pages/voice2text