devbox
知新_RL
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Unity2021接入讯飞语音听写（Android）_unity 语音听写 (流式版)

作者：知新_RL | 2024-03-25 21:21:10

赞

踩

unity 语音听写 (流式版)

使用的引擎工具：

Unity2021.3.19

android-studio-2021.1.21

第一步：

新建一个Android项目（工程名字随便啦）

然后新建一个library

（同上，库名自己命名吧）

Android环境目前就算是初步建立好了。

第二步：

导包

libs文件夹里面放入这4个文件，arm64-v8a，armeabi-v7a,Msc.jar这三个文件是讯飞官网下载下来的demo项目里面的，直接复制到libs里面就好，classes.jar包是在下面这个路径下的

（注：Classes.jar用mono还是IL2CPP得和Unity-PlayerSetting-ScriptBackend一致）

第三步：

倒入UnityPlayerActivity

最新版本Unity里面的classes.jar包文件里面以及不包含UnityPlayerActivity了，所以我们需要自己导入UnityPlayerActivity（或者自己编写一个也可以，回头可以再出一篇）

文件位置：

第四步：

在AndroidStudio实现供unity调用的接口方法，直接上代码了（讯飞APPID自己填写）

  1. package com.example.mylibrary;
  2.  
  3. import android.content.Context;
  4. import android.os.Bundle;
  5. import android.util.Log;
  6. import android.widget.Toast;
  7.  
  8. import com.iflytek.cloud.ErrorCode;
  9. import com.iflytek.cloud.InitListener;
  10. import com.iflytek.cloud.RecognizerListener;
  11. import com.iflytek.cloud.RecognizerResult;
  12. import com.iflytek.cloud.SpeechConstant;
  13. import com.iflytek.cloud.SpeechError;
  14. import com.iflytek.cloud.SpeechRecognizer;
  15. import com.iflytek.cloud.SpeechUtility;
  16. import com.unity.upa.UnityPlayerActivity;
  17. import com.unity3d.player.UnityPlayer;
  18.  
  19. import org.json.JSONException;
  20. import org.json.JSONObject;
  21.  
  22. import java.util.HashMap;
  23. import java.util.LinkedHashMap;
  24.  
  25. public class XunFeiSdk extends UnityPlayerActivity {
  26.  
  27. private HashMap<String, String> mIatResults = new LinkedHashMap<String, String>();
  28.     SpeechRecognizer mIAT;
  29.     @Override
  30.     protected void onCreate(Bundle savedInstanceState) {
  31. super.onCreate(savedInstanceState);
  32.  
  33.         SpeechUtility.createUtility(this, SpeechConstant.APPID + "=xxxxxx");//这里是你在讯飞官网上的APPID
  34.         mIAT=SpeechRecognizer.createRecognizer(this,null);
  35.         mIAT.setParameter(SpeechConstant.DOMAIN,"iat");
  36.         // 语言
  37.         mIAT.setParameter(SpeechConstant.LANGUAGE,"zh_cn");
  38.         // 接收语言的类型
  39.         mIAT.setParameter(SpeechConstant.ACCENT,"mandarin");
  40.         // 使用什么引擎
  41.         mIAT.setParameter(SpeechConstant.ENGINE_TYPE,SpeechConstant.TYPE_CLOUD);
  42.     }
  43.  
  44. public void StartListening() {
  45.  
  46. mIAT.startListening(recognizerListener);
  47.     }
  48.  
  49.     RecognizerListener recognizerListener = new RecognizerListener() {
  50. @Override
  51.         public void onVolumeChanged(int i, byte[] bytes) {
  52.             UnityPlayer.UnitySendMessage("XfManager","OnVolumeChanged","");
  53.         }
  54.  
  55. @Override
  56.         public void onBeginOfSpeech() {
  57.             UnityPlayer.UnitySendMessage("XfManager","OnBeginOfSpeech","");
  58.         }
  59.  
  60. @Override
  61.         public void onEndOfSpeech() {
  62.             UnityPlayer.UnitySendMessage("XfManager","OnEndOfSpeech","");
  63.         }
  64.  
  65. @Override
  66.         public void onResult(RecognizerResult recognizerResult, boolean b) {
  67.             printResult(recognizerResult);
  68.         }
  69.  
  70. @Override
  71.         public void onError(SpeechError speechError) {
  72.             UnityPlayer.UnitySendMessage("XfManager","OnError",speechError.getErrorDescription());
  73.         }
  74.  
  75. @Override
  76.         public void onEvent(int i, int i1, int i2, Bundle bundle) {
  77.  
  78.         }
  79.     };
  80.  
  81.     private void printResult(com.iflytek.cloud.RecognizerResult results) {
  82. // JsonParser是一个工具类
  83.         String text = JsonParser.parseIatResult(results.getResultString());
  84.  
  85.         String sn = null;
  86.         // 读取json结果中的sn字段
  87.         try {
  88.             JSONObject resultJson = new JSONObject(results.getResultString());
  89.             sn = resultJson.optString("sn");
  90.         } catch (JSONException e) {
  91.             e.printStackTrace();
  92.         }
  93. mIatResults.put(sn, text);
  94.         // resultBuffer 为最终返回的结果
  95.  
  96.         StringBuffer resultBuffer = new StringBuffer();
  97.         for (String key : mIatResults.keySet()) {
  98.             resultBuffer.append(mIatResults.get(key));
  99.         }
  100. // 把得到的结果返回给Unity  第一个参数为unity种的游戏物体 第二个参数为 这个游戏物体身上脚本的方法   第三个参数为讯飞返回的最终结果
  101.         UnityPlayer.UnitySendMessage("XfManager","OnResult",resultBuffer.toString());
  102.     }
  103.  
  104. public  void VoidTest()
  105.     {
  106.         UnityPlayer.UnitySendMessage("XfManager","FromAndroid","Android:消息发送至Unity");
  107.     }
  108. }

Json类（这个是讯飞demo里面的）

  1. package com.example.mylibrary;
  2.  
  3. import org.json.JSONArray;
  4. import org.json.JSONObject;
  5. import org.json.JSONTokener;
  6.  
  7. /**
  8.  * Json结果解析类
  9.  */
  10. public class JsonParser {
  11.  
  12. public static String parseIatResult(String json) {
  13.         StringBuffer ret = new StringBuffer();
  14.         try {
  15.             JSONTokener tokener = new JSONTokener(json);
  16.             JSONObject joResult = new JSONObject(tokener);
  17.  
  18.             JSONArray words = joResult.getJSONArray("ws");
  19.             for (int i = 0; i < words.length(); i++) {
  20. // 转写结果词，默认使用第一个结果
  21.                 JSONArray items = words.getJSONObject(i).getJSONArray("cw");
  22.                 JSONObject obj = items.getJSONObject(0);
  23.                 ret.append(obj.getString("w"));
  24. //          如果需要多候选结果，解析数组其他字段
  25. //          for(int j = 0; j < items.length(); j++)
  26. //          {
  27. //             JSONObject obj = items.getJSONObject(j);
  28. //             ret.append(obj.getString("w"));
  29. //          }
  30.             }
  31.         } catch (Exception e) {
  32.             e.printStackTrace();
  33.         }
  34. return ret.toString();
  35.     }
  36.  
  37. public static String parseGrammarResult(String json, String engType) {
  38.         StringBuffer ret = new StringBuffer();
  39.         try {
  40.             JSONTokener tokener = new JSONTokener(json);
  41.             JSONObject joResult = new JSONObject(tokener);
  42.  
  43.             JSONArray words = joResult.getJSONArray("ws");
  44.             // 云端和本地结果分情况解析
  45.             if ("cloud".equals(engType)) {
  46. for (int i = 0; i < words.length(); i++) {
  47.                     JSONArray items = words.getJSONObject(i).getJSONArray("cw");
  48.                     for (int j = 0; j < items.length(); j++) {
  49.                         JSONObject obj = items.getJSONObject(j);
  50.                         if (obj.getString("w").contains("nomatch")) {
  51.                             ret.append("没有匹配结果.");
  52.                             return ret.toString();
  53.                         }
  54.                         ret.append("【结果】" + obj.getString("w"));
  55.                         ret.append("【置信度】" + obj.getInt("sc"));
  56.                         ret.append("\n");
  57.                     }
  58.                 }
  59.             } else if ("local".equals(engType)) {
  60.                 ret.append("【结果】");
  61.                 for (int i = 0; i < words.length(); i++) {
  62.                     JSONObject wsItem = words.getJSONObject(i);
  63.                     JSONArray items = wsItem.getJSONArray("cw");
  64.                     if ("<contact>".equals(wsItem.getString("slot"))) {
  65. // 可能会有多个联系人供选择，用中括号括起来，这些候选项具有相同的置信度
  66.                         ret.append("【");
  67.                         for (int j = 0; j < items.length(); j++) {
  68.                             JSONObject obj = items.getJSONObject(j);
  69.                             if (obj.getString("w").contains("nomatch")) {
  70.                                 ret.append("没有匹配结果.");
  71.                                 return ret.toString();
  72.                             }
  73.                             ret.append(obj.getString("w")).append("|");
  74.                         }
  75.                         ret.setCharAt(ret.length() - 1, '】');
  76.                     } else {
  77. //本地多候选按照置信度高低排序，一般选取第一个结果即可
  78.                         JSONObject obj = items.getJSONObject(0);
  79.                         if (obj.getString("w").contains("nomatch")) {
  80.                             ret.append("没有匹配结果.");
  81.                             return ret.toString();
  82.                         }
  83.                         ret.append(obj.getString("w"));
  84.                     }
  85.                 }
  86.                 ret.append("【置信度】" + joResult.getInt("sc"));
  87.                 ret.append("\n");
  88.             }
  89.  
  90.         } catch (Exception e) {
  91.             e.printStackTrace();
  92.             ret.append("没有匹配结果.");
  93.         }
  94. return ret.toString();
  95.     }
  96.  
  97. public static String parseGrammarResult(String json) {
  98.         StringBuffer ret = new StringBuffer();
  99.         try {
  100.             JSONTokener tokener = new JSONTokener(json);
  101.             JSONObject joResult = new JSONObject(tokener);
  102.  
  103.             JSONArray words = joResult.getJSONArray("ws");
  104.             for (int i = 0; i < words.length(); i++) {
  105.                 JSONArray items = words.getJSONObject(i).getJSONArray("cw");
  106.                 for (int j = 0; j < items.length(); j++) {
  107.                     JSONObject obj = items.getJSONObject(j);
  108.                     if (obj.getString("w").contains("nomatch")) {
  109.                         ret.append("没有匹配结果.");
  110.                         return ret.toString();
  111.                     }
  112.                     ret.append("【结果】" + obj.getString("w"));
  113.                     ret.append("【置信度】" + obj.getInt("sc"));
  114.                     ret.append("\n");
  115.                 }
  116.             }
  117.         } catch (Exception e) {
  118.             e.printStackTrace();
  119.             ret.append("没有匹配结果.");
  120.         }
  121. return ret.toString();
  122.     }
  123.  
  124. public static String parseLocalGrammarResult(String json) {
  125.         StringBuffer ret = new StringBuffer();
  126.         try {
  127.             JSONTokener tokener = new JSONTokener(json);
  128.             JSONObject joResult = new JSONObject(tokener);
  129.  
  130.             JSONArray words = joResult.getJSONArray("ws");
  131.             for (int i = 0; i < words.length(); i++) {
  132.                 JSONArray items = words.getJSONObject(i).getJSONArray("cw");
  133.                 for (int j = 0; j < items.length(); j++) {
  134.                     JSONObject obj = items.getJSONObject(j);
  135.                     if (obj.getString("w").contains("nomatch")) {
  136.                         ret.append("没有匹配结果.");
  137.                         return ret.toString();
  138.                     }
  139.                     ret.append("【结果】" + obj.getString("w"));
  140.                     ret.append("\n");
  141.                 }
  142.             }
  143.             ret.append("【置信度】" + joResult.optInt("sc"));
  144.  
  145.         } catch (Exception e) {
  146.             e.printStackTrace();
  147.             ret.append("没有匹配结果.");
  148.         }
  149. return ret.toString();
  150.     }
  151.  
  152. public static String parseTransResult(String json, String key) {
  153.         StringBuffer ret = new StringBuffer();
  154.         try {
  155.             JSONTokener tokener = new JSONTokener(json);
  156.             JSONObject joResult = new JSONObject(tokener);
  157.             String errorCode = joResult.optString("ret");
  158.             if (!errorCode.equals("0")) {
  159. return joResult.optString("errmsg");
  160.             }
  161.             JSONObject transResult = joResult.optJSONObject("trans_result");
  162.             ret.append(transResult.optString(key));
  163.          /*JSONArray words = joResult.getJSONArray("results");
  164.          for (int i = 0; i < words.length(); i++) {
  165.             JSONObject obj = words.getJSONObject(i);
  166.             ret.append(obj.getString(key));
  167.          }*/
  168.         } catch (Exception e) {
  169.             e.printStackTrace();
  170.         }
  171. return ret.toString();
  172.     }
  173. }

代码就是以上这些了，接下来就是修改AndroidManifest

第五步：

AndroidManifest.xml文件

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <manifest xmlns:tools="http://schemas.android.com/tools"
  3.     xmlns:android="http://schemas.android.com/apk/res/android"
  4.     package="com.example.mylibrary">
  5.  
  6.     <application
  7.         android:allowBackup="true"
  8.         android:supportsRtl="true">
  9.         <activity android:name=".XunFeiSdk"
  10.             android:exported="true">
  11.             <intent-filter>
  12.                 <action android:name="android.intent.action.MAIN" />
  13.  
  14.                 <category android:name="android.intent.category.LAUNCHER" />
  15.             </intent-filter>
  16.         </activity>
  17.         <meta-data android:name="unityplayer.UnityActivity" android:value="true"/>
  18.     </application>
  19.  
  20.  
  21.     <uses-permission android:name="android.permission.RECORD_AUDIO" />
  22.     <uses-permission android:name="android.permission.INTERNET" />
  23.     <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
  24.     <uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
  25.     <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
  26.     <uses-permission android:name="android.permission.READ_PHONE_STATE" />
  27.     <uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
  28.     <uses-permission android:name="android.permission.READ_CONTACTS" />
  29.     <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
  30.     <uses-permission android:name="android.permission.WRITE_SETTINGS"
  31.         tools:ignore="ProtectedPermissions" />
  32.     <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
  33.     <uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
  34.     <uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION" />
  35. </manifest>

第六步：

完成以上这些步骤就可以打包成arr文件了

选中你的库文件然后点击build-Make Module，如图所示

arr生成路径是

结果如下

把mylibrary.arr文件根目录里的classes.jar和AndroidManifest复制出来（拖出来）

下面这个是从arr包里取出来的AndroidManifest文件，把<uses-sdk android:minSdkVersion="26" />删掉

第七步：

下面就是Unity这边了，Unity端比较简单，直接看图吧

这个AndroidManifest文件就是第六步的AndroidManifest文件，

classes.jar文件放在Plugins-Android-bin目录下

libs目录下放的是同第二步一样的3个文件

然后Unity测试界面

  1. using System;
  2. using System.Collections;
  3. using System.Collections.Generic;
  4. using TMPro;
  5. using UnityEngine;
  6. using UnityEngine.UI;
  7.  
  8. public class XfManager : MonoBehaviour
  9. {
  10.     private AndroidJavaClass ajc;
  11.     private AndroidJavaObject ajo;
  12.     //private AndroidJavaObject XunFeiSdk;
  13.     public Button StartButton,testBtn;
  14.     public TextMeshProUGUI ResultText;
  15.  
  16.     private void Start()
  17.     {
  18.          ajc = new AndroidJavaClass("com.unity3d.player.UnityPlayer");
  19.          ajo = ajc.GetStatic<AndroidJavaObject>("currentActivity");
  20.         //XunFeiSdk = new AndroidJavaObject("com.example.mylibrary.XunFeiSdk");
  21.         testBtn.onClick.AddListener(TestConnect);
  22.         if (StartButton)
  23.         {
  24.             StartButton.onClick.AddListener(() => { StartListening(); });
  25.         }
  26.     }
  27.  
  28.     private void TestConnect()
  29.     {
  30.         ajo.Call("VoidTest");
  31.     }
  32.  
  33.  
  34.     public void FromAndroid(string s) 
  35.     {
  36.         ResultText.text = s;
  37.     }
  38.  
  39.     public void StartListening()
  40.     {
  41.         ajo.Call("StartListening");
  42.     }
  43.  
  44.     public void OnStartListening(string ret)
  45.     {
  46.         int result = int.Parse(ret);
  47.         StartButton.interactable = result == 0;
  48.     }
  49.  
  50.     public void OnResult(string result)
  51.     {
  52.         ResultText.text = result;
  53.     }
  54.  
  55.     public void OnError(string errorMessage)
  56.     {
  57.         ResultText.text = errorMessage;
  58.     }
  59.  
  60.     public void OnEndOfSpeech()
  61.     {
  62.         StartButton.GetComponentInChildren<TextMeshProUGUI>().text = "已结束，点击聆听";
  63.         StartButton.interactable = true;
  64.     }
  65.  
  66.     public void OnBeginOfSpeech()
  67.     {
  68.         StartButton.GetComponentInChildren<TextMeshProUGUI>().text = "聆听ing";
  69.         StartButton.interactable = false;
  70.     }
  71. }

最后就是打包了

注：这里的包名必须跟你配置文件里面的一致才行，还有就是再重复一遍，Classes.jar用mono还是IL2CPP得和Unity-PlayerSetting-ScriptBackend一致。

打包成功，测试正常（注意开启权限哦）

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/312552
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号