鸿蒙HarmonyOS开发实战—多媒体开发（音频开发 一）

HarmonyOS音频模块支持音频业务的开发，提供音频相关的功能，主要包括音频播放、音频采集、音量管理和短音播放等。

基本概念

• 采样 采样是指将连续时域上的模拟信号按照一定的时间间隔采样，获取到离散时域上离散信号的过程。
• 采样率 采样率为每秒从连续信号中提取并组成离散信号的采样次数，单位用赫兹（Hz）来表示。通常人耳能听到频率范围大约在20Hz～20kHz之间的声音。常用的音频采样频率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz、96kHz、192kHz等。
• 声道 声道是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。
• 音频帧 音频数据是流式的，本身没有明确的帧的概念，在实际的应用中，为了音频算法处理/传输的方便，一般约定俗成取2.5ms~60ms为单位的数据量为一帧音频。这个时间被称之为“采样时间”，其长度没有特别的标准，它是根据编解码器和具体应用的需求来决定的。
• PCM PCM（Pulse Code Modulation），即脉冲编码调制，是一种将模拟信号数字化的方法，是将时间连续、取值连续的模拟信号转换成时间离散、抽样值离散的数字信号的过程。
• 短音 使用源于应用程序包内的资源或者是文件系统里的文件为样本，将其解码成一个16bit单声道或者立体声的PCM流并加载到内存中，这使得应用程序可以直接用压缩数据流同时摆脱CPU加载数据的压力和播放时重解压的延迟。
• tone音 根据特定频率生成的波形，比如拨号盘的声音。
• 系统音 系统预置的短音，比如按键音，删除音等。

约束与限制

• 在使用完AudioRenderer音频播放类和AudioCapturer音频采集类后，需要调用release()方法进行资源释放。
• 音频采集所使用的最终采样率与采样格式取决于输入设备，不同设备支持的格式及采样率范围不同，可以通过AudioManager类的getDevices接口查询。
• 该功能使用需要对应硬件支持，仅支持真机调试。
• 在进行开发之前，需要申请相关权限，保证应用使用音频相关能力的权限，涉及权限如下表。

音频播放

场景介绍

音频播放的主要工作是将音频数据转码为可听见的音频模拟信号并通过输出设备进行播放，同时对播放任务进行管理。

接口说明

音频播放类AudioRenderer的主要接口

开发步骤

1. 构造音频流参数的数据结构AudioStreamInfo，推荐使用AudioStreamInfo.Builder类来构造，模板如下，模板中设置的均为AudioStreamInfo.Builder类的默认值，根据音频流的具体规格来设置具体参数。

AudioStreamInfo audioStreamInfo = new AudioStreamInfo.Builder()
    .sampleRate(AudioStreamInfo.SAMPLE_RATE_UNSPECIFIED)
    .audioStreamFlag(AudioStreamInfo.AudioStreamFlag.AUDIO_STREAM_FLAG_NONE)
    .encodingFormat(AudioStreamInfo.EncodingFormat.ENCODING_INVALID)
    .channelMask(AudioStreamInfo.ChannelMask.CHANNEL_INVALID)
    .streamUsage(AudioStreamInfo.StreamUsage.STREAM_USAGE_UNKNOWN)
    .build();

复制

以真实的播放pcm流为例：

AudioStreamInfo audioStreamInfo = new AudioStreamInfo.Builder().sampleRate(44100) // 44.1kHz
    .audioStreamFlag(AudioStreamInfo.AudioStreamFlag.AUDIO_STREAM_FLAG_MAY_DUCK) // 混音
    .encodingFormat(AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT) // 16-bit PCM
    .channelMask(AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO) // 双声道输出
    .streamUsage(AudioStreamInfo.StreamUsage.STREAM_USAGE_MEDIA) // 媒体类音频
    .build();

复制

2. 使用创建的音频流构建音频播放的参数结构AudioRendererInfo，推荐使用AudioRendererInfo.Builder类来构造，模板如下，模板中设置的均为AudioRendererInfo.Builder类的默认值，根据音频播放的具体规格来设置具体参数。

AudioRendererInfo audioRendererInfo = new AudioRendererInfo.Builder().audioStreamInfo(audioStreamInfo)
    .audioStreamOutputFlag(AudioRendererInfo.AudioStreamOutputFlag.AUDIO_STREAM_OUTPUT_FLAG_NONE)
    .bufferSizeInBytes(0)
    .isOffload(false)
    .sessionID(AudioRendererInfo.SESSION_ID_UNSPECIFIED)
    .build();

复制

以真实的播放pcm流为例：

AudioRendererInfo audioRendererInfo = new AudioRendererInfo.Builder().audioStreamInfo(audioStreamInfo)
    .audioStreamOutputFlag(AudioRendererInfo.AudioStreamOutputFlag.AUDIO_STREAM_OUTPUT_FLAG_DIRECT_PCM) // pcm格式的输出流
    .bufferSizeInBytes(100)
    .isOffload(false) // false表示分段传输buffer并播放，true表示整个音频流一次性传输到HAL层播放
    .build();

复制

3. 根据要播放音频流指定PlayMode，不同的PlayMode在写数据时存在差异，详情见步骤7，其余播放流程是无区别的。并通过构造函数获取AudioRenderer类的实例化对象。

4. 使用构造函数获取AudioRenderer类的实例化对象，其中步骤2、步骤3中的数据为构造函数的必选参数，指定播放设备为可选参数，根据使用场景选择不同的构造函数。

5. （可选）构造音频播放回调，首先构造对象AudioInterrupt，其中setInterruptListener方法的入参需要实现接口类InterruptListener，setStreamInfo方法使用步骤1的AudioStreamInfo作为入参。然后调用AudioManager类的activateAudioInterrupt(AudioInterrupt interrupt)方法进行音频播放回调注册。代码示例如下：

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
AudioInterrupt audioInterrupt = new AudioInterrupt();
AudioManager audioManager = new AudioManager();
audioInterrupt.setStreamInfo(audioStreamInfo);
audioInterrupt.setInterruptListener(new AudioInterrupt.InterruptListener() {
    @Override
    public void onInterrupt(int type, int hint) {
        if (type == AudioInterrupt.INTERRUPT_TYPE_BEGIN
                && hint == AudioInterrupt.INTERRUPT_HINT_PAUSE) {
            renderer.pause();
        } else if (type == AudioInterrupt.INTERRUPT_TYPE_BEGIN
                && hint == AudioInterrupt.INTERRUPT_HINT_NONE) {
 
        } else if (type == AudioInterrupt.INTERRUPT_TYPE_END && (
                hint == AudioInterrupt.INTERRUPT_HINT_NONE
                        || hint == AudioInterrupt.INTERRUPT_HINT_RESUME)) {
            renderer.start();
        } else {
            HiLog.warn(TAG, "unexpected type or hint");
        }
    }
});
audioManager.activateAudioInterrupt(audioInterrupt);

复制

6. 调用AudioRenderer实例化对象的start()方法启动播放任务

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
renderer.start();

复制

7. 将要播放的音频数据读取为byte流或short流，对于选择MODE_STREAM模式的PlayMode，需要循环调用write方法进行数据写入。对于选择MODE_STATIC模式的PlayMode，只能通过调用一次write方法将要播放的音频数据全部写入，因此该模式限制在文件规格较小的音频数据播放场景下才能使用

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
String Path = "resources/***/***.pcm"; // 自定义pcm文件
BufferedInputStream bis1 = null;
try {
    RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path).openRawFileDescriptor();
    FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
    bis1 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
    int minBufferSize = renderer.getMinBufferSize(44100, AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT,  
    AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO);
    byte[] buffers = new byte[minBufferSize];
    while ((bis1.read(buffers)) != -1) {
    boolean write1 = renderer.write(buffers, 0, buffers.length);
    renderer.flush();
    }
    } catch (Exception e) {
    e.printStackTrace();
    } finally {
    if (bis1!=null){
       try {
        bis1.close();
           } catch (IOException e) {
        e.printStackTrace();
        }
    }
   }
 
BufferedInputStream bis2 = null;
try {
    RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path).openRawFileDescriptor();
    FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
    bis2 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
    int minBufferSize = renderer.getMinBufferSize(44100, AudioStreamInfo.EncodingFormat.ENCODING_PCM_16BIT,  
    AudioStreamInfo.ChannelMask.CHANNEL_OUT_STEREO);
    byte[] buffers = new byte[minBufferSize];
    int len ;
    while ((len = bis2.read(buffers)) != -1) {
    short[] shorts = new short[len];
    boolean write2 = renderer.write(shorts, 0, shorts.length);
    renderer.flush();
    }
    } catch (Exception e) {
    e.printStackTrace();
    } finally {
    if (bis2!=null){
       try {
        bis2.close();
           } catch (IOException e) {
        e.printStackTrace();
        }
    }
   }
 
AudioRenderer renderer1 = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STATIC);
String Path1 = "resources/***/***.pcm";
BufferedInputStream bis3 = null;
try {
   RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path1).openRawFileDescriptor();
   FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
   bis3 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
   byte[] bytes = new byte[bis3.available()];
   boolean write3 = renderer1.write(bytes, 0, bytes.length);
   } catch (IOException e) {
     e.printStackTrace();
   }finally {
    if (bis3!=null){
        try {
         bis3.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
       }
  }
 
BufferedInputStream bis4 = null;
try {
   RawFileDescriptor rawFileDescriptor = getResourceManager().getRawFileEntry(Path1).openRawFileDescriptor();
   FileDescriptor fileDescriptor1 = rawFileDescriptor.getFileDescriptor();
   bis4 = new BufferedInputStream(new FileInputStream(fileDescriptor1));
   short[] shorts = new short[bis4.available()];
   boolean write4 = renderer1.write(shorts, 0, shorts.length);
   } catch (IOException e) {
     e.printStackTrace();
   }finally {
    if (bis4!=null){
        try {
         bis4.close();
        } catch (IOException e) {
        e.printStackTrace();
        }
       }
  }

复制

8. （可选）当需要对音频播放进行暂停或停止时，调用AudioRenderer实例化对象的pause()或stop()方法进行暂停或停止播放。

AudioRenderer renderer = new AudioRenderer(audioRendererInfo, AudioRenderer.PlayMode.MODE_STREAM);
renderer.pause();

复制

9. （可选）调用AudioRenderer实例化对象的setSpeed调节播放速度，setVolume调节播放音量。

renderer.setSpeed(0.5f);
renderer.setVolume(0.5f);
renderer.stop();

复制

10. 播放任务结束后，调用AudioRenderer实例化对象的release()释放资源。

renderer.release();

---

最后，为了能让大家更好的去学习提升鸿蒙 (Harmony OS) 开发技术，小编连夜整理了一份30个G纯血版学习资料（含视频、电子书、学习文档等）以及一份在Github上持续爆火霸榜的《纯血版华为鸿蒙 (Harmony OS)开发手册》（共计890页），希望对大家有所帮助。

纯血版鸿蒙 HarmonyOS 4.0 视频学习资料

 需要以上视频学习资料小伙伴

请点击→纯血版全套鸿蒙HarmonyOS学习资料

---

《纯血版华为鸿蒙 (Harmony OS)开发手册》

这份手册涵盖了当前鸿蒙 (Harmony OS) 开发技术必掌握的核心知识点

纯血版鸿蒙 (Harmony OS)开发手册部分精彩内容

HarmonyOS 概念：

• 系统定义
• 技术架构
• 技术特性
• 系统安全

如何快速入门？

• 基本概念
• 构建第一个ArkTS应用
• 构建第一个JS应用
• ……

开发基础知识： 

• 应用基础知识
• 配置文件
• 应用数据管理
• 应用安全管理
• 应用隐私保护
• 三方应用调用管控机制
• 资源分类与访问
• 学习ArkTS语言
• ……

基于ArkTS 开发：

• Ability开发
• UI开发
• 公共事件与通知
• 窗口管理
• 媒体
• 安全
• 网络与链接
• 电话服务
• 数据管理
• 后台任务(Background Task)管理
• 设备管理
• 设备使用信息统计
• DFX
• 国际化开发
• 折叠屏系列
• .……

获取以上文中提到的这份纯血版鸿蒙 (Harmony OS) 开发资料的小伙伴 

请点击→纯血版全套鸿蒙HarmonyOS学习资料

---

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/84278