NERTC Flutter SDK 的音频模块会严格控制声音设备的采集和播放逻辑，同时支持对采集到的音视频原始数据进行自定义的前处理和后处理，获取想要的播放效果。适用于非标设备接入、自定义音频效果、语音处理、语音识别等场景。

• 前处理：在音频数据发送到编码器前获取原始的音频数据进行修改，主要针对本地麦克风采集到的音频数据或自定义外部音频流。
• 后处理：即在音频数据发送给解码器后获取原始的音频数据进行修改，主要针对接收到的远端用户音频数据。

NERTC Flutter SDK 通过提供 NERtcAudioFrameEventCallback 类，实现采集、修改原始音频数据功能。

前提条件

在使用原始数据处理功能前，请确保您已在项目中实现基本的实时音视频功能。

注意事项

• 采集回调 onRecordFrame、播放回调 onPlaybackFrame 中的原始音频数据可进行处理，例如美声变声。
• 混音回调 onMixedAudioFrame 和某一用户的播放回调 onPlaybackAudioFrameBeforeMixingWithUserID 中的原始音频数据不能进行处理。

技术原理

实现方法

API 调用时序

以实现修改采集音频的音频数据为例，API 调用时序如下图所示。

sequenceDiagram
    participant 应用层
    participant NERtc Flutter SDK
    应用层->>NERtc Flutter SDK: setRecordingAudioFrameParameters
    应用层->>NERtc Flutter SDK: setAudioFrameEventCallback
    NERtc Flutter SDK-->>应用层: onRecordFrame
    Note over 应用层, NERtc Flutter SDK: 自行处理音频数据
    应用层->>NERtc Flutter SDK: onRecordFrame

配置步骤

1. 设置回调的音频采样率。

   • 调用 setRecordingAudioFrameParameters 方法修改回调的采集音频采样率，并将回调的音频数据设置为只读模式或读写模式。
   • 调用 setPlaybackAudioFrameParameters 方法修改回调的播放音频采样率，并将回调的音频数据设置为只读模式或读写模式。
   • 调用 setMixedAudioFrameParameters 方法，设置 onMixedAudioFrame 回调中的混音音频采样率。

2. 调用 setAudioFrameEventCallback 方法注册原始音频帧回调。

3. SDK 返回回调。

   • SDK 收到输入的采集数据和播放的音频数据时，返回 onRecordFrame 和 onPlaybackFrame 回调。
   • SDK 收到音频采集与播放混合后数据帧时，返回 onMixedAudioFrame 回调；SDK 收到某一远端用户播放的音频数据时，返回 onPlaybackAudioFrameBeforeMixingWithUserID 回调。

4. 用户拿到音频数据后，需要根据场景自行进行处理。

5. 完成音频数据处理后，您可以直接进行自播放，或根据场景需求再通过 onRecordFrame 和 onPlaybackFrame 回调发送给 SDK。

示例代码

///设置音频回调参数
final format = NERtcAudioFrameRequestFormat(
      sampleRate: 48000,
      channels: 1,
      opMode: 0,
    );
   
await _engine.setRecordingAudioFrameParameters(format);
await _engine.setPlaybackAudioFrameParameters(format);
await _engine.setPlaybackBeforeMixingAudioFrameParameters(format);
await _engine.setMixedAudioFrameParameters(format);
_engine.setAudioFrameEventCallback(this);

///音频数据回调处理
@Override
void onRecordFrame(NERtcAudioFrame frame) {
    final pcmData = frame.data;
    debugPrint(
    'record pcm bytes=${pcmData?.length ?? 0}, '
    'sampleRate=${frame.format?.sampleRate}, '
    'channels=${frame.format?.channels}',
    );
}

@Override
void onPlaybackFrame(NERtcAudioFrame frame) {
    final pcmData = frame.data;
    debugPrint(
    'record pcm bytes=${pcmData?.length ?? 0}, '
    'sampleRate=${frame.format?.sampleRate}, '
    'channels=${frame.format?.channels}',
    );
}

@Override
void onPlaybackAudioFrameBeforeMixingWithUserID(long userID, NERtcAudioFrame frame) {
    final pcmData = frame.data;
    debugPrint(
    'record pcm bytes=${pcmData?.length ?? 0}, '
    'sampleRate=${frame.format?.sampleRate}, '
    'channels=${frame.format?.channels}',
    );
}

@Override
public void onMixedAudioFrame(NERtcAudioFrame frame) {
    final pcmData = frame.data;
    debugPrint(
    'record pcm bytes=${pcmData?.length ?? 0}, '
    'sampleRate=${frame.format?.sampleRate}, '
    'channels=${frame.format?.channels}',
    );
}