原始音频数据
更新时间: 2026/09/22 16:42:12
NERTC SDK 的音频模块会严格控制声音设备的采集和播放逻辑,同时支持对采集到的原始音频数据进行自定义的前处理和后处理,获取想要的播放效果。适用于非标设备接入、自定义音频效果、语音处理、语音识别等场景。
- 前处理:在音频数据发送到编码器前获取原始的音频数据进行修改,主要针对本地麦克风采集到的音频数据或自定义外部音频流。
- 后处理:即在音频数据发送给解码器后获取原始的音频数据进行修改,主要针对接收到的远端用户音频数据。
NERTC SDK 通过提供 NERtcEngineAudioFrameObserver 类,实现采集、修改原始音频数据功能。
前提条件
- 在使用原始数据处理功能前,请确保您已在项目中实现基本的实时音视频功能。
- 建议使用 NERTC V5.6.0 以上版本。
注意事项
- 采集回调
onNERtcEngineAudioFrameDidRecord、播放回调onNERtcEngineAudioFrameWillPlayback中的原始音频数据可进行处理,例如美声变声。 - 混音回调
onNERtcEngineMixedAudioFrame和某一用户的播放回调onNERtcEnginePlaybackAudioFrameBeforeMixingWithUserID中的原始音频数据不能进行处理。
技术原理
flowchart LR
subgraph 采集
A("本地 NERTC SDK") -->|"onNERtcEngineAudioFrameDidRecord"| B("前处理")
B --> C("网络")
end
flowchart LR
subgraph 接收
D("网络") --> E("后处理")
E -->|"onNERtcEngineAudioFrameWillPlayback"| F("播放设备")
end
实现方法
API 调用时序
以实现修改采集音频的音频数据为例,API 调用时序如下图所示。
sequenceDiagram
autonumber
participant 应用层
participant NERtcSDK
应用层->>NERtcSDK: setAudioFrameObserver
应用层->>NERtcSDK: setRecordingAudioFrameParameters
NERtcSDK-->>应用层: 触发 onNERtcEngineAudioFrameDidRecord
Note over 应用层, NERtcSDK: 自行处理音频数据
应用层-->>NERtcSDK: 继续处理/发送或播放
配置步骤
-
引擎初始化后、加入房间前,实现
NERtcEngineAudioFrameObserver协议,并调用setAudioFrameObserver方法注册监听对象。 -
按回调类型和调用时机设置音频帧参数。
setRecordingAudioFrameParameters:引擎初始化后可调用,入房前后均可设置采集回调的采样率、声道数和读写模式。setPlaybackAudioFrameParameters:加入房间后调用,用于设置播放回调的采样率、声道数和读写模式。setMixedAudioFrameParameters:引擎初始化后可调用,入房前后均可设置混音回调的音频格式。- 调用上述方法后应检查返回值;非零返回值表示设置失败。
-
SDK 返回回调。
- SDK 收到输入的采集数据和播放的音频数据时,返回
onNERtcEngineAudioFrameDidRecord和onNERtcEngineAudioFrameWillPlayback回调。 - SDK 收到音频采集与播放混合后数据帧时,返回
onNERtcEngineMixedAudioFrame回调;SDK 收到某一远端用户播放的音频数据时,返回onNERtcEnginePlaybackAudioFrameBeforeMixingWithUserID回调。
- SDK 收到输入的采集数据和播放的音频数据时,返回
-
用户拿到音频数据后,需要根据场景自行进行处理。
-
在支持写入的回调中直接修改
frame.data指向的音频数据,并在回调内同步返回。SDK 会继续处理修改后的数据:采集帧进入后续编码与发送流程,播放帧进入后续播放流程。不要主动调用onNERtcEngineAudioFrameDidRecord或onNERtcEngineAudioFrameWillPlayback向 SDK 提交音频数据。
示例代码
objc//1. 注册语音观测器
[[NERtcEngine sharedEngine] setAudioFrameObserver:self];
//2.设置回调的音频格式参数
NERtcAudioFrameRequestFormat *format = [[NERtcAudioFrameRequestFormat alloc] init];
format.channels = 1;
format.sampleRate = 48000;
format.mode = kNERtcAudioFrameOpModeReadWrite; //读写模式
[[NERtcEngine sharedEngine] setRecordingAudioFrameParameters:format];
//3.在回调中处理数据
- (void)onNERtcEngineAudioFrameDidRecord:(NERtcAudioFrame *)frame {
if (!frame) {
return;
}
if (!_enableRecordAudioObserver) {
return;
}
if (!_recordSoundTouch) {
_recordSoundTouch = [[NTESSoundTouch alloc] initWithSampleRate:frame.format.sample_rate];
}
//若读写模式,SDK将会对处理后的音频数据发送,反之不会。
[_recordSoundTouch processSound:frame.data number:frame.format.samples_per_channel];
}
- (void)onNERtcEngineAudioFrameWillPlayback:(NERtcAudioFrame *)frame {
if (!frame) {
return;
}
if (!_enablePlaybackAudioObserver) {
return;
}
if (!_playbackSoundTouch) {
_playbackSoundTouch = [[NTESSoundTouch alloc] initWithSampleRate:frame.format.sample_rate];
}
//若读写模式,SDK将会对处理后的音频数据发送,反之不会。
[_playbackSoundTouch processSound:frame.data number:frame.format.samples_per_channel];
}
API 参考
| 方法 | 功能描述 |
|---|---|
setRecordingAudioFrameParameters |
设置回调的采集音频采样率 |
setPlaybackAudioFrameParameters |
设置回调的播放音频采样率 |
setMixedAudioFrameParameters |
设置回调的混音音频采样率 |
setAudioFrameObserver |
注册语音观测器 |
onNERtcEngineAudioFrameDidRecord |
接收本端输入的采集音频数据回调 |
onNERtcEngineAudioFrameWillPlayback |
播放音频数据回调,用于声音处理等操作 |
onNERtcEngineMixedAudioFrame |
接收采集与播放音频混合数据帧回调 |
onNERtcEnginePlaybackAudioFrameBeforeMixingWithUserID |
接收远端播放的音频数据帧回调 |
此文档是否对你有帮助?




