更新日志
更新时间: 2025/09/04 11:35:17
本文介绍网易云信音视频通话 NERTC SDK Linux 端的版本更新日志。具体功能请前往 下载 SDK 和 查看 API 文档。
5.9.5 (2025-08-14)
- 辅流音频音质增强,支持配置码率、采样频率、声道模式(单声道/双声道)、音频编码模式等参数。
- 共享声音降噪优化。
- 修复已知问题,提升用户体验。
5.9.0 (2025-07-02)
新增功能
-
新增视频色彩空间功能:支持多种色彩标准(如 BT.709)和色彩范围(Limited/Full Range),适用于高质量视频直播、影视制作及专业视频会议场景,提升视频画质表现力。
- 支持在自采集模式下设置色彩空间参数,通过
NERtcVideoFrame
中的color_space_range
(色彩范围)和color_space_matrix
(色彩矩阵标准)相关枚举选项。 - 支持画面渲染和自渲染时的色彩空间处理。
- 支持截图功能和视频算法(美颜、人脸检测、视频增强等)兼容各种色彩空间。
- 支持在自采集模式下设置色彩空间参数,通过
-
RTMP 拉流播放功能:拉流时无需加入房间,适用于直播观看和直播连麦场景,实现更灵活的内容分发。
-
字幕翻译增强:支持多源语言和多目标语言的实时翻译,具体通过 dst_languages 和 src_languages 字段指定语言。
-
虚拟背景能力上报:在用户加入房间事件时,上报设备支持的虚拟背景能力级别信息,适用于需要根据设备性能动态调整虚拟背景效果的场景。
功能优化
- 优化音频处理系统,提升 AEC 回声消除效果,音质效果优化。
- 提升多核服务器环境下的性能表现,适用于高负载场景。
- 改进多种 Linux 发行版的兼容性,支持最新版本的 Ubuntu 22.04 和 CentOS 8。
- 改进 OpenGL 图形渲染性能,降低 GPU 资源占用。
缺陷修复
- 修复多种音频处理相关问题,提升通话稳定性。
- 解决服务器环境下长时间运行可能出现的系统资源问题。
- 修复在无图形界面环境下使用虚拟背景功能可能引起的异常。
5.8.20 (2025-05-30)
新增功能
-
自定义重连时长配置:支持开发者根据业务需求自定义网络重连时长,可设置重连间隔和最大重连次数。适用于网络环境不稳定的远程会议、在线客服、医疗问诊等场景,确保通话连续性。
-
远端视频数据回调:新增远端视频数据回调接口(
addRemoteVideoFrameObserver
),支持获取远端用户的视频帧数据进行自定义处理。适用于需要实时美颜、虚拟背景、AI 分析或录制存档的视频会议、直播连麦、在线教育场景。
功能优化
-
网络连接性能提升:媒体连接建立过程优化,支持 IPv4 和 IPv6 并发连接,自动选择最优网络路径,显著提升首次连接速度和连接成功率。适用于跨国视频会议、复杂网络环境下的移动办公场景。
-
AI 降噪功能优化:AI 降噪模块体积减少,降低应用包大小的同时保持卓越降噪效果,有效消除键盘声、环境噪音等干扰。
5.8.15 (2025-04-29)
- 媒体传输层现支持 IPv4 和 IPv6 网络协议的同时连接,大幅提高了网络适应性。
- 针对视频中流处理机制,优化了多人视频会议中的资源分配和传输控制。
- 修复了多项潜在问题。
5.8.10 (2025-04-01)
AI 降噪升级到 4.0 版本。AI 降噪新增音效增强模式,可精准消除背景人声,提升语音清晰度,优化通话体验。
5.8.5 (2025-03-20)
新增特性
- 新增支持 IPv6 网络解析与接入,提升全球网络兼容性。
- 新增音频的 AI 降噪与啸叫检测功能开关,开发者可一键启用或关闭。
- 新增支持 AI 服务相关操作的数据回调(
onAiData
)。 - 新增支持虚拟背景功能。
- 新增支持添加视频水印。
功能优化
- 优化屏幕共享功能使用。
5.8.0 (2025-02-26)
- 支持 Simulcast(Simultaneous Multistream,多流传输)视频编码和传输技术,同时发送三个不同分辨率和码率的视频流,提高音视频的网络条件和设备性能适应性。相关 API 请调用
setVideoStreamLayerCount
。 - 其他已知问题优化修复。
5.7.0 (2025-01-20)
- 支持通过加密的 WSS(WebSocket Secure)协议通道传输实时通信中的信令数据。
- 将实时视频流推流到直播服务器时,支持超时检测,提升直播的稳定性。
- 修复已知问题,提升用户体验。
5.6.50 (2024-12-27)
-
支持配置了统信系统、麒麟系统、海光芯片、飞腾芯片的硬件设备。
-
AI 任务支持实时字幕、AI 打断功能。相关接口请参考
startASRCaption
。使用示例请参考 基于 RTC SDK 实现与 AI 数字人音视频互动。 -
本地录制支持纯音频录制。相关接口请参考
addLocalRecorderStreamForTask
,使用示例请参考 本地录制。 -
本地录制支持对录制文件进行 MP4 转码。相关接口请参考
stopLocalRecorderRemuxMp4
。 -
本地录制支持录制音频共享声音。
5.4.10 (2023-12-15)
本次升级改动较大,请参考 升级指南。
新增特性
新增特性 |
特性描述 |
相关文档 |
---|---|---|
屏幕共享 | 支持 X11 显示协议和 Wayland 显示协议的 Linux 系统进行屏幕共享。 | 屏幕共享 |
音乐文件播放及混音(伴音) | 在房间中播放本地或者在线音乐文件,作为通话或直播时的背景声音,同时让房间内的其他人听到此音乐。NERTC 播放伴音方法可以用来播放比较长的背景音,例如伴奏音乐、环境白噪声、背景音乐等等。 NERTC 支持在麦克风关闭的状态下,发送伴音。在娱乐社交、在线教育等场景中,即使用户不想要开启麦克风进行语音聊天,也能在房间内播放背景音乐。 |
音效与伴音 |
音效文件播放管理 | 支持在通话或直播中播放短时音频文件,一般用于渲染房间气氛,例如游戏音效、掌声、口哨、欢呼声、笑声的短时音效。支持多个音效叠加播放。 | 音效与伴音 |
美声变声与混响 | NERTC SDK 支持设置多种预设的美声与变声音效,您也可以通过设置本地语音音效均衡或混响来达到自定义的人声效果,增加场景气氛。 | 美声变声与混响 |
多房间管理 | 在娱乐社交与在线教育场景中,App 用户往往需要同时加入多个房间,接收多个房间的音视频流。网易云信 NERTC SDK 提供多房间管理功能,隔离多个房间的消息和回调,在跨房间连麦场景和超级小班课场景都可以实现更灵活的房间管理业务。 | 多房间管理 |
旁路推流 | NERTC SDK 支持云端音视频混流和 RTMP 旁路推流,可以将实时音视频流转为标准直播流,并将其从网易云信实时音视频云推送到第三方 CDN(Content Delivery Network)或网易云信直播服务。 | 旁路推流 |
跨房间流媒体转发 | 在 NERTC 直播场景的音视频房间中,跨房间媒体流转发功能可实现主播角色跨房间与其他主播实时交流互动,在娱乐场景下可实现跨直播间连麦效果。 | 跨房间流媒体转发 |
视频截图 | NERTC SDK 支持针对实时视频流进行截图,包括本地主流和辅流画面、远端主流和辅流画面。在在线教育以及主播直播等场景中,通过视频截图功能截取实时视频流画面,以便后续的存档分析、事件备忘、证据留存等。 | 视频截图 |
云代理 | 网易云信云代理可穿透防火墙限制,使用固定 IP 连接到网易云信服务器。云代理方案可满足多种在公有云、混合云、私有云等有防火墙或者其他网络限制的环境下,内外网进行音视频通话的场景。 | 云代理 |
音频共享 | NERTC 提供了音频共享功能,帮助您在共享屏幕的同时也能播放本地背景音,或者共享本地视频文件或音乐文件的声音,为您规避播放在线音乐文件可能会遇到的版权问题。 | 音频共享 |
视频大小流 | 大流对应高清画质,小流对应低清画质。用户可以选择上传一大一小两个视频流,接收方可以根据需要进行选择。 | enableDualStreamMode |
音视频流回退 | 网络不理想的环境下,音视频的质量都会下降。为提升用户体验,您可以通过指定接口设置视频流回退选项。在网络条件差、无法同时保证音频和视频质量的情况下,SDK 会自动将视频流从大流切换为小流,或将媒体流回退为音频流,从而提高音视频质量。 | setLocalPublishFallbackOption |
音频裸流传输 | NERTC SDK 支持音频裸流传输,您可以向 NERTC SDK 提供自定义的 OPUS 等格式的音频编码数据,并由 NERTC SDK 进行推流。适用于需要与硬件配合的应用场景中,例如使用教室硬件设备进行线上教学,在利用硬件自身能力进行音频采集、编码的基础上,还需要良好的抗弱网传输能力。 | 音频裸流传输 |
视频裸流传输 | NERTC SDK 支持视频裸流传输,您可以向 NERTC SDK 提供自定义的 H.264 等格式的视频编码数据,并由 NERTC SDK 进行推流。适用于需要与硬件配合的应用场景中,例如使用教室硬件设备进行线上教学,在利用硬件自身能力进行视频采集、编码的基础上,还需要良好的抗弱网传输能力。 | 视频裸流传输 |
新增 API
4.4.9 (2022-06-15)
网易云信于 2022 年 6 月 15 日发布了 NERTC SDK 最新版本 V4.4.9。
新增特性
新增特性 |
特性描述 |
相关文档 |
---|---|---|
屏幕共享 | 支持在视频通话或互动直播过程中实现屏幕共享,主播或连麦者可以将自己的屏幕内容,以视频的方式分享给远端参会者或在线观众观看,从而提升沟通效率,一般适用于多人视频聊天、在线会议以及在线教育场景。 | 屏幕共享 |
原始音频数据 | 支持对采集到的音视频原始数据进行自定义的前处理和后处理,获取想要的播放效果。适用于非标设备接入、自定义音频效果、语音处理、语音识别等场景。 | 原始音频数据 |
自定义音频采集与渲染 | 支持用户使用自定义音频源,NERTC SDK 为用户提供传输通道,并进行编码推流。 | 自定义音频采集与渲染 |
改进优化
- 集成 Linux SDK 时无 GLIBCXX 或 gcc/g++ 的版本限制。
- 支持静态编译 openssl。
- 音频依赖优化:若无相关音频服务及系统库,音频依赖会从 PulseAudio 自动降级到 Dummy Audio。
新增 API
API |
API 说明 |
---|---|
startScreenCaptureByScreenRect |
开启屏幕共享,共享范围为指定屏幕的指定区域。 |
startScreenCaptureByWindowId |
开启屏幕共享,共享范围为指定窗口的指定区域。 |
updateScreenCaptureRegion |
更新屏幕共享区域。 |
pauseScreenCapture |
暂停屏幕共享。 |
resumeScreenCapture |
恢复屏幕共享。 |
stopScreenCapture |
停止屏幕共享。 |
setupLocalSubStreamVideoCanvas |
设置本端的辅流视频回放画布。 |
setupRemoteSubStreamVideoCanvas |
设置远端的辅流视频回放画布。 |
subscribeRemoteVideoSubStream |
订阅或取消订阅远端的屏幕共享辅流视频,订阅之后才能接收远端的辅流视频数据。 |
onUserSubStreamVideoStart |
远端用户开启屏幕共享辅流通道的回调。 |
onUserSubStreamVideoStop |
远端用户停止屏幕共享辅流通道的回调。 |
onScreenCaptureStatus |
屏幕共享状态变化回调。 |
setExternalAudioSource |
启用外部自定义音频数据输入功能,并设置采集参数。 |
pushExternalAudioFrame |
将外部音频数据帧推送给内部引擎。 |
setExternalAudioRender |
设置外部音频渲染。 |
pullExternalAudioFrame |
拉取外部音频数据。 |
setAudioFrameObserver |
注册语音观测器对象。 |
setRecordingAudioFrameParameters |
设置录制的声音格式。 |
setPlaybackAudioFrameParameters |
设置播放的声音格式。 |
setMixedAudioFrameParameters |
设置采集和播放后的混合后的采样率。 |
onAudioFrameDidRecord |
采集音频数据回调。 |
onAudioFrameWillPlayback |
播放音频数据回调。 |
onMixedAudioFrame |
音频采集与播放混合后数据帧回调。 |
onPlaybackAudioFrameBeforeMixing |
某一远端用户的原始音频帧回调。 |
变更 API
API |
API 说明 |
---|---|
onLocalAudioStats |
NERtcAudioSendStats 结构体新增 audio_layers_count 字段表示音频流总条数,新增 audio_layers_list 字段表示每条音频主流或辅流的统计数据,包括丢包率、采集音量等。 |
onRemoteAudioStats |
NERtcAudioRecvStats 结构体新增 audio_layers_count 字段表示音频流总条数,新增 audio_layers_list 字段表示每条音频主流或辅流的统计数据,包括丢包率、采集音量等。 |
4.4.8 (2021-12-20)
网易云信于 2021 年 12 月 20 日发布了 Linux NERTC SDK 初始版本 V4.4.8。
支持平台
- x86_64 架构
- ARM64(aarch64) 架构
支持功能
新增特性 | 特性描述 |
---|---|
多人音视频通话 | NERTC SDK 为您提供稳定流畅、高品质、全平台的点对点和多人实时音视频通话服务。 |
房间管理及房间事件通知 | 支持快速加入或退出房间,并在本地或远端用户的相应状态改变时提供对应回调。 |
音频管理 | 支持音量的调节、音频的采集与发送。同时您也可以设置音频编码配置,以便您根据实际场景方便快捷地调整音质属性、在常见场景中实现最优的音质效果。 |
视频管理 | 支持设置视频属性,包括视频编码的分辨率、码率、帧率、适应性偏好,且支持设置用户视图、视频预览和音频流的发送。 |
音视频设备管理及设备事件通知 | 支持音视频采集、播放设备的设置,并提供相应回调。 |
自定义视频采集 | 支持配置和推送外部视频源数据。 |
耳返功能 | 支持监听本地采集的音频和耳返音量调节,耳返音频具备低延时、高音质等特征,让主播可以实时听到本端的声音。 |
媒体补充增强信息 SEI | 支持将时间戳等自定义数据作为流媒体补充增强信息(SEI Supplemental Enhancement Information)的一部分,通过流媒体通道将其与视频内容打包在一起,发送给远端用户,以此实现文本数据与音视频内容的精准同步的目的。 |
媒体和数据统计事件通知 | 支持通过监听回调的方式获取首帧解码通知和远端用户操作动态。 |
故障排查 | 支持记录音频 dump,方便您分析音频问题。 |