基于ZLMediaKit实现多摄像头场景下的低延迟AI识别，是一项需要从采集、编码、传输、转发到AI推理全链路协同优化的系统工程。以下从架构设计、配置调优、AI链路优化、系统资源四个维度展开。

一、架构与协议选择

1. 拉流架构 vs 推流架构

传统方案采用AI推理后以RTMP推流给ZLMediaKit再转WebRTC播放，延迟普遍在2-5秒。根本原因是推流模式在发送端容易产生缓冲区堆积。

推荐方案：采用拉流架构——AI推理后的视频流封装为RTSP Server，由ZLMediaKit主动拉取，再转为WebRTC供浏览器播放。实测端到端延迟可降至50-100ms。

2. 多路视频分层设计

在多摄像头场景下，并非所有流都需要超低延迟。主控流与预览流分层是核心思路：

当用户选中某一路预览画面后，再将其升级为主控流。这能有效控制公网带宽和服务器成本。

3. 协议优先级

⚠️ HLS协议延迟较高（H.265场景下可达5秒以上），不适合AI实时识别场景。

二、ZLMediaKit核心配置调优

1. config.ini 关键参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

[general]
# 合并写缓存——设为0可最低延迟（牺牲一定性能）
mergeWriteMS=0

# 按需转协议——大幅降低CPU占用
hls_demand=1
rtmp_demand=1
rtsp_demand=1
ts_demand=1
fmp4_demand=1

# 播放等待超时——根据业务权衡
maxStreamWaitMS=15000

# 无人观看自动断流——节省资源
streamNoneReaderDelayMS=20000

[rtsp]
# 直接代理模式——设为0减少初始化延迟
directProxy=0

[rtc]
# WebRTC缓存与NACK参数
maxRtpCacheMS=5000
nackMaxMS=3000

[rtp]
# Jitter Buffer——平衡延迟与抗丢包
jitter_buffer_ms=2000
max_buffer_size=2048

2. 编译与系统优化

• 编译Release版本，开启jemalloc内存分配器

• 增加文件描述符上限：ulimit -n 102400

• 调整线程数匹配服务器CPU核心数

• 多路并发场景下，ZLMediaKit采用多路复用/多线程/异步网络IO模型，并发性能优越

三、AI识别链路的延迟优化

1. 编码参数优化（FFmpeg推流端）

1
2
3
4
5
6
7
8
9

ffmpeg -i input -c:v libx264 \
  -preset ultrafast \        # 最快编码速度
  -tune zerolatency \        # 禁用编码器缓冲
  -g 30 \                    # 减小GOP大小
  -bf 0 \                    # 禁用B帧
  -muxdelay 0.1 \            # 减少封装延迟
  -probesize 32 \            # 减少探测时间
  -analyzeduration 0 \
  -f rtsp rtsp://...

2. 硬件加速编码

• NVIDIA NVENC：编码延迟<5ms

• 无GPU时自动回退到x264软件编码

• 在RK3588等边缘设备上，可调用MPP硬件解码与RGA色彩空间转换，实现零拷贝

3. 内存零拷贝优化

在AI推理链路中，图像数据从解码→色彩转换→推理全程在片上总线内流转，避免CPU参与的内存复制，可极大降低延迟。ZLMediaKit本身通过智能指针引用计数实现多线程数据分发，数据拷贝次数固定。

4. 多路异步处理

通过ZLMediaKit SDK创建多个独立的MediaSource实例，每路流启用独立线程池进行异步接收与缓冲，避免单点阻塞导致全局卡顿。

四、系统层面优化

1. 网络层

• 局域网优先使用UDP：延迟比TCP低200-300ms

• 公网/跨运营商场景：改用TCP避免丢包，或考虑SRT协议

• 运营商UDP限速：需与运营商确认或切换TCP

• 为媒体流配置QoS优先级

2. 并发容量

• ZLMediaKit在4核CPU上可稳定支持2000路摄像头接入

• RTSP拉流性能可达2万路以上

• 实际并发播放（如WebRTC 20路左右）可能受带宽而非CPU限制

3. 播放器端优化

1

ffplay -i rtsp://... -fflags nobuffer -flags low_delay -framedrop

五、监控与问题排查

总结：优化优先级

1. 架构先行：拉流替代推流，分层设计区分主控/预览流

2. 协议选对：WebRTC > RTSP(UDP) > RTSP(TCP) > RTMP，禁用HLS

3. 配置调优：mergeWriteMS=0、directProxy=0、按需转协议

4. 编码加速：ultrafast + zerolatency + 硬件编码（NVENC/MPP）

5. 系统加固：jemalloc、文件描述符、线程数匹配

低延迟优化是一个系统工程，需要从采集、编码、传输到解码的每个环节都进行精细控制。根据实际网络环境和业务需求，在延迟、画质和稳定性之间找到最佳平衡点。