深入解析 Android WebRTC 源码，涵盖媒体流处理与实时通信优化。内容包含移动端面临的延迟、功耗及设备碎片化挑战，对比 Android 与 iOS 架构差异（如 JNI 调用、线程模型）。详细剖析 PeerConnectionFactory 初始化、VideoCapturer 硬件加速及 NetEQ 抗抖动算法。提供 SurfaceTexture 选择、编解码参数调优等性能优化方案，并给出 Camera2 采集、ICE 协商及安全权限的最佳实践。最后探讨 QUIC 替代 TCP 的可行性及实验数据结论。
实时通信在移动端面临三大核心难题：
两平台在实现上有显著区别：
关键调用链（代码已简化）：
// Java 层入口 PeerConnectionFactory.initialize( PeerConnectionFactory.InitializationOptions.builder(context)
.setNativeLibraryLoader(new NativeLibraryLoader())
.createInitializationOptions());
// 对应 JNI 调用 JNI_GENERATOR_EXPORT void JNI_PeerConnectionFactory_InitializeAndroidGlobals(JNIEnv* env) {
jni::InitializeAndroidGlobals(env);
}
初始化过程会加载：
Camera2 采集示例：
// C++ 层视频采集接口
class VideoCapturer : public rtc::VideoSourceInterface<VideoFrame> {
public:
virtual void Start(const VideoCaptureConfig& config) {
AndroidCameraCapturer::Start(config); // 触发 JNI 调用
}
};
// Java 层 Camera2 封装
CameraCaptureSession.CaptureCallback callback = new CaptureCallback() {
@Override
public void onCaptureCompleted(@NonNull CameraCaptureSession session, @NonNull CaptureRequest request, @NonNull TotalCaptureResult result) {
Image image = mImageReader.acquireLatestImage();
nativeOnFrameAvailable(mNativeHandle, image); // 传递到 Native 层
}
};
WebRTC 使用 NetEQ 进行音频抗抖动，关键参数：
struct NetEqConfig {
int max_packets_in_buffer = 200; // 缓冲包数量上限
int enable_fast_accelerate = 1; // 启用加速补偿
int enable_muted_state = 1; // 静音抑制
};
Android 端需特别注意：
| 场景 | 推荐方案 | 延迟 (ms) | 内存占用 |
|---|---|---|---|
| 高帧率 (>30fps) | ImageReader+YUV420 | 50-80 | 中 |
| 低功耗模式 | SurfaceTexture+GLES | 100-150 | 低 |
| 屏幕共享 | SurfaceView+MediaProjection | 200+ | 高 |
H.264 推荐配置：
val h264Settings = H264CodecInfo().apply {
profile = H264Profile.PROFILE_HIGH
level = H264Level.LEVEL_5_1
packetizationMode = PacketizationMode.NonInterleaved
keyFrameInterval = 3000 // 关键帧间隔 (ms)
bitrate = 2000 // 初始码率 (kbps)
}
class Camera2Capturer(context: Context) : VideoCapturer {
private val cameraManager = context.getSystemService(CAMERA_SERVICE) as CameraManager
fun startCapture() {
cameraManager.openCamera(cameraId, object : CameraDevice.StateCallback() {
override fun onOpened(camera: CameraDevice) {
val surface = Surface(textureView.surfaceTexture)
camera.createCaptureSession(listOf(surface), ...)
}
})
}
}
典型 ICE 流程日志：
// 候选地址收集
D/PeerConnection: ICE candidate: a=candidate:1 udp 2130706431 192.168.1.100 50005 typ host
// 连通性检查
D/ICE: Check candidate pair: 192.168.1.100:50005 <-> 203.0.113.5:443
// 选择最佳路径
D/ICE: Selected candidate pair: relay/TCP -> host/UDP
必须声明的权限：
<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.INTERNET" />
<!-- 安卓 10+ 需要额外声明 -->
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
关键防护点：
jobject globalRef = env->NewGlobalRef(localRef);
... // 使用后必须释放
env->DeleteGlobalRef(globalRef);
override fun onDestroy() {
cameraSession?.close() // 必须显式关闭
peerConnection?.dispose()
}
在 RTC 场景下评估 QUIC 替代 TCP 的可行性时，需考虑：
实验数据表明，在高丢包率 (>5%) 场景下，QUIC 可降低 30% 的端到端延迟，但会增加 10-15% 的 CPU 开销。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
查找任何按下的键的javascript键代码、代码、位置和修饰符。 在线工具，Keycode 信息在线工具，online
JavaScript 字符串转义/反转义；Java 风格 \uXXXX（Native2Ascii）编码与解码。 在线工具，Escape 与 Native 编解码在线工具，online
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。 在线工具，JavaScript / HTML 格式化在线工具，online
Terser 压缩、变量名混淆，或 javascript-obfuscator 高强度混淆（体积会增大）。 在线工具，JavaScript 压缩与混淆在线工具，online
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online