rk3588 MIPI采集 + OpenCV处理 + 硬件编码推流 + WebRTC低延迟播放 + 客户端保存视频

优质文章学习记录

— 7 min read

本人是第一次做摄像头推流相关的工作，一开始只是想简单做一个小工具。但是经过我几天的研究，发现网上的教程要么极其复杂，要么漏洞百出，导致我连最简单的推流都迟迟没做出来。

经过几天的极限折腾，我终于打通了 MIPI摄像头 -> 硬件ISP -> OpenCV(AI处理) -> 硬件H.264编码 -> 局域网WebRTC超低延迟推流与客户端录制 -> 客户端保存视频 的完整链路。今天把整套方案和踩过的深坑全盘托出，希望能帮大家少走弯路。

整体架构思路

主要功能使用python实现：

  1. 画面采集：使用 GStreamer 直接对接底层驱动，利用 RK3588 的硬件 ISP 把 MIPI RAW 数据转成彩色的缩小画面。
  2. opencv处理：OpenCV 拿到图片后，可以进行你想要的图像处理。
  3. 硬件编码推流：将处理后的画面交给 mpph264enc（瑞芯微硬件编码器）压缩，推给本机的流媒体服务器。
  4. 终端分发：使用极其轻量的 MediaMTX 作为流媒体服务器，客户端通过 WebRTC 协议实现网页端秒开与超低延迟观看。

第一步：环境准备

  1. 确认你的摄像头节点（比如单摄时是 /dev/video11）。

确保安装了带 GStreamer 支持的 OpenCV 和相关插件（注意pypi上的opencv默认不支持gstreamer，建议直接下载系统环境的opencv，或者手动编译）：

sudoapt-get update sudoapt-getinstall python3-opencv sudoapt-getinstall gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-rtsp

第二步：部署轻量级流媒体服务器 (MediaMTX)

注意：此服务器不是我们通常理解的网站服务器，我使用的设备只有板子和我的电脑。
建议在板子上跑服务器，这样客户端不需做任何配置

在 RK3588 上下载 ARM64 版本并运行：

wget https://github.com/bluenviron/mediamtx/releases/download/v1.16.1/mediamtx_v1.16.1_linux_arm64.tar.gz tar -zxvf mediamtx_v1.16.1_linux_arm64.tar.gz ./mediamtx

你应该能看到以下输出

cat@lubancat:~/Downloads$ ./mediamtx 2026/02/21 15:07:07 INF MediaMTX v1.16.1, linux, arm64 2026/02/21 15:07:07 INF configuration loaded from /home/cat/Downloads/mediamtx.yml 2026/02/21 15:07:07 INF [RTSP] listener opened on :8554 (TCP/RTSP), :8000 (UDP/RTP), :8001 (UDP/RTCP) 2026/02/21 15:07:07 INF [RTMP] listener opened on :1935 2026/02/21 15:07:07 INF [HLS] listener opened on :8888 2026/02/21 15:07:07 INF [WebRTC] listener opened on :8889 (HTTP), :8189 (ICE/UDP) 2026/02/21 15:07:07 INF [SRT] listener opened on :8890 (UDP)

(保持此终端不关，另外打开新的终端)

第三步：核心 Python 脚本（rtsp推流与处理）

新建一个 Python 脚本 stream.py。这段代码包含了降分辨率、防缓存延迟和调用 MPP 硬件编码的核心参数。

import cv2 import time classFPSCounter:"""FPS counter class"""def__init__(self, buffer_size=20): self.timestamps =[] self.buffer_size = buffer_size defupdate(self):"""Update FPS count""" current_time = time.time() self.timestamps.append(current_time)# Keep only recent timestampsiflen(self.timestamps)> self.buffer_size: self.timestamps.pop(0)defget_fps(self):"""Calculate current FPS"""iflen(self.timestamps)<2:return0.0 time_span = self.timestamps[-1]- self.timestamps[0]if time_span <=0:return0.0return(len(self.timestamps)-1)/ time_span # 1. 配置读取摄像头的 GStreamer Pipeline (根据你的MIPI摄像头节点调整，这里假设是 /dev/video11)# 强制设定分辨率和帧率，并转换为BGR格式给OpenCV处理 cap_pipeline =("v4l2src device=/dev/video11 io-mode=2 ! ""video/x-raw, width=640, height=480, framerate=30/1, format=NV12 ! "# 可以选择你想要的图像大小"videoconvert ! video/x-raw, format=BGR ! ""appsink"# 可选：max-buffers=1 drop=true -> 强制丢弃旧画面，永远只读最新帧！)# 2. 配置推流的 GStreamer Pipeline# appsrc接收OpenCV的BGR图像，转为NV12，交给mpph264enc硬编，然后推流给MediaMTX push_pipeline =("appsrc is-live=true ! ""video/x-raw, format=BGR, width=640, height=480, framerate=30/1 ! ""videoconvert ! video/x-raw, format=NV12 ! ""mpph264enc bps=4000000 rc-mode=vbr ! ""h264parse ! ""rtspclientsink location=rtsp://127.0.0.1:8554/live protocols=tcp"# 可选：sync=false -> 不用帧同步)# 初始化视频读取 cap = cv2.VideoCapture(cap_pipeline, cv2.CAP_GSTREAMER)ifnot cap.isOpened():print("错误：无法打开 MIPI 摄像头。请检查节点和 ISP 状态。") exit()# 初始化视频推流器 out = cv2.VideoWriter(push_pipeline, cv2.CAP_GSTREAMER,0,30,(640,480))ifnot out.isOpened():print("错误：无法初始化 GStreamer 推流器。") exit()print("成功启动采集和推流，按 'Ctrl+C' 停止。")try: fps_counter = FPSCounter()whileTrue: ret, frame = cap.read()ifnot ret:print("未能读取到画面")break# ==========================================# ★ 在这里加入你的 AI 推理代码 ★# ==========================================# 例如：# results = rknn_model.inference(frame)# frame = draw_bounding_boxes(frame, results) fps_counter.update() fps = fps_counter.get_fps()# 作为演示，我们在这里加上时间戳和fps cv2.putText(frame,f"Time: {time.ctime()}",(30,50), cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),1) cv2.putText(frame,f"Fps: {fps}",(30,100), cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),1)# ==========================================# 将画好框的处理后图像，写入推流管道（由mpp硬件编码） out.write(frame)except KeyboardInterrupt:print("停止推流...")finally: cap.release() out.release()

运行脚本：python3 stream.py

第四步：如何在客户端观看与保存？

此时，你的 RK3588 已经变成了一个的 IP 摄像头。假设你的板子局域网 IP 是 192.168.0.137。

** 1. 低延迟观看（网页直开）**
直接在电脑/手机浏览器里输入：👉 http://192.168.0.137:8889/live (这里的端口号在之前MediaMTX的输出中能看到)
利用 WebRTC 协议，延迟基本在百毫秒以内。

在这里插入图片描述

** 2. 在客户端无损录像（不需板端CPU占用）**
想要在电脑上把刚才的监控视频存下来？只需要一行命令，直接将底层编好的 H.264 流封装成文件，完全不消耗客户端算力：
在电脑上安装ffmpeg（windows / linux / mac均可），运行：

ffmpeg -rtsp_transport tcp -i rtsp://192.168.0.137:8554/live -c copy -f mp4 record_video.mp4 # 注意这里的端口号选的是8554（rtsp）

cpu占用与延迟

以下是纯推流，基本没有图像处理的资源消耗。

cpu占用（htop）


延迟的话，体感上在1秒以内，没准确测过。
所以实际上还有很大的优化空间

避坑指南

分享几个过程中最容易卡住的问题：

  1. 使用gstreamer无法打开摄像头
    • 原因：RK3588 的 V4L2 驱动在处理 MIPI 摄像头和 ISP 内存时，默认的 mmap 内存映射方式有时候在 GStreamer 中会引发异常（特别是在申请 buffer 时）
    • 解法：给 v4l2src 加上 io-mode=4（使用 DMABUF）或 io-mode=2（USERPTR）往往能瞬间解决问题。
  2. MediaMTX报错 invalid rtmp version (71)
    • 原因：进错端口了！用 HTTP 浏览器去访问了 1935 (RTMP) 或 8554 (RTSP) 端口。
    • 解法：浏览器观看必须要访问 8889 端口。
  3. 推流成功了，但是画面全是“纯绿色”的
    • 原因：OpenCV 推入的画面分辨率和推流器配置的分辨率不匹配，导致内存错位；或者忘记启动 rkaiq ISP 服务导致画面全是空数据。
    • 解法：严格检查 cap_pipeline、cv2.VideoWriter 和 push_pipeline 三个地方的分辨率参数是否完全一致。
  4. 延迟越来越大，跑久了像看回放
    • 原因：加入 AI 推理后处理速度跟不上采集速度，OpenCV 把旧画面全缓存在了内存里。
    • 解法：务必在读取管道末尾加上 appsink max-buffers=1 drop=true。

小贴士

我们直接传图像到pc端之所以会卡，只是因为图像没有经过压缩，网络传输速度不够。如果只是单纯想流畅的观看调试图像，可以直接用opencv自带的编码函数：

# 编码为 JPEG 格式 success, encoded_img = cv2.imencode(".jpg", img)

然后再通过flask之类的框架进行网络传输，好处是简单直接方便，只是性能不高。

Read more

论文阅读：MiniOneRec

github仓库：https://github.com/AkaliKong/MiniOneRec 技术报告论文：https://arxiv.org/abs/2510.24431 找了一个论文阅读辅助工具：https://www.alphaxiv.org/ 代码 https://github.com/AkaliKong/MiniOneRec SFT在做什么 前置：数据集 代码路径：MiniOneRec/data.py 类Tokenizer：给普通的分词器多包装了一层，可以处理连续的bos/eos的特殊字符串。 SidSFTDataset 多样化的指令 任务：输入用户最近交互过的item列表，预测用户下一个交互的item SidItemFeatDataset sid2title或者title2sid任务 FusionSeqRecDataset 带意图识别的商品推荐 代码 代码入口：MiniOneRec/sft.py 1、
爆火 OpenClaw「龙虾」从 0 到 1 保姆级全指南：安装→QQ 机器人→运维→卸载全流程，附全网高频报错解决方案

爆火 OpenClaw「龙虾」从 0 到 1 保姆级全指南：安装→QQ 机器人→运维→卸载全流程，附全网高频报错解决方案

引言：OpenClaw：一爪入魂，万事自动。 🔥 前言：为什么全网都在「养龙虾」？ 最近 AI 圈顶流非 OpenClaw（昵称「龙虾」）莫属！ 这个能住在你电脑里的 AI 智能体，不仅能读写本地文件、操控浏览器、自动化办公、一键搭建网站，甚至能接入 QQ 变身私人机器人，让你随时随地都能「养虾」调用。 但随之而来的是乱象丛生：网上出现数百元的上门安装服务，甚至深圳腾讯大厦门口曾出现千人排队免费安装的盛况。其实自己安装全程免费，30 分钟就能搞定，还能彻底规避他人操作电脑带来的数据泄露风险！ 本文整合OpenClaw 官方权威文档+ 全网高频踩坑解决方案，带你从 0 到 1 零失败上手，从安装配置、QQ 机器人接入、日常运维到彻底卸载，保姆级一步到位，新手也能轻松玩转。 📋 前置准备与安全红线 1.
Flutter 三方库 discord_interactions 的鸿蒙化适配指南 - 在 OpenHarmony 打造高效的社交机器人交互底座

Flutter 三方库 discord_interactions 的鸿蒙化适配指南 - 在 OpenHarmony 打造高效的社交机器人交互底座

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net Flutter 三方库 discord_interactions 的鸿蒙化适配指南 - 在 OpenHarmony 打造高效的社交机器人交互底座 在现代社交应用与办公协同工具的开发中，集成强大的机器人（Bot）交互能力是提升活跃度的关键。discord_interactions 库为 Flutter 开发者提供了一套完整的、遵循 Discord 官方协议的交互模型，涵盖了从 Slash Commands（斜杠命令）到 Webhook 签名验证的核心功能。本文将深入解析如何在 OpenHarmony（鸿蒙）环境下，结合鸿蒙的安全机制与网络特性，完美适配 discord_interactions 到你的鸿蒙应用中。 前言 随着鸿蒙系统（HarmonyOS）进入原生应用开发的新纪元，跨平台社交工具的适配需求日益增长。discord_interactions 作为一个纯
Chrome 开发者工具（DevTools）快速入门——前端必备技能

Chrome 开发者工具（DevTools）快速入门——前端必备技能

在前端开发中，Chrome 开发者工具（DevTools） 是我们排查问题、优化性能、理解浏览器行为最强大的助手之一。无论是想快速定位页面样式异常、分析接口请求，还是调试 JavaScript 逻辑，DevTools 都能提供直观高效的方式帮助我们“看清代码背后发生了什么”。 这篇笔记将带你快速入门，从最基本的面板功能到常用调试技巧，让你能在实战中灵活运用它，提升开发效率与问题解决能力。 1. 打开方式与放大缩小 1. 快捷键： * Windows/Linux：F12 或 Ctrl + Shift + I * macOS：Command + Option + I 1. 右键打开：在页面任意元素上右键 → “检查 (Inspect)” 2. 菜单打开：点击右上角 ⋮ → “更多工具” → “开发者工具” 在使用 Chrome 开发者工具时，可以通过 鼠标滚轮 快速调整界面缩放。