比肩英伟达Jetson Orin NX-国产机器人大脑RDK-S100评测

比肩英伟达Jetson Orin NX-国产机器人大脑RDK-S100评测

提起机器人开发平台,目前行业内较为流行的当属英伟达的Jetson Orin 和高通的RB5。凭借英伟达成熟的GPU技术,以及高通在手机SoC领域积累的高性能优势,二者能够较为顺畅地将既有技术栈迁移至机器人平台。然而,这些企业均来自国外。那么,国内是否也有同样出色的机器人平台呢?答案是肯定的——这正是本文将要为大家介绍的地瓜机器人RDK-S100。

地瓜机器人源自以自动驾驶SoC闻名业界的地平线机器人,目前专注于机器人相关领域的研发。近年来,公司已陆续推出X3、X5等芯片组平台,并实现大规模量产。而此次介绍的S100芯片组,则是其最新一代产品,对应地平线J6平台。与英伟达Orin Nano模组及高通RB5模组类似,S100芯片组同样采用SIP模组形式供货,集成有S100主控芯片、DDR内存及PMIC等关键部件。而RDK-S100,正是基于该SIP模组打造的官方评估板。

本文将从硬件,软件两个方面,大致介绍一下RDK-S100。

硬件介绍

开发板的外包装,正面是开发板的名称,背面的文字说明了开发板硬件的配置。

包装内包含开发板一个(SIP模组和散热器已经安装上去),电源一个

开发的正反面。这里只能拆下盖子,散热器是用硅脂粘在上面的,无法拆卸

主要硬件配置如下

地瓜机器人S100,搭载六核Cortex-A78AE,4xCortex-R52,Mali-G78AE GPU,以及高达80/128TOPS算力的BPU

12GB内存,规格为96bit LPDDR5,6400Mbps

64GB EMMC,EMMC芯片厂商为三星,规格为5.1 (HS400)

一个HDMI接口,最高支持 2560x1440@60Hz

3组4lane MIPI CSI-2扩展口

4 x USB 3.0 Type-A 接口
1 x USB 2.0 Type-C(镜像烧录、MCU/Main Domain 串口调试)
1 x JTAG 调试接口(Main & MCU Domain)
1 x 40-Pin GPIO(SPI、I2C、I2S、PWM、UART 等)
1 x MCU 接口扩展(供 MCU Domain 使用)

AP6275S,使用PCIE2.0接口,支持WIFI6 5G/2.5G,BT4.2

2 x RJ45 接口(1000M 以太网)
M.2 Key E(接入 WiFi & BT 模组)

电源口支持12-20V DC供电

其接口分布图如下

目前售价,12G内存+64G EMMC规格核心板+底板2799元

S100是一款高度集成的SoC,定位堪称“全能型选手”。它不仅搭载了6核Cortex-A78AE高性能CPU与顶级的Mali-G78AE GPU,还集成了算力强大的BPU(AI处理单元)。更值得一提的是,S100内置了四核Cortex-R52实时处理器。作为Cortex-R系列中最先进的处理器之一,R52具备出色的实时响应能力和高阶安全机制。这意味着在机器人应用中,无需再外挂MCU,即可实现高实时性控制任务。

RDK-S100作为官方开发板,充分扩展了S100的各类接口,便于开发者全面评估S100的各项功能。即便将其直接用作AI盒子使用,该平台所提供的算力也显著高于同价位竞品,堪称高性价比的算力代表。

操作系统

目前地瓜机器人为RDK-S100提供了ubuntu系统,此系统源码,需要签订NDA之后才能开放,个人用户只能下载到镜像,下载地址为

https://archive.d-robotics.cc/downloads/os_images/rdk_s100/

解压之后得到一个名为product.zip的压缩包,这里面包含了分区镜像。需要将其解压

下载镜像之后还需要下载驱动和烧录工具。

驱动下载地址为

https://archive.d-robotics.cc/downloads/software_tools/winusb_drivers/

下载之后,解压sunrise5_winusb.zip,然后管理员身份执行sunrise5_winusb下面的install_driver.bat脚本即可。在安装驱动的情况下,将开发板此处的按钮,拨到上方,开发板即进入烧录模式

此时插上USB线,设备管理器可以看到一个新设备。说明驱动安装完成

烧录工具下载地址为

https://archive.d-robotics.cc/downloads/software_tools/download_tools/

下载之后解压,打开D-navigation-win32-x64下面的D-navigation.exe即可

按下图配置,配置好之后点击开始升级

烧录成功会有如下提示

烧录之后,开发板会启动ubuntu系统。板上的usb口设计非常巧妙,它用一个usb hub同时接了两个usb转串口的芯片,还有S100的usb device接口,因此找根普通的usb线连接pc和开发板,即可看到MCU和CPU端开机时的log。波特率是921600

从启动流程上看,它使用uboot spl作为第一级bootloader,然后带了OPTEE功能,其余的打印信息被隐藏了。

系统起来之后可以用free命令查看内存信息,用cat /proc/cpuinfo查看cpu信息

系统的GPU API为openCL,可以执行如下命令查看GPU信息

apt-get install clinfo

clinfo

 

MCU的打印信息可以在开发板的MCU串口查看

AI功能测试

RDK-S100的AI功能是一大特点,这里测试一下其AI功能。机器人常用的就是视觉识别功能,其系统里面带了摄像头图像识别的demo,如果使用的是USB摄像头,则可以运行位于/app/pydev_demo/09_usb_camera_sample/ 目录下的demo。

找一个支持UVC协议的USB摄像头,这种摄像头出来的是原始格式的数据,非编码后的数据,在将USB摄像头插到开发板的USB接口后,通过执行如下命令,可以查看是否正确识别

ls /dev/video*

然后运行

cd /app/pydev_demo/09_usb_camera_sample/

python3 usb_camera_yolov5x.py

即可看到如下图所示的效果,这里可以对多个目标进行识别,框出其范围,并且有标明其置信度

运行此demo时,通过如下命令,可以看到bpu的占用情况

sudo hrut_somstatus

温度大概在45摄氏度左右,这个温度跟空载时基本一样

说明这个bpu应对这种场景是绰绰有余的,甚至是6路摄像头同时执行这种识别,性能也是够的

下面简要说明下这个demo的执行过程。首先

通过 hbm_runtime 加载指定的 .hbm 模型文件,提取模型名称、输入输出形状、量化信息等

自动扫描 /dev/video* 下的设备,打开第一个可用的 USB 摄像头

将 BGR 图像 resize 至模型输入分辨率(letterbox 模式或普通缩放),并转换为 NV12 格式

通过 run() 方法提交输入张量,在 BPU 上完成模型前向计算

包括量化输出解码、候选框筛选(按 score 阈值过滤)、NMS 去重,以及坐标还原回原始图像大小

最后将结果可视化。这个可视化结果用的是cv2里面的方法

最终就是上面看到的结果了。

因此,在S100上面做推理,其流程跟市面上其他方案类似,就是先做模型转换,从开源的模型或者自行训练的模型转换,得到hbm 模型文件,然后将hbm模型加载到bpu,将图像发到bpu,bpu完成推理后将结果返回cpu。然后根据需要执行绘制等操作。

结语

本文详细介绍了RDK-S100的硬件构成,简要说明了Ubuntu系统在平台上的部署与基本操作,并展示了基于Ubuntu环境的AI功能测试。若希望从软硬件两方面对地瓜机器人S100平台进行初步评估,RDK-S100无疑是一个理想的选择——该开发板已引出大部分常用接口,且凭借其出色的算力表现,定价颇具竞争力。目前,这款开发板可通过地瓜机器人官方代理商深圳风火轮直接购买。

就S100本身而言,其强大的AI性能在当前国产机器人及边缘AI领域同价位产品中几乎难逢对手,所采用的SIP模块也极大简化了硬件设计流程。不过,该平台目前仍存在一定局限:其SDK仅面向企业客户授权,且需签署NDA协议;而作为其主要竞争对手的英伟达,则开放了Jetson系列的全套源码。这一差异可能导致部分个人开发者更倾向于选择英伟达平台

Read more

ibbot(智体机灵):国产开源AI智能体平台的全面解析

ibbot(智体机灵):国产开源AI智能体平台的全面解析

ibbot(智体机灵):国产开源AI智能体平台的全面解析 ibbot,全称ibbot智体机灵,是一个极具创新性的国产开源AI智能体(Agent)平台与操作系统。它的核心使命是将复杂的AI智能体能力封装成易于使用、可扩展的工具,显著降低个人用户的使用门槛,让AI技术真正走进日常生活和工作。 从产品定位来看,ibbot集多重身份于一体:首先,它是一个功能强大的AI智能体平台,支持创建、调度和管理多种AI智能体;其次,它通过预装系统的定制安卓手机(青春版)实现了移动AI工作站的构想,让用户可以随时随地使用完整的AI智能体生态;再者,作为一个开源项目生态,它包含ibbot核心、dtnsbot(设备集成)、dtns.os(底层系统)等多个子项目,鼓励社区共同参与建设。 ibbot的核心功能体系十分丰富: 1. 复杂任务执行:用户只需用自然语言描述任务,ibbot就能自动分解并调度相应Agent完成,支持多达60多步的连续复杂任务。 2. AI编程与建站:支持通过自然语言指令自动生成代码和网站页面,大幅降低技术门槛。 3. 知识库管理:支持多种格式文档上传,构建专属知识库并进行智能

AI 大模型落地系列|Eino ADK体系篇:你对 ChatModelAgent 有了解吗?

AI 大模型落地系列|Eino ADK体系篇:你对 ChatModelAgent 有了解吗?

声明:本文源于官方文档,重点参考 Eino ADK: ChatModelAgent、Eino ADK: 概述、Eino ADK: Agent 协作 分享一个很棒的AI技术博客,对AI感兴趣的朋友强烈推荐去看看http://blog.ZEEKLOG.net/jiangjunshow。 为什么很多人把 ChatModelAgent 想简单了?一文讲透 ReAct、Transfer、AgentAsTool 与 Middleware * 1. 为什么很多人会把 `ChatModelAgent` 想简单 * 2. `ChatModelAgent` 在 ADK 里到底是什么 * 3. 其内部本质是一个 `ReAct` 循环 * 没有 Tool 时会怎样 * 为什么还需要 `MaxIterations` * 4. 哪几组配置真正决定了行为 * `Name / Description`

用 Python 搭建本地 AI 问答系统:避开 90% 新手都会踩的环境坑

用 Python 搭建本地 AI 问答系统:避开 90% 新手都会踩的环境坑

欢迎文末添加好友交流,共同进步! “ 俺はモンキー・D・ルフィ。海贼王になる男だ!” * 前言 * 一、整体架构概览 * 二、新手踩坑分布图 * 三、环境搭建:最容易翻车的第一步 * 3.1 用虚拟环境隔离,别污染全局 * 3.2 PyTorch 安装:版本对齐是关键 * 3.3 依赖管理:用 requirements.txt 锁定版本 * 四、模型下载:别让网络毁了你的心情 * 4.1 使用 Ollama 管理本地模型(强烈推荐) * 4.2 用 Python 调用 Ollama * 五、搭建 RAG 问答系统 * 5.

人工智能:自然语言处理在金融领域的应用与实战

人工智能:自然语言处理在金融领域的应用与实战

人工智能:自然语言处理在金融领域的应用与实战 学习目标 💡 理解自然语言处理(NLP)在金融领域的应用场景和重要性 💡 掌握金融领域NLP应用的核心技术(如文本分类、情感分析、风险评估) 💡 学会使用前沿模型(如BERT、GPT-3)进行金融文本分析 💡 理解金融领域的特殊挑战(如金融术语、数据噪声、实时性要求高) 💡 通过实战项目,开发一个金融风险评估应用 重点内容 * 金融领域NLP应用的主要场景 * 核心技术(文本分类、情感分析、风险评估) * 前沿模型(BERT、GPT-3)在金融领域的使用 * 金融领域的特殊挑战 * 实战项目:金融风险评估应用开发 一、金融领域NLP应用的主要场景 1.1 文本分类 1.1.1 文本分类的基本概念 文本分类是对金融文本进行分类的过程。在金融领域,文本分类的主要应用场景包括: * 新闻分类:对金融新闻进行分类(如“股票新闻”、“债券新闻”