一、项目背景与创意起源
在当今快节奏的都市生活中，健身已成为许多人保持健康的重要方式。然而，居家健身面临一个普遍痛点：缺乏专业指导，容易因动作不规范导致运动损伤，同时低头看手机或平板的体验也大大降低了健身的沉浸感和效率。
根据《2024 年中国健身行业白皮书》显示，超过 65% 的居家健身用户表示"缺乏专业指导"是他们放弃健身的主要原因。而 Rokid Glasses 作为一款轻量级 AR 眼镜，其独特的"抬头即见"交互方式，为解决这一问题提供了绝佳的硬件基础。
"形随心动"创意的诞生源于一个简单但关键的观察：如果能将专业教练"投射"到用户视野中，实时指导动作，同时提供直观的数据反馈，那么居家健身体验将发生质的飞跃。通过 Rokid CXR-M SDK 的 AI 场景、自定义页面和提词器功能，我们能够实现这一愿景。
二、Rokid CXR-M SDK 相关
1. Rokid CXR-M SDK 介绍
CXR-M SDK 是面向移动端的开发工具包，主要用于构建手机端与 Rokid Glasses 的控制和协同应用。开发者可以通过 CXR-M SDK 与眼镜建立稳定连接，实现数据通信、实时音视频获取以及场景自定义。它适合需要在手机端进行界面交互、远程控制或与眼镜端配合完成复杂功能的应用。目前 CXR-M SDK 仅提供 Android 版本。
2. SDK 开发导入配置
1. 配置 Maven 仓库
CXR-M SDK 采用 Maven 在线管理 SDK Package。
Maven 仓库地址：https://maven.rokid.com/repository/maven-public/
找到 settings.gradle.kts，并在 dependencyResolutionManagement 节点的 repositories 中添加 Maven 仓库。
2. 依赖导入
CXR-M SDK Package（com.rokid.cxr:client-m:1.0.1-20250812.080117-2）。
在 build.gradle.kts 的 dependencies 节点中添加依赖。
注意：SDK 需要设置 minSdk≥28。
如果和项目中已有版本冲突，请优先选用 SDK 中对应的版本。
3. 权限申请
1. 声明权限
CXR-M SDK 需要申请网络、Wi-Fi、Bluetooth（蓝牙权限需要同步申请 FINE_LOCATION 权限）等权限，在 AndroidManifest.xml 中申请以下是最小权限集：
<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools">
<uses-permission android:name="android.permission.ACCESS_COARSE_LOCATION" />
<uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
<uses-permission android:name="android.permission.BLUETOOTH" />
<uses-permission android:name="android.permission.BLUETOOTH_ADMIN" />
<uses-permission android:name="android.permission.BLUETOOTH_CONNECT" />
<uses-permission android:name="android.permission.BLUETOOTH_SCAN" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" />
<uses-permission android:name="android.permission.ACCESS_WIFI_STATE" />
<uses-permission android:name="android.permission.CHANGE_WIFI_STATE" />
<uses-permission android:name= />
2. 动态申请权限
在 CXR-M SDK 使用前，请先进行必要权限动态申请。注意在权限不足的情况下，SDK 将不可用。
示例：
class MainActivity : AppCompatActivity() {
companion object {
const val TAG = "MainActivity"
// Request Code
const val REQUEST_CODE_PERMISSIONS = 100
// Required Permissions
private val REQUIRED_PERMISSIONS = mutableListOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH,
Manifest.permission.BLUETOOTH_ADMIN,
).apply {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
add(Manifest.permission.BLUETOOTH_SCAN)
add(Manifest.permission.BLUETOOTH_CONNECT)
}
}.toTypedArray()
}
// Permission
private val permissionGrantedResult = MutableLiveData<Boolean?>()
override fun onCreate(savedInstanceState: Bundle?) {
// Other Code
// Request Permissions
permissionGrantedResult.postValue(null)
requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
// Observe Permission Result
permissionGrantedResult.observe(this) { result ->
if (it == true) {
// Permission All Granted
} else {
// Some Permission Denied or Not Started
}
}
}
override fun onRequestPermissionsResult {
.onRequestPermissionsResult(requestCode, permissions, grantResults)
(requestCode == REQUEST_CODE_PERMISSIONS.hashCode()) {
allGranted = grantResults.all { it == PackageManager.PERMISSION_GRANTED }
permissionGrantedResult.postValue(allGranted)
}
}
}
三、技术架构设计
1. 整体架构
"形随心动"采用分层架构设计，确保系统稳定性和可扩展性：
应用层（Android App） → CXR-M SDK → Rokid Glasses（YodaOS） → 硬件传感器
- 应用层：提供用户界面、健身计划管理、社交功能
- CXR-M SDK：负责与 Rokid Glasses 的通信、AI 场景处理、AR 界面渲染
- Rokid Glasses：执行 AR 渲染、动作捕捉、数据反馈
- 硬件传感器：提供身体姿态、心率等数据
"形随心动"应用的整体技术架构：
架构说明：
- 应用层：包含用户界面、健身计划管理、社交功能等业务逻辑
- CXR-M SDK：Rokid 提供的核心 SDK，负责与硬件通信和功能调用
- Rokid Glasses：硬件平台，执行 AR 渲染和传感器数据处理
- 硬件传感器：提供摄像头、IMU、心率等原始数据
- AR 界面：通过自定义页面实现的 AR 可视化展示
- AI 场景：利用 CXR-M SDK 的 AI 能力实现动作识别
- 自定义页面：用于创建 AR 交互界面的核心组件
- 社交互动模块：实现好友挑战、进度分享等功能
CXR SDK 与 Glasses 架构
2. 核心组件设计
| 组件 | 功能 | SDK 实现方式 |
|---|---|---|
| 实时动作识别模块 | 通过摄像头捕捉用户动作，分析动作质量 | AI 场景、自定义页面 |
| 个性化计划模块 | 根据用户数据定制健身计划 | 自定义页面、数据同步 |
| AR 教练界面 | 3D 显示虚拟教练，实时指导动作 | 自定义页面、提词器 |
| 数据可视化模块 | 实时显示心率、消耗卡路里等数据 | 自定义页面、媒体操作 |
| 社交互动模块 | 支持好友挑战、进度分享 | 数据通信、自定义页面 |
核心组件交互关系图：
3. 架构设计优势
-
分层解耦设计：
- 业务逻辑与硬件交互完全分离
- 各组件通过 SDK 接口通信，降低耦合度
- 方便后续功能扩展和维护
-
硬件能力充分利用：
- 摄像头：用于动作捕捉
- IMU 传感器：辅助动作分析
- AR 显示：提供沉浸式指导体验
- 语音交互：实现自然的人机对话
-
SDK 能力深度整合：
- AI 场景：实现核心动作识别功能
- 自定义页面：构建 AR 交互界面
- 提词器场景：实现简单文字指导
- 数据通信：支持社交功能
-
可扩展性设计：
- 新功能只需新增模块，不影响现有架构
- 通过 SDK 接口扩展，无需修改底层硬件
- 支持未来硬件升级和新功能添加
实现关键点：
| 组件 | 关键技术点 | SDK 实现方式 | 实现难度 |
|---|---|---|---|
| 设备连接 | 蓝牙稳定连接 | CxrApi.getInstance().initBluetooth() | ★★☆ |
| AI 场景 | 动作识别与分析 | setAiEventListener() + controlScene() | ★★★★ |
| AR 界面 | 3D 指导界面渲染 | openCustomView() + JSON 布局 | ★★★ |
| 数据同步 | 实时数据传输 | sendStream() + setMediaFilesUpdateListener() | ★★ |
| 社交功能 | 好友挑战实现 | controlScene() + 数据通信 | ★★★ |
四、关键功能实现详解
1. 设备连接与初始化
首先，需要确保手机与 Rokid Glasses 稳定连接，这是所有功能的基础。
// 设备连接初始化
class FitnessApp : AppCompatActivity() {
private val REQUIRED_PERMISSIONS = mutableListOf(
Manifest.permission.ACCESS_FINE_LOCATION,
Manifest.permission.BLUETOOTH,
Manifest.permission.BLUETOOTH_ADMIN,
).apply {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.S) {
add(Manifest.permission.BLUETOOTH_SCAN)
add(Manifest.permission.BLUETOOTH_CONNECT)
}
}.toTypedArray()
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
// 检查并请求必要权限
if (!hasPermissions(REQUIRED_PERMISSIONS)) {
requestPermissions(REQUIRED_PERMISSIONS, REQUEST_CODE_PERMISSIONS)
} else {
initializeDeviceConnection()
}
}
private fun hasPermissions(permissions: Array<String>): Boolean {
return permissions.all { ContextCompat.checkSelfPermission(this, it) == PackageManager.PERMISSION_GRANTED }
}
private fun initializeDeviceConnection() {
// 查找 Rokid 设备
val scanner = BluetoothLeScannerCompat.getScanner()
scanner.startScan(
listOf(ScanFilter.Builder()
.setServiceUuid(ParcelUuid.fromString("00009100-0000-1000-8000-00805f9b34fb"))
.build()),
ScanSettings.Builder().build(),
scanCallback
)
}
private val scanCallback = object : ScanCallback() {
{
.onScanResult(callbackType, result)
device = result.device
CxrApi.getInstance().initBluetooth(, device, : BluetoothStatusCallback {
{
Log.d(, )
CxrApi.getInstance().connectBluetooth(, socketUuid, macAddress, )
}
{
Log.d(, )
initializeAiScene()
}
{
Log.e(, )
}
{
Log.e(, )
}
})
}
}
{
CxrApi.getInstance().setAiEventListener( : AiEventListener {
{
(eventType) {
ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
handleActionRecognition()
}
}
}
})
CxrApi.getInstance().controlScene(ValueUtil.CxrSceneType.AI_SCENE, , )
}
}
2. 实时动作捕捉与纠正
这是"形随心动"的核心功能，利用 Rokid Glasses 的摄像头和 AI 能力，实时分析用户动作。
// 动作识别与纠正实现
private fun startExercise(exerciseType: String) {
// 设置动作识别参数
val actionParams = HashMap<String, String>()
actionParams["exerciseType"] = exerciseType
actionParams["threshold"] = "0.85" // 识别阈值
// 启动 AI 场景进行动作识别
CxrApi.getInstance().controlScene(
ValueUtil.CxrSceneType.AI_SCENE, true, actionParams
)
// 设置 AI 事件监听
CxrApi.getInstance().setAiEventListener(object : AiEventListener {
override fun onAiEvent(eventType: ValueUtil.CxrAiEventType?, data: String?) {
when (eventType) {
ValueUtil.CxrAiEventType.ACTION_RECOGNITION -> {
val recognitionResult = Gson().fromJson(data, ActionRecognitionResult::class.java)
if (recognitionResult.accuracy > 0.8) {
// 动作正确，显示正面反馈
showPositiveFeedback(recognitionResult.exerciseName, "动作标准！")
} else {
// 动作不标准，显示纠正提示
showCorrectionFeedback(recognitionResult.exerciseName, recognitionResult.correctionMessage)
}
}
}
}
})
}
private fun showCorrectionFeedback(exerciseName: String, message: ) {
CxrApi.getInstance().controlScene(
ValueUtil.CxrSceneType.WORD_TIPS, ,
)
text =
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.WORD_TIPS, text.toByteArray(), ,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
{
arCoachJson =
CxrApi.getInstance().openCustomView(arCoachJson)
CxrApi.getInstance().setCustomViewListener( : CustomViewListener {
{
Log.d(, )
}
{
Log.d(, )
}
})
}
3. 个性化健身计划
根据用户输入的身体数据和健身目标，定制专属健身计划。
// 个性化健身计划实现
class PersonalizedPlanActivity : AppCompatActivity() {
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_personalized_plan)
// 获取用户输入数据
val age = findViewById<EditText>(R.id.et_age).text.toString().toInt()
val weight = findViewById<EditText>(R.id.et_weight).text.toString().toFloat()
val height = findViewById<EditText>(R.id.et_height).text.toString().toFloat()
val goal = findViewById<Spinner>(R.id.spinner_goal).selectedItem.toString()
// 根据数据生成计划
val plan = generatePersonalizedPlan(age, weight, height, goal)
// 显示计划
displayPlan(plan)
// 保存计划到 Rokid Glasses
savePlanToGlasses(plan)
}
private fun generatePersonalizedPlan(age: Int, weight: Float, height: Float, goal: String): Plan {
// 实际应用中，这里会根据算法生成计划
// 为简化示例，直接返回预设计划
return Plan(
"30 天减脂计划",
listOf(
Exercise("深蹲", "3 组×15 次", "保持膝盖不超过脚尖", "squats"),
Exercise("平板支撑", "3 组×30 秒", "保持身体成直线", "plank"),
Exercise("跳绳", "3 组×2 分钟", , )
)
)
}
{
planAdapter = PlanAdapter(plan.exercises)
findViewById<RecyclerView>(R.id.rv_plan).adapter = planAdapter
}
{
planJson = Gson().toJson(plan)
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.PERSONALIZED_PLAN, planJson.toByteArray(), ,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
}
4. 数据可视化与实时反馈
将健身数据以 AR 形式展示，让用户无需低头即可获取关键信息。
// 数据可视化与实时反馈
class DataVisualizationActivity : AppCompatActivity() {
private var heartRate = 0
private var caloriesBurned = 0f
private var exerciseTime = 0
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_data_visualization)
// 初始化 AR 界面
setupARDataView()
// 开始计时
startExerciseTimer()
// 模拟数据更新
startDataUpdates()
}
private fun setupARDataView() {
// 创建 AR 数据视图的 JSON 布局
val dataViewJson = """{
"type": "LinearLayout",
"props": {
"layout_width": "match_parent",
"layout_height": "match_parent",
"orientation": "vertical",
"gravity": "center",
"backgroundColor": "#00000000"
},
"children": [
{
"type": "TextView",
"props": {
"id": "tv_heart_rate",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "心率：72",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold"
}
},
{
"type": "TextView",
"props": {
"id": "tv_calories",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "卡路里：0",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold",
"marginTop": "20dp"
}
},
{
"type": "TextView",
"props": {
"id": "tv_time",
"layout_width": "wrap_content",
"layout_height": "wrap_content",
"text": "时间：00:00",
"textSize": "20sp",
"textColor": "#FF00FF00",
"textStyle": "bold",
"marginTop": "20dp"
}
}
]
}"""
CxrApi.getInstance().openCustomView(dataViewJson)
}
{
updateData = listOf(
UpdateAction(, , , ),
UpdateAction(, , , ),
UpdateAction(, , , )
)
CxrApi.getInstance().updateCustomView(Gson().toJson(updateData))
}
: String {
minutes = seconds /
remainingSeconds = seconds %
String.format(, minutes, remainingSeconds)
}
{
handler = Handler(Looper.getMainLooper())
handler.postDelayed( : Runnable {
{
heartRate = (heartRate + ).coerceAtMost()
caloriesBurned +=
exerciseTime +=
updateDataView()
handler.postDelayed(, )
}
}, )
}
{
startTime = System.currentTimeMillis()
timerHandler = Handler(Looper.getMainLooper())
timerHandler.postDelayed( : Runnable {
{
exerciseTime = ((System.currentTimeMillis() - startTime) / ).toInt()
updateDataView()
timerHandler.postDelayed(, )
}
}, )
}
}
5. 社交健身挑战
通过 Rokid Glasses 的社交功能，实现与好友的健身互动。
// 社交健身挑战实现
class ChallengeActivity : AppCompatActivity() {
private val challenges = mutableListOf<Challenge>(
Challenge("7 天深蹲挑战", "完成 7 天深蹲训练，每天 100 次", 7, 100),
Challenge("30 天心率挑战", "保持心率在 120-150 之间", 30, 0)
)
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
setContentView(R.layout.activity_challenge)
// 显示挑战列表
setupChallengeList()
// 添加好友挑战
findViewById<Button>(R.id.btn_add_friend_challenge).setOnClickListener {
showAddFriendChallengeDialog()
}
}
private fun setupChallengeList() {
val adapter = ChallengeAdapter(challenges)
findViewById<RecyclerView>(R.id.rv_challenges).adapter = adapter
}
private fun showAddFriendChallengeDialog() {
val builder = AlertDialog.Builder(this)
builder.setTitle("添加好友挑战")
val input = EditText(this)
input.hint = "输入好友 ID"
builder.setView(input)
builder.setPositiveButton("确定") { _, _ ->
val friendId = input.text.toString()
createFriendChallenge(friendId)
}
builder.setNegativeButton("取消", )
builder.show()
}
{
challenge = Challenge(
, , ,
)
saveChallengeToGlasses(challenge)
sendChallengeToFriend(friendId, challenge)
}
{
challengeJson = Gson().toJson(challenge)
CxrApi.getInstance().sendStream(
ValueUtil.CxrStreamType.CHALLENGE, challengeJson.toByteArray(), ,
: SendStatusCallback {
{
Log.d(, )
}
{
Log.e(, )
}
}
)
}
{
Log.d(, )
Toast.makeText(, , Toast.LENGTH_SHORT).show()
}
}
五、挑战与解决方案
1. 动作识别精度问题
挑战：在实际环境中，由于光线变化和用户动作差异，AI 动作识别准确率有时不足。
解决方案：
- 采用多模态数据融合：结合摄像头和 Rokid Glasses 的传感器数据
- 实现动态阈值调整：根据用户身体特征自动调整识别阈值
- 添加用户反馈机制：允许用户确认或纠正 AI 识别结果
// 动态阈值调整示例
private fun adjustRecognitionThreshold(userProfile: UserProfile): Float {
return when {
userProfile.age < 25 -> 0.85f
userProfile.age < 40 -> 0.80f
else -> 0.75f
}
}
2. AR 界面流畅度优化
挑战：AR 界面在 Rokid Glasses 上运行时，帧率不稳定。
解决方案：
- 优化自定义页面 JSON 布局，减少不必要的元素
- 使用 CXR-M SDK 的
setCustomViewListener进行界面渲染优化 - 采用异步数据更新，避免阻塞主线程
// 优化 AR 界面渲染
CxrApi.getInstance().setCustomViewListener(object : CustomViewListener {
override fun onCustomViewOpened() {
// 优化渲染
CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.FAST)
}
override fun onCustomViewClosed() {
// 恢复默认渲染模式
CxrApi.getInstance().setCustomViewRenderMode(ValueUtil.CxrRenderMode.DEFAULT)
}
})
3. 电池消耗问题
挑战：AR 应用长时间运行导致 Rokid Glasses 电池消耗过快。
解决方案：
- 实现智能功耗管理：根据使用场景动态调整功耗
- 添加自动休眠功能：用户停止运动一段时间后自动进入低功耗模式
- 优化数据传输：减少不必要的数据同步
// 智能功耗管理
CxrApi.getInstance().setPowerOffTimeout(30) // 30 分钟后自动关机
CxrApi.getInstance().setScreenOffTimeout(60) // 60 秒后屏幕关闭
// 自动休眠功能
val exerciseTimer = object : CountDownTimer(300000, 1000) { // 5 分钟
override fun onTick(millisUntilFinished: Long) {
// 更新休眠计时
}
override fun onFinish() {
// 进入低功耗模式
CxrApi.getInstance().setGlassBrightness(3) // 降低亮度
CxrApi.getInstance().setGlassVolume(2) // 降低音量
Toast.makeText(this@FitnessApp, "进入低功耗模式", Toast.LENGTH_SHORT).show()
}
}.start()
六、未来展望
"形随心动"已经证明了 Rokid CXR-M SDK 在 AR 健身场景中的强大能力，未来我们将进一步拓展：
- AI 能力增强：集成更先进的动作识别模型，提升识别精度
- 内容生态扩展：与专业健身教练合作，提供更多高质量课程
- 硬件联动：与智能健身设备联动，获取更全面的运动数据
- 跨平台支持：拓展到更多 Rokid 硬件设备，形成完整的 AR 健身生态
七、结语
"形随心动"不仅是一款健身应用，更是 Rokid CXR-M SDK 能力的全面展示。通过深度整合 SDK 的 AI 场景、自定义页面和提词器功能，我们实现了真正"抬头即见指导"的 AR 健身体验，解决了居家健身的核心痛点。
"形随心动"展示了 Rokid 生态的广阔应用前景，也为其他开发者提供了可借鉴的实践案例。我们相信，随着 Rokid SDK 的持续完善和生态的不断扩展，AR 技术将在更多生活场景中发挥重要作用，为用户带来前所未有的体验。
通过"形随心动"的实践，我们验证了 Rokid Glasses 与 CXR-M SDK 在 AI+AR 场景中的巨大潜力，也为 Rokid 开发者社区贡献了一个成功的应用案例。未来，我将继续深耕 AR 健身领域，为用户提供更专业、更智能的健身体验，同时为 Rokid 生态的繁荣贡献力量。
