AirSim无人机仿真入门(一):实现无人机的起飞与降落

AirSim无人机仿真入门(一):实现无人机的起飞与降落
概述: 安装好所需要的软件和环境,通过python代码控制无人机进行起飞和降落。

参考资料:
1、知乎宁子安大佬的AirSim教程(文字教程,方便复制)
2、B站瑜瑾玉大佬的30天RL无人机仿真教程(视频教程,方便理解)
3、AirSim官方手册(资料很全,不过是纯英文的)

AirSim无人机仿真入门(一):实现无人机的起飞与降落

1 安装AirSim

1.1 参考教程

宁子安教程:(解密AirSim-初稿)第一章:初识AirSim

1.2 内容梳理

Epic Games是一家游戏公司,就像“腾讯游戏”或者“网易游戏”一样。Unreal Engine(简称UE)是 Epic Games 开发的一款游戏引擎。AirSim 是基于 Unreal Engine开发的一个模拟器,它主要用来模拟无人机(Drone)和自动驾驶汽车的运行环境。

1.3 步骤总结

以下仅是我个人的步骤总结,建议按照以上宁子安的“初识AirSim”教程一步一步安装。

  1. 安装Epic平台: 记得注册账号
  2. 下载UE: 点击Epic平台左边的 “虚幻引擎” 菜单,“库” 里面有不同的虚幻引擎版本,选择4.27.2版本进行安装,这个版本比较适配AirSim。
  3. 安装VS commuty2022: 记得勾选“C++桌面开发” “Windows 10 SDK 10.0.19041”,并在“单个组件”选项卡下选择最新的“.NET Framework SDK”
  4. 安装git bash工具
  5. 克隆AirSim工程: 进自己要安装AirSim的磁盘,git clone。进入目录build.cmd。编译好之后会在 “AirSim\Unreal” 文件夹中生成 “Plugins” 文件夹。这个 “Plugins” 文件夹非常重要。

检验虚拟引擎和AirSim是否安装成功: 使用AirSim自带的Block环境进行测试。

在这里插入图片描述


至此,AirSim 全部安装完成,下面可以直接使用 AirSim 做仿真了。

2 开始使用 AirSim

2.1 参考教程

宁子安教程:(解密AirSim-初稿)第二章:开始使用 AirSim

2.2 内容梳理

从虚幻商城选择一个场景创建工程,把AirSim作为插件导入这个工程中。

2.3 步骤总结

  1. 创建工程: 从虚幻商城中找到场景,创建工程,得到.uproject文件。
  2. 新建C++类: 双击.uproject文件进入关卡编辑器,新建C++类,等待编译完成(这一步耗时较长,而且要关注VS2022的左下角的编译进度),得到.sln文件,至此 “山脉景观” 场景工程创建完成。
  3. 添加AirSim插件: 复制“AirSim\Unreal\Plugins” 文件夹到“LandscapeMountains” 文件夹中。
  4. 修改文件: 修改 “LandscapeMountain.uproject”
    文件,修改“LandscapeMountains\Config\DefaultGame.ini” 文件。
  5. 创建VS工程: 右键点击 “LandscapeMountains.uproject” 文件,选择 “Generate Visual Studio project files” 选项,会生成 “.sln” 工程文件。
  6. 改成多旋翼模式: 把settings.json文件中的仿真模式改为多旋翼。
{"SettingsVersion":1.2, "SimMode":"Multirotor"}
  1. 进入工程: 双击打开 “LandscapeMountains.sln”,设置编译选项为 “DebugGame Editor” 和“Win64”,同时将 “LandscapeMountains” 设为启动项,点击 “调试” -> “开始调试”,或者直接点击 “本地Windows调试器”,这时会自动打开虚幻引擎的关卡编辑器。此时,虚幻引擎编辑器右下角出现了“新插件可用”的提示,说明虚幻引擎已经能够识别到AirSim 插件了。
  2. 设置游戏模式为AirSim: 在关卡编辑器中,将右侧 “世界场景设置” 中的 “游戏模式重载” 设置为“AirSimGameMode”,点击 “保存当前关卡”。
  3. 运行: 点击绿色三角开始仿真
在这里插入图片描述


至此 AirSim 插件已经加载到虚幻引擎场景工程中了。

3 撰写python控制程序

3.1 参考教程

宁子安教程:airsim详细教程(四) - 控制四旋翼起飞和降落(airsim api)

3.2 内容梳理

安装好python的运行环境,主要使用conda虚拟环境的python解释器,pycharm充当编辑器的作用。使用AirSim官方提供的python API,与无人机建立联系,控制无人机的起飞和降落。

3.3 步骤总结

  1. 安装Anaconda并创建环境: 创建虚拟环境,并在该环境中安装必需的包
 pip install msgpack-rpc-python pip install airsim 
  1. 安装pycharm: 安装了社区版,是免费的,目前功能够用。
  2. 创建工程: pycharm中创建一个新的python工程,解释器选择上面新建的conda环境中的python解释器:conda的安装路径\envs\airsim\python.exe
  3. 创建python文件: 在新建的python工程中新建一个python File,将下面的代码复制进去:
import airsim ​ # 与 AirSim 仿真器建立连接,并且返回句柄 client = airsim.MultirotorClient() client.confirmConnection() ​ # 获得控制权 client.enableApiControl(True) ​ # 解锁无人机 client.armDisarm(True) ​ # Async函数在执行的时候会立即返回.此时有可能任务还没执行完。在后面加上.join(),就可以让当前函数执行完才执行下一行 client.takeoffAsync().join() client.landAsync().join() ​ # 上锁 client.armDisarm(False)# 释放控制权 client.enableApiControl(False)

python与AirSim的通信机制: AirSim API 使用的是 TCP/IP 中的 msgpack-rpc 协议,可以用两台不同的电脑来做仿真,一台跑 AirSim 和 Unreal(仿真),另一台跑 python程序(算法)。当 AirSim 开始仿真的时候,会打开 41451 端口,并监听这个端口的需求。python 程序使用 msgpack serialization 格式向这个端口发送 RPC 包,就可以与AirSim进行通信了。如果41451 端口已经被其他程序使用了,那么可以通过 settings 文件改变AirSim使用的端口号。使用这种网络通信协议的方式,可以将 AirSim 和 python程序隔离,互不干扰。所以不需要修改 AirSim 的任何源代码,就可以满足非常多的仿真需求;而且即使python程序中断了,AirSim 的仿真也可以继续进行。示例:一台跑仿真,一台跑python程序

server_ip ="192.168.0.10"# 示例 IP 地址 port =41451 client = airsim.MultirotorClient(ip=server_ip, port=port)

运行代码: 在右上角点击绿色三角形运行python程序,仿真中的四旋翼会先起飞到一定高度,然后降落。

在这里插入图片描述

4 注意事项

问题: 我发现进行仿真的时候,我的UE界面没有显示三个摄像头的画面,跟原教程截图的不一样。

在这里插入图片描述

解决方法: 修改settings.json 文件打开无人机的三个摄像头窗口

"SubWindows":[{"WindowID":0, "ImageType":0, "CameraName":"front_center", "Visible": true}, {"WindowID":1, "ImageType":3, "CameraName":"front_center", "Visible": true}, {"WindowID":2, "ImageType":5, "CameraName":"front_center", "Visible": true}]

其中,ImageType 的值表示图像类型:

在这里插入图片描述


CameraName的值表示是哪一个相机:

在这里插入图片描述


在这里插入图片描述

至此,AirSim 环境已成功安装,并实现了使用 Python 程序控制无人机的功能。这可以视作 AirSim 入门的“Hello World”示例,后续的算法迁移正在进行中…

Read more

从 LLaMA-Factory 微调到高通 NPU 部署: Qwen-0.6B 全链路移植指南

前言 在大模型端侧化部署的趋势下,如何将微调后的 LLM 跑在手机 NPU 上是很多开发者的痛点。本文将手把手教你如何将使用 LLaMA-Factory 微调后的 Qwen-0.6B 模型,一步步移植到高通(Qualcomm)骁龙平台的 NPU 上,实现低功耗、高速度的本地化推理。 一、 导出微调模型 首先,在 LLaMA-Factory 界面中选择好微调后的检查点(Checkpoint),填写导出路径,点击 “开始导出” 。 导出成功后,你会在目录下看到如下文件: * model.safetensors(模型权重) * config.json(模型配置) * tokenizer.json 等(分词器相关) 要将微调后的 Qwen-0.6B 模型移植到高通 NPU,第一步就是格式转换。safetensors 是目前

AI音乐创作工具完全指南:从旋律生成到人声合成的AIGC音乐制作全流程图

AI音乐创作工具完全指南:从旋律生成到人声合成的AIGC音乐制作全流程图

引言 随着人工智能技术的快速迭代,AIGC已经渗透到音乐创作的各个环节,彻底打破了传统音乐制作的专业门槛和技术壁垒。无论是零基础的新手爱好者,还是需要高效产出的专业创作者、新媒体从业者,借助AI音乐创作工具,都能快速完成从旋律构思、歌词创作,到编曲配器、人声合成,再到后期混音的全流程制作。 本文将以“全流程实操”为核心,摒弃复杂的理论堆砌,聚焦可落地的工具使用和步骤拆解,详细梳理从旋律生成到人声合成的每一个关键环节,推荐适配不同需求的工具(不含画图工具),讲解实操技巧、避坑要点,同时兼顾ZEEKLOG平台发布规范,确保内容实用、合规、排版简洁,帮助每一位读者快速上手AIGC音乐制作,高效产出符合自身需求的音乐作品。 一、AIGC音乐制作前期准备(奠定基础,避免后期返工) AIGC音乐制作的前期准备,核心是“明确需求、选对工具、备好基础素材”,这一步看似简单,却直接决定了后期制作的效率和作品质量,避免出现“生成后反复修改、工具不适配需求”的问题,尤其适合零基础新手快速入门。 1.1 明确创作核心需求 在启动创作前,必须先明确自身的创作目标,