昇腾AI CANN训练营〔开源基础系列〕:从语法基础到算子实操,一站式构建 Ascend C 全链路编程能力

昇腾AI CANN训练营〔开源基础系列〕:从语法基础到算子实操,一站式构建 Ascend C 全链路编程能力

昇腾AI CANN训练营〔开源基础系列〕:从语法基础到算子实操,一站式构建 Ascend C 全链路编程能力

Ascend C 算子是什么

在这里插入图片描述
Ascend C 算子是基于 CANN 推出的支持 C/C++ 标准规范的编程语言 Ascend C 所开发的算子,编写的算子程序经编译器编译和运行时调度可在昇腾硬件上运行,助力开发者高效实现自定义创新算法;使用它开发自定义算子具有遵循 C/C++ 编程规范、自动并行调度获得最优执行性能、结构化核函数简化算子开发逻辑、CPU/NPU 孪生调试提升算子调试效率等优势。

Ascend C 编程模型

1、Ascend C 的核函数是算子在设备侧 AI Core 的执行入口,也是连接 CPU 与 NPU 的桥梁,编写核函数定义设备端计算逻辑,编译后可在昇腾硬件并行执行,是自定义算子的核心载体;采用 SPMD 模型,仅需写一份核函数代码,设备会自动分发到多 AI Core,各核心通过内置变量 block_idx 区分身份,独立处理数据分片,实现一份代码、多核心并行处理不同数据

2、核函数开发规则(需添加特定限定符,明确运行载体和类型)global:标识为可被主机端调用的设备函数aicore:明确在昇腾 AI Core 上执行(区别于 CUDA 的核函数)

3、参数与变量规则

入参类型:仅支持指针(需用 gm 标识指向全局内存,如gm float*)或 C/C++ 内置类型(如int32_t)

4、调用流程核函数如何被主机端触发(主机端通过特定语法调用核函数,需指定并行配置)blockDim:指定参与执行的 AI Core 数量l2ctrl:保留参数,暂设为 nullptrstream:任务队列( aclrtStream 类型),用于管理设备端任务的并行、串行执行

5、实践示例HelloWorld 核函数全流程核函数实现(设备侧逻辑)主机端调用(CPU 侧控制流程)

需配合 AscendCL(昇腾计算库)完成初始化、资源管理等步骤

Ascend C 硬件架构抽象与编程范式

Ascend C 基于硬件抽象架构,采用流水线式编程范式,将算子拆分为多个流水任务,通过 Queue 实现任务通信同步、Pipe 统一管理内存资源;其中 Vector 编程范式明确 CopyIn、Compute、CopyOut 三阶段流程,结合逻辑存储位置 TPosition 和张量对象 Global/LocalTensor 管理数据,并通过 Pipe、TBuf 分别完成常规与临时变量的内存分配回收,以此支撑算子在昇腾硬件上的高效开发执行基于硬件抽象架构屏蔽底层差异,采用流水线式编程范式,将算子拆分为流水任务并通过 Queue 实现任务通信同步,依托 Pipe 统一管理设备侧资源核心的 Vector 编程范式明确 CopyIn(数据搬入)、Compute(向量计算)、CopyOut(数据搬出)三阶段流程,结合 TPosition及GlobalTensor/LocalTensor实现精细化数据管理通过 Pipe 分配回收常规内存、TBuf 管理临时变量内存,保障内存高效利用,支撑算子在昇腾硬件上的高效开发与执行

Ascend C API 体系:基础与高层 API 的分层赋能

在这里插入图片描述
Ascend C 的 API 体系分为基础 API和高层 API,分别支撑底层功能灵活组合与上层算法快速落地的开发需求
基础 API:底层能力的灵活拼接
1、计算类 API:分为标量(Scalar 单元)、向量(Vector 单元)、矩阵(Cube 单元)三类,适配不同粒度的计算场景

2、数据搬运 API:以DataCopy为核心,实现Global Memory与Local Memory间的数据迁移

3、内存管理 API:通过AllocTensor/FreeTensor管理内存生命周期

4、任务同步 API:通过EnQue/DeQue实现任务间通信
高层 API:上层算法的高效封装
高层 API 封装了 Matmul、Softmax 等常用算法逻辑,借助 “对象化封装 + 流程化调用” 模式,将复杂算法逻辑转化为简洁的 API 调用,既减少了重复开发工作,又大幅提升了开发效率

基于 Kernel 直调工程的算子开发

核函数定义
用 global__ __aicore 限定符定义设备侧入口,调用算子类的初始化与处理函数
算子类实现
通过CopyIn(数据从 Global 搬入 Local)、Compute(向量加法)、CopyOut(结果搬出至 Global)三个流水任务实现逻辑,结合Queue做任务同步、Pipe做内存管理
init实现
KernelAdd 类的 Init 方法主要做两件事:通过 block_idx 给当前 AI Core 划分全局内存数据,把 xGM、yGM、zGM 绑定到当前核心的处理区域,实现多核并行;用 pipe 初始化输入输出队列的双缓冲内存,按 TILE_LENGTH 分配内存块,队列深度设为 BUFFER_NUM,支撑流水线并行
Process() 实现
KernelAdd 类的 Process () 方法通过循环调度 CopyIn、Compute、CopyOut 三个阶段,结合双缓冲实现流水线并行

流程中,CopyIn 将全局内存数据搬入本地并通过队列同步,Compute 执行向量加法并将结果入队,CopyOut 将结果搬回全局内存,借助双缓冲和流水线机制让数据搬运与计算并行,提升昇腾 AI Core 的 Vector 单元利用率
ddCustom算子的主机侧 main.cpp
CPU 模式逻辑(用于算法逻辑快速验证,不依赖昇腾硬件,直接在 CPU 上执行计算)NPU 模式主机侧逻辑(用于在昇腾 NPU 硬件上执行算子,充分利用硬件加速能力)
数据生成脚本gen_data.py
基于 NumPy 编写,用于生成 AddCustom 算子的输入数据和真值数据,为算子的功能验证提供标准化的输入与预期结果参考

实现逻辑:生成两个形状为(8, 2048)的 float16 随机输入数据input_x 和 input_y(数值范围 1-100)计算加法算子的真值数据 golden(即 input_x + input_y)将输入数据和真值数据以二进制格式分别保存到指定路径,供后续算子调用、验证时使用

用途

为 AddCustom 算子的开发、调试和测试提供一致的输入源与真值基准,确保算子计算结果的准确性
简单工程执行
在这里插入图片描述
Ascend C 算子的简易工程执行方式:将编译和执行命令封装到run.sh脚本中,可通过不同参数实现 CPU 和 NPU 模式下的算子运行调试CPU 模式:执行 bash run.sh -v Ascend910x -r cpu ,通过 md5 校验 output_z.bin 与 golden.bin 一致性验证执行成功;架构依赖 Host APP、CPU 调用库、算子 kernel 程序和 AscendC 类库NPU 模式:执行 bash run.sh -v Ascend910x -r npu,通过 md5 校验验证编译、执行成功;架构依赖 Host APP、AscendCL API 库及设备侧算子 kernel 程序、AscendC 类库,实现主机 - 设备交互与功能验证

Read more

解锁AIGC新时代:通义万相2.1与蓝耘智算平台的完美结合引领AI内容生成革命

解锁AIGC新时代:通义万相2.1与蓝耘智算平台的完美结合引领AI内容生成革命

前言 通义万相2.1作为一个开源的视频生成AI模型,在发布当天便荣登了VBench排行榜的榜首,超越了Sora和Runway等业内巨头,展现出惊人的潜力。模型不仅能够生成1080P分辨率的视频,而且没有时长限制,能够模拟自然动作,甚至还可以还原物理规律,这在AIGC领域中简直堪称革命性突破。通过蓝耘智算平台,我们能够轻松部署这个模型,创建属于自己的AI视频生成工具。今天,我将为大家深入探讨通义万相2.1的强大功能,并分享如何利用蓝耘智算平台快速入门。 蓝耘智算平台 1. 平台概述 蓝耘智算平台是一个为高性能计算需求设计的云计算平台,提供强大的计算能力与灵活服务。平台基于领先的基础设施和大规模GPU算力,采用现代化的Kubernetes架构,专为大规模GPU加速工作负载而设计,满足用户多样化的需求。 2. 核心优势 * 硬件层: 蓝耘智算平台支持多型号GPU,包括NVIDIA A100、V100、H100等高性能显卡,能够通过高速网络实现多机多卡并行计算,突破单机算力瓶颈。 * 软件层: 集成Kubernetes与Docker技术,便于任务迁移与隔离;支持PyTo

AI小说创作终极指南:从零开始掌握智能写作全流程

AI小说创作终极指南:从零开始掌握智能写作全流程 【免费下载链接】AI_NovelGenerator使用ai生成多章节的长篇小说,自动衔接上下文、伏笔 项目地址: https://gitcode.com/GitHub_Trending/ai/AI_NovelGenerator 你是否曾经被长篇小说的创作难度所困扰?人物角色设定复杂、情节发展难以掌控、前后逻辑容易矛盾...这些让无数创作者头疼的问题,现在有了全新的解决方案。AI_NovelGenerator作为一款革命性的智能写作工具,将带你进入一个全新的创作时代。 创作困境与智能破局 传统小说创作中,最令人痛苦的不是缺乏创意,而是如何在漫长的创作周期中保持故事的一致性。想象一下:你精心设计了主角的性格特征,却在第50章忘记了他有恐高症;你埋下了精妙的伏笔,却在后续章节中忘记回收... 这些问题在AI_NovelGenerator面前都将迎刃而解。通过先进的向量检索技术和状态追踪机制,系统能够实时监控整个故事的创作过程,确保每个细节都符合预设的逻辑框架。 核心技术原理揭秘 智能状态管理系统 项目通过novel_gene

【人工智能】异构算力重构AIGC | 蓝耘智算平台部署通义万相2.1文生图技术全解析

【人工智能】异构算力重构AIGC | 蓝耘智算平台部署通义万相2.1文生图技术全解析

📝个人主页🌹:Eternity._ 🌹🌹期待您的关注 🌹🌹 ❀ 蓝耘智算平台 * 通义万相2.1文生图 * 优势 * 模型效果对比 * 蓝耘智算平台 * 登陆注册 * 蓝耘:通义万相2.1文生图的配置部署 * 使用实例 * 总结 前言:在人工智能(AI)技术日新月异的今天,AIGC(生成式人工智能内容生成)作为新兴领域,正以前所未有的速度改变着内容创作的格局。随着数据规模、算法复杂度的不断攀升,算力需求也呈现出爆发式增长的趋势。在这一背景下,异构算力作为提升算力效率与灵活性的关键手段,正逐渐成为推动AIGC技术发展的核心驱动力。 在AIGC技术指数级进化的浪潮下,文生图模型的参数量已突破千亿级门槛,据Stability AI最新报告显示,单次1080P图像生成的算力消耗较两年前激增320%,传统同构计算架构面临显存墙、能耗比失衡、硬件利用率不足等多重挑战。蓝耘智算平台通过革命性的异构算力重构方案,成功部署通义万相2.1这一业界领先的文生图大模型,开创了"算法-算力-场景"三位一体的AIGC工业化新范式。 蓝耘智算平台

学生党申请github教育优惠到获取github-copilot pro一条龙教程

学生党申请github教育优惠到获取github-copilot pro一条龙教程

25年9月最新 申请GitHub教育优惠 到 获取GitHub co-pilot pro 一条龙教程(需要自备edu教育邮箱) 2025.9.4 博主亲测有效,可申请到两年教育优惠,无论您是否为在校学生,只要有一个可用的教育邮箱即可申请 by ZEEKLOG:Rem丶昕 注意:本教程的所有填写全部用英文! 一、前期准备 1. 需要自备自己学校的 edu 教育邮箱,例如博主的教育邮箱格式为 [email protected],准备的 edu 邮箱得搜索到对应的学校 2. 想申请教育邮箱的GitHub账号不能是新号,至少注册时间3天以上 二、绑定 edu 教育邮箱 2.1 在GitHub设置中添加自己的教育邮箱 登录 GitHub,点击右上方头像,在下拉列表中选 Settings