昇腾设备部署llama.cpp

硬件环境:

Atlas 800I A2

CPU:KunPeng920 * 192

NPU:Atlas 910B4-1 * 8

内存:1000G

软件环境

操作系统:OpenEuler22.03 LTS

内核:5.10.0-186.0.0.2.1.oe2203sp3.galaxy.aarch64

驱动:24.1.rc2

docker:26.1.3

为了不影响物理环境,安装是在docker容器环境中进行,

由于目前llama.cpp只支持openeuler22.03和ubuntu 22.04,可以下载一个对应操作系统的镜像

此处以vllm-ascend:0.9.1rc1-torch_npu2.5.1-cann8.1.rc1-python3.10-oe2203lts-linuxarm64镜像为例

拉取镜像:

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/openeuler/vllm-ascend:0.9.1rc1-torch_npu2.5.1-cann8.1.rc1-python3.10-oe2203lts-linuxarm64

支持Atlas 300I Duo Atlas 300T A2(Ascend 910B4)

起容器:

docker run -it -d --net=host --shm-size=500g \ --privileged \ --name vllm-ascend \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/

Read more

企微群机器人发markdown消息支持表格

企微群机器人发markdown消息支持表格

结论 1.V1接口可以圈人,但是无法正确展示表格的markdown语法 2.V2接口可以展示表格的markdown语法,但是无法圈人 3.企微消息有长度限制 前言 今天是日本投降日,写篇技术文档。 企业微信机器人发markdown表格信息+如何艾特人 企微机器人发消息通知,目标是生成数据对比表格,然后艾特到具体的人来跟进事物的变化 1、成果收益 发表格数据,圈人 2、背景 目前机器人通知的内容太单调了,无法满足告警提醒的作用,需要罗列表格进行对比,需要艾特到具体人 3、解决方案 如何支持markdown表格类型 1.企业微信从4.1.38开始支持markdown表格的语法了。可以参看官方文档4.1.38版本新功能介绍 所以企业客户端要升级 2.我们历史使用的是msgtype:markdown,这个还是不支持的 { "msgtype": "markdown", "markdown&

NIC400生成Flow全解析(八)Micro Architechture

当所有配置完成后,就可以生成Micro Architechture了。在Micro Architechture中也会进行一系列配置。比如微架构、timing closure、buffering等配置。 生成Micro Architechture的方法如下: 生成时需要解决掉所有报错问题后,即可打开Micro Architechture。打开方式如下: 大致界面如下: 其中主要包含了如下元素: * Micro Architechture窗口 * Parameter/Timing Closure/Buffering窗口 * Overlays窗口 1.Micro Architechture窗口 该窗口主要是设定需要的互联微架构,AMBA Designer生成NIC-400时需要手动定义,Socrates生成NIC-400时会根据工具内部算法生成一个微架构。生成后也可以根据自己的需求进行调整。图中的各种标志如下所示: Micro Architechture的左边有一排按键,11个按键的含义从上到下依次为: * Zoom in:视图放大 * Zoom o

港大用AI视频生成技术让机器人拥有“透视眼“:首次实现超视野导航

港大用AI视频生成技术让机器人拥有“透视眼“:首次实现超视野导航

这项由香港大学研究团队主导的突破性研究于2026年2月发表在计算机视觉顶级期刊上,论文编号为arXiv:2602.05827v1。该研究首次将视频生成技术引入机器人导航领域,让机器人能够在看不见目标的情况下成功找到目的地,这在夜晚等复杂环境中表现尤为出色。 想象一下,当你在一个陌生的购物中心寻找洗手间时,即使看不到目标,你也能凭借经验和常识大概推断出它可能在哪个方向。现在,香港大学的研究团队成功让机器人也具备了这种"透视"能力。他们开发的SparseVideoNav系统,能让机器人仅凭简单的指令,就能在完全陌生的环境中找到远处看不见的目标。 传统的机器人导航就像让一个近视眼的人在没有眼镜的情况下找路,它们只能依靠当前看到的景象做决定,结果经常在死胡同里打转,或者在看不清远处目标时原地打圈。更麻烦的是,现有的机器人需要非常详细的步骤指令,比如"向前走三步,然后左转,再走两步,然后右转找到红色的椅子"。这种方式在实际生活中显然不现实,因为人类更习惯给出简单的指令,比如"去找个椅子坐下"。 研究团队发现,问题的根源在于现有的机器人"目光短浅"。它们在学习时只能看到未来4到8步的情况,

FPGA开发常用软件盘点:Vivado、Quartus、ModelSim全面对比

FPGA开发常用软件盘点:Vivado、Quartus、ModelSim全面对比

在FPGA开发过程中,EDA工具(Electronic Design Automation) 是工程师的生产力核心。不同厂商的FPGA芯片通常配套不同的开发工具,但在项目实践中,很多工程师往往会接触多种EDA软件。 本文将带你系统梳理三款FPGA开发中最常用的软件:Vivado、Quartus、ModelSim,从功能、适用场景、优缺点等多个维度进行全面对比,助你快速入门并合理选择。 一、Vivado —— Xilinx官方旗舰开发平台 1. 基本简介 Vivado是Xilinx(现为AMD)推出的综合性FPGA开发环境,主要面向7系列、UltraScale、Versal等高端FPGA器件。 它集成了综合、布局布线、时序分析、仿真、硬件调试等完整流程,是Xilinx FPGA开发的首选工具。 2. 核心功能 * RTL综合与实现:支持Verilog、VHDL和SystemVerilog,自动进行逻辑优化与布局布线。 * IP Integrator:可视化模块连接工具,适合SoC级设计。 * 仿真与调试:内置Vivado Simulator,也可外接ModelSim进行