MS-S1 MAX,AI MAX 395在Ubuntu24利用Vulkan版llama.cpp运行gpt-oss 120b

MS-S1 MAX,AI MAX 395在Ubuntu24利用Vulkan版llama.cpp运行gpt-oss 120b

1、安装amd gpu驱动和Rocm

wget https://repo.radeon.com/amdgpu-install/7.1.1/ubuntu/noble/amdgpu-install_7.1.1.70101-1_all.deb sudo apt install ./amdgpu-install_7.1.1.70101-1_all.deb sudo apt update sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)" sudo apt install amdgpu-dkms sudo apt install python3-setuptools python3-wheel sudo usermod -a -G render,video $LOGNAME sudo apt install rocm 

参考官网

2、通过GTT解锁96G显存

1、进入bios->setup->advanced->NBIO common options->GFX configuration->UMA Frame buffer size改显存
2、修改grub

vim /etc/default/grub #设置保存 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amd_iommu=off ttm.pages_limit=27648000 ttm.page_pool_size=27648000 amdttm.pages_limit=27648000 amdttm.page_pool_size=27648000 apparmor=0" update-grub 

重启生效
参考b站大佬

3、安装vulkan

sudo apt install vulkan-tools 

4、下载llama.cpp release,硬要自己编译也可以

下载页

wget https://github.com/ggml-org/llama.cpp/releases/download/b7503/llama-b7503-bin-ubuntu-vulkan-x64.tar.gz #进入目录 #去https://hf-mirror.com/ggml-org/collections中找自己想要部署的模型,里边有运行命令 ./llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 --jinja #文件下载到~/.cache/llama.cpp/目录中 

5、安装amdgpu_top

sudo dpkg -i amdgpu-top_0.11.0-1_amd64.deb sudo amdgpu_top 

6、最终效果

如果你的token速度只有二十几,那就是纯cpu算的没跑了

在这里插入图片描述


amdgpu_top验证

在这里插入图片描述


注意,如果你要用其他电脑访问,需要增加参数–host 0.0.0.0,具体参考文档

Read more

Flutter 组件 injectfy 适配鸿蒙 HarmonyOS 实战:逻辑注入矩阵,构建跨模块解耦与动态依赖管理架构

Flutter 组件 injectfy 适配鸿蒙 HarmonyOS 实战:逻辑注入矩阵,构建跨模块解耦与动态依赖管理架构

欢迎加入开源鸿蒙跨平台社区:https://openharmonycrossplatform.ZEEKLOG.net Flutter 组件 injectfy 适配鸿蒙 HarmonyOS 实战:逻辑注入矩阵,构建跨模块解耦与动态依赖管理架构 前言 在鸿蒙(OpenHarmony)生态迈向超大规模应用拆分、涉及数百个独立 Feature 模块与底层硬件服务深度解耦的背景下,如何实现灵活的“控制反转(IoC)”与“依赖注入(DI)”,已成为决定应用架构可维护性的“生命线”。在鸿蒙设备这类强调模块化挂载与 HAP/HSP 动态分发的环境下,如果应用内部的组件实例依然采用强耦合的硬编码初始化,由于由于各模块间复杂的循环依赖,极易由于由于初始化顺序错乱导致应用在流转拉起时的崩溃。 我们需要一种能够实现零成本解耦、支持单例(Singleton)与工厂(Factory)模式且具备极简注册语义的依赖注入框架。 injectfy 为 Flutter 开发者引入了轻量级的对象容器管理方案。它不仅支持对底层 Service 的全局托管,更提供了灵活的注入探测机制。在适配到鸿蒙

By Ne0inhk
HarmonyOS 5.0 PC应用开发实战:构建跨设备协同的桌面生产力工具

HarmonyOS 5.0 PC应用开发实战:构建跨设备协同的桌面生产力工具

文章目录 * 每日一句正能量 * 前言 * 一、HarmonyOS PC应用开发背景与机遇 * 1.1 生态发展现状 * 1.2 技术架构特点 * 二、实战项目:跨设备Markdown编辑器 * 2.1 项目需求分析 * 2.2 技术选型 * 三、核心代码实现 * 3.1 工程架构搭建 * 3.2 PC端响应式布局 * 3.3 分布式数据同步实现 * 3.4 PC端多窗口管理 * 3.5 键盘快捷键系统 * 四、跨设备协同场景实战 * 4.1 手机拍照插入PC文档 * 4.2 平板手绘同步到PC * 五、性能优化与最佳实践 * 5.1

By Ne0inhk
MecAgent Copilot:机械设计师的AI助手,开启“氛围建模”新时代

MecAgent Copilot:机械设计师的AI助手,开启“氛围建模”新时代

MecAgent Copilot作为机械设计师的AI助手,正通过多项核心技术推动机械设计进入“氛围建模”新时代。以下从功能特性、技术支撑和应用场景三方面解析其创新价值: 一、核心功能特性 1. 智能草图生成与参数化建模 * 支持自然语言输入生成设计草图和3D模型,如输入“剖面透视的传动箱体,模块化透明结构,渐变配色”即可自动生成多视角方案。 * 内置参数化设计引擎,用户修改关键尺寸(如轴承孔径公差±0.02mm)后,系统自动更新关联特征并校验装配关系。 2. 多模态交互与氛围渲染 * 融合文本、语音和图像输入,例如上传参考图后,AI自动提取设计元素生成风格匹配的渲染效果。 * 独创“氛围建模”功能,一键实现材质质感(如喷砂阳极氧化铝)、光影效果(如广角畸变)和场景适配(如工业环境背景),支持VR/AR实时预览。 3. 规范自动化与设计验证 * 集成GB/T标准库,自动标注尺寸公差(如基孔制H7级销孔配合)、形位公差(平面度≤0.

By Ne0inhk
【AIGC】内容创作——AI文字、图像、音频和视频的创作流程

【AIGC】内容创作——AI文字、图像、音频和视频的创作流程

我的主页:2的n次方_       近年来,生成式人工智能(AIGC,Artificial Intelligence Generated Content)技术迅速发展,彻底改变了内容创作的各个领域。无论是文字、图像、音频,还是视频,AI都在推动着创作流程的颠覆性变革。本文将详细介绍AIGC在内容创作中的应用,并分析其背后的技术及对未来的影响。 1. 什么是AIGC? AIGC,即人工智能生成内容,是指通过机器学习模型生成各种形式的内容。与传统的人工创作不同,AIGC可以通过对大量数据的分析与学习,自动生成文字、图像、音频、视频等多种形式的内容。 AIGC的核心技术依赖于深度学习模型,如生成对抗网络(GANs)、自回归模型(如GPT)、自动编码器(VAE),以及多模态AI模型。它们能够理解和模仿不同数据模式,生成高质量的原创内容。 2. AIGC文字创作 2.1 自然语言生成(NLG) AIGC的最大突破之一是自然语言生成(NLG),如OpenAI的GPT模型系列,它们通过训练大规模语言模型,生成流畅的文章、

By Ne0inhk