MS-S1 MAX,AI MAX 395在Ubuntu24利用Vulkan版llama.cpp运行gpt-oss 120b

MS-S1 MAX,AI MAX 395在Ubuntu24利用Vulkan版llama.cpp运行gpt-oss 120b

1、安装amd gpu驱动和Rocm

wget https://repo.radeon.com/amdgpu-install/7.1.1/ubuntu/noble/amdgpu-install_7.1.1.70101-1_all.deb sudo apt install ./amdgpu-install_7.1.1.70101-1_all.deb sudo apt update sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)" sudo apt install amdgpu-dkms sudo apt install python3-setuptools python3-wheel sudo usermod -a -G render,video $LOGNAME sudo apt install rocm 

参考官网

2、通过GTT解锁96G显存

1、进入bios->setup->advanced->NBIO common options->GFX configuration->UMA Frame buffer size改显存
2、修改grub

vim /etc/default/grub #设置保存 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amd_iommu=off ttm.pages_limit=27648000 ttm.page_pool_size=27648000 amdttm.pages_limit=27648000 amdttm.page_pool_size=27648000 apparmor=0" update-grub 

重启生效
参考b站大佬

3、安装vulkan

sudo apt install vulkan-tools 

4、下载llama.cpp release,硬要自己编译也可以

下载页

wget https://github.com/ggml-org/llama.cpp/releases/download/b7503/llama-b7503-bin-ubuntu-vulkan-x64.tar.gz #进入目录 #去https://hf-mirror.com/ggml-org/collections中找自己想要部署的模型,里边有运行命令 ./llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 --jinja #文件下载到~/.cache/llama.cpp/目录中 

5、安装amdgpu_top

sudo dpkg -i amdgpu-top_0.11.0-1_amd64.deb sudo amdgpu_top 

6、最终效果

如果你的token速度只有二十几,那就是纯cpu算的没跑了

在这里插入图片描述


amdgpu_top验证

在这里插入图片描述


注意,如果你要用其他电脑访问,需要增加参数–host 0.0.0.0,具体参考文档

Read more

零基础快速入门前端蓝桥杯 Web 备考:AJAX 与 XMLHttpRequest 核心知识点及实战(可用于备赛蓝桥杯Web应用开发)

零基础快速入门前端蓝桥杯 Web 备考:AJAX 与 XMLHttpRequest 核心知识点及实战(可用于备赛蓝桥杯Web应用开发)

在 Web 开发中,AJAX(Asynchronous JavaScript and XML) 是实现页面异步数据交互的核心技术,也是蓝桥杯 Web 应用开发赛道的高频必考点。本文将结合一段购物车实战代码,深入拆解 XMLHttpRequest、AJAX 请求流程、JSON 解析及 DOM 动态渲染等核心知识点,并通过表格汇总 + 代码实例的形式,帮助你高效备考。 一、XMLHttpRequest 对象基础 XMLHttpRequest 是 AJAX 的核心对象,用于在浏览器与服务器之间异步传输数据。代码中通过 const ajax = new XMLHttpRequest(); 创建了该对象,下面详解其核心方法与属性。 核心知识点 * 创建对象:通过 new XMLHttpRequest() 初始化请求实例。 * open(method, url):配置请求方法(如

【AI深究】支持向量机(SVM, Support Vector Machine)全网最详细全流程详解与案例(附Python代码演示)|SVM、SVR|分类、回归任务流程|优、缺点|例子案例及数据演示

【AI深究】支持向量机(SVM, Support Vector Machine)全网最详细全流程详解与案例(附Python代码演示)|SVM、SVR|分类、回归任务流程|优、缺点|例子案例及数据演示

大家好,我是爱酱。继前几篇系统讲解了集成方法、GMM、DBSCAN等主流算法,这一篇我们来聊聊机器学习中极为经典且实用的模型——支持向量机(SVM)。SVM不仅能做分类,还能做回归、异常检测等任务。本文将围绕SVM的核心原理、数学公式、不同用途(分类/回归)、常见核函数、实际案例与代码实现等,详细分步骤讲解,便于你直接用于技术文档和学习。 注:本文章含大量数学算式、详细例子说明及代码演示,大量干货,建议先收藏再慢慢观看理解。新频道发展不易,你们的每个赞、收藏跟转发都是我继续分享的动力! 一、SVM简介与应用场景 支持向量机(SVM)是一种基于统计学习理论的监督学习模型,最初用于二分类问题,但已广泛应用于多分类、回归、异常检测等场景。其核心思想是:在特征空间中寻找一个最优超平面,将不同类别的样本分开,并最大化类别间的间隔(margin)。 典型应用 * 文本/垃圾邮件分类 * 图像识别与人脸检测 * 基因/蛋白质分类、生物信息学 * 手写数字识别

AI 龙虾第一天就给我写了个程序,还会定时爬数据

AI 龙虾第一天就给我写了个程序,还会定时爬数据

大家好,我是极客老墨。 经过昨天的艰难跋涉(详见上篇),OpenClaw 终于在 Windows 上跑起来了。第一天使用下来,说实话,这玩意儿比我想象的能干。 让它帮我写代码:经典贪吃蛇游戏 作为技术控,第一个尝试必须是代码!我还是让 小墨(我的AI助理) 帮我写一个经典的贪吃蛇网页游戏。 我直接告诉他:“小墨,帮我写一个贪吃蛇的网页游戏,最后文件直接发给我”。结果他没反应,后来才知道,原来他正卖力的写代码去了,顾不上理我,因为现在数据还没有能力流式返回,必须等他写完了给我我才知道(晚上的「飞书龙虾会直播」我看了,已经有流式返回数据的插件了,后边研究了再来讲) 写完之后,他并没有直接给我文件,而是问我怎么给我这个文件。这里应该是我的提示词没优化好,第一次配合,有点翻车。 再次确认让他发给我,这次就对了。打开游戏一看——界面还不错,完成度100%。就是速度太快了,我玩了几次才适应过来。 第二个任务:自动搜索小红书爆款文案 我的想法很简单:

【AI视频】从单模型,到AI Agent工作流

【AI视频】从单模型,到AI Agent工作流

不用手搓AI视频工作流了,试试CrePal的Agent模式 * 写在最前面 * 技术人的“AI创作”痛点:我们到底在烦什么? * Agent工作流实战:一次“小猫做饭”的自动化项目管理 * 从执行到交付:Agent的全程托管 * 亮点:Agent如何实现精细化控制与高效迭代? * 模板,但不止于模板:可复用的“预设工作流” * 总结:CrePal为技术创作者带来了什么? 🌈你好呀!我是 是Yu欸🚀 感谢你的陪伴与支持~ 欢迎添加文末好友🌌 在所有感兴趣的领域扩展知识,不定期掉落福利资讯(*^▽^*) 写在最前面 版权声明:本文为原创,遵循 CC 4.0 BY-SA 协议。转载请注明出处。 最近,Sora2、KLING这些模型无疑是技术圈的焦点。 但作为AI视频的兴趣开发者,我看到这些强大的模型时,除了兴奋,脑子里第一个冒出的问题是:“API要怎么接?工作流要怎么搭?角色一致性要怎么保证?” 对于我们技术人来说,一个AI模型的强大与否是一回事,