MS-S1 MAX，AI MAX 395在Ubuntu24利用Vulkan版llama.cpp运行gpt-oss 120b

优质文章学习记录

— 2 min read
MS-S1 MAX，AI MAX 395在Ubuntu24利用Vulkan版llama.cpp运行gpt-oss 120b

1、安装amd gpu驱动和Rocm

wget https://repo.radeon.com/amdgpu-install/7.1.1/ubuntu/noble/amdgpu-install_7.1.1.70101-1_all.deb sudo apt install ./amdgpu-install_7.1.1.70101-1_all.deb sudo apt update sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)" sudo apt install amdgpu-dkms sudo apt install python3-setuptools python3-wheel sudo usermod -a -G render,video $LOGNAME sudo apt install rocm

参考官网

2、通过GTT解锁96G显存

1、进入bios->setup->advanced->NBIO common options->GFX configuration->UMA Frame buffer size改显存
2、修改grub

vim /etc/default/grub #设置保存 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash amd_iommu=off ttm.pages_limit=27648000 ttm.page_pool_size=27648000 amdttm.pages_limit=27648000 amdttm.page_pool_size=27648000 apparmor=0" update-grub

重启生效
参考b站大佬

3、安装vulkan

sudo apt install vulkan-tools

4、下载llama.cpp release，硬要自己编译也可以

下载页

wget https://github.com/ggml-org/llama.cpp/releases/download/b7503/llama-b7503-bin-ubuntu-vulkan-x64.tar.gz #进入目录 #去https://hf-mirror.com/ggml-org/collections中找自己想要部署的模型，里边有运行命令 ./llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 --jinja #文件下载到~/.cache/llama.cpp/目录中

5、安装amdgpu_top

sudo dpkg -i amdgpu-top_0.11.0-1_amd64.deb sudo amdgpu_top

6、最终效果

如果你的token速度只有二十几，那就是纯cpu算的没跑了

在这里插入图片描述


amdgpu_top验证

在这里插入图片描述


注意，如果你要用其他电脑访问，需要增加参数–host 0.0.0.0，具体参考文档

Read more

Solarized for Notepad++：打造Windows平台舒适编程体验的终极色彩方案

Solarized for Notepad++：打造Windows平台舒适编程体验的终极色彩方案 【免费下载链接】solarizedprecision color scheme for multiple applications (terminal, vim, etc.) with both dark/light modes 项目地址: https://gitcode.com/gh_mirrors/so/solarized Solarized是一款备受赞誉的精准色彩方案，专为多种应用程序（包括终端、Vim等）设计，同时支持深色和浅色模式。本文将详细介绍如何在Windows平台的Notepad++中实现这一广受好评的色彩方案，让你的代码编辑体验更上一层楼。 为什么选择Solarized色彩方案？ Solarized色彩方案由Ethan Schoonover精心设计，以其卓越的可读性和视觉舒适度而闻名。它采用了科学的配色原理，确保长时间使用也不会导致眼睛疲劳。无论是在明亮的白天还是昏暗的夜晚，Solarized都能提供一致且舒适的视觉体验。 Solarized色彩方案展示

AIGC Bar中的API站最新使用全指南

目录 总览：这篇“全指南”到底解决什么问题 站点定位：它不是“某一个模型”，而是“模型入口的兼容层” 中转/聚合的本质：你买的是“稳定接入体验”，不是“换皮接口” “OpenAI 兼容”的意义：把迁移成本压到改两三个配置项 计费心智：常见是“原价计费 + 充值折扣”或“统一账单” 从零开始：注册、控制台、令牌、分组这四件事要一次做对 账号体系：你真正要找到的是“控制台”和“令牌管理”这两个入口 令牌不是“账号密码”，而是“可撤销、可隔离、可审计”的工程凭据 分组是该站的“路由开关”：选错分组，表现像是“明明有钱却用不了” 一张表把“
RTX 4070本地部署Stable Diffusion保姆级教程：从环境搭建到4K写实人像实战

RTX 4070本地部署Stable Diffusion保姆级教程：从环境搭建到4K写实人像实战

前言 最近换了一台 RTX 4070 (8G显存) 的笔记本，想着算力不能浪费，就折腾了一下本地部署 AI 绘画（Stable Diffusion）。 网上很多教程要么太老，要么就是让你装 Python、配 Git，环境报错能劝退 90% 的人。其实现在早就有“一键启动”的整合包了。 这篇文章不讲虚的理论，只记录我跑通的这套最稳的工作流。如果你也是 N 卡用户（推荐 3060 以上），照着做，半小时内就能画出超写实的 4K 美女图。 上效果 为了方便大家，我把文中用到的“启动器整合包”和“核心模型”都打包好了，链接放在文末，需要的自取。 一、 准备工作 1. 硬件要求 * 显卡： 最好是
机器人必备知识——关于李群、李代数的理解

机器人必备知识——关于李群、李代数的理解

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 前言 一、问题提出 1.1 位姿的表述 1.2 矩阵求导的问题 二、李群 2.1 群数学定义 2.2 李群和李代数的数学定义 2.3 欧拉公式 三、李群在机器人中的应用 3.1 SO(3)特殊正交群 3.2 SE(3)特殊欧氏群 总结 前言 在对机器人技术的学习过程中，我们经常会听到“旋量”、“四元数”、“李群”、“李代数”等一些听起来高大上的词汇。首先得认识到，这些词汇都是实用的而非像“神经元”、“类脑”