LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

快速上手视觉语言模型,GLM-4.6V-Flash-WEB太友好了

快速上手视觉语言模型,GLM-4.6V-Flash-WEB太友好了 你有没有试过:上传一张截图,问它“这个报错是什么意思”,三秒内就得到清晰解释?或者拖进一张产品图,直接让它写一段小红书风格的种草文案?不是靠人工翻文档、查资料,而是模型自己“看懂图+说人话”。 GLM-4.6V-Flash-WEB 就是这样一个能真正“睁眼看世界”的视觉语言模型——它不烧显卡、不用配环境、点开网页就能用。部署不用折腾 Dockerfile,推理不用写 API 调用,连 Jupyter 都给你预装好了。更关键的是,它不是 Demo 级玩具:中文理解扎实、响应快、支持多轮图文对话,而且所有代码、权重、界面全开源。 这篇文章不讲 ViT 是什么、不推公式、不列参数量。我们就从你打开终端那一刻开始,一步步跑通整个流程:下载、启动、

Qwen3-VL-WEBUI容灾备份:模型服务高可用部署

Qwen3-VL-WEBUI容灾备份:模型服务高可用部署 1. 引言:为何需要高可用的Qwen3-VL-WEBUI部署? 随着多模态大模型在智能客服、自动化办公、视觉代理等场景中的广泛应用,模型服务的稳定性与连续性已成为生产环境的核心诉求。Qwen3-VL-WEBUI作为阿里开源的视觉-语言交互平台,内置 Qwen3-VL-4B-Instruct 模型,支持图像理解、视频分析、GUI操作、代码生成等复杂任务,其服务中断将直接影响业务流程。 然而,单节点部署存在硬件故障、网络波动、资源耗尽等风险。因此,构建一套具备容灾备份能力的高可用部署方案,不仅是技术进阶的体现,更是保障用户体验和系统鲁棒性的关键举措。 本文将围绕 Qwen3-VL-WEBUI 的实际部署需求,深入探讨如何通过主备切换、负载均衡、持久化存储与健康检查机制,实现模型服务的高可用架构设计与工程落地。 2. Qwen3-VL-WEBUI 核心特性与部署挑战 2.1 Qwen3-VL-WEBUI 简介 Qwen3-VL —— 迄今为止 Qwen 系列中最强大的视觉-语言模型。该版本在多个维度实现了全面升级:

第十六届极客大挑战 web 复现

跟着大佬的文章复现 第十六届极客大挑战 web题型WP | CN-SEC 中文网 第16届极客大挑战-web - J_0k3r 可能还需要做的,学习sql注入脚本咋写的,phar深入理解 Expression 描述:这个程序员偷懒直接复制粘贴网上的代码连 JWT 密钥都不改..? 直接那jwt用爆破一下,发现是secret 但是没东西,发现显示用户名,可能有ssti,emm 从图中可以看到,该项目使用了 Node.js + Express 框架,而 EJS 是 Express 最常用的模板引擎之一(Express 默认支持 EJS) 第一次接触这个模板。 Ejs简介: EJS是一个javascript模板库,用来从json数据中生成HTML字符串 * 功能:缓存功能,能够缓存好的HTML模板; * <% code %>用来执行javascript代码 基础用法: 标签:

在 IntelliJ IDEA 中创建一个包含 JSP 和 Servlet6.0 的 Maven Web 项目,并配置 Tomcat 进行调试

前提条件: 配置Maven 在设置中,选择自己下载的Maven文件.并配置上. maven下载和设置可以参考https://chxii.blog.ZEEKLOG.net/article/details/148175538?spm=1011.2415.3001.5331 第一步:创建 Maven Web 项目 1. 打开 IntelliJ IDEA → File → New → Project 2. 选择 Maven(左侧) 3. 勾选 Create from archetype 4. 在 archetype 列表中选择: * maven-archetype-webapp(这是标准的 Java Web 项目模板) 5. 点击