LLaMA-Factory安装教程(详细版)

LLaMA-Factory安装教程(详细版)

本机显卡双3090

使用wsl中ubuntu

torch==2.6.0

conda==24.5.0

cuda==12.4

python==3.12.4(python安装不做赘述,有需要我会另开一篇文章)

一、准备工作

首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA。

保证当前 Linux 版本支持CUDA. 在命令行中输入 

 uname -m && cat /etc/*release

输出如下,不一定完全一样,类似即可

检查是否安装了 gcc . 在命令行中输入 gcc --version ,应当看到类似的输出

二、pytorch和cuda安装

使用官网版本2.6.0   官网链接:Previous PyTorch Versions   箭头一栏可以看到历史版本

根据其指令安装对应版本

# ROCM 6.1 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.1 # ROCM 6.2.4 (Linux only) pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/rocm6.2.4 # CUDA 11.8 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu118 # CUDA 12.4 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124 # CUDA 12.6 pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu126 # CPU only pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cpu

三、校检torch和cuda版本

安装完查看自己的torch版本

conda list

cuda版本则需要进入python

import torch print(torch.version.cuda)

四、LLaMA-Factory 安装

运行以下指令以安装 LLaMA-Factory 及其依赖:

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

五、LLaMA-Factory 校验

完成安装后,可以通过使用以下命令。

llamafactory-cli version

如果您能成功看到类似下面的界面,就说明安装成功了。

六、LLaMA-Factory 网页版

LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,通过以下指令进入 WebUI:

llamafactory-cli webui

其中 http://127.0.0.1:7860就是你的可视化网址。

注:该网址只限于本机使用,如需联网多人服务器使用则需使用内网穿透。

ps.需要更详细的LLaMA-Factory参数详解,请点击关注催更留言,觉得内容不错留个赞再走吧,您的认可就是我更新的动力。

Read more

【论文阅读】ColorFlow: Retrieval-Augmented Image Sequence Colorization

【论文阅读】ColorFlow: Retrieval-Augmented Image Sequence Colorization

基于检索增强的漫画/图片序列上色任务。 intro 现有问题:不是把一张黑白图随便上色,而是要在同一角色跨多张分镜/多帧时,尽量保持发色、衣服配色等“身份颜色(ID color)”一致,而且还要让操作流程“像工具”一样好用:不需要为每个角色单独 finetune,也不强行抽取显式的 ID embedding。论文把整个方案拆成三个阶段:RAP(检索增强)、ICP(in-context 扩散上色)、GSRP(引导式超分复原)。 任务设定:Reference-based Image Sequence Colorization * 输入:一张待上色的黑白图(来自漫画/分镜序列中的某一帧)+ 一个“参考图池”(同章节或同序列里若干张已经有颜色的图)。 * 输出:一张彩色结果,要求在序列层面尽量保持角色/物体的颜色身份一致(例如同一角色的头发颜色在多帧一致)。 * 关键难点:参考池里信息多、分镜构图变化大、同角色会变形/

OpenClaw之Memory配置成本地模式,Ubuntu+CUDA+cuDNN+llama.cpp

文章目录 * 背景:Memory不生效的问题 * OpenClaw的Memory配置 * Ubuntu24.04安装CUDA和cuDNN * 编译llama.cpp * 验证方案1: * 验证方案2:下载并运行Llama-2 7B模型 * 安装node-llama-cpp * 验证Memory * sqlite-vec unavailable * 踩过的坑 * 安装node-llama-cpp的一些提示 * 安装node-llama-cpp的前置条件 * Using `node-llama-cpp` With Vulkan 承接上文:Windows11基于WSL2首次运行Openclaw,并对接飞书应用,我已经在电脑上安装了OpenClaw,接下来解决Memory问题。走了很多弯路,下面主要讲我总结的正确的安装过程。 总结来说:针对Memory不生效的问题,又不想用OpenAI或Gemini,或者只想单纯的节省token,可以按照如下的方式,设置为local模式: * 修改openclaw.json配置 * 安装CUDA和cu

论文阅读详细版K-RagRec:Knowledge Graph Retrieval-Augmented Generation for LLM-based Recommendation

摘要(Abstract) 翻译 推荐系统在我们的日常生活中变得越来越重要,有助于缓解各类面向用户的在线服务中的信息过载问题。大语言模型(LLMs)的出现取得了显著成就,展现出其推动下一代推荐系统发展的潜力。尽管取得了这些进展,基于大语言模型的推荐系统仍面临源于其模型架构的固有局限性,尤其是幻觉问题(生成虚假信息)以及缺乏最新知识和领域特定知识的问题。近年来,检索增强生成(RAG)技术受到了广泛关注,它通过利用外部知识源来增强大语言模型的理解和生成能力,从而解决这些局限性。然而,传统的 RAG 方法往往会引入噪声,并且忽略了知识中的结构化关系,这限制了它们在基于大语言模型推荐系统中的效果。为了解决这些问题,我们提出从知识图谱中检索高质量、最新的结构化信息,以增强推荐效果。具体而言,我们设计了一个检索增强框架,名为 K-RagRec,该框架通过整合外部知识图谱的结构化信息,助力推荐生成过程。我们进行了大量实验,验证了所提方法的有效性。 讲解 * 摘要就是论文的 “浓缩版故事”,核心逻辑: 1. 背景:推荐系统很重要,大语言模型能做推荐,但有两个大问题 ——“瞎编(幻觉)”

【实战干货】消费级显卡的逆袭:Stable Diffusion 3.5 FP8 模型部署与性能优化全指南

【实战干货】消费级显卡的逆袭:Stable Diffusion 3.5 FP8 模型部署与性能优化全指南

🚀 前言:SD3.5 虽好,显存却成了拦路虎? Stability AI 发布的 Stable Diffusion 3.5 (SD3.5) 系列模型,特别是 SD3.5 Large (8B 参数),在图像质量、提示词依从性(Prompt Adherence)和文字生成能力上都达到了开源模型的顶峰。然而,随之而来的是巨大的显存开销。 在传统的 BF16/FP16 精度下,运行 SD3.5 Large 加上庞大的 T5 文本编码器,往往需要 24GB 甚至更高的显存,这让持有 8GB/12GB 显存的广大开发者望洋兴叹。 破局者出现了:FP8(8位浮点)量化。