本地服务器部署Text generation并添加code llama实现远程多人协作

优质文章学习记录

— 9 min read
本地服务器部署Text generation并添加code llama实现远程多人协作

文章目录

前言

本篇文章介绍如何在本地部署Text generation Web UI并搭建Code Llama大模型运行,并且搭建Code Llama大语言模型，结合Cpolar内网穿透实现公网可远程使用Code Llama。

Code Llama是一个可以使用文本提示生成代码的大型语言模型 (LLM)。可以使当前开发人员的工作流程更快、更高效，并降低学习编码人员的进入门槛。 Code Llama 有潜力用作生产力和教育工具，帮助程序员编写更强大、文档更齐全。

Text generation Web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式，直接通过浏览器即可操作，不过本地化部署，无法远程访问，这里我们结合cpolar工具实现从安装到最后实现远程访问。

那么接下来先在本地部署一个Text generation Web UI界面。

请添加图片描述

1. 本地部署Text generation Web UI

本篇文章测试环境：Windows10专业版

首先我们需要在本地部署Text generation Web UI，是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境。

github地址：https://github.com/facebookresearch/codellama

点击download,一键下载文件到本地

15c36f878d9fc541d8f2a74c822f71f.png

解压文件夹，然后打开文件，双击运行start_windows进行自动下载

image.png
4b1ebf5eadc046af0fcc3dda1d1e91c.png
1c7fa499d29d94af7e202184634ff69.png

安装过程中会有一次确认，根据自己的显卡和系统选择就可以了，这里我选择A（英伟达显卡）

f6ebdd0b4fc4750aab5f5ff01a99cee.png

安装完成后，可以看到本地地址是：http://127.0.0.1:7680，Ctrl+c终止它。

2. 安装CodeLlama大模型

接下来要下载CodeLlama模型，在Hugging face上直接下载转换好的模型

Hugging face格式模型 https://huggingface.co/codellama

选择Base Model

1d9884ebc63ab334ea567f987d44c03.png

然后依次下载下方红框中的文件

在这里插入图片描述
c0d493d7f8c4bdd4aaa1dc69cbe0f64.png

下载好后，然后选中这九个文件剪切，回到 text-generation-webui 目录中，进入 models 目录中，新建要给文件夹，名为 codellama-7b

5ef8e07ef3e8cd67d684fb9c4f06235.png

把刚才9个文件，都粘贴到这个新文件夹中

500b90b3827a9eb26e22699dae6fc89.png

然后回到text-generation-webui 目录中，双击打开 start_windows

72810330989c686b50035e8147f55fc.png

然后打开一个浏览器，输入localhost:7680，可以看到进入到了Text generation Web UI中

514e0b39a94c435f3d6da819829fa72.png

点击上方model切换到模型配置页面，在模型下拉列表这里选择 codellama-7b

3e39c2884398d5b3645093be2b16263.png

然后点击Load加载模型，接下来可以测试提出问题

在这里插入图片描述

然后把右侧上方的代码使用vscode测试一下，是否能得出结果

28fd64bca6241db98a220c4e1377532.png

可以看到，显示出了正确结果，目前我们在本机部署了 Text generation Web UI，并且还添加了code llama大模型，如果想团队协作多人使用，或者在异地其他设备使用的话就需要结合Cpolar内网穿透实现公网访问，免去了复杂得本地部署过程，只需要一个公网地址直接就可以进入到Text generation Web UI中。

接下来教大家如何安装Cpolar并且将 Text generation Web UI实现公网访问。

3. 实现公网远程使用Code Llama

下面是安装cpolar步骤：

Cpolar官网地址: https://www.cpolar.com

点击进入cpolar官网，点击免费使用注册一个账号，并下载最新版本的Cpolar

在这里插入图片描述

登录成功后，点击下载Cpolar到本地并安装（一路默认安装即可）本教程选择下载Windows版本。

Cpolar安装成功后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

在这里插入图片描述

接下来配置一下 text-generation-webui 的公网地址，

登录后，点击左侧仪表盘的隧道管理——创建隧道，

首先创建一个 LobeChat 的公网http地址隧道

  • 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
  • 协议：选择http
  • 本地地址：7860 (本地访问的地址)
  • 域名类型：免费随机域名
  • 地区：选择China Top

点击创建

a4f507a45aa700bb7cae83d74387d54.png

隧道创建成功后，点击左侧的状态——在线隧道列表,查看所生成的公网地址，有两种访问方式，一种是http 和https

baedada5cedd7ddcf35b51a222fe656.png

我们接下来使用http公网地址访问，可以看到我们访问到了 Text generation Web UI 界面，这样一个公网地址访问就创建好了。

在这里插入图片描述

小结

如果我们需要长期进行团队协作的话，由于刚才创建的是随机的地址，24小时会发生变化。另外它的网址是由随机字符生成，不容易记忆。如果想把域名变成固定的二级子域名，并且不想每次都重新创建隧道来访问Text generation Web UI，我们可以选择创建一个固定的http地址来解决这个问题。

4. 固定Text generation Web UI公网地址

由于以上使用cpolar所创建的隧道使用的是随机公网地址，24小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化【ps：cpolar.cn已备案】

注意需要将cpolar套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn已备案】

登录cpolar官网，点击左侧的预留，选择保留二级子域名，地区选择china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。

32cb74ca916c4cef376991e7af47215.png

保留成功后复制保留的二级子域名地址：

c777135bed1169843e25cb2415a432f.png


登录cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。

798347f47f02fee855343434d72148c.png

修改隧道信息，将保留成功的二级子域名配置到隧道中

  • 域名类型：选择二级子域名
  • Sub Domain：填写保留成功的二级子域名
  • 地区: China VIP

点击更新

在这里插入图片描述

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

f6cbf1d131005884e6efe3bd4f03cad.png

最后，我们使用固定的公网地址访问Text generation Web UI界面可以看到访问成功，一个永久不会变化的远程访问方式即设置好了。

9637c19466bbfa0379b2d71d6accadb.png

接下来就可以随时随地进行异地公网来使用Code Llama大模型了，把固定的公网地址分享给身边的人，方便团队协作，同时也大大提高了工作效率！自己用的话，无需云服务器，还可以实现异地其他设备登录！以上就是如何在本地安装Code Llama以及在本地部署 Text generation Web UI 可视化界面的全部过程。

Read more

基于Unity开发Pico VR眼镜基础应用：从环境搭建到实战部署全解析

基于Unity开发Pico VR眼镜基础应用：从环境搭建到实战部署全解析

目录标题 * 一、引言：开启 Pico VR 开发之旅 * 1.1 为什么选择 Unity+Pico VR 生态 * 1.2 目标读者与文章价值 * 二、开发前的核心准备：环境搭建与设备适配 * 2.1 软硬件环境配置指南 * 2.1.1 硬件准备清单 * 2.1.2 Unity 与 SDK 安装教程 * 2.2 项目初始化关键配置 * 2.2.1 平台设置与 XR 支持 * 2.2.2 输入系统与手柄映射 * 三、核心技术解析：交互系统与沉浸式体验构建

机器人 - 关于MIT电机模式控制

目录 一、MIT电机模式简单介绍 1.1 简单介绍 1.2 MIT模式的控制参数 1.3 使用场景 二、调试时建议 2.1 调试 2.2 问题定位 一、MIT电机模式简单介绍 1.1 简单介绍 Mixed Integrated Torque为一种混合控制模式，在同一帧CAN数据里包含 位置、速度、扭矩三类的闭环指令。驱动器里面把位置环、速度环、前馈扭矩相加，得到一个参考电流，然后再交给电流环完成精准扭矩输出。 1.2 MIT模式的控制参数 参数含义取值范围（常见）说明kp位置比例系数（刚度）0 ~ 500 （单位视驱动器而定）kp = 0 时位置环失效，
Stable Diffusion 秋叶大神2025最新整合一键安装包

Stable Diffusion 秋叶大神2025最新整合一键安装包

这段时间我在折腾 Stable Diffusion，期间试过很多安装方式。有手动安装的，也有别人做好的整合包。手动安装的方式对环境要求高，步骤也多，系统要装 Python，要装依赖，还要配好运行库，哪一步出错都要重新查资料，挺消耗时间。后来了解到秋叶大神做的整合一键安装包，这个版本省掉了很多折腾，对新手比较友好。 我自己把安装流程整理了一遍，又结合网上的信息，把一些需要注意的地方写下来，希望能帮到想尝试 Stable Diffusion 的人。 这里完整下载链接 秋叶整合包是什么 这个整合包属于别人已经帮你配好的版本，里面把 Stable Diffusion WebUI、模型管理、插件、运行环境都准备好了。下载之后按照提示解压，点一下启动脚本就能跑起来，不需要另外去折腾环境。 整合包里放的 WebUI 是常见的 AUTOMATIC1111 版本，所以大部分教程都能直接用。适合想直接出图、想先体验一下模型效果的人。 系统环境方面 我现在用的是 Windows 电脑，所以下面写的内容主要基于
FPGA 和 IC，哪个前景更好？怎么选？

FPGA 和 IC，哪个前景更好？怎么选？

这几年，经常有人来问我： “老师，我是做 FPGA 的，要不要转 IC？” “FPGA 是不是天花板低？” “IC 听起来更高端，是不是更有前景？” 这个问题，本质不是技术问题，而是路径问题。 今天我们把这两个方向掰开讲清楚。 —— 01 先讲定位 如果把整个芯片产业链拆开来看，大致是： 架构 → RTL → 前端验证 → 后端实现 → 流片 → 封测 → 量产 IC 属于“芯片最终形态”，FPGA 属于“可重构硬件平台”。 IC 的目标，是做出一颗定制化、极致性能、极致功耗、极致成本的芯片。 FPGA 的目标，是用可编程逻辑，在无需流片的前提下，实现接近硬件级别的性能。 两者不是上下级关系，而是不同阶段、不同诉求下的解决方案。 很多真正量产前的芯片项目，都会先在