7个用于运行LLM的最佳开源WebUI

优质文章学习记录

— 18 min read
7个用于运行LLM的最佳开源WebUI

无论是希望将AI大模型集成到业务流程中，还是寻求企业客户服务自动化，亦或者是希望创建一个强大的个人学习工具。可能都需要考虑数据安全、灵活度以及更具有可控性的使用和开发基础。值得考虑的一个方案是：将大模型（LLM）私有化并且创建一个好用的LLM WebUI系统。

下面，我们推荐7个出色的开源LLM WebUI 系统。

01.Open WebUI（Ollama WebUI）

https://github.com/open-webui/open-webui

Star：45.7K

开发语言：Python、TypeScript\Svelte

Open WebUI是一个可扩展、功能丰富且用户友好的WebUI，旨在完全离线操作。它支持包括Ollama和OpenAI在内的各种LLM运行容器或者API。

产品特点：
  • 直观的界面：受ChatGPT启发的用户友好型聊天
  • 响应式设计：在桌面和移动的上实现流畅的性能
  • 轻松安装：使用Docker/Kubernetes轻松安装
  • 主题定制：个性化与多个主题
  • 高亮：增强代码的可读性
  • Markdown LaTeX支持：全面的格式选项
  • 本地RAG集成：使用#命令访问聊天文档
  • RAG嵌入模型支持：选择嵌入模型（Ollama/OpenAI）
  • Web浏览：使用#命令集成网站
  • 提示预设：使用/命令快速访问
  • RLHF注释：人工反馈的速率消息
  • 会话标记：对聊天进行分类，以便于参考
  • 模型管理：下载、删除和更新模型
  • GGUF文件上传：从GGUF文件创建Ollama模型
  • 多模型支持：切换模型以获得不同的响应
  • 多模式支持：包括图像交互
  • 模型文件生成器：自定义角色和代理
  • 多模型对话：同时利用多个模型
  • 协作聊天：使用@ command分组模型对话
  • 本地聊天共享：在用户之间共享聊天链接
  • Regeneration聊天历史：访问所有过去的互动
  • 存档导入/导出聊天：组织和传输聊天数据
  • 语音输入：自动发送语音输入
  • 可配置的TTS端点：自定义文本到语音
  • 高级参数控制：调节温度，系统提示
  • 映像生成集成：本地API和DALL-E选项
  • OpenAI API支持多种API：灵活集成
  • API密钥生成：简化OpenAI库使用
  • 外部Ollama服务器连接：连接远程实例
  • Ollama负载平衡：分发请求以提高可靠性
  • 多用户管理：用于用户监督的管理面板
  • Webhook集成：新注册的实时通知
  • 模型白名单：用户的受控访问
  • 可信电子邮件身份验证：增强的安全层
  • RBAC：基于角色的受限权限访问
  • 后端反向代理：安全的后端通信
  • 多语言支持：i18n国际化
  • 持续更新：定期的新功能和改进

02.Text Generation Webui

https://github.com/oobabooga/text-generation-webui

Star：40.5K

开发语言：Python

这是一个基于Gradio的Web UI，用于大语言模型的Web层。

产品特性：

  • 在一个UI以及API中支持多个文本生成的后端，包括：Transformers、llama.cpp、ExLlamaV2、TensorRT-LLM、AutoGPTQ、AutoAWQ、HQQ、 AQLMare等
  • 兼容OpenAI的API。
  • 使用Jinja2模板自动提示格式化。
  • 三种聊天模式：instruct、chat-instruct、chat，其中chat-instruct有自动提示模板。
  • 可在“聊天记录”菜单之间的对话快速切换。
  • 在默认、笔记本选项卡中生成自由格式的文本，而不限于聊天回合。
  • 拥有多个采样参数和生成选项，用于支持复杂的文本生成控制。
  • 在UI中轻松切换不同型号，无需重新启动。
  • 简单的LoRA微调工具。
  • 安装在一个独立的installer_files目录中，不会影响系统环境。
  • 扩展支持，提供许多内置的或者用户贡献的扩展。

03.Anything LLM

https://github.com/Mintplex-Labs/anything-llm

Star：26.5K

开发语言：JavaScript

AnythingLLM是一个多功能的全栈AI应用程序，可以在与大型语言模型（LLM）聊天期间引用自己的文档或内容作为上下文数据。它专为易用性而设计，提供了一个高度可配置的多用户环境。用户可以选择集成商业的或者开源的LLM，选择向量数据库，并管理访问权限。

该应用程序将文档组织到“工作区”中，这些工作区是容器化的单元，可以在不同的线程之间保持上下文的隔离。

工作区可以共享文档，但也能够为一些重点对话维护隔离的上下文。AnythingLLM可运行在Mac、Windows或者Linux桌面系统上，支持本地或远程执行，使其成为构建自定义、私人ChatGPT的强大工具。

产品特征
  • 支持AI Agent定义
  • 支持多种模型（包括封闭和开源LLM！）
  • 支持多用户实例和Docker版本
  • 可在工作空间内安装代理（浏览网页、运行代码等）
  • 提供适用于嵌入网站的聊天组件
  • 支持多种文档类型（PDF，TXT，DOCX等）
  • 简单的聊天用户界面、拖放功能和明确的使用指南。
  • 支持100%云部署。
  • 可以与所有流行的闭源和开源LLM提供商对接。
  • 与其他聊天界面相比，可以用于管理非常大的文档。
  • 提供用于自定义集成的API

04.LibreChat

https://github.com/danny-avila/LibreChat

Star：18.9K

开发语言：TypeScript、JavaScript

LibreChat可以作为ChatGPT的私人替代品，在您自己的服务器上运行。

产品特征
  • 支持与ChatGPT匹配的UI，包括Dark模式、Streaming和最新更新
  • 智能选型：Anthropic（Claude），AWS Bedrock，OpenAI，Azure OpenAI，BingAI，ChatGPT，Google Vertex AI，插件，助手API（包括Azure助手）
  • 两者兼容远程和本地AI服务：Groq、Ollama、Cohere、Mistral AI、Apple MLX、koboldcpp、OpenRouter、together.ai、Perplexity、ShuttleAI等
  • 生成式UI，代码工件：在聊天中创建React、HTML代码和Mermaid图表
  • 创建、保存和共享自定义预设
  • 在AI端点和预设之间切换，聊天中
  • 使用对话分支编辑、重新提交和继续消息
  • 用于高级上下文控制的会话
  • 多模式聊天：
  • 可通过OpenAI Assistant API️
  • 非OpenAI代理在积极开发中
  • 使用Claude 3、GPT-4（包括gpt-4o和gpt-4o-mini）和Gemini Vision软件上传和分析图像
  • 使用自定义端点，OpenAI，Azure，Anthropic，Google与文件聊天。🗃️
  • 具有文件、代码解释器、工具和API操作的高级代理🔦
  • 多语言用户界面：
  • English，中文，Deutsch，Español，Français，意大利语，Polski，巴西葡萄牙语，
  • Русский, 日本語, Svenska, 한국어, Tiếng Việt, 繁體中文, العربية, Türkçe, Nederlands, עברית
  • 可定制的下拉界面：适应高级用户和新手
  • 验证您的电子邮件以确保安全访问
  • 语音到文本和文本到语音的魔术免提聊天
  • 自动发送和播放音频
  • 支持OpenAI、Azure OpenAI和Elevenlabs
  • 从LibreChat，ChatGPT，Chatbot UI导入对话
  • 导出对话为截图，markdown，文本，json
  • 搜索所有消息/对话
  • 插件，包括Web访问、使用DALL-E-3生成图像等
  • 使用审核和令牌支出工具的多用户安全身份验证
  • ️配置代理，反向代理，Docker，和许多部署选项：完全本地使用或部署在云上

05.Web LLM

https://github.com/mlc-ai/web-llm

Star：13.6K

开发语言：TypeScript

WebLLM是一个高性能的浏览器内LLM推理引擎，通过硬件加速将语言模型推理直接带到Web浏览器上。一切都在浏览器内运行，没有服务器支持，并通过WebGPU加速。WebLLM完全兼容OpenAI API。也就是说，可以在本地任何开源模型上使用相同的OpenAI API，其功能包括流式传输，JSON模式，函数调用（function-calling，简写）等。

产品特征：

  • 浏览器内推理：WebLLM是一个高性能的浏览器内语言模型推理引擎，它利用WebGPU进行硬件加速，直接在Web浏览器内实现强大的LLM操作，而无需服务器端处理。
  • 兼容OpenAI API：使用OpenAI API将您的应用与WebLLM无缝集成，并提供流、JSON模式、logit级别控制、种子等功能。
  • 结构化JSON生成：WebLLM支持最先进的JSON模式结构化生成，在模型库的WebAssembly部分实现，以获得最佳性能。检查HuggingFace上的WebLLM JSON Playground，尝试使用自定义JSON模式生成JSON输出。
  • 丰富的模型支持：WebLLM支持一系列原生大模型，包括：Llama 3，Phi 3，Gemma，Mistral，Qwen（通义问）等，使其成为各种AI任务的通用工具。有关完整的支持型号列表，请选中模型。
  • 自定义模型集成：轻松集成和部署MLC格式的自定义模型，使您能够根据特定需求和场景调整WebLLM，增强模型部署的灵活性。
  • 即插即用集成：使用NPM和Yarn等包管理器或直接通过CDN将WebLLM轻松集成到您的项目中，并提供全面的示例和用于连接UI组件的模块化设计。
  • 流式传输与实时交互：支持流式聊天完成，允许实时输出生成，增强了聊天机器人和虚拟助手等交互式应用程序。
  • 支持Web Worker& Service Worker：通过将计算卸载到独立的工作线程或服务工作线程，优化UI性能并有效管理模型的生命周期。
  • 支持Chrome扩展：使用WebLLM通过自定义Chrome扩展程序扩展Web浏览器的功能，并提供构建基本和高级扩展程序的示例。

06.OpenLLM

https://github.com/bentoml/OpenLLM

Star：10K

开发语言：Python

OpenLLM是一个可以在云中运行开源大语言模型（LLM）的工具，如：Llama，Qwen和Phi等，也可以兼容OpenAI的API接入。它支持使用Docker、Kubernetes和BentoCloud简化模型的部署过程。

OpenLLM支持多种模型，并提供友好的用户界面，提供内置的聊天UI。它还可以与BentoML集成，用于企业级AI推理和部署。此外，用户可以将模型贡献到其存储库中，或者在自己的基础设施上部署自定义模型。

使用以下命令进行安装：

pip install openllm # or pip3 install openllm openllm hello

07.LoLLMs

https://github.com/ParisNeo/lollms-webui

Star：4.3K

开发语言：JavaScript/Vue 、Python

LoLLMS WebUI（Lord of Large Language Multimodal Systems）是一个多功能一体化平台，可访问各种任务类型的AI模型，例如：写作、编码、图像生成、音乐创作等。它支持500多个专家模型和2500个跨不同领域的微调模型。

用户可以选择根据特定需求量身定制的模型，无论是编码帮助、医疗建议、法律的指导、创意故事还是娱乐。

该平台的设计考虑到了易用性，提供了一个友好的用户界面，具有明亮和暗黑模式。LoLLMS可以用于实现增强电子邮件、代码调试、解决问题，甚至提供如笑声机器人、创意故事生成器、和个性化音乐生成之类的有趣功能。

它将生产力工具和娱乐结合在一个界面中，使其成为满足各种专业需求的多功能工具。

产品特征
  • 为您的任务选择您喜欢模型和个性化配置
  • 增强您的电子邮件、论文、代码调试、思想组织等
  • 探索各种功能，如：搜索、数据组织、图像生成和音乐生成
  • 易于使用的用户界面，具有亮暗模式选项
  • 与GitHub存储库集成，便于访问
  • 可自定义向导信息
  • 生成的答案的拇指向上/向下评级
  • 复制、编辑和删除邮件
  • 用于讨论的本地数据库存储
  • 搜索、导出和删除多个讨论
  • 支持基于稳定扩散的图像/视频生成
  • 支持基于musicgen的音乐生成
  • 通过Lollms节点和花瓣支持多代对等网络。
  • 支持Docker、conda和手动虚拟环境设置
  • 支持LM Studio作为后端
  • 支持Ollama作为后端
  • 支持vllm作为后端
  • 支持根据任务快速路由到对应的模型

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

ZEEKLOG粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传ZEEKLOG，朋友们如果需要可以扫描下方二维码&点击下方ZEEKLOG官方认证链接免费领取【保证100%免费】


读者福利：👉👉ZEEKLOG大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

在这里插入图片描述


在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

img
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

在这里插入图片描述


👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

ZEEKLOG粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传ZEEKLOG，朋友们如果需要可以扫描下方二维码&点击下方ZEEKLOG官方认证链接免费领取【保证100%免费】

读者福利：👉👉ZEEKLOG大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

Read more

前端环境配置(nvm、nodejs、npm)

前端环境配置(nvm、nodejs、npm)

一、安装nvm 1. 下载vnm url: https://nvm.uihtm.com/doc/download-nvm.html 2. 解压文件后双击exe文件进行安装 3. 选择nvm的安装地址，我是安装在D:\App\nvm 4. 选择nodejs的安装地址，我是安装在C:\Program Files\nodejs 5. 点击next 一直点击 完成安装； 6. 找到nvm的settings.txt文件打开后: 给该文件添加这两行命令: node_mirror: https://npmmirror.com/mirrors/node/ npm_mirror: https://npmmirror.com/mirrors/npm/ 二、环境变量配置 1.
【DeepSeek R1部署至RK3588】RKLLM转换→板端部署→局域网web浏览

【DeepSeek R1部署至RK3588】RKLLM转换→板端部署→局域网web浏览

本文为DeepSeek R1 7B 以qwen为底座的LLM在瑞芯微RK3588 SoC上的完整部署流程，记录从开发板驱动适配烧录开始，到最终的开发板终端访问模型和局域网web访问模型的完整流程，有不足之处希望大家共同讨论。 文章目录 * 一、项目背景介绍 * 二、所需工具介绍 * 1.硬件工具 * 1.X86 PC虚拟机Ubuntu20.04 * 2. 准备NPU驱动为0.9.8的RK3588开发板 * 2.软件工具 * 三、获取.safetensors模型权重 * 四、safetensors转RKLLM * 1.转换环境搭建 * 2.模型转换 * 五、RKLLM模型板端部署及推理 * 六、集成开源gradio工具实现web访问 一、项目背景介绍 先来介绍下项目背景吧，目前有一个空闲的firefly出厂的搭载瑞芯微RK3588 SoC的arm64开发板，样式如图所示： 博主之前主要进行CV领域的模型的RK开发板部署，对于LLM和VLM的接触并不算多，但现在大模型是趋势所向，并且瑞芯微及时的完成了针对各开源

想做多语言项目？试试Hunyuan-MT-7B-WEBUI快速部署方案

想做多语言项目？试试Hunyuan-MT-7B-WEBUI快速部署方案 你有没有遇到过这样的情况：手头有个跨境项目，要同时处理日语产品说明、西班牙语用户反馈、维吾尔语政策文件，甚至还有藏文古籍数字化需求——可翻来翻去，不是翻译质量差强人意，就是部署起来像在解一道高数题？在线工具不敢传敏感数据，本地跑模型又卡在CUDA版本、依赖冲突、显存爆炸上……最后只能靠人工硬啃，进度一拖再拖。 Hunyuan-MT-7B-WEBUI 就是为这种真实困境而生的。它不讲大道理，不堆参数，不做“实验室里的冠军”，而是把腾讯混元团队打磨出的最强开源翻译模型，连同网页界面、一键脚本、预装环境，全打包进一个镜像里。你不需要懂Transformer结构，不用查PyTorch兼容表，甚至不用打开终端敲命令——点一下，等两分钟，就能在浏览器里开始翻译38种语言。 这不是又一个“需要调参、需要写代码、需要配环境”的AI工具。这是你今天下午就能用上的多语言工作台。 1. 为什么这款翻译镜像值得你立刻试试？ 1.1 它真能覆盖你没想过的语言 很多翻译模型标榜“支持多语言”，但实际打开列表一看：英、法、

前端实现Word文档在线编辑与导出：基于mammoth.js与Blob对象的完整解决方案

如何在浏览器中直接编辑Word文档并导出？本文将深入探索一种基于mammoth.js和Blob对象的完整技术方案。 在当今的Web应用开发中，实现文档的在线编辑与导出已成为常见需求。无论是企业内部系统、教育平台还是项目管理工具，都迫切需要让用户能够在浏览器中直接编辑Word文档，而无需安装桌面软件。本文将详细介绍如何利用mammoth.js和Blob对象实现这一功能，并对比其他可行方案。 一、为什么选择mammoth.js与Blob方案？ 在Web前端实现Word文档处理，主要有三种主流方案：浏览器原生Blob导出、mammoth.js专业转换和基于模板的docxtemplater方案。它们各有优劣，适用于不同场景。 mammoth.js的核心优势在于它能将.docx文档转换为语义化的HTML，而非简单复制视觉样式。这意味着它生成的HTML结构清晰、易于维护和样式定制。配合Blob对象，我们可以轻松将编辑后的内容重新导出为Word文档。 与直接使用Microsoft Office Online或Google Docs嵌入相比，mammoth.js方案不依赖外部服务，能更好地