node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

node-llama-cpp是一个基于llama.cpp的Node.js绑定库,让你能够在本地机器上运行AI模型,并在生成级别强制模型输出符合JSON模式。本文将为你提供Windows、Linux和Mac全平台的安装与配置教程,帮助你快速上手这款强大的AI工具。

一、准备工作

在开始安装node-llama-cpp之前,请确保你的系统满足以下要求:

  • Node.js环境(建议使用最新的LTS版本)
  • npm包管理器
  • Git版本控制工具

二、快速安装:使用npm

node-llama-cpp提供了预构建的二进制文件,适用于macOS、Linux和Windows系统,因此安装过程非常简单。只需在终端中运行以下命令:

npm install node-llama-cpp 

这条命令会自动下载并安装适合你当前系统的预构建二进制文件。如果你的系统没有可用的预构建二进制文件,node-llama-cpp会自动下载llama.cpp的源代码并尝试从源码构建。

三、Windows系统详细安装指南

3.1 安装依赖

在Windows系统上,如果你需要从源码构建node-llama-cpp,需要安装以下构建工具:

你可以通过WinGet安装所有依赖:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 
WinGet是Windows 11和现代Windows 10版本的内置工具。

或者,你也可以手动下载并安装Visual C++ Build Tools,确保勾选以下组件:

  • C++ CMake工具
  • C++ Clang编译器
  • Windows 10 SDK
  • Windows Universal CRT SDK

3.2 Windows on Arm额外要求

如果你使用的是Windows on Arm系统,需要安装额外的构建工具:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.Tools.ARM64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATL.ARM64 Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.MFC.ARM64 Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 

四、Linux系统详细安装指南

4.1 安装依赖

在Linux系统上,你需要安装以下依赖:

  • build-essential
  • cmake
  • git
  • libstdc++6
  • libgomp1 (用于OpenMP支持)

对于Debian/Ubuntu系统,可以使用以下命令安装:

sudo apt-get update sudo apt-get install build-essential cmake git libstdc++6 libgomp1 

4.2 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

五、Mac系统详细安装指南

5.1 安装Xcode命令行工具

在Mac上,你需要安装Xcode命令行工具:

xcode-select --install 

5.2 安装依赖

使用Homebrew安装必要的依赖:

brew install cmake git 

5.3 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

六、配置模型自动下载

为了确保在运行npm install后自动下载模型,建议在package.json中设置postinstall脚本。详细方法可以参考官方文档中的Using the CLI部分。

七、常见问题解决

7.1 构建失败

如果构建失败,请确保你已安装所有必要的构建工具和依赖。对于特定平台的问题,可以参考building-from-source文档。

7.2 Windows上的权限问题

如果在Windows上遇到权限错误,确保不要使用管理员账户运行npm install,然后用普通用户账户运行代码。

7.3 Electron应用构建问题

在Windows上构建Electron应用时,如果遇到EPERM: operation not permitted错误,需要启用开发者模式以允许创建符号链接。

八、总结

通过本教程,你已经了解了如何在Windows、Linux和Mac系统上安装和配置node-llama-cpp。现在你可以开始在本地运行AI模型,享受高效的AI推理体验了。如果需要更多帮助,可以查阅项目的官方文档或提交issue寻求支持。

祝你使用愉快! 🚀

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

Read more

我用Claude Code + GLM4.7修前端Bug的翻车现场,1小时烧光5小时限额

本来想体验一把“vibe coding 省时间”,结果变成“vibe coding 省不了、还很贵”:折腾将近一小时,GLM 额度直接打满,Bug 还在。 背景:事情是怎么开始的 最近遇到一个前端 Bug,属于那种看起来不大、但很烦的类型:页面运行时报错,提示动态导入某个模块失败(报错里能看到类似 Failed to fetch dynamically imported module .../router/index.ts 这种信息)。 我想着正好试试工具链:Claude Code + GLM4.7。理想情况是:它读代码、跑命令、给修改方案,我负责点确认就行。 现实是另一回事。 结果:时间花了,额度没了,Bug 还没修好 简单总结一下这次的“

【web小工具】dirsearch 安装,用法,例题

原文链接:21.dirsearch:Web 路径扫描工具-ZEEKLOG博客 有错误请各位大佬多多指教~~~ 一、项目介绍 dirsearch 是一款高效、多线程的 Web 路径扫描工具,专为渗透测试人员和网络安全研究人员设计,用于发现目标网站的隐藏目录、敏感文件及未授权接口。其支持自定义字典、代理配置、请求头伪装等功能,适用于红队渗透、漏洞挖掘及资产测绘等场景。 1.1 核心功能 多线程扫描:默认 20 线程,可自定义调整以提高效率。 智能错误处理:自动过滤重复状态码(如 404),降低误报率。 灵活扩展支持: 支持自定义字典(如 -w 指定字典文件)。 支持多种扩展名扫描(如 -e php,asp,aspx)。 结果输出:生成可读性强的报告(TXT/JSON/CSV)

Cursor 3来了:内置Codex,前端福音Design Mode,WorkTree多开

Cursor 3来了:内置Codex,前端福音Design Mode,WorkTree多开

Cursor 3来了:内置Codex,前端福音Design Mode,WorkTree多开 用Cursor这种编辑器,经常遇到两个小痛点:一是他就一个聊天框,如果一个任务时间长一点,侧边栏就被占用,就没法干别的;二是害怕 Agent “一顿操作猛如虎”,直接把当前的主干分支改坏。 刚刚发布的 Cursor 3,重点就在解决这类工作流层面的问题。总体来看,它好像不太满足于做一个带对话窗的编辑器,而是在加强多任务并行和代码环境的安全隔离。 具体有三个最直接影响日常开发的新特性: 1. Agents Window:跑并行的任务控制台 快捷键:Cmd+Shift+P 输入 Agents Window 以前的对话基本是一个单向的线性流。Cursor 3 将 Agent 抽离出了独立的面板区,你可以跨仓库、跨环境(本地、云端或远程 SSH)同时运行多个任务。 配合新增的 Agent Tabs,

WebUI+API双模式:一站式中英翻译服务搭建教程

WebUI+API双模式:一站式中英翻译服务搭建教程 🌐 AI 智能中英翻译服务 (WebUI + API) 在跨语言交流日益频繁的今天,高质量、低延迟的自动翻译系统已成为开发者和企业不可或缺的工具。本文将带你从零开始,搭建一个集 WebUI 与 API 于一体的轻量级中英翻译服务系统,基于 ModelScope 平台的 CSANMT 模型,专为 CPU 环境优化,无需 GPU 即可实现流畅部署。 该方案不仅提供直观易用的双栏交互界面,还开放了标准化 RESTful API 接口,支持快速集成到现有业务系统中。无论是个人学习、内容出海,还是企业级文档处理,都能通过这一套服务实现“开箱即用”的智能翻译能力。 📖 项目简介 本镜像基于 ModelScope 的 CSANMT(Conditional Semantic Augmentation Neural Machine Translation)