node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

node-llama-cpp是一个基于llama.cpp的Node.js绑定库,让你能够在本地机器上运行AI模型,并在生成级别强制模型输出符合JSON模式。本文将为你提供Windows、Linux和Mac全平台的安装与配置教程,帮助你快速上手这款强大的AI工具。

一、准备工作

在开始安装node-llama-cpp之前,请确保你的系统满足以下要求:

  • Node.js环境(建议使用最新的LTS版本)
  • npm包管理器
  • Git版本控制工具

二、快速安装:使用npm

node-llama-cpp提供了预构建的二进制文件,适用于macOS、Linux和Windows系统,因此安装过程非常简单。只需在终端中运行以下命令:

npm install node-llama-cpp 

这条命令会自动下载并安装适合你当前系统的预构建二进制文件。如果你的系统没有可用的预构建二进制文件,node-llama-cpp会自动下载llama.cpp的源代码并尝试从源码构建。

三、Windows系统详细安装指南

3.1 安装依赖

在Windows系统上,如果你需要从源码构建node-llama-cpp,需要安装以下构建工具:

你可以通过WinGet安装所有依赖:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 
WinGet是Windows 11和现代Windows 10版本的内置工具。

或者,你也可以手动下载并安装Visual C++ Build Tools,确保勾选以下组件:

  • C++ CMake工具
  • C++ Clang编译器
  • Windows 10 SDK
  • Windows Universal CRT SDK

3.2 Windows on Arm额外要求

如果你使用的是Windows on Arm系统,需要安装额外的构建工具:

winget install --id Microsoft.VisualStudio.2022.BuildTools --force --override "--add Microsoft.VisualStudio.Component.VC.CMake.Project Microsoft.VisualStudio.Component.VC.CoreBuildTools Microsoft.VisualStudio.Component.VC.Tools.x86.x64 Microsoft.VisualStudio.Component.VC.Tools.ARM64 Microsoft.VisualStudio.Component.VC.ATL Microsoft.VisualStudio.Component.VC.ATL.ARM64 Microsoft.VisualStudio.Component.VC.ATLMFC Microsoft.VisualStudio.Component.VC.MFC.ARM64 Microsoft.VisualStudio.Component.VC.Llvm.ClangToolset Microsoft.VisualStudio.Component.VC.Llvm.Clang Microsoft.VisualStudio.Component.VC.Redist.14.Latest Microsoft.Component.VC.Runtime.UCRTSDK Microsoft.VisualStudio.Component.Windows10SDK Microsoft.VisualStudio.Component.Windows10SDK.20348" 

四、Linux系统详细安装指南

4.1 安装依赖

在Linux系统上,你需要安装以下依赖:

  • build-essential
  • cmake
  • git
  • libstdc++6
  • libgomp1 (用于OpenMP支持)

对于Debian/Ubuntu系统,可以使用以下命令安装:

sudo apt-get update sudo apt-get install build-essential cmake git libstdc++6 libgomp1 

4.2 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

五、Mac系统详细安装指南

5.1 安装Xcode命令行工具

在Mac上,你需要安装Xcode命令行工具:

xcode-select --install 

5.2 安装依赖

使用Homebrew安装必要的依赖:

brew install cmake git 

5.3 从源码构建

如果需要从源码构建,可以使用以下命令:

npx node-llama-cpp source download npx node-llama-cpp source build 

六、配置模型自动下载

为了确保在运行npm install后自动下载模型,建议在package.json中设置postinstall脚本。详细方法可以参考官方文档中的Using the CLI部分。

七、常见问题解决

7.1 构建失败

如果构建失败,请确保你已安装所有必要的构建工具和依赖。对于特定平台的问题,可以参考building-from-source文档。

7.2 Windows上的权限问题

如果在Windows上遇到权限错误,确保不要使用管理员账户运行npm install,然后用普通用户账户运行代码。

7.3 Electron应用构建问题

在Windows上构建Electron应用时,如果遇到EPERM: operation not permitted错误,需要启用开发者模式以允许创建符号链接。

八、总结

通过本教程,你已经了解了如何在Windows、Linux和Mac系统上安装和配置node-llama-cpp。现在你可以开始在本地运行AI模型,享受高效的AI推理体验了。如果需要更多帮助,可以查阅项目的官方文档或提交issue寻求支持。

祝你使用愉快! 🚀

【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp

Read more

微软 Copilot Cowork 深度解析:用 Kotlin + 147API 手搓一个 AI Agent

微软 Copilot Cowork 深度解析:用 Kotlin + 147API 手搓一个 AI Agent

微软最近发布的 Copilot Cowork 在技术圈炸开了锅。它变了。它不再是那个只会补全代码的插件,而是变成了你的 “Coworker”(同事)。基于 Anthropic 的 Claude 构建,它现在能像真人一样处理复杂任务。 作为开发者,我们不仅要会用,更要懂得背后的原理。今天我们就来拆解一下 Copilot Cowork 的核心逻辑,并教你如何利用 Kotlin 和 147API 构建一个属于自己的简易 AI Agent。 从 Chatbot 到 Agent 传统的 Copilot 就像一个实习生,你给它一个指令,它执行一个动作。而 Copilot Cowork 更像是一个成熟的合作伙伴。它具备了 感知(Perception)、规划(Planning) 和 执行(Execution)

【好写作AI】地球村AI写作伦理辩论赛:你的“作弊”,他的“赋能”

【好写作AI】地球村AI写作伦理辩论赛:你的“作弊”,他的“赋能”

想象一场全球学术会议茶歇:美国教授正用AI打磨投稿,德国学生因用AI修改语法而愧疚,日本导师则担心学生用AI会“给集体添麻烦”——这并非虚构,而是文化代码在AI伦理上投射出的斑斓光谱。 好写作AI官方网址:https://www.haoxiezuo.cn/ 🌍 文化观察站:当AI笔杆子撞上世界各地的“学术规矩” 我们通过用户访谈和文献,勾勒出这样一幅“全球AI写作伦理认知地图”: 🇺🇸 北美区:“效率至上,但需亮明身份” * 典型态度:“如果AI能让我更快地产出创新想法,Why not?” * 核心关切:透明性(Transparency) 与 问责制(Accountability)。 * 学生内心戏:“用了AI?记得在方法部分或致谢里写清楚,就像标明用了哪个统计软件一样。这是‘严谨’,不是‘认罪’。” * 好写作AI适配模式:我们提供了符合其习惯的 “贡献声明”一键生成功能,支持多种标准声明格式。 🇩🇪 西欧区(以德法为代表):“思想神圣,工具需警惕” * 典型态度:“学术是严谨的思维体操,

VsCode远程连接服务器后安装Github Copilot无法使用

VsCode远程连接服务器后安装Github Copilot无法使用

VsCode远程连接服务器后安装Github Copilot无法使用 1.在Vscode的settings中搜索Extension Kind,如图所示: 2.点击Edit in settings.json,添加如下代码: "remote.extensionKind":{"GitHub.copilot":["ui"],"GitHub.copilot-chat":["ui"],} remote.extensionKind 的作用 这是 VS Code 的远程开发配置项,用于控制扩展在远程环境(如 SSH、容器、WSL)中的运行位置。可选值: “ui”:扩展在本地客户端运行 “workspace”:扩展在远程服务器运行 这两个扩展始终在 本地客户端运行,

Claude Code 的完美平替:OpenCode + GitHub Copilot(顶级模型+最优价格)

引言:Claude 虽好,但你真的能用上吗? 在当前席卷全球的“Vibe Coding”浪潮中,Anthropic 推出的 Claude 系列模型 + 终端工具 Claude Code,凭借极强的逻辑推理能力,成为了开发者眼中的“白月光”。但现实是残酷的:对于中国开发者而言,账号随时被封、海外信用卡支付遭拒、API 额度受限以及复杂的网络环境,构成了一道难以逾越的门槛。 虽然最近国产编程模型不断发力,Claude Code + GLM-4.7 的表现非常出色,但面对复杂问题,Claude系列模型依然完胜。难道我们只能眼馋Claude全家桶的编程体验吗? 作为一名追求极致生产力的开发者,我发现了一个绝佳的完美替代方案:OpenCode + GitHub Copilot。这个组合不仅能让你享受如 GLM-4.7 一样的性价比,还能更方便的使用 Claude 的顶级模型。 Claude Code 的开源平替:OpenCode