Ollama 模型 + VS Code:私有化部署 Copilot 使用教程

Ollama 模型 + VS Code:私有化部署 Copilot 使用教程

Ollama 模型 + VS Code:私有化部署 Copilot 使用教程

在vscode中,copilot可以提高我们的工作效率但是github copilot每个月的使用有限制。购买价格较贵,那有没有什么其他的方法可以使用copilot呢?有一个利用ollama私有化部署模型并在vscode中辅助编程的方法。

Ollama 是一款开源、轻量且高效的本地AI模型运行工具,支持一键部署 Llama 3、Qwen2.5、DeepSeek、Mistral 等上百款主流大语言模型,无需复杂配置,普通电脑也能轻松运行本地AI。本教程将详细讲解 Ollama 的全平台安装、AI模型部署,并手把手教你在 VS Code 中集成使用,实现代码辅助、问答交互等功能,全程实操无冗余,新手也能快速上手。

一、教程前置准备

1. 硬件要求(关键)

Ollama 对硬件的要求主要取决于部署的模型大小,核心是内存和显卡(无独立显卡也可使用CPU运行轻量模型),推荐配置如下,可根据模型选择灵活调整:

  • 轻量模型(如 Qwen2.5:7B、Phi3:mini):内存 ≥ 8GB,CPU 支持虚拟化(大部分现代CPU都满足),无需独立显卡,适合日常办公本。
  • 标准模型(如 Qwen2.5:14B、Llama3.2:8B):内存 ≥ 16GB,推荐 NVIDIA 独立显卡(支持CUDA加速),显存 ≥ 6GB,运行更流畅。
  • 高性能模型(如 Llama3.1:70B):内存 ≥ 32GB,NVIDIA 独立显卡(显存 ≥ 24GB),适合专业开发或高性能设备。

2. 软件要求

  • 操作系统:Windows 10/11、macOS(Intel/M系列芯片)、Linux(Ubuntu 20.04+ 优先,如你之前使用的Ubuntu系统)。
  • VS Code:最新版本(下载地址:https://code.visualstudio.com/),确保能正常安装扩展。
  • 网络环境:部署模型时需要联网下载模型文件(建议稳定网络,模型大小从几百MB到几十GB不等),国内用户建议配置镜像加速。

二、Ollama 安装(全平台教程)

Ollama 支持全平台一键安装,不同系统操作略有差异,以下是详细步骤,选择对应系统操作即可。

1. Linux 系统(以Ubuntu为例,你当前使用的系统)

Ubuntu 系统推荐两种安装方式,一键脚本安装便捷,手动安装适合国内网络较慢的情况,任选其一即可。

方式一:一键脚本安装(推荐,网络良好时)
  1. 安装完成后,验证是否成功,输入命令: ollama --version 若输出类似“ollama version is 0.12.0”的信息,说明安装成功。

打开终端(Ctrl+Alt+T),输入以下命令,一键下载并安装 Ollama:

curl -fsSL https://ollama.com/install.sh | sh
方式二:手动安装(国内网络较慢时)
  1. 查看服务状态,确认启动成功: sudo systemctl status ollama 出现“active (running)”即为启动成功。ollama默认服务地址为服务器端口号的11434

加载配置并启动服务:

sudo systemctl daemon-reload sudo systemctl enable ollama sudo systemctl start ollama

在文件中输入以下内容(注意替换 User 和 Group 为你的当前用户名,如 ubuntu等配置信息):

[Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve User=ubuntu Group=ubuntu Restart=always RestartSec=3 Environment="OLLAMA_HOST=0.0.0.0:11434" [Install] WantedBy=multi-user.target

创建 Ollama 启动服务,编辑服务配置文件:

sudo vim /etc/systemd/system/ollama.service

解压压缩包到 /usr 目录:

sudo tar -C /usr -xzf ollama-linux-amd64.tgz

下载 Ollama 压缩包:  

wget https://github.com/ollama/ollama/releases/latest/download/ollama-linux-amd64.tgz 

三、Ollama 部署 AI 模型(核心步骤)

Ollama 部署模型极其简单,一行命令即可完成模型下载和启动,无需额外配置。

下载并部署 AI 模型

Ollama 支持上百款模型,可访问 Ollama 官方模型库 查看所有模型,以下推荐几款常用中文模型,按需选择(模型名称区分大小写):

模型名称

说明

显存占用参考

下载命令

qwen2.5:72b-instruct

中文+代码+长上下文能力出色,适配聊天、复杂代码辅助等场景,私有化部署核心模型

~36GB(72B参数,需高性能设备)

ollama pull qwen2.5:72b-instruct

codellama:70b-code-q4_K_M

代码补全模型,仅适合代码补全,不适合聊天,适配 VS Code 代码自动补全场景

~35GB(70B参数,代码专项优化)(需高性能设备)

ollama pull codellama:70b-code-q4_K_M

deepseek-coder:33b

“综合代码强,速度快”的模型,兼顾代码辅助与响应速度,适合日常开发代码调试、生成

~16.5GB(33B参数,平衡性能与速度)(需高性能设备)

ollama pull deepseek-coder:33b

llama3:8b-instruct-q4_0

“轻量快速”的模型,适合日常提问、轻量化代码辅助,低配置设备也可流畅运行

~5GB(8B参数,轻量高效)

ollama pull llama3:8b-instruct-q4_0

部署步骤(以 llama3:8b-instruct-q4_0 为例)
  1. 启动成功后,终端会出现 >>> 提示符,此时可直接与模型对话(如输入“帮我写一段Python快排代码”),输入 /bye 可退出交互模式。

下载完成后,启动模型,进入交互模式: 

ollama run llama3:8b-instruct-q4_0

打开终端(Linux/macOS)或 PowerShell(Windows),输入下载命令:

ollama pull llama3:8b-instruct-q4_0

下载速度取决于网络,耐心等待(4.5GB 模型,正常网络约10-20分钟)。

4. 常用 Ollama 命令(必备)

ollama --version # 查看 Ollama 版本 ollama list # 查看已安装的所有模型 ollama run 模型名 # 启动模型,进入交互模式 ollama pull 模型名 # 下载模型 ollama rm 模型名 # 删除不需要的模型 ollama prune # 清理未使用的模型(谨慎操作) ollama show 模型名 --modelfile # 查看模型详细信息

四、VS Code 集成 Ollama(核心操作)

使用 VS Code 插件“Continue”集成 Ollama,步骤简单,适配所有 Ollama 版本,且功能更丰富,适合日常开发。

步骤1:安装 Continue 插件

安装完成后,重启 VS Code,左侧边栏会出现“Continue”图标,说明插件安装成功。

搜索并安装插件continue

步骤2:配置 Continue 插件,连接 Ollama
  1. 点击 VS Code 左侧边栏的“Continue”图标,弹出插件窗口。新建一个配置文件点击配置按钮
  2. 在配置文件中配置信息后即可在continue插件中进行对话(<your-ip>填写你的ip地址)
# This is an example configuration file # To learn more, see the full config.yaml reference: https://docs.continue.dev/reference name: 我的代码大模型配置 version: 1.0.0 schema: v1 enableStreaming: true models: # 你最强的模型:中文+代码+长上下文+不乱说 - name: Qwen2.5 72B Instruct provider: ollama model: qwen2.5:72b-instruct apiBase: http://<your-ip>:11434 # 顶级代码补全模型(只适合补全代码,不适合聊天) - name: CodeLlama 70B provider: ollama model: codellama:70b-code-q4_K_M apiBase: http://<your-ip>:11434 # 综合代码强,速度快 - name: DeepSeek 33B provider: ollama model: deepseek-coder:33b apiBase: http://<your-ip>:11434 # 轻量快速,日常提问 - name: Llama3 8B provider: ollama model: llama3:8b-instruct-q4_0 apiBase: http://<your-ip>:11434 mcpServers: - uses: anthropic/memory-mcp
步骤3:验证连接是否成功

连接完成后,在 Continue 插件的聊天框中输入问题(如“帮我解释一下Python的装饰器”),点击发送,若模型能正常返回回复,说明连接成功,可正常使用。

五、VS Code 中使用 Ollama 的核心场景(实操)

集成完成后,Ollama 可全程在 VS Code 中使用,无需切换终端,核心场景如下,覆盖日常开发需求:

1. 代码辅助(最常用)

  • 代码生成:在 Continue 聊天框输入需求(如“写一段Python读取Excel文件的代码,使用pandas库”),模型会生成完整代码,并附带注释。
  • 代码调试:将报错的代码复制到聊天框,输入“帮我调试这段代码,解决报错问题”,模型会定位错误并给出修改方案。
  • 代码优化:复制已写好的代码,输入“优化这段代码,提升运行效率”,模型会对代码进行重构、简化。

2. 交互式问答

在 Continue 聊天框中,可直接与模型对话,比如:

  • 技术问题:“Docker 数据卷和绑定挂载的区别是什么?”
  • 语法查询:“JavaScript 中 async/await 的使用场景和注意事项”
  • 文档解读:“帮我解读这段JSON配置文件的含义”

模型会结合上下文,给出简洁、准确的回答,无需切换浏览器搜索。

3. 快捷操作(提升效率)

  • 快捷键唤醒:按 Ctrl+I(Windows/Linux)或 Cmd+I(macOS),可快速调出 Continue 聊天框,无需点击侧边栏。
  • 代码应用:模型生成代码后,点击代码下方的“Apply Code”(应用代码),可直接将代码插入到当前打开的文件中,无需复制粘贴。

六、常见问题排查(避坑指南)

操作过程中,可能会遇到一些小问题,以下是高频问题及解决方案,帮你快速排查:

1. 问题1:Ollama 服务启动失败,提示“Error: ollama server not responding”

解决方案:

  • 确认已执行 ollama serve 启动服务,且终端未关闭(前台启动方式)。
  • 检查端口 11434 是否被占用:
    • Linux/macOS:输入 lsof -i :11434,查看占用进程,杀死占用进程(kill -9 进程ID)。
    • Windows:输入 netstat -ano | findstr :11434,找到进程ID,在任务管理器中结束该进程。
  • 重启 Ollama 服务,重新执行 ollama serve

2. 问题2:模型下载缓慢,或下载失败

解决方案:

  • 重新配置国内镜像,确保 OLLAMA_MODEL_SERVER 环境变量设置正确,重启终端后再尝试下载。
  • 若镜像仍无法解决,更换网络(如手机热点),或使用手动下载模型包(参考 Linux 手动安装步骤)。

3. 问题3:VS Code 插件无法连接 Ollama,提示“连接失败”

解决方案:

  • 确认 Ollama 服务已启动,且能通过 curl http://localhost:11434/api/tags 正常访问。
  • 检查 VS Code 插件配置,确保选择的模型名称与已安装的模型一致(区分大小写,如 qwen2.5:7b 不能写成 Qwen2.5:7b)。
  • 重启 VS Code 和 Ollama 服务,重新配置插件连接。

4. 问题4:运行模型时,提示“out of memory”(内存不足)

解决方案:

  • 更换更小的模型(如将 qwen2.5:7b 换成 phi3:mini),降低内存占用。
  • 关闭终端中其他占用内存的进程,释放内存。
  • 若有独立显卡,确保已安装对应驱动(NVIDIA 显卡安装 CUDA,AMD 显卡安装 ROCm),启用 GPU 加速,减少内存占用。

七、总结

本教程完整覆盖了 Ollama 的全平台安装、AI 模型部署,以及 VS Code 的集成方式,核心优势的是“简单、轻量、无门槛”——无需复杂的环境配置,一行命令部署模型,VS Code 集成后可直接在开发环境中使用本地 AI,实现代码辅助、交互式问答等功能,既保护数据隐私(本地运行,无需联网上传数据),又能提升开发效率。

后续可根据自己的硬件配置,尝试不同的模型,也可以通过 Ollama 的 API 接口,将本地模型集成到其他开发工具中,拓展更多使用场景。如果遇到其他未提及的问题,可参考 Ollama 官方文档(https://github.com/ollama/ollama)或留言咨询。

Read more

node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程

node-llama-cpp安装与配置:Windows、Linux和Mac全平台教程 【免费下载链接】node-llama-cppRun AI models locally on your machine with node.js bindings for llama.cpp. Force a JSON schema on the model output on the generation level 项目地址: https://gitcode.com/gh_mirrors/no/node-llama-cpp node-llama-cpp是一个基于llama.cpp的Node.js绑定库,让你能够在本地机器上运行AI模型,并在生成级别强制模型输出符合JSON模式。本文将为你提供Windows、Linux和Mac全平台的安装与配置教程,帮助你快速上手这款强大的AI工具。 一、准备工作 在开始安装node-llama-cpp之前,请确保你的系统满足以下要求:

GitHub Copilot提示词终极攻略:从“能用”到“精通”的AI编程艺术

摘要:GitHub Copilot作为当前最强大的AI编程助手,其真正的价值不仅在于自动补全代码,更在于开发者如何通过精准的提示词工程与之高效协作。本文系统解析Copilot提示词的核心原理、设计框架与实战技巧,涵盖从基础使用到高级功能的完整知识体系。通过四要素框架、WRAP法则、多场景应用指南,结合表格、流程图等可视化工具,帮助开发者掌握与AI协作的编程范式,提升300%以上的开发效率。文章深度结合当今AI技术发展趋势,提供理论性、可操作性、指导性并存的全面攻略。 关键词:GitHub Copilot、提示词工程、AI编程、代码生成、开发效率、人机协作 🌟 引言:当编程遇见AI,一场思维范式的革命 “写代码就像与一位天才但有点固执的同事合作——你需要用它能理解的语言,清晰地表达你的意图。”这是我在深度使用GitHub Copilot六个月后的最大感悟。 2023年以来,AI编程助手从概念验证走向生产力工具的核心转变,标志着一个新时代的到来。GitHub Copilot不再仅仅是“自动补全工具”,而是具备问答、编辑、自动执行能力的AI开发伙伴。然而,许多开发者仍停留在基础使

AI作图效率高,亲测ToDesk、顺网云、青椒云多款云电脑AIGC实践创作

AI作图效率高,亲测ToDesk、顺网云、青椒云多款云电脑AIGC实践创作

一、引言 随着人工智能生成内容(AIGC)的兴起,越来越多的创作者开始探索高效的文字处理和AI绘图方式,而云电脑也正成为AIGC创作中的重要工具。相比于传统的本地硬件,云电脑在AIGC场景中展现出了显著的优势,云电脑通过提供强大的计算资源,轻松应对深度学习模型的训练和推理任务,而其弹性扩展性也允许用户按需调整资源,无需购买昂贵的硬件设备,极大地降低了成本。 本文将通过对ToDesk云电脑、顺网云、青椒云三款云电脑的亲测实践,探讨它们在AIGC创作中的表现,带您一同感受AI作图的高效体验。 二、硬件配置实测分析 强大的硬件配置不仅决定了AIGC模型能否顺畅运行,也决定了生成内容的质量和生成速度。这里我首先选取了各个云电脑产品的最高配置,对显卡性能、内存大小、存储速度等关键指标进行测评。 2.1、显卡性能对比 在处理对话生成、高复杂度的图像生成这类AIGC任务时,显卡扮演着至关重要的角色。各种大型预训练语言模型的训练和推理过程通常涉及大量的矩阵运算和浮点计算。显卡的并行处理能力决定了处理矩阵乘法、卷积操作等计算密集型任务的速度,决定了模型训练与推理的速度。这里我们选取了每款

VSCode中GitHub Copilot的大模型体系、订阅策略与 Agent 模式模型管理机制

一、引言 随着大语言模型(Large Language Models, LLMs)在软件工程领域的广泛应用,智能编程助手逐渐成为现代开发工具链的重要组成部分。其中,由 GitHub 推出的 GitHub Copilot 已成为最具影响力的 AI 编程辅助工具之一,并深度集成于 Visual Studio Code 等主流开发环境。 早期版本的 Copilot 主要依赖单一模型进行代码补全,而近年来其架构已经演进为 多模型(multi-model)驱动的智能编程平台。该平台不仅支持来自多个 AI 厂商的大模型,还通过 Agent 模式、模型路由与按需调用机制提升复杂软件开发任务的自动化程度。 本文将系统介绍以下四个方面: 1. VS Code 中 GitHub Copilot 的 大模型支持体系 2. Copilot 的 订阅策略与计费机制