本地大模型部署指南:Ollama 安装与 Python 调用
核心摘要: 工具:Ollama。目标:在本地电脑运行大模型并提供 API 给 Python 调用。方案:使用国内 ModelScope 替代 HuggingFace 实现极速下载。包含修改端口、显存计算公式及概念科普。
01. Ollama 介绍
官网地址:https://ollama.com/
Ollama 是目前最火的本地大模型部署工具。 简单来说,它能帮用户快速拉取模型文件,让模型在本地直接运行并进行对话。同时,它还能把模型打包成一个标准的接口,通过端口开放给用户写的 Python 脚本调用。
对于用户来说,它就是在大模型时代装在电脑里的'运行环境',必不可少。
02. 安装 Ollama
- 安装:打开下载好的安装包,选择一个合适的位置安装即可。
测试运行:按下 Win+R 打开运行窗口,输入 cmd 打开命令提示符。输入命令 ollama --version。如果看到版本号,就说明 Ollama 已经安装完毕,正在运行了。


验证:安装完毕后,开始菜单里会出现一个羊驼图标。

选择版本:点击 Download 按钮,根据操作系统(Windows/Mac/Linux)下载。

下载:登录官网 https://ollama.com/ 。







