CentOS 7安装ollama
一、环境准备:
cat /etc/redhat-release #CentOS 7.3
--配置 CentOS 7 国内镜像源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum clean all
yum makecache
--升级到 CentOS 7.9,兼容性更好:yum update -y
--安装基础工具
yum install -y wget curl git vim net-tools gcc gcc-c++ make \
openssl-devel readline-devel zlib-devel bzip2-devel \
libffi-devel sqlite-devel
--安装 DevToolset-7(新版 GCC)
安装 SCL 源:yum install -y centos-release-scl-rh
安装 DevToolset-7(GCC 7.3):yum install -y devtoolset-7-gcc devtoolset-7-gcc-c++ devtoolset-7-binutils
启用新版 GCC(当前会话):scl enable devtoolset-7 bash
永久启用(添加到 ~/.bashrc):echo "source /opt/rh/devtoolset-7/enable" >> ~/.bashrc
验证 GCC 版本:gcc --version # 应显示:gcc (GCC) 7.3.1
二、安装ollama:
useradd -m -s /bin/bash ollama
passwd ollama --Ollama@2026!
usermod -aG wheel ollama
mkdir -p /home/ollama/models
chown -R ollama:ollama /home/ollama
su - ollama
下载Ollama,放到/home/ollama目录:https://ollama.com/
备用地址: https://www.newbe.pro/Mirrors/Mirrors-ollama
解压:
cd /home/ollama
tar -I zstd -xvf ollama-linux-amd64.tar.zst zst文件需要:yum install -y zstd
置ollama国内镜像,.bash_profile加入行:
export OLLAMA_ORIGINS=https://modelscope.cn
启动:
[ollama@localhost ~]$ cat start_ollama.sh
#!/bin/bash
export OLLAMA_HOST="0.0.0.0:11434" # 设置环境变量,允许局域网访问
nohup /home/ollama/bin/ollama serve > ollama.log 2>&1 &
echo "Ollama 服务已启动,进程ID: $!"
[ollama@localhost ~]$ chmod u+x start_ollama.sh
[ollama@localhost ~]$ ./start_ollama.sh
查看:ollama --version
下载 Qwen2.5-7B 模型:ollama pull qwen2.5:7b-instruct-q4_K_M
离线下载模型:
https://modelscope.cn/models/unsloth/Qwen3-8B-GGUF下载Qwen3-8B-Q4_K_M、Qwen3-8B-Q3_K_M,下载后放到/home/ollama/models目录
注册离线下载的模型:
在目录/home/ollama/models创建文件:vi Modelfile
FROM ./Qwen3-8B-Q4_K_M.gguf
执行创建命令:
ollama create Qwen3-8B-Q4_K_M -f Modelfile
查看模型:ollama list
运行模型:ollama run Qwen3-8B-Q4_K_M