Ollama 私有化部署

1 Ollama简介

Ollama 是一个在本地快速运行大型语言模型（LLM）的开源工具，致力于让 AI 模型部署变得简单、轻量且可控。用户无需依赖云端服务，只需一条命令即可在本地加载并运行诸如 LLaMA、Mistral、Gemma 等开源模型。

官网: https://ollama.com/

2 Ollama特点

·支持一条命令拉取并运行 LLM，例如：ollama run llama2

·支持自定义模型组合、微调或量化部署

·具备高效内存管理机制，可在普通笔电上运行

·支持与多种前端界面集成，如 Open WebUI、LM Studio、Flowise 等

·开源并活跃维护，社区生态丰富

Ollama 非常适合开发者、AI 爱好者以及隐私敏感场景下使用。它让个人用户也能像运行本地程序一样运行先进的语言模型，而不必担心网络延迟、数据外泄或平台限制。

3环境要求(硬件+系统+软件环境)

3.1 硬件环境要求

注意:Ollama 自动检测硬件环境，若无可用 GPU，会自动切换到 CPU 推理，无需用户手动配置

3.2 系统与软件环境

·操作系统

Ubuntu 22.04 LTS/Windows 11（WSL2）

·Python环境

Python 3.10+，推荐使用Conda创建独立虚拟环境

·深度学习框架

PyTorch 2.1.2+、TensorFlow（可选）

·CUDA工具包

CUDA 11.8+及对应cuDNN

4 Ollama 安装与配置步骤

4.1 官网安装

# 使用官方脚本自动化部署 

curl -fsSL https://ollama.com/install.sh | sh 

# 验证安装 

ollama --version

注意：外网信号不稳定,速度慢

4.2 魔搭社区安装

# 安装部署网址: 

https://www.modelscope.cn/models/modelscope/ollama-linux

# 安装部署ModelScope

pip install modelscope

# 下载安装包

方法1: modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.15.6

方法2：git clone https://www.modelscope.cn/modelscope/ollama-linux.git --depth 1 --branch v0.15.6

# 运行ollama安装脚本

cd ollama-linux

sudo chmod 777 ./ollama-modelscope-install.sh

./ollama-modelscope-install.sh

注意:从 0.14.0 版本开始，Ollama 的安装文件采用 zstd 压缩（即 tar.zst 文件），因此在运行安装脚本前，请确保环境中已安装 zstd

# 验证安装 

ollama --version

5 Ollama 常用命令

ollama serve#启动ollama

ollama create#从模型文件创建模型

ollama show#显示模型信息

ollama run#运行模型

ollama pull#从注册表中拉取模型

ollama push#将模型推送到注册表

ollama list#列出模型

ollama cp#复制模型

ollama rm#删除模型

ollama help#获取有关任何命令的帮助信息