概念
Ollama 是一个开源工具,用于在本地运行大型语言模型(LLM),它简化了模型的部署和管理过程。DeepSeek 模型系列(如 DeepSeek-R1)是高效的开源 AI 模型,支持各种参数规模,从小型的 1.5B 到大型的 70B,适用于编码、数学和通用推理任务。在 Linux 系统上,通过命令行操作,可以快速部署 DeepSeek 模型,实现本地化 AI 应用。Ollama 是一个旨在简化本地大模型 (LLM) 部署、运行和管理的开源框架。它凭借“像 Docker 一样运行 AI 模型”的极简体验,已成为开发者和 AI 爱好者的首选工具。
诞生时间: Ollama 成立于 2023 年,总部位于美国帕洛阿尔托。
创始人: 由 Jeffrey Morgan 和 Michael Chiang 共同创立。值得注意的是,Michael Chiang 曾是 Docker Desktop 的核心团队成员,这解释了为什么 Ollama 在架构设计(如镜像层级管理)和命令行交互上带有浓厚的 Docker 风格。 初衷: 解决大模型部署门槛高、依赖复杂、数据隐私难保障的问题,让任何人都可以在笔记本电脑上(尤其是 Mac 和 Linux)一键启动 AI。 本文将一步步指导您完成部署,并为每个命令添加注释。
安装 Ollama
首先,需要安装 Ollama(可能需要科学上网)。这可以通过一个简单的 shell 脚本完成。确保您的 Linux 系统(如 Ubuntu)有 curl 工具。安装后,Ollama 将自动配置服务。
# 下载并执行 Ollama 安装脚本curl -fsSL https://ollama.com/install.sh | sh# 验证安装是否成功(可选)ollama --version # 输出 Ollama 版本信息,例如 ollama version is 0.3.12
下载 DeepSeek 模型
安装 Ollama 后,使用 ollama pull 命令下载 DeepSeek 模型。这里以 DeepSeek-R1 的 7B 版本为例(deepseek-r1:7b),您可以根据硬件资源选择其他变体,如 :1.5b、:8b、:32b 或 :70b。下载过程可能需要时间,取决于网络和模型大小。
# 下载 DeepSeek-R1 模型(7B 参数版本)ollama pull deepseek-r1:7b # 这将从 Ollama 仓库拉取模型文件,首次下载可能达数 GB# 查看已下载模型列表(可选)ollama list # 显示如 deepseek-r1:7b 等模型
运行 DeepSeek 模型
下载完成后,使用 ollama run 命令启动模型。这将进入交互模式,您可以直接输入提示进行测试。如果需要后台运行,先启动 Ollama 服务。
# (可选)在后台启动 Ollama 服务,确保模型可通过 API 访问ollama serve & # & 符号使进程后台运行# 运行 DeepSeek 模型并进入交互界面ollama run deepseek-r1:7b # 启动后,输入如 "Hello, world!" 测试响应# 示例:通过 API 测试(在另一个终端)curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "Why is the sky blue?"}' # 返回 JSON 格式的模型响应优化与安全考虑
部署后,您可以进一步优化模型,如使用量化版本或集成 Web UI(如 Open WebUI)。确保系统有足够的 GPU 资源(NVIDIA 推荐),并限制端口访问以增强安全。
# (可选)停止 Ollama 服务pkill ollama # 终止后台进程# 卸载模型(如果需要)ollama rm deepseek-r1:7b # 删除指定模型以释放空间

通过以上步骤,就可以在 Linux 上成功部署 DeepSeek 模型。Ollama 的简单性使本地 AI 变得易于访问,适用于开发、测试或生产环境。建议根据硬件调整模型大小,并监控资源使用。如果遇到问题,可参考 Ollama 官方文档。