当前位置:首页>python>本地安装Ollama并部署大模型(附Python环境管理)

本地安装Ollama并部署大模型(附Python环境管理)

  • 2026-09-06 21:12:49
本地安装Ollama并部署大模型(附Python环境管理)

简介

本教程将带你从零开始,在本地电脑上完成两件事:

  1. 搭建干净、可控的Python开发环境(使用Anaconda + uv包管理工具),为后续AI开发打好基础;

  2. 安装并调用Ollama,让你能在终端直接与Llama 2、Mistral等大语言模型对话,完全离线、免费、保护隐私。

无论你是Windows用户还是Mac用户,都可以按照以下步骤一步步操作。每个命令都附有详细解释,并标注了可能遇到的坑及解决方法。

注意:下载太慢或无法下载请切换国内代理

第一部分:Python环境管理

1. 下载并安装Anaconda

Anaconda是一个开源的Python发行版,内置了包管理器conda,能轻松创建隔离的Python环境。

  • 官网地址:https://www.anaconda.com/download

  • 选择版本:根据你的操作系统(Windows / macOS / Linux)下载对应的图形化安装包。

  • 安装提示:

    • Windows:双击exe,安装过程中勾选“Add Anaconda to my PATH environment variable”(否则后续需要手动配置环境变量)。

    • macOS:双击pkg,按提示完成安装。

    • Linux:在终端运行 .sh 脚本,如 bash Anaconda3-2024.10-1-Linux-x86_64.sh。

2. 验证Anaconda是否安装成功

打开终端(Windows请使用命令提示符cmd,macOS/Linux使用终端Terminal),输入:

conda --version
  • 成功:显示类似 conda 24.9.2 的版本号。

  • 失败:提示“未找到conda”或“不是内部或外部命令”。

    • 原因:未将conda加入环境变量。

    • 解决:重新运行安装程序,勾选添加PATH选项;或手动将Anaconda的Scripts目录(Windows)或bin目录(Mac/Linux)加入系统环境变量。

3. 查看当前Python版本

安装完Anaconda后,默认会有一个base环境,里面自带了Python。查看版本:

python --version
或
python -V

输出示例:Python 3.12.7

4. 使用Conda切换Python版本(创建虚拟环境)

我们不建议直接在base环境里改动Python版本,而是新建一个专属环境,指定需要的Python版本。

# 创建一个名为 myenv 的新环境,并安装 Python 3.9conda create -n myenv python=3.9# 激活该环境(Windows)conda activate myenv# 激活该环境(macOS/Linux)source activate myenv

激活后,终端提示符会从 (base) 变为 (myenv)。再次执行 python --version 可看到已变为 3.9.x。

5. 查看当前指向的目录地址

这里通常指Conda环境的存储路径,或者当前终端的工作目录。

# 查看所有Conda环境及其所在路径conda info --envs# 查看当前终端的工作目录(Windows)cd# 查看当前终端的工作目录(macOS/Linux)pwd

6. 查看当前Python解释器的安装路径

确认你正在使用的Python到底来自哪个目录,避免混淆。

# Windowswhere python# macOS/Linuxwhich python

输出应包含 anaconda3/envs/myenv/bin/python 或类似路径,说明你正使用虚拟环境中的Python。

7. 安装uv——极速Python包管理工具

uv 是一个用Rust编写的Python包安装工具,速度远超pip,并且支持pyproject.toml。

  • 安装方法(任选其一):

# 使用pip安装(先确保在虚拟环境中)pip install uv# 或者使用独立安装脚本(macOS/Linux)curl -LsSf https://astral.sh/uv/install.sh | sh# Windows PowerShellpowershell -c "irm https://astral.sh/uv/install.ps1 | iex"
验证安装:
uv --version

8. uv常用操作命令

命令
说明
uv venv
在当前目录创建虚拟环境(.venv文件夹)
uv pip install <包名>
安装Python包
uv pip install -r requirements.txt
批量安装依赖
uv pip list
查看已安装包
uv pip freeze
导出当前环境依赖
uv tool run <工具名>
直接运行工具而不安装

💡 提示:uv也完全兼容pip的语法,你可以用uv pip替换pip,速度提升明显。

9. 创建一个新项目目录

为接下来的Python项目创建一个干净的文件夹:

mkdir my_ai_projectcd my_ai_project

10. 在项目中添加pyproject.toml

pyproject.toml 是现代Python项目的标准配置文件,uv可以直接读取它来管理依赖。

在 my_ai_project 目录下手动创建一个名为 pyproject.toml 的文件,输入以下基础内容:

[project]name = "my-ai-project"version = "0.1.0"dependencies = [    # 这里填写项目依赖包,如 "requests>=2.31.0"]

保存后,uv会自动识别该文件。

11. 安装PyYAML(示例依赖)

PyYAML是一个常用的YAML解析库,我们用它演示如何通过uv安装包。

# 方法1:直接安装并写入依赖uv pip install pyyaml# 此时pyyaml已被安装,但未写入pyproject.toml# 方法2:安装并自动添加至pyproject.toml(推荐)uv add pyyaml
执行 uv add 后,pyproject.toml 的 dependencies 列表会自动追加 "pyyaml>=6.0.2"(具体版本以实际为准)。

第二部分:本地安装与调用Ollama

1. 下载并安装Ollama

Ollama 是一个让开发者能在本地轻松运行大语言模型的工具,支持Llama 2、Mistral、Qwen等众多模型。

  • 官网:https://ollama.com

  • 下载对应版本:

    • Windows:下载 .exe 安装包,双击运行。

    • macOS:下载 .dmg 文件,将Ollama拖入Applications。

    • Linux:终端执行 curl -fsSL https://ollama.com/install.sh | sh

  • 安装后验证:关闭并重新打开终端,输入 ollama -v,应显示版本号。

2. 启动Ollama服务

  • Windows/macOS:安装后Ollama会自动在后台运行(可在菜单栏/系统托盘看到图标)。

  • Linux:通常需要手动启动服务:

ollama serve
检查服务状态:在终端输入以下命令,如果有响应则说明服务正常。
ollama list

3. 查看已安装的模型

刚装完Ollama时,本地还没有任何模型。执行:

ollama list

输出应为 NAME ID SIZE MODIFIED 表头,下面为空。

4. 选择需要下载的模型

Ollama官方模型库:https://ollama.com/library热门模型推荐:

  • llama2:Meta开源的Llama 2系列(7B/13B/70B)

  • mistral:Mistral 7B,速度快,性能优异

  • qwen:通义千问(0.5B~72B),中文友好

  • phi3:微软轻量级模型(3.8B)

5. 根据电脑配置选择对应版本

每个模型通常有多个参数规模的版本,显存/内存越大,能运行的模型越大。

模型规模
推荐显存
适用场景
3B~7B
4GB~8GB
普通个人电脑,快速响应
13B
16GB
高性能笔记本/台式机
30B+
32GB+
服务器级配置

如果你不确定,优先选择7B版本(如 llama2:7b、mistral:7b),绝大多数电脑都能流畅运行。

6. 在终端下载模型

命令格式:

ollama pull <模型名称:标签>
例如下载 Llama 2 7B 版本:
ollama pull llama2:7b
  • 如果没有写 :7b,默认下载官方推荐的版本(Llama 2 是7B)。

  • 下载过程中会显示进度条,模型文件通常有几个GB,请保持网络畅通。

  • 下载完成后,再次执行 ollama list,可以看到该模型已出现在列表中。

7. 在终端与模型对话

模型下载好后,立即运行它:

ollama run llama2:7b
  • 终端会出现 >>> 提示符,此时你可以直接输入问题,模型会逐字生成回答。

  • 输入 /exit 退出对话。

  • 输入 /help 查看其他命令。

示例对话:

>>> 介绍一下大语言模型大语言模型是一种基于深度学习的人工智能模型,能够理解和生成自然语言……

总结

通过以上11+7个步骤,你已经成功:

  • ✅ 安装了Anaconda,并用conda创建了专属Python虚拟环境

  • ✅ 掌握了uv这一现代化包管理工具的基本用法

  • ✅ 在本地部署了Ollama,并运行起了真正的大语言模型

常见问题与解决方案

Q1:conda命令找不到怎么办?A:重新安装Anaconda并勾选“Add to PATH”;或手动将Anaconda的Scripts/bin目录加入环境变量,重启终端。

Q2:uv安装后提示“uv不是内部或外部命令”A:检查uv是否安装成功,如果使用pip安装,确保Python的Scripts目录已加入PATH;如果使用独立脚本,可能需要重启终端或重新登录。

Q3:ollama pull 下载速度极慢A:Ollama默认从GitHub Releases下载,国内用户可尝试配置代理,或使用夜间下载。也可以先在浏览器下载模型文件,再手动导入(较为复杂,新手建议挂机等待)。

Q4:运行ollama run时提示“ llama2:7b requires at least 8GB RAM”A:你的电脑内存不足,请换用更小的模型,如 phi3:3.8b、tinyllama:1.1b。

Q5:Mac电脑上“ollama”命令无法使用A:macOS安装dmg后,需要将Ollama.app拖入Applications,并在终端输入以下命令将ollama加入PATH:

sudo ln -s /Applications/Ollama.app/Contents/Resources/ollama /usr/local/bin/ollama

最新文章

随机文章