在数据隐私日益重要、API调用成本不断攀升的今天，本地化部署大模型已成为开发者的新选择。截至2026年初，超过60%的中小企业开始探索本地大模型方案，这不仅保障数据安全，更在长期运营中大幅降低成本。本文将手把手带你完成从本地部署到Python调用的全流程。

一、本地大模型部署：Ollama实战指南

Ollama作为轻量级大模型部署工具，已成为本地运行大模型的首选。它通过简化安装流程和优化资源管理，让用户在消费级硬件上也能流畅运行大模型。

1.1 安装步骤

Windows用户：直接访问Ollama官网下载OllamaSetup.exe，双击运行即可完成安装。

Linux/macOS用户：在终端执行一条命令即可完成安装：curl -fsSL https://ollama.com/install.sh | sh。

安装完成后，在命令行输入ollama或ollama -h，若出现帮助信息则表明安装成功。

1.2 模型部署

Ollama支持多种主流开源模型，只需简单命令即可拉取模型：

拉取Llama 3 8B模型：ollama pull llama3:8b

拉取Qwen2 7B模型：ollama pull qwen2:7b

1.3 模型运行与测试

使用ollama run 模型名即可启动模型交互界面。例如，执行ollama run qwen2.5后，可直接与模型对话，测试其功能是否正常。

二、Python调用本地大模型

2.1 使用Ollama官方Python库

Ollama提供专用Python库，使调用变得简单直观：

from ollama import chatstream = chat( model='qwen2.5', messages=[{'role': 'user', 'content': '详细解释深度学习的基本原理'}], stream=True,)for chunk in stream: print(chunk['message']['content'], end='', flush=True)

三、大模型搭建量级推荐