第三章、面向大语言模型和 API 的 Python 基础教程

是时候转向 Python 了。JavaScript 虽然功能强大，但在本书的 GitHub 代码仓库中，我们也为部分示例提供了 JavaScript 版本供您使用。不过，Python 拥有能够处理复杂任务的各类库和工具。它无疑是人工智能开发的首选语言。基于此原因，从现在开始，本书的所有示例都将使用 Python 编写。

别担心！如果您不是 Python 开发者，我们会循序渐进地引导您入门。我们会详细解释那些具有“Python 风格”的独特语法。只要您按照书中后面的示例进行学习，就能打下扎实的 Python 基础。

我们首先用 Python 重新实现第 2 章中的示例。该章的代码可以在 GitHub 仓库的 part1/getting_started_python 文件夹中找到。

让我们开始用 Python 编程吧！

安装 Python 及相关库

与第 2 章类似，你将构建一个简单的 REST 服务。当该服务被调用时，它会返回 LLM 的生成结果。你的 REST 服务将结合使用 FastAPI 和 Ollama SDK 来实现这一功能。你已经安装了 Ollama 并下载了 Llama 3.2 模型，只需确保该模型仍在运行即可。

如果您还没有安装 Python，请从 https://www.python.org/downloads/下载并安装。（本书中的所有示例均使用 Python 3.14.3 进行测试。）

你可以在终端中使用以下命令来验证安装是否成功：

~/ai-for-devs % python --version

如果安装成功，将显示以下版本信息：

Python 3.14.3

请注意，您的版本号可能有所不同。

在 Mac 或 Linux 系统上，或者如果您使用的是特定版本的 Python，可能需要将 “python” 命令替换为 “python3”：

~/ai-for-devs % python3 --version

在运行本书中的示例时，请确保使用适合您安装环境的正确 Python 命令。

接下来，你需要安装那些能让 API 快速启动和运行的 Python 库。以下是你将用到的 Python 库：

• • fastapi: 让 REST 服务器的创建变得快速又简单
• • ollama:  提供了用于调用 Ollama API 的 SDK。

在终端中运行以下安装命令：

~/ai-for-devs % python -m pip install "fastapi[standard]"==0.119.0 \ollama==0.6.0

Python 中的虚拟环境

为便于操作，这些依赖项已全局安装。通常建议使用虚拟环境来将 Python 项目的依赖项隔离开来。虚拟环境本质上就是一个用于安装项目所需特定依赖项的目录，这样一来，不同项目就可以使用不同版本的库，而不会相互影响。

不过，Python 开发者们都是独立思考的人，实现方式也多种多样。这方面的讨论超出了本书的范围，因此关于虚拟环境设置的详细信息，我们已放在本书 GitHub 仓库的 README 文件中。

通过 API 调用大语言模型

现在你将重新创建第 2 章中的 REST 服务。该服务在被调用时，会利用 FastAPI 和 Ollama SDK 来返回大语言模型的生成结果。你已在前一章的 JavaScript 示例中学习了相关概念，因此可以直接开始查看 Python 代码！

创建 FastAPI 服务器

为你的项目创建一个名为“getting_started_python”的新目录。在该项目目录下，创建一个名为“main.py”的文件。用文本编辑器或你喜欢的集成开发环境（如 VS Code）打开该文件。

我们稍后会详细说明，但首先请在 main.py 文件中添加以下代码行：

from fastapi import FastAPIfrom fastapi.responses import StreamingResponsefrom fastapi.middleware.cors import CORSMiddlewarefrom ollama import Clientfrom pydantic import BaseModelapp = FastAPI()app.add_middleware(    CORSMiddleware,    allow_origins=["*"],    allow_credentials=True,    allow_methods=["*"],    allow_headers=["*"],)client = Client()class ChatRequest(BaseModel):    question: strdef generate_stream(question: str):    result = client.generate(stream=True, model="llama3.2", prompt=question)    for chunk in result:        if chunk.response:            yield chunk.response@app.post("/")def chat(chatRequest: ChatRequest):    return StreamingResponse(        generate_stream(chatRequest.question), media_type="text/plain"    )

这是一个简单的 FastAPI 服务器。它会监听 8000 端口（FastAPI 的默认端口），接收所有的 HTTP POST 请求。现在我们来仔细看看这段代码。

了解各组成部分

让我们从用于创建你将要使用的库组件的代码开始吧：

   --snip--➊ from fastapi import FastAPI   from fastapi.responses import StreamingResponse   from fastapi.middleware.cors import CORSMiddleware   from ollama import Client➋ app = FastAPI()➌ app.add_middleware(     CORSMiddleware,     allow_origins=["*"],     allow_credentials=True,     allow_methods=["*"],     allow_headers=["*"],   )➍ client = Client()   --snip--

前四行是从你安装的 Python 库中导入的内容➊。这些导入语句定义了你在各个库中将要使用的类。

• • FastAPI：用于创建和管理 FastAPI Web 应用程序的主类。它是定义 API 端点、处理请求以及配置应用程序行为的中心节点。
• • StreamingResponse 是一个 FastAPI 工具，用于将大量数据分块发送给客户端，而无需一次性全部发送。这使我们能够轻松地将大语言模型的响应以流式方式返回。
• • CORSMiddleware 与我们的 Node.js 示例一样，FastAPI 也提供了能自动处理 CORS 相关需求的中间件。
• • client: 用于与由本地 Ollama 实例托管的 LLM 模型进行通信的客户端程序。

首先，你需要创建一个 FastAPI 服务器实例➋。app 变量被初始化为对该服务器的引用，这样你就可以配置服务器并设置服务 API 了。

与前面的示例相同，您在这里配置中间件来处理 CORS 相关的要求（关于 CORS 的更多信息，请参见第 2 章）。您调用 app.add_middleware 方法来添加之前导入的 CORSMiddleware 组件。这样一来，浏览器客户端就能向服务器发送请求了。

请注意，您需要同时提供 CORSMiddleware 类以及一些配置参数。这些参数都是通过名称来定义的（例如，allow_origins=["*"]）。这是很常见的做法，尤其是在 Python 中处理可选的函数和方法参数时。这种配置实际上相当于将服务器开放给所有浏览器客户端访问。

现在已创建了一个 Ollama 客户端实例➍。由于默认设置已适用于本示例，因此无需更改任何配置选项。

设置 FastAPI 服务器

现在您已经拥有了所需的各个组件，可以定义您的 REST API 了：

   --snip--➊ from pydantic import BaseModel➋ class ChatRequest(BaseModel):     question: str➌ @app.post("/")➍ def chat(chatRequest: ChatRequest):   --snip--

请注意，您是从 pydantic 模块中导入了 BaseModel 类➊。由于 Pydantic 是 FastAPI 的组成部分，因此您无需单独安装该库。在本书中，您会随处看到 Pydantic 的使用。

Pydantic 使得创建用于定义 REST API 请求和响应中 JSON 格式数据的类（即模型）变得非常简单。ChatRequest 类定义了我们所期望的 JSON 请求体应具有的格式➋。该类继承自 Pydantic BaseModel（括号中的内容是 Python 中的继承语法）。该类只有一个名为 question 的属性，其数据类型为字符串(str)。

Pydantic BaseModel 类为 ChatRequest 类添加了若干方法，使得验证数据以及将相应的 JSON 格式数据转换为该类的实例变得十分简单。

{  "question": "Tell me about the Beatles."}

现在请看聊天功能的签名部分➍。在 Python 中，使用 def 关键字来开始定义方法或函数。函数上方的@app.post("/")注解用于配置该聊天功能以处理 REST API 请求➌。该注解是一种配置元素，它告诉 FastAPI：该聊天功能将响应如下格式的 HTTP POST 请求：

POST https://localhost:8000/{"question": "Who are the Beatles?"}

这听起来可能有点神奇，但在本书的各个代码示例中，你都会看到注释。在 Python 中，注释提供了一种便捷的方式，通过内联配置将代码与各种库或框架进行集成。

FastAPI 认为，任何发送到“/”的 POST 请求——其中“/”是正在监听的端口的基准 URL——都应该调用你的聊天功能。同时，它会检查 chatRequest 参数，并利用 Pydantic 模型来解析 JSON 请求体应有的格式。

FastAPI 会根据我们定义的 ChatRequest 模型来验证所有请求中的 JSON 数据。如果验证失败，系统会自动返回错误响应。在第 6 章中，当我们使用 Pydantic 模式来整理大语言模型的输出时，你将更深入地了解这一机制的运作方式。

向本地大语言模型发送提示词

现在我们来看看 generate_stream 函数：

--snip--def generate_stream(question: str):➊ result = client.generate(model="llama3.2", stream=True, prompt=question)➋ for chunk in result:  ➌ if chunk.response:    ➍ yield chunk.response--snip--

该函数首先调用 Ollama 客户端的 generate 方法 ➊。该方法会向 Ollama 发送请求，以便根据给定的提示词生成 LLM 响应。请注意，此处再次使用了命名参数来指定下载的模型（model="llama3.2"），同时指定了希望以流式方式接收响应（stream=True）。

返回的结果是一个可迭代流。for 循环会随着数据的生成而逐个处理这些数据块➋。在输出文本之前，需要先确认已获取到响应数据➌。

在 Python 中，yield 关键字可以将普通函数转换为生成器函数➍。调用生成器函数时，它不会立即执行。相反，它会返回一个生成器对象，该对象其实是一个迭代器。这对于流式处理场景非常合适，因为你需要等待从 Ollama 客户端传来的数据块。

现在你可以将整个聊天功能整合起来，并将回复内容进行流式传输：

--snip--def generate_stream(question: str):  result = client.generate(stream=True, model="llama3.2", prompt=question)  for chunk in result:    if chunk.response:      yield chunk.response@app.post("/")def chat(chatRequest: ChatRequest):➊ return StreamingResponse(     generate_stream(chatRequest.question), media_type="text/plain")

请注意，您使用的是之前导入的 FastAPI StreamingResponse 组件，该组件让流式传输变得非常简单➊。您只需用 generate_stream 函数生成的生成器来创建该组件的实例，并指定要返回的媒体类型。在本例中，您返回的是由大语言模型生成的纯文本。