Python 本地 AI 基础设施:从 PyTorch 到 vLLM 的十年演进

Python 本地 AI 基础设施这十年经历了三次大的范式转移：从 PyTorch 的手动训练和推理，到 Hugging Face Transformers 的 Pipeline API，再到 vLLM 这样的专用推理引擎。

2026 年 6 月，Hugging Face Transformers 仓库已经积累了 161,901 个 stars。这比 2020 年刚出现时翻了近 30 倍。更早的时候，做深度学习基本上就是直接操作 PyTorch 张量：手写训练循环、手动处理反向传播、自己下载模型权重。如果你要在多个任务上复用同一个模型，得把预处理和后处理逻辑也手写一遍。

Hugging Face 在 2020 年推出的 Transformers 库改变了这一点。它提供了一个 Pipeline API，把整个推理流程封装了起来。你只需要一行代码就能加载一个文本生成模型：

PyTorch 仍然在底层负责张量计算，但 Pipeline 帮你处理了从文本输入到模型输出之间的所有中间步骤：分词、模型推理、解码。Transformers 的另一个巨大优势是它内置了模型缓存机制。你下载一次模型，之后的所有请求都会从本地缓存读取，不需要重新下载。

vLLM 是 2023 年出现的新东西。它的目标是解决一个具体问题：当你需要部署多个 LLM 实例时，显存占用会变得非常高。PyTorch 和 Transformers 的默认推理方式是逐个 token 生成，每个 token 都要加载整个模型到 GPU 显存里。vLLM 使用了 PagedAttention 技术，把显存分成固定的块，根据需要在这些块之间移动数据，而不是每次都把整个模型重新加载到显存里。

vLLM 仓库目前已经获得了 84,188 个 stars。它支持 GPU 和 CPU 部署，专门针对高吞吐量的推理场景设计。如果你要在生产环境部署多个 LLM 实例，vLLM 的吞吐量比 PyTorch + Transformers 的组合高出 24 倍。

除了推理引擎，Python 本地 AI 基础设施也开始出现面向企业级的工具。Google 在 2024 年发布了 adk-python，一个代码优先的 Python 工具包，专门用于构建、评估和部署 LLM agents。adk-python 的定位不是让你手写推理代码，而是提供一套完整的模板，包括如何处理并发请求、如何监控延迟、如何评估 agent 的质量。

Google ADK 的 GitHub 仓库有 20,284 个 stars。它适合已经有明确 agent 需求的场景，比如客服系统、文档分析、代码审查。你可以直接用 adk-python 提供的模板搭建一个基础系统，然后在上面加自己的业务逻辑。

Ray 是另一个面向分布式 AI 计算的框架。如果你需要把推理任务分发到多台机器上，Ray 提供了一个统一的运行时环境。它本身不是专门为 LLM 设计的，但可以和 Transformers、vLLM 完美集成。Ray 仓库有 43,017 个 stars，支持多节点分布式推理，适合超大规模部署。

Netflix 的 Metaflow 是另一个例子。它专注于 AI/ML 系统的全生命周期管理，从数据准备到模型训练，再到部署和监控。Metaflow 提供了一个声明式的工作流语言，你可以把整个训练流程写成脚本，Metaflow 会自动处理并行化、断点续跑、日志记录等细节。Metaflow 有 10,146 个 stars。

这些工具的出现标志着 Python 本地 AI 基础设施进入了一个新阶段：不再是只有研究者自己玩，而是有完整的工具链支持企业级部署。但企业部署面临的具体问题依然存在：显存预算有限、网络延迟很高、安全合规要求严格。这就是为什么最近出现了一些专门针对这些问题的工具。

Rocket Ride Server 是一个高性能 AI pipeline 引擎，4,413 个 stars。它使用 C++ 写核心引擎，然后在上面扩展 Python 模块。这种架构可以在保持 Python 灵活性的同时，获得接近 C++ 的性能。Rocket Ride 的设计目标是处理高吞吐量的 AI pipeline，比如实时视频分析、大规模推荐系统。

如果你只需要做嵌入和检索，而不是完整的 LLM 推理，Sentence Transformers 是一个更轻量的选择。它的 GitHub 仓库有 18,850 个 stars，专门用于文本向量化。你可以把任意文本转换成一个 768 维的向量，然后在向量数据库里做相似度搜索。

这些工具的关系可以简单梳理一下：PyTorch 提供底层计算能力，Transformers 提供高层 API，vLLM 优化推理性能，adk-python、Ray、Metaflow 等工具关注企业级部署，Rocket Ride 专注于高性能 pipeline，Sentence Transformers 专门做嵌入和检索。

但每个场景下并没有一个工具是万能的。小规模实验用 Transformers 足够了，但高吞吐量部署需要 vLLM 或 Rocket Ride。开发 agent 需要考虑如何把 adk-python 的模板集成到现有系统，而不是完全替换。大规模分布式部署可能需要 Ray 这样的运行时环境。

最关键的一点是：这些工具虽然解决了很多问题，但企业部署仍然面临显存、延迟、合规这三个现实的约束。本地部署的好处是数据不出境，但代价是硬件成本和运维复杂度。这就是为什么很多公司最终选择了混合模式：训练和长期存储在本地，短期推理通过云 API 完成。

Python 本地 AI 基础设施的演进方向很清楚：工具越来越丰富，接口越来越友好，但核心问题：如何在有限资源下提供高质量服务，始终存在。