Python:生成器函数

只要函数体中出现 yield或 yield from 表达式，该函数在编译阶段即被标记为生成器代码对象。此后，函数调用的语义不再是“立即执行并返回结果”，而是“创建一个可分阶段执行的控制对象”。

理解生成器函数的关键，不在于“如何使用 yield”，而在于它如何在不改变函数对象类型的前提下，改写函数调用的执行模型。

一、生成器函数的判定：发生在编译阶段

示例：

def gen():    yield 1    yield 2

当解释器编译该函数体时，语法树中检测到 yield，生成的代码对象（code object）被标记为生成器代码对象，其 co_flags 中包含 CO_GENERATOR 标志。

此过程发生在编译阶段，而不是调用阶段。

当 def 语句执行时，创建一个函数对象（function object），该函数对象持有编译阶段生成的代码对象。

另外，需要补充的是，从语义层面看，生成器表达式等价于一个匿名生成器函数的即时调用。

生成器函数在对象层面仍是 function，差异体现在其关联的代码对象属性上。

因此，生成器函数不是一种新的对象类型，而是一种“带有生成器标志的函数对象”。

二、调用语义的根本改变

普通函数调用流程：

调用函数对象 → 创建执行帧 → 立即执行函数体 → return → 帧退出调用栈

生成器函数调用流程：

调用函数对象 → 创建生成器对象 → 不执行函数体 → 返回生成器对象

示例：

g = gen()

此时：

• gen() 不会执行函数体

• 不会产出 yield 的值

• 返回的是一个生成器对象（generator）

函数体的执行被推迟到后续推进阶段（例如 next(g)）。

因此，生成器函数改变的不是函数的结构，而是函数调用的执行时机与返回值类型。

它将“立即执行”改写为“分阶段执行”。

三、yield 的语义地位：表达式而非语句

在语法层面：

• yield 是表达式（expression）

• 可参与更大表达式结构

• 具有求值结果

示例：

def f():    x = yield 1    return x

这里，yield 1 会产出 1。

若外部通过 send(value) 恢复执行，yield 1 表达式的值为 value

这揭示一个关键事实：yield 并不是“输出语句”，而是“可中断的表达式”。

它改变了函数控制流模型：

• 普通函数：单向控制流

• 生成器函数：控制权在调用者与函数之间交替

因此，将生成器函数简单描述为“惰性执行的函数”并不精确。

“惰性”意味着推迟求值，但仍然是一次性求值过程。

而生成器函数的本质是：将函数执行拆分为多个可恢复阶段。

它不是延迟执行整个函数，而是允许函数在多个执行片段之间暂停与恢复。

因此更准确的描述是：

• 普通函数：单阶段执行模型

• 生成器函数：多阶段执行模型

这是一种控制流模型的改变，而不是简单的“懒加载”。

四、代码对象层面的差异

从编译结果看，生成器函数与普通函数的差异首先体现在其关联的代码对象（code object）上。

具体而言：

• co_flags 中包含 CO_GENERATOR 标志

• 字节码序列中包含 YIELD_VALUE 或 YIELD_FROM 指令

• 解释器在调用该代码对象时采用生成器调用路径，而非普通函数调用路径

这些差异意味着，生成器函数在编译阶段即被标记为“可分阶段执行”的代码单元。

然而，需要特别强调的是：生成器函数的代码对象在结构层面并未发生根本改变。以下属性并不会因为是生成器而改变其组织方式：

• co_varnames（局部变量名序列）

• co_consts（编译期字面量与嵌套代码对象集合）

• 局部变量布局（locals 的分配方式）

换言之：

• 词法作用域规则未改变

• 局部变量的存储模型未改变

• 编译期常量结构未改变

总之，生成器函数改变的是“执行语义”，而不是“词法结构”。它不是一种新的函数结构，而是一种新的执行模型。

五、生成器函数与生成器对象的分层关系

为了避免混淆，有必要严格区分两个层级：

• 生成器函数：定义层

• 生成器对象：运行层

生成器函数解决的问题是：如何在语言层面定义一个“可分阶段执行”的函数结构？

生成器对象解决的问题是：如何在运行期承载并控制这一分阶段执行的过程？

两者关系可以抽象为：

代码对象（带 CO_GENERATOR）        ↓函数对象        ↓ 调用生成器对象        ↓执行帧（frame object）

各层职责如下：

• 代码对象：决定该函数是否具备生成器语义

• 函数对象：作为语义入口，承载代码对象

• 生成器对象：在调用时被创建，负责控制执行推进

• 执行帧：实际承载局部变量、指令位置与运行期状态

可以看到：

• 生成器函数本身并不保存执行状态

• 执行状态保存在执行帧中

• 生成器对象持有执行帧并控制其恢复

这形成一个清晰的分层模型：

• 编译阶段决定“是否可分阶段执行”

• 调用阶段创建“分阶段执行控制体”

• 运行阶段通过帧对象保存具体执行状态

这正是 Python 执行模型“对象化”的典型体现。

六、生成器函数的应用场景

生成器函数适用于以下场景：

• 数据逐步产生

• 数据规模不可一次性加载

• 多阶段流程需要自然表达

• 控制权需要阶段性交替

• 逻辑可拆分为连续的暂停点

其价值不只是“节省内存”，而在于将执行阶段结构直接嵌入函数控制流。

请参阅：

《Python：生成器函数的应用场景》

📘 小结

生成器函数不是新的函数类型，而是带有生成器标志的函数对象。其本质改变发生在编译阶段与调用语义层面：函数调用不再立即执行，而是返回一个可分阶段推进的生成器对象。yield 作为表达式，引入了控制权交替机制，使函数执行从单阶段模型转变为多阶段模型。