Python合并数据,怎样阻止 pandas 悄悄制造重复行?

pandas.merge 与数据库连接一样，会按键组合记录。若两边同一键都重复，多对多连接会产生笛卡尔积。最可靠的做法是用 validate 把预期关系写进代码，并用 indicator 审计未匹配来源。

one_to_one、one_to_many 和 many_to_one 描述的是键的唯一性约束。validate="one_to_one" 会在任一侧键不唯一时抛出 MergeError；many_to_many 允许重复，但不会替研究者检查这种重复是否合理。

官方文档提醒，重复键连接可能显著扩大结果维度并导致内存问题。即使数据量不大，行数膨胀也会重复计算个体权重、改变均值和回归样本，是实质性统计错误。

pandas 对空键的处理与通常SQL行为不同：两边键均为空的记录可能相互匹配。合并前必须检查关键字段缺失和数据类型，不能期待空值自动保持未匹配。

在打开软件之前，先冻结研究对象、观察单位和目标比较。命令能够检查数据是否满足声明，却不能替研究者决定一行数据代表谁、处理在哪个层级发生、结果要推广到哪个总体。还要区分数据中的统计单位、政策赋值单位和推断单位：三者不一致时，变量构造、标准误与因果解释会受到不同影响。把这些问题留到回归之后，往往会让一个语法正确的结果回答错误的问题。建议在脚本开头用文字注释写下目标参数、分析样本、时间窗口和排除规则，后面的每条命令都应能追溯到其中一项设计决定。

先用 duplicated() 和 groupby().size() 检查两边键，使用 assert 或显式异常固定预期唯一性。再 merge(..., validate="many_to_one", indicator=True) 执行连接，让结构不符立即失败。

先 outer merge 审计 left_only、right_only 和 both，再根据研究边界决定 inner 或 left。直接 inner 会让未匹配记录静默消失，研究者无法区分合法样本边界与代码、时间或名称错误。

合并后检查行数、键唯一性、_merge 分布、核心变量缺失和重复实体，并抽查若干匹配。若键由浮点数、日期或清洗后名称构成，还需检查精度、时区和标准化规则。

执行时建议保留原始数据只读副本，把导入、清洗、检查、估计和输出写入同一脚本，并让关键假设以断言或明确选项进入代码。每一步同时记录运行前后观测数、唯一键、缺失率和变量取值范围，避免错误在多次保存后失去来源。任何断言失败都应停止流程、定位原因；不要先删除异常观测再让命令顺利通过。若确需人工修正，单独保存修正规则、原值、新值与依据，让第二位研究者能够从原始文件复现同一结果。

以下代码以 pandas 3.0 官方文档为依据，变量名均为占位符，属于示意代码。运行前应冻结输入文件、字段类型和 pandas 版本。

import pandas as pd

assert not right[["city_id", "year"]].duplicated().any()

merged = left.merge(right, on=["city_id", "year"], how="outer", validate="many_to_one", indicator=True)

print(merged["_merge"].value_counts(dropna=False))

assert len(merged) >= len(left)

报告 pandas 版本、输入文件校验值、连接键、validate 关系、how 类型、三类匹配数量和最终排除规则。保存日志与中间审计结果，使数据更新后可以自动发现结构变化。

suffixes 只能解决同名字段命名冲突，不能判断左右表哪个字段可信。出现 value_x 与 value_y 后，应逐项比较并制定来源优先规则，而不是机械删除其中一列。

合并成功只证明键能连接，不证明实体、时期和统计口径一致。Python 能把结构假设变成自动测试，但最终仍需领域知识确认每个键代表同一个研究对象。

论文或附录至少报告分析样本如何形成、关键选项为何这样设置、诊断结果是否改变主结论，以及替代合理设定下估计如何变化。建议把主规格、预先说明的敏感性规格与探索性结果分开，不用同一组星号掩盖它们不同的证据地位。显著性不是数据质量和识别有效性的替代品；软件没有报错，也不等于研究设计已经成立。若结果只在某个缺少设计依据的选项下显著，应把这种依赖性作为结论边界，而不是继续寻找更有利的命令组合。

1. https://pandas.pydata.org/docs/reference/api/pandas.merge.html

2. https://pandas.pydata.org/pandas-docs/stable/user_guide/merging.html