摘要
生成式编程工具有望大幅提升生产效率，但采用不均衡可能会扩大技能与收入差距。我们训练了一个神经分类器，用于在超过30万次由160,097名软件开发人员提交的GitHub提交中，识别AI生成的Python函数，从而追踪这些工具的扩散速度与范围。据估计，目前在美国，AI撰写的代码约占Python函数的29%，这一领先优势相对于其他国家正在缩小。我们估计，由此导致的季度产出（以线上代码贡献量衡量）因此增长了3.6%。AI似乎惠及了经验丰富的高级开发人员：他们的生产效率得以提升，并且更易拓展至软件开发的新领域。相比之下，处于职业生涯早期的开发人员并未从采用AI中获得显著收益。这可能会扩大技能差距，并重塑软件开发领域未来的职业阶梯。
引言
支持者认为，人工智能——特别是生成式人工智能——将极大地提高我们的生产力，并彻底改变我们的工作方式。例如，预计生成式人工智能将在越来越多的任务中补充或替代人类。这迫使个人、企业和政策制定者必须在高度不确定性的情况下，就生成式人工智能的使用和监管做出重要决策。利害攸关：生成式人工智能已通过ChatGPT或Claude等工具变得易于获取，直接补充了人类思维，并有可能成为一种能够解决广泛问题的通用目的技术。
迄今为止的实验和准实验证据支持了生成式人工智能具有变革潜力的观点，表明在多种工作中，使用生成式人工智能能提高个体工作者的生产力和产出。由大型语言模型所有者报告的调查和数据表明，这些技术正在快速扩散。然而，关于人工智能对国内生产总值和就业的总体影响的估计往往较为温和，这表明我们远未清楚了解人工智能的整体影响。
我们确实知道存在显著的采用异质性，这可能导致经济分化。尽管生成式人工智能在工作年龄人口中使用广泛，但自我报告的采用率在人口统计学、资历、工作经验和行业之间存在显著差异。来自招聘广告和公司网站的证据表明，生成式人工智能的采用情况因地域而异。如果生成式人工智能确实能大幅提高生产力，任何潜在的采用障碍都将对国内及国家间的不平等产生重大影响。然而，从历史上看，蒸汽机、发电机和计算机等通用目的技术在宏观层面的生产力效应通常需要很长时间才能显现。综合来看，这导致目前对生成式人工智能影响存在相当大的不确定性。
要解决这种不确定性，就需要在全球层面准确测定采用率、使用强度和生产力效应。证明生成式人工智能采用存在人口统计学和行业异质性的调查通常侧重于单个国家。先前使用调查数据比较不同国家人工智能采用情况的研究发现了国家内部和国家之间存在差异的证据，但调查样本加权和分析时期的差异限制了我们直接比较观察到的比率的能力。在生成式人工智能的背景下，受访者（尤其是在工作中）可能会为避免评判而少报使用情况。尽管如此，调查为了解采用模式提供了宝贵的资源。同样，随机对照试验和自然实验也必不可少，因为它们旨在衡量生成式人工智能采用的因果效应。然而，它们通常将获得生成式人工智能工具访问权限的个人视为"被处理者"，而未量化被处理者在实验期间使用生成式人工智能的程度。此外，调查和实验往往在短时间内观察个体，这限制了我们了解采用动态以及观察那些显现较慢的采用效应的能力。
为了开始解决这些差距，我们探讨能否利用机器学习直接测量个体随时间推移对生成式人工智能的采用和使用强度，而非依赖自我报告的信息。如果可以，这样的测量能告诉我们关于生成式人工智能采用率的什么信息？不同国家和人口群体之间是否存在差异？生成式人工智能如何影响个体的产出？以及经验等个体特征如何调节这些效应？
为了回答这些问题，我们在生成式人工智能的主要应用领域之一——软件开发——进行了细粒度研究。这是一个重要且高价值的领域，也独特地暴露于生成式人工智能的影响之下。为此，我们设计并实施了一个机器学习分类器，用于识别GitHub上开源Python项目中超过30万次软件开发人员贡献中，在大量AI辅助下编写的代码。为了训练该分类器，我们汇编了一个自定义训练集，将现有数据源与生成合成训练数据的程序相结合。这使我们能够在细粒度上分析AI生成代码的变化模式。我们利用这一新颖的微观数据源，研究了生成式人工智能在编码中的使用如何在六个主要国家快速扩散，这种扩散如何与人口特征相关联，以及它如何影响100,097名美国软件开发人员样本中的编程活动。
检测AI生成的代码
为了收集大规模编程活动数据集，我们收集了100,097名美国GitHub用户向基于Python的开源项目提交的所有提交记录，并递归克隆了与每个项目相关的所有GitHub目录。接下来，我们为软件开发的另外五个主要国家（中国、法国、德国、印度和俄罗斯）每年随机抽取的2,000名开发者（总计60,000名开发者）添加其提交记录。然后，我们分析这些提交记录，以评估AI生成代码的普遍程度。
图1描述了我们如何将这些代码贡献分类为人类编写或AI生成。我们将此分析限制在代表函数的代码块上，以聚焦于一个细粒度、自包含但又实质性的代码单元。我们首先构建一个真实标注数据集（图1A），收集我们确信由人类程序员/开发者编写的Python函数。为此，我们采用2018年编写的函数，因为它们早于强大的生成式AI模型的发布。由于编程风格会随时间演变，我们从2022年和2024年的HumanEval数据集中添加了后续年份创建的函数。为了添加一组类似但由生成式AI编写的函数数据集，我们采用了一个两步程序。首先，对于每个人类编写的函数，我们要求一个大型语言模型用英语描述该函数，并指定函数的输入和输出类型。其次，我们将此文本输入第二个大型语言模型，并要求该模型基于此描述生成一个函数。与先前方法不同，我们使用两个不同的LLM，这避免了在人类代码与其转述之间产生不必要的强相关性，同时确保我们训练数据中的（合成）AI生成函数在功能上接近原始的人类编写函数。
图1. 将用Python编程语言编写的函数代码分类为人类生成或AI生成
（A）使用一组人类生成的代码，我们要求一个LLM用英语描述该代码，然后要求另一个LLM根据该描述实现一个Python函数。（B）我们使用GraphCodeBert对生成的代码进行向量化，这是一种利用代码的标记、注释和变量图流进行嵌入的方法。（C）我们训练一个将GraphCodeBert与分类头相结合的神经网络分类器，以预测人类/AI标签。（D）我们在样本外数据上评估该分类器，并将其应用于一个大型未标记Python函数数据库。
然后，我们在此数据集上训练一个机器学习分类器。我们按照的方法，使用GraphCodeBert（一种为代码预训练的语言模型，利用代码的标记、注释及其变量的数据流图将函数嵌入到高维向量空间中）对每个函数进行转换。生成的向量被输入分类器，以确定给定函数是由人类还是由生成式AI编写的（图1，B和C）。
结果
该分类器表现优异，样本外ROC AUC得分达到0.96（图1D），真阳性平均率为0.95。我们将此分类器应用于从3100万次Python项目提交中提取的500万个函数，时间范围从2019年初到2024年底，覆盖美国用户的全部群体及其他五个国家的抽样用户（图1D）。在补充材料中，我们展示了该分类器也能正确识别在我们数据收集结束后发布的更新LLM生成的代码，以及在真实世界与LLM交互中产生的代码，尽管准确度稍低。基于这些较新LLM生成的代码重新训练分类器可进一步提高性能。
图2A绘制了美国开发者的AI采用轨迹。采用率在主要AI进展（包括Copilot、ChatGPT和第二代LLM的发布）后急剧上升。图2B将美国与我们在全球AI采用竞赛中涵盖的另外五个主要国家进行了比较。这表明美国早期领先，并自此一直保持优势。到2024年底，美国约29%的Python函数由AI生成，德国和法国紧随其后，分别为23%和24%。印度在最初采用滞后后，以20%的比例逼近。相比之下，俄罗斯和中国迄今为止仍然是后期采用者。
图2. AI生成的Python函数随时间变化的份额
（A）美国GitHub用户创建或实质性修改的Python函数份额。垂直线表示95%置信区间。该图揭示了采用率的突变与关键的AI相关事件同步发生：GitHub Copilot预览版发布、ChatGPT公开上线以及第二波LLM发布（GPT4及相关模型）。(B) 中国、法国、德国、印度和俄罗斯的采用情况，我们为每个国家-年份随机抽样了2,000名开发者（注意在中国，GitHub与替代协作平台Gitee存在竞争）。美国曲线复制自（A）作为参考。美国在生成式AI的早期采用中领先，随后是法国和德国等欧洲国家。从2023年起，印度迅速追赶，而中国和俄罗斯的采用进展较慢。
聚焦于美国开发者的全体群体，我们发现AI采用率随着开发者在GitHub上活跃年数的增加而下降。图3B显示，经验最丰富的开发者在其27%的代码中使用生成式AI，而刚刚加入GitHub平台的开发者则在其37%的代码中使用这些工具。相比之下，使用基于（自我报告的）名字的性别推断算法，我们发现男性和女性之间没有差异（图3A）。
图3. 采用与影响的异质性
（A）基于GitHub用户显示名称推断的性别与生成式AI使用强度（美国，2024年）。(B) 用户的GitHub资历与生成式AI使用强度（美国，2024年）。(C) 来自包含用户和季度固定效应的用户-季度面板回归估计的生成式AI使用对用户活动的影响。在所有提交、处理项目间依赖关系的多文件提交以及添加库导入（我们将其解释为添加新功能）的提交中，生成式AI的使用都与提交活动增加相关。生成式AI还与使用更广泛的库范围、更广泛的库组合范围以及更多尝试新库或新组合的实验相关。当限定在5,000个最常见库组合或使用粗粒度的库类别而非库本身时，结果相似。(D) 然而，这些益处完全由经验丰富的开发者获得，对经验不足的开发者则没有可衡量的收益。误差条：95%置信区间（标准误差按用户聚类）。
为了评估生成式AI如何影响开发者产生的代码数量和性质，我们依赖包含用户和季度固定效应的回归模型。这在控制整体经济趋势的情况下，比较了同一开发者在不同时间点的产出（以季度提交数量衡量）。图3C总结的这些模型表明，生成式AI对开发者生产力有实质性影响。我们在不同提交集合中发现了持续的影响：所有提交、修改多个文件的提交（通常需要跨脚本处理依赖关系）以及向脚本添加新库（通常引入新功能）的提交。从0%到29%的生成式AI使用率（估计为2024年底美国的采用率）的转变，与所有这些提交类型的提交率增加3.6%相关。然而，这些与用户生产率的关联完全由高级别用户驱动，对于他们，29%的采用率意味着提交率增加6.2%（图3D）。相比之下，我们在早期职业生涯用户中未观察到统计学上显著的影响。
除了提高活动率外，AI采用还与更多尝试新库和库组合的实验相关，过去的研究将其解释为创新的标志。由于库通常专注于特定类型的功能（如可视化、自然语言处理、网络交互或数据库操作），这些发现表明，生成式AI帮助开发者将其能力扩展到软件开发的新领域。以美国开发者2024年底的平均AI使用率计算，我们的模型预测，使用生成式AI达到美国2024年底平均29%使用率的开发者将实现额外2.7%的新库组合。结果在我们识别新库引入方式的变体中保持稳健。观察到的效应不太可能只是反映了添加晦涩库（"AI slop"）的结果：如果我们仅使用5,000个最常见库，或者首先将库分组为124个粗粒度类别，结果变化不大。此外，补充材料的图S6表明，这些效应以及先前的生产力效应很可能是下限，因为用户AI采用率测量中的误差会向下偏误这些估计值。
讨论
我们着手在微观层面和全球范围内测量软件开发人员对生成式人工智能的使用情况。聚焦软件开发劳动力，我们展示了生成式人工智能如何扩散，以及这如何影响开发者产生的代码数量和性质。为此，我们开发了一种新的生成式人工智能分类器，用于识别GitHub提交中的AI生成函数。将其应用于覆盖六个主要国家软件开发活动的大型数据集，我们记录了在关键的生成式人工智能发布后，AI生成代码出现了显著的增长峰值。然而，我们也观察到国家之间存在显著差异：美国处于领先地位但其优势正在缩小，德国和法国紧随其后，印度快速追赶，而中国和俄罗斯在2024年底仍然滞后。与现有研究一致，我们估计的采用率在职业生涯早期开发者中更高。然而，与大多数先前工作不同的是，我们发现男性和女性之间没有显著差异。
我们还发现，生成式人工智能重塑了编程工作的数量和性质。利用开发者内部变异——比较同一开发者在采用生成式人工智能前后的情况——我们发现AI采用显著提高了产出。使用生成式人工智能的开发者也更有可能将新颖的软件库组合纳入其代码中，这表明他们使用不熟悉的构建模块涉足了新的技术领域。然而，生产力和探索能力的提升几乎完全集中在高级别开发者中。相比之下，尽管职业生涯早期的开发者更多地使用了生成式人工智能，他们并未实现相同的收益。
我们观察到职业生涯早期的开发者更多地使用AI但从中的获益却少于经验更丰富的同事，这可能反映了开发者在更广泛任务中有效利用生成式人工智能的能力差异。例如，高级别开发者能更快地解释和发现AI生成代码中的错误。这种解释得到了研究的支持，该研究表明获得生成式人工智能访问权限使高级开发者能够减少在协调活动上的时间，而将更多时间用于编码。
我们的发现既复制了也扩展了其他研究的结论。本研究估计美国最近的采用率约为29%，这与微软和亚马逊报告的编码工作采用率惊人地相似。这表明，尽管我们专注于开源Python库的代码，但我们的结果与其他情境下的采用率估计非常吻合，并且可能推广到本研究特定环境之外。
与大多数其他研究不同，我们的方法学进展和设计使我们能够比较不同国家的早期采用率。在这里，我们发现美国开发者存在明确且持续的领先优势。在中国和俄罗斯等国家，LLM的使用率可能较低，原因在于其供应方面的差异以及需求方面的差异。然而，其他主要国家正在迅速追赶，侵蚀着美国的先发优势。我们研究的另一个独特之处在于，现有文献通常关注的是获得生成式人工智能的访问权限——从而得出所谓的"意向治疗"的因果效应的简化形式估计，而非生成式人工智能本身的效应——或是在受控实验环境中的使用情况。相比之下，我们的方法使我们能够量化这项新技术在现实工作活动中的使用强度。最后，我们注意到，我们关于生成式人工智能使用的跨国证据补充了关于更广泛AI采用的公司层面调查工作；虽然水平无法直接比较，但两种视角都记录了AI使用方面持续存在的跨国差距。
关于生成式人工智能的生产力效应，我们的估计值通常小于随机对照试验和利用自然实验的研究中发现的值。在稳健性检验中，我们研究了生成式人工智能采用的收益是否存在非线性或阈值效应可以解释这种差异，但几乎没有找到支持该假设的证据。一个更有希望的解释是测量误差，这很可能导致效应估计值向下偏误。与此一致的是，图S6显示，如果我们对测量误差进行修正，我们的效应估计值会大幅增加。此外，我们表明有益效应集中在高级开发者中，而职业生涯早期的开发者似乎并未从生成式人工智能中获益太多。因此，先前研究报告的较高效应估计值也可能反映了其分析的人群和依从者样本的差异。同时，高级和初级开发者之间在生成式人工智能获益方面的差距，为职业生涯早期开发者未来职业和学习路径的可用性及性质带来了巨大的不确定性。
本研究存在一些局限性。首先，我们的分析专注于软件开发。尽管这限制了其范围，但该领域的工作特别适合进行细粒度的定量分析，而这正是研究AI如何影响工作者及其工作所必需的。在软件内部，我们仅关注基于Python的开源贡献。虽然Python是一种广泛使用的语言，但在其他编程生态系统中的采用模式可能不同。我们认为，从GitHub上的开源Python代码得出的估计具有经济意义，因为开源软件支撑着大多数商业技术栈并产生显著价值。GitHub在协作、网络构建和信号传递方面的核心作用进一步将我们的证据与专业活动联系起来。最后，我们对美国AI使用情况的估计与报告的美国领先企业的AI使用情况紧密吻合，这增加了我们对其研究结果外部有效性的信心。
更广泛地说，我们也没有考虑同事之间潜在的外部性或不同公司间生产力的异质性，这些都可能是生成式人工智能如何影响编程活动的相关因素。在公司层面之外，我们的地理分析仅限于部分国家，将分析范围扩大到包括不同收入水平的国家是很重要的。在中国这一具体案例中——那里的编程社区也依赖一个替代的协作平台Gitee——我们专注于GitHub项目可能会在一定程度上扭曲估计值。最后，关于重新审视生成式人工智能的影响，还有许多其他方法可以用来评估开发者的生产力，这些方法更加关注代码质量，例如跟踪问题如何解决、代码合并到已实现的测试覆盖率等。虽然原则上可行，但此类分析需要新的数据收集和仔细的度量设计。因此，我们将关于生成式人工智能对代码质量影响的问题留给未来研究。
生成式人工智能在编码领域创造了多少价值？虽然难以给出确定答案，但我们的研究为解开这个谜题提供了一些重要线索。基于对约900种不同职业的详细任务调查和工资统计数据进行分析，我们估计美国每年在与编码活动相关的劳动力成本上支出6370亿至10630亿美元。假设我们估计的到2024年底29%的扩散率具有普遍代表性，那么生成式人工智能编码助手在美国每年产生的价值将取决于它们提高生产力的程度。使用我们自身保守的基线估计，生成式人工智能将使提交量增加3.6%。假设这些提交反映了有价值的代码贡献，我们的计算意味着生成式人工智能每年额外产生230亿至380亿美元的代码价值。此估计假设跨编程语言的生产力提升相似。在一个更保守的场景中，假设Python之外的生产力效应可忽略不计，则生成式人工智能的价值将降至该数字的约17%，即约40亿至60亿美元。
相比之下，软件开发领域的各项实验室实验和现场实验，都得出了生成式人工智能对任务完成时间因果效应大得多的估计值——这可以说是一个比提交量更相关的跟踪指标。对这类研究进行平均（详见材料与方法）得出，在29%的采用率下，生产力估计提高6.0%-15.7%。这转化为生成式人工智能对美国编码活动的直接影响范围在380亿至1670亿美元之间。然而，这些估计忽略了生成式人工智能也可能导致代码市场价格的下降。因为这为代码消费者带来了成本节约，同时减少了供应方（即程序员/开发者）的利润，考虑此类一般均衡效应会进一步扩大可能结果的范围（见补充材料，第S7节）。在材料与方法部分，我们表明这主要会影响我们估计的上限，而下限几乎不受影响。这些粗略计算的结果是：尽管生成式人工智能对美国经济的总价值尚不确定，但它很可能相当可观，至少在数百亿美元的规模。
鉴于生成式人工智能已迅速扩散到美国以外，即使我们仅局限于软件行业，全球的成本节约也将更大。此外，目前我们仍处于这项看似新的通用目的技术扩散曲线的早期阶段。历史上，通用目的技术的早期生产力效应一直难以识别，因为需要时间将其整合到公司层面的工作流程和程序中，培训工人并积累充分利用其潜力所需的互补性资产。基于此，在关于生成式人工智能生产力效应的辩论中，我们发现自己处于乐观的一方。
我们关于这些效应以及生成式人工智能异质性扩散的研究结果，为政策制定者和研究人员提出了重要问题。我们需要理解AI采用的障碍：这些障碍是否类似于之前的激进创新，还是这个时代有所不同？此外，这些障碍不仅需要在个体层面理解，还需要在公司、区域和国家层面理解。我们的研究为回答这些问题迈出了第一步。
此外，考虑到开发者之间生产力差异巨大，以及我们的发现——收益仅由经验更丰富的程序员获得，未来的研究应探索AI采用如何影响处于精英开发者顶端的开发者活动，在那里最重大的突破和创新更可能发生。最后，我们的研究完全专注于编程任务。然而，一项对精英软件开发者的研究表明，获得生成式人工智能会导致从管理任务向编码任务的转变，这表明生产力效应得以实现的一个重要途径是软件开发工作任务的构成变化。
工作的性质常常随着新技术的引入而改变。当所讨论的创新是激进的（如过去的珍妮纺纱机、晶体管或机器人），同时又是普遍渗透的，理解这些变化尤其困难。生成式人工智能对工作和劳动力市场影响的不确定性，反映在研究人员和政策制定者对其所持态度的大相径庭，从乌托邦式到怀疑论乃至完全灾难性的都有。这些态度是在快速变化的背景下形成的，并且基于关于AI采用和影响的不完整证据。本研究的发现提供了更好的证据，说明生成式人工智能如何在一个庞大、重要且高度暴露的经济部门中被使用，并提供了未来实时监控的方法。将我们的AI检测分类器应用于六年期间数百万次的代码贡献，我们可以确认AI采用速度很快，但在不同国家和个体之间存在异质性。此外，AI采用与在线软件开发协作中的活动率增加相关。
然而，最令人惊讶的发现之一是生成式人工智能增加了对新库的尝试。这表明生成式人工智能允许用户更快地进入编程的新领域，将新型功能嵌入到他们的代码中。这证实了先前的发现，即生成式人工智能增加了个人创新，推动了个体在使用新库组合方面的能力。然而，再次强调，似乎只有经验丰富的高级用户能够以这种方式利用生成式人工智能，这对生成式人工智能存在下的职业发展和学习具有重要影响。
Cite as
Simone Daniotti et al. ,Who is using AI to code? Global diffusion and impact of generative AI.Science0,eadz9311DOI:10.1126/science.adz9311
本文翻译由DeepSeek大模型驱动生成。
