作者： Judy Hanwen Shen, Alex Tamkin 等
机构： Anthropic 等
各位AI领域的同行们，小编今天想和大家深入探讨一个与我们每个人职业发展都息息相关的问题：当我们依赖AI助手来完成编程任务时，我们的专业技能真的在同步提升吗？还是说，我们正在用短期的效率换取长期的技能萎缩？
最近来自Anthropic研究团队的“How AI Impacts Skill Formation” 一项严谨实验给出了令人警醒的答案。他们发现，使用AI助手完成涉及新编程库的任务，虽然可能带来一些效率提升，但会显著损害开发者对核心概念的理解、代码阅读和调试能力。更令人深思的是，这种“技能税”并非不可避免——关键在于你如何使用AI。
引言：AI时代的技能悖论
从工业革命到信息时代，每一次技术革新都重塑着劳动力市场的技能需求。人类的角色往往从“任务执行者”转变为“任务监督者”。如今的生成式AI浪潮也不例外，它正成为从软件工程到创业等多个领域的生产力催化剂。
然而，一个关键问题尚未得到充分解答：AI辅助在提升工作效率的同时，是否会阻碍工作者核心技能的形成？ 特别是对于仍在学习阶段的初级开发者而言，这个问题尤为紧迫。
软件工程领域是研究这个问题的理想试验场。一方面，研究表明AI工具能显著提升编码效率，初级开发者受益尤其明显；另一方面，在安全关键的应用中，人类工程师必须拥有足够的能力来理解和验证AI生成的代码。如果AI辅助反而削弱了这些能力，那么人类监督AI系统的能力就会大打折扣。
AI对技能形成的影响框架
图：AI辅助在工作场所日益普及，新手工作者可能在完成任务的同时，却无法获得同等的学习成果研究设计：追踪AI如何影响新技能习得
为了探究这个问题，研究团队设计了一项巧妙的实验。
任务选择：学习异步编程库Trio
研究聚焦于Python的Trio库——一个用于异步并发和I/O处理的库。选择这个库有几个原因：
- • 相比
asyncio知名度较低，对大多数开发者来说是全新的 - • 涉及“结构化并发”等新概念，超出了基础的Python熟练度要求
实验流程
研究采用随机对照试验设计，共招募了52名参与者（每组26人），所有参与者都满足以下条件：
任务流程
图：实验任务流程概览。所有参与者先完成一个热身任务，然后在主任务中，治疗组可以使用AI辅助实验分为三个阶段：
- 1. 热身任务：不涉及异步概念的Python编码任务，用于校准参与者的Python熟练度
- 2. Trio任务：35分钟内完成两个使用Trio库的编码任务
治疗组的参与者在Trio任务阶段可以访问基于聊天的AI助手（使用GPT-4o模型），而对照组只能依靠网页搜索和任务说明。
技能评估设计
为了全面评估技能掌握情况，研究团队设计了涵盖四个维度的测试：
- • 调试能力：识别和诊断代码错误——监督AI生成代码的关键技能
- • 代码阅读：理解和解释代码功能——验证AI编写代码的基础
- • 代码编写：排除在本测试外，以减少语法错误的影响
- • 概念理解：理解工具和库的核心原理——评估AI代码是否采用合适设计模式的关键
最终测试包含14个问题，总分27分，覆盖了Trio库的7个核心概念。
核心发现：AI辅助损害技能形成，且效率提升有限
主要结果：显著的“技能税”
主要研究结果
图：主要研究中对照组（无AI）和治疗组（AI辅助）在任务完成时间和测试分数上的均值差异。误差棒表示95%置信区间研究结果清晰而令人惊讶：
- 1. 技能形成显著受损：使用AI辅助的参与者测试分数平均降低了17%（4.15分），相当于两个等级分数（Cohen's d=0.738, p=0.010）。
- 2. 效率提升不显著：虽然AI组的平均任务完成时间略短，但差异在统计上不显著。这与之前一些研究发现AI显著提升编码效率的结论形成了对比。
深入分析：不同技能维度的受影响程度
测试分数细分
图：按任务和技能领域划分的测试分数细分。调试问题显示了治疗组和对照组之间最大的平均分数差距当深入分析不同技能维度时，发现：
- • 调试能力受影响最大：这正是人类监督AI生成代码最关键的技能
- • 代码阅读受影响最小：可能是因为两组参与者在任务中都有阅读代码的暴露
- • 概念理解也显著下降：表明AI辅助阻碍了对新库核心原理的掌握
这一发现特别值得警惕：随着公司向更多AI编写代码、人类监督的模式过渡，如果人类的技能形成因使用AI而受到抑制，他们可能缺乏验证和调试AI编写代码的必要技能。
为什么AI没有显著提升效率？深入定性分析
一个反直觉的发现是：AI辅助并没有显著加快任务完成速度。通过分析所有参与者的屏幕录像，研究团队揭开了这个谜团。
AI交互时间：效率的“隐形成本”
AI交互时间分布
图：总AI交互时间和AI查询数量的分布。一些参与者花费超过6分钟与AI交互，这导致治疗组（AI辅助）并不比对照组（无AI）显著更快研究发现，部分参与者花费了大量时间与AI助手交互：
- • 在35分钟的任务中，有些参与者总共花费超过10分钟与AI交互
思考问什么、如何问AI问题，本身成为了一个耗时任务。 屏幕录像显示，参与者经常反复阅读说明、重写查询，这种认知努力虽然可能有助于理解，但也消耗了时间。
六种AI交互模式：不同的结局
通过分析参与者的AI使用行为，研究团队识别出了六种典型的交互模式，这些模式导致了截然不同的技能形成结果：
六种AI交互角色
图：治疗组（AI条件）中六种AI交互角色及其平均完成时间和测试分数低分交互模式（平均测试分数<40%）
这些模式通常涉及对AI的高度依赖：
- 1. AI委托型（n=4）：完全依赖AI编写代码，完成任务最快，但遇到错误最少，技能形成最差。
- 2. 渐进式AI依赖型（n=4）：开始时只问1-2个问题，最终将所有编码工作委托给AI，特别是第二个任务的概念掌握很差。
- 3. 迭代式AI调试型（n=4）：依赖AI调试或验证代码，查询次数多但依赖AI解决问题而非澄清自己的理解。
高分交互模式（平均测试分数≥65%）
这些模式保持了较高的认知参与度：
- 1. 生成后理解型（n=2）：先生成代码，然后询问后续问题以提高理解。速度不快但理解水平高。
- 2. 混合代码解释型（n=3）：在请求代码生成的同时要求解释生成的代码，阅读和理解解释需要更多时间。
- 3. 概念性探究型（n=7）：只询问概念性问题，依靠改进的理解完成任务。虽然遇到许多错误，但也独立解决了这些错误。
关键启示：不是是否使用AI的问题，而是如何使用AI的问题。 保持认知参与度的高分模式，即使在AI辅助下也能有效学习。
错误遭遇：学习的催化剂
一个关键的发现是：遭遇和独立解决错误是技能形成的重要催化剂。
按条件划分的错误类型
图：按参与者条件划分的错误数量：AI（治疗组）和无AI（对照组）。对照组遇到了更多与关键Trio概念相关的错误研究发现：
- • 对照组的参与者平均遇到3个错误，而AI组的参与者平均只遇到1个错误
- • 对照组遇到的错误中，有更多与Trio核心概念直接相关（如
RuntimeWarning、TypeError） - • 这些Trio相关错误迫使参与者理解异步函数、await关键字等核心概念
错误不是学习的障碍，而是学习的机会。 独立解决这些错误的过程，正是深度理解新库运作原理的过程。
代码采纳方式：粘贴vs手动输入
粘贴行为分析
图：AI编码行为分解：直接粘贴AI输出的参与者体验了最显著的速度提升，而手动复制AI生成输出的参与者与对照组（无AI）的节奏相似研究还发现了一个有趣的现象：
- • 直接粘贴AI代码的参与者（n=9）完成任务最快
- • 手动复制AI代码的参与者（n=9）完成任务的速度与对照组相似
- • 主要自行编写代码的参与者（n=4）相对较快，且通过只询问澄清问题表现出较高的熟练度
然而，在技能形成方面，粘贴和手动复制组之间没有显著差异。这表明花费更多时间手动输入可能不会带来更好的概念理解，认知努力可能比原始任务时间更重要。
讨论与启示：AI时代如何平衡效率与学习
主要结论
这项研究的主要发现可以概括为：使用AI完成需要新技能的任务会降低技能形成，而效率提升并不总是显著。
更具体地说：
- 1. AI辅助不是通往能力的捷径：虽然AI可以加快某些任务的完成，但它不能替代真正的技能发展。
- 2. 认知参与是关键：保持认知参与度的AI使用模式（如概念性探究、生成后理解）可以在利用AI辅助的同时保持学习效果。
- 3. 错误是学习的一部分：独立遭遇和解决错误是深度理解的重要途径，而AI辅助可能会减少这种学习机会。
对开发者和组织的启示
对于开发者和技术团队，这项研究提供了重要的实践指导：
- 1. 有意识地使用AI：不是完全避免AI，而是有策略地使用。在需要学习新技能时，考虑采用“概念性探究”或“生成后理解”等模式。
- 2. 保留“困难路径”：对于关键技能的学习，有时需要故意减少AI依赖，通过独立解决问题来深化理解。
- 3. 重视调试能力：随着AI编写代码的普及，人类的调试和验证能力变得更加重要，需要特别关注这方面的培养。
- 4. 平衡效率与学习：在组织层面，需要平衡短期生产力和长期技能发展的需求，为学习留出空间。
研究局限与未来方向
这项研究也存在一些局限性，为未来研究指明了方向：
- • 任务选择单一：仅关注基于聊天的AI助手，而代理式编码工具可能需要更少的人类参与
- • 时间跨度有限：技能形成通常需要数月到数年的时间，而本研究仅测量了一小时内的学习效果
- • 评估方式：仅通过测试评估技能，未通过后续任务表现进行评估
结语：在AI时代保持专业成长
在AI工具日益普及的今天，这项研究为我们敲响了警钟：技术的便利不应以专业能力的退化为代价。
作为AI领域的研究者、开发者和创业者，我们既受益于这些强大工具，也面临着如何在使用它们的同时保持和提升自身专业能力的挑战。研究给出的答案既不是完全拒绝AI，也不是盲目依赖AI，而是有意识、有策略地使用AI，保持认知参与度，将AI作为学习的辅助而非替代。
最终，适应AI时代的工作者需要关心的不仅是AI带来的生产力提升，更是在新AI工具激增的背景下，专业知识和技能发展的长期可持续性。在这个快速变化的时代，保持学习能力本身，可能成为我们最宝贵的技能。
参考文献： 本研究基于Judy Hanwen Shen和Alex Tamkin等人的工作“How AI Impacts Skill Formation”。完整论文和实验数据可在相关学术平台获取。
关注「AI论文热榜」，紧跟最前沿、最硬核的AI技术进展！
如有论文辅导、项目开发等需求，请联系小编，微信号: GCgcong
