AI写代码发展神速？长时序能力是硬核挑战！
- 2026-10-21 13:32:39
AI写代码发展神速？长时序能力是硬核挑战！
近年来，代码智能体的快速进展显示出迈向自主软件开发的巨大潜力。然而，现有评测基准尚无法严格评估构建完整软件系统所需的长时序能力。
为弥补这一空白，有研究团队提出了 NL2Repo Bench，这是一个专门用于评估代码智能体长时序仓库生成能力的评测基准。
考核规则很简单：
📄 给 AI 一份自然语言需求文档
🗂️ 给它一个空白工作区
➡️ 然后看它能不能独立完成架构设计、依赖管理、多模块实现，最后生成一个可安装的 Python 库。
实验结果：
❌ 就算最强的智能体，平均测试通过率也不到 40%
❌ 很少能一次性完成整个代码仓库
⚠️ 失败模式多：早早放弃、跨文件依赖关系脆弱、全局一致性丢失、数百步操作的规划力不足……
总结一句话：想让 AI 真正自主开发复杂软件，长时序推理能力才是最大的硬核瓶颈！
查看更多最新AI评测论文，可访问https://hub.opencompass.org.cn/daily-benchmark-list，每篇论文均支持支持AI智能解读。
#司南评测 #大模型评测 #多模态大模型 #大模型 #深度学习 #多模态人工智能 #AI人工智能 #代码智能体 #AI智能体 #AI工具
为弥补这一空白，有研究团队提出了 NL2Repo Bench，这是一个专门用于评估代码智能体长时序仓库生成能力的评测基准。
考核规则很简单：
📄 给 AI 一份自然语言需求文档
🗂️ 给它一个空白工作区
➡️ 然后看它能不能独立完成架构设计、依赖管理、多模块实现，最后生成一个可安装的 Python 库。
实验结果：
❌ 就算最强的智能体，平均测试通过率也不到 40%
❌ 很少能一次性完成整个代码仓库
⚠️ 失败模式多：早早放弃、跨文件依赖关系脆弱、全局一致性丢失、数百步操作的规划力不足……
总结一句话：想让 AI 真正自主开发复杂软件，长时序推理能力才是最大的硬核瓶颈！
查看更多最新AI评测论文，可访问https://hub.opencompass.org.cn/daily-benchmark-list，每篇论文均支持支持AI智能解读。
#司南评测 #大模型评测 #多模态大模型 #大模型 #深度学习 #多模态人工智能 #AI人工智能 #代码智能体 #AI智能体 #AI工具
本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：596563534@qq.com 。
