长记忆评估太头疼?这个 Python 小工具让 QA 测试丝滑如

周五临下班，产品突然甩来一个需求：“咱们那个带长记忆的对话机器人，怎么验证它到底记没记住上周聊过的内容？”

看着几千条杂乱的对话日志和一堆手动整理的 QA 对，我头都大了。

传统做法要么写脚本硬解析，要么靠人眼盯，效率低还容易出错。

直到我在 GitHub 上挖到了这个只有 8 个 Star 的宝藏项目：openclaw-eval。

别嫌 Star 少，这种刚出炉的轮子，往往藏着最硬核的实战逻辑。

项目揭秘：这是个什么神器？

说人话，这就是一个专门给 OpenClaw 这类长记忆对话系统设计的“自动化考官”。

它的核心逻辑非常清晰：先把多轮对话“喂”给系统建立上下文（Ingest），再拿着标准答案去提问（QA），最后自动对比回答与预期。

它不再让你手动去构造复杂的 Session 数据，而是直接支持 LoCoMo 这种包含多会话、多模态信息的复杂数据集。

这就好比给你的 AI 模型请了一位不知疲倦的测试专家，7x24 小时盯着它的记忆力看。

核心杀手锏：为什么是它？

💡 真正的“多轮”上下文注入

以前测长记忆，我们常犯的错误是把所有对话拼成一个大字符串塞进去。

但这忽略了真实场景中“会话（Session）”的时间间隔和状态隔离。

openclaw-eval 的 ingest 模式极其聪明，它能按 Session 分批注入，同时保持同一个 user UUID。

传统做法：暴力拼接文本，丢失时间线，模型产生幻觉。 该项目做法：模拟真实用户行为，分批次“喂食”，让记忆自然累积。 实际收益：评估结果无限接近真实用户场景，彻底告别“实验室数据”偏差。

🎯 解耦的“考 - 评”分离机制

很多评测工具把数据加载和问答执行绑死在一起，改个参数就得重跑全流程。

这个项目采用了极佳的 两步走策略：先运行 ingest 获取用户 UUID，再持 UUID 运行 qa。

传统做法：全量重跑，调整一个问题就要重新构建整个上下文，耗时耗力。 该项目做法：上下文构建一次，可反复进行不同维度的 QA 测试。 实际收益：调试效率提升 10 倍，你可以随意更换问题集而不必等待漫长的数据预处理。

⚡ 原生支持多模态与复杂元数据

现在的对话系统早就不只是纯文本了，图片、事件摘要、观察记录都是标配。

README 里展示的 LoCoMo 数据结构，完美兼容了 img_url、blip_caption 等多模态字段。

传统做法：自己写正则清洗 JSON，处理图片链接时经常报错，维护成本极高。 该项目做法：内置解析器，自动识别并格式化多模态消息块。 实际收益：直接复用现有的高质量数据集，无需为适配格式浪费半天时间。

实战指南：Show me the code

上手简单到令人发指，只需两步，就能完成一次完整的记忆评估。

首先，确保你装好了 uv，这是现在最火的 Python 包管理工具，快得离谱。

第一步，把对话数据“喂”进去，记下生成的用户 ID：

# 1. 导入前 4 个会话，构建记忆上下文uv run eval.py ingest ./locomo10_small.json --sample 0 --sessions 1-4# 输出会打印类似：user: f5d94f68-... (复制这个 ID)

第二步，拿着这个 ID 去考试，自动记录回答：

# 2. 针对该用户进行 QA 测试，只测前 10 题uv run eval.py qa ./locomo10_small.json \      --sample 0 \      --user f5d94f68-24aa-4bcc-a667-9ab11bf5edab \      --count 10 \      --output results.txt

最后，调用大模型当裁判，一键打分：

# 3. 让 LLM 评判回答质量 (支持 OpenAI 或火山引擎等)export OPENAI_API_KEY=sk-proj-...uv run judge.py results.txt.json

整套流程下来，代码行数不超过 10 行，却解决了几百行脚本才能搞定的事。

老司机点评

适用场景： 非常适合正在研发 RAG 应用、长文本对话机器人 的团队，尤其是需要频繁迭代记忆模块算法的阶段。

避坑指南： 目前项目强依赖 OpenClaw 网关接口，如果你的架构是自研的私有协议，可能需要修改 eval.py 中的请求发送逻辑。

另外，Star 数较少意味着社区插件生态尚未形成，遇到极端边界情况可能需要自己动手修 Bug。

但正因如此，现在介入正是成为核心贡献者、掌握话语权的好时机。

推荐指数：⭐⭐⭐⭐（扣一星是因为文档还可以更丰富些，但核心功能足够扎实）

文末互动

你们团队目前在用什么方案评估 AI 的长记忆能力？是手写脚本还是另有神器？

欢迎在评论区聊聊，我们一起避坑！

🔗 项目地址：https://github.com/ZaynJarvis/openclaw-eval