Repository navigation
v7.13.7: 汇总与时间类问题给 agent 多看几条 - #14
Merged
Merged
Conversation
进行中：真实代码在 LoCoMo / LongMemEval 上的开关对照、纵向评测与演练回归尚未完成，先不开 PR。 - intent.wants_breadth / breadth_lines：识别「一共几次、隔了多久、哪个先、之前之后」类问题（中英）， SearchRouter 条数与 prefetch 注入条数放宽到 20（NYX_BREADTH_LINES，0 = 关闭） - 诊断：多会话 / 时间推理没找齐时，缺的会话全在候选里（没有一个检索不到），排在第 11–20 条 - 分半验证（离线、留出一半）：LongMemEval 含答案轮次在视野内 0.810 -> 0.870 （多会话 0.729 -> 0.794，时间推理 0.692 -> 0.808），LoCoMo 0.637 -> 0.644 - 被否掉的方案：同一次对话最多 N 条 —— 含答案轮次覆盖 0.818 -> 0.746 / 0.670（同一次对话的几条往往就是答案） - 两个评测框架新增视野内指标（默认 12 条，放宽类 20 条，与 prefetch 一致） - tests/test_breadth.py：问题识别中英正反例、开关、prefetch 只对放宽类问题注入 20 条 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_019ZZeQFn5F6mEbmX8vPsf4g
在上一提交（问题识别 + 召回与注入放宽到 20 条 + 视野内指标）基础上完成验证并发布： - nyx 真实代码实跑（LongMemEval-S 全部 500 题，开关对照）：agent 看到的含答案轮次 0.804 -> 0.862， 多会话汇总 0.701 -> 0.804，时间推理 0.715 -> 0.804；前 5 全中 0.866 -> 0.881，前 10 全中 0.887 -> 0.932； 召回中位数 90 -> 106 ms - LoCoMo：agent 看到的证据 0.650 -> 0.656，前 5 / 前 10 不变 - v7.13.6 新融合在 LongMemEval「前 5 全中」上的代价随之补回（0.881，高于旧融合 0.872） - 纵向评测 35 种子两种模式逐项与 v7.13.3 相同；投毒 / 事故演练通过 - README：Benchmark 表加「agent 看到的含答案轮次」、环境变量 NYX_BREADTH_LINES、更新日志（含被否掉的去重方案） Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_019ZZeQFn5F6mEbmX8vPsf4g
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
2 participants
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
目标
v7.13.6 测出来的两个短板：
诊断
数据：LongMemEval-S，只看其中一半。
被否掉的方案：同一次对话最多 N 条
用会话级指标看不出这个方案的好坏。换成"含答案的那几轮有没有被 agent 看到"来量，覆盖率反而下降了：
原因是同一次对话里的那几条，往往正是含答案的句子。
采用的方案
NYX_BREADTH_LINES，0表示关闭。nyx 真实代码实跑（LongMemEval-S 全部 500 题）
LoCoMo 上，agent 看到的证据从 0.650 提到 0.656；前 5 / 前 10 不变。
评测框架
两个评测框架都新增一个指标："agent 实际看到的记录里，含答案的轮次 / 证据句找到了多少"。统计的条数和 prefetch 一致。
回归
tests/test_breadth.py：召回和注入任意一处没放宽，测试都会失败。还差什么
🤖 Generated with Claude Code
https://claude.ai/code/session_019ZZeQFn5F6mEbmX8vPsf4g
Generated by Claude Code