v7.13.6: 真实嵌入模型下的公开基准分数 + 语义融合重新定参

[sixgodgit]

结果

第一次用真实嵌入模型（默认本地模型 paraphrase-multilingual-MiniLM-L12-v2）测公开基准。只测检索，零 LLM，用 nyx 真实代码实跑。

	纯词法	v7.13.6（语义打开）
LongMemEval-S 前 5 命中	0.949	0.981
LongMemEval-S 前 5 全中	0.774	0.862
LongMemEval-S 偏好题	0.700	0.900
LongMemEval-S 多会话全中	0.603	0.785
LoCoMo recall@5	0.546	0.575（旧融合 0.527，BM25 0.498）

改动

• 融合门槛：Z 从 2 改为 3（NYX_EMBED_Z）。
• 语义一票的权重：从 1 改为 0.5，新增环境变量 NYX_EMBED_WEIGHT。原因：默认的小模型在英文闲聊上单独检索只有 0.424，和词法等权投票时会把好的词法结果挤出去。
• 评测框架加 check_semantic：语义后端开着、索引却没建成时，直接按出错处理。开发中途发生过一次：本地模型加载失败，两组"语义打开"的分数其实全是纯词法，报告里却写着模型名。

参数怎么选的（分半交叉验证）

两个基准各分成两半。

• A 半选参数：候选是 Z ∈ {2, 3} × 权重 ∈ {1, 0.5, 0.3}。按事先定死的规则选：LoCoMo recall@5 和 LongMemEval 前 5 全中的平均值最高。选出 Z=3、权重 0.5。
• B 半只用来报告：

B 半（留出）	纯词法	旧融合	新融合
LoCoMo recall@5	0.539	0.510	0.566
LongMemEval 前 5 命中	0.957	0.983	0.987
LongMemEval 前 5 全中	0.753	0.872	0.843

新融合是唯一在两个基准上都不比纯词法差的方案。

代价：LongMemEval 前 5 全中比旧融合低约 3 个点，主要是多会话汇总题。README 里写明了这个取舍，以及回退到旧融合的参数。

回归

• 纵向评测：35 个种子，在"语义关闭 / 假模型 + 新融合 / 假模型 + 旧融合"三种模式下，都与 v7.13.3 逐项相同。
• 投毒演练：三种模式下都是 16 条攻击，0 条无标注进入提示，主人 0 误伤。
• 事故演练：三种模式下都通过。
• 全量测试：513 项通过。
• 真实 Hermes 检查：通过。

防复发

• tests/test_semantic_recall.py 新增 3 项：
  • 语义一票比词法轻（权重改回 1 时这项失败）；
  • 语义认可能把排在后面的词法候选提上来；
  • 候选少时，同义改写仍能进前 3。
• 用之前那套错误配置重跑评测，check_semantic 会直接报错退出。

如实说明

• 只测了检索。端到端问答准确率需要大模型 API，还没跑。
• LoCoMo 开放域推理类（92 题）打开语义后，比纯词法低 0.9 个点。
• LongMemEval 的数据集许可是 MIT，LoCoMo 是 CC BY-NC。两者的数据都不进仓库，benchmarks/results/ 只存分数。

🤖 Generated with Claude Code

https://claude.ai/code/session_019ZZeQFn5F6mEbmX8vPsf4g

---

Generated by Claude Code