v3.9.0 发版:规则库补强(E3 +20 条,548→568)+ 收敛层防护定型
This commit is contained in:
+7
-4
@@ -6,7 +6,7 @@
|
||||
当前收录三个模型(同一题集、同一答案键、同一判分脚本,各含 with-skill 与
|
||||
without-skill 两组):
|
||||
|
||||
- **kimi-k3**:加载技能 79/200 = 39.5%(规则库 3.7,2026-10-13 重跑收录),
|
||||
- **kimi-k3**:加载技能 81/200 = 40.5%(规则库 3.9・568 条,2026-10-13 收录),
|
||||
裸答对照 82/200 = 41.0%;
|
||||
- **qoder-agent**:加载技能 79/200 = 39.5%,裸答对照 78/200 = 39.0%
|
||||
(规则库 3.7,2026-10-12 起跑 / 2026-10-13 收录);
|
||||
@@ -22,13 +22,13 @@ without-skill 两组):
|
||||
|
||||
| 模型 | with-skill(加载技能) | without-skill(裸答对照) | 组内差 |
|
||||
|---|---|---|---|
|
||||
| kimi-k3 | 79/200 = 39.5% | 82/200 = 41.0% | −1.5pp |
|
||||
| kimi-k3 | 81/200 = 40.5% | 82/200 = 41.0% | −0.5pp |
|
||||
| qoder-agent | 79/200 = 39.5% | 78/200 = 39.0% | +0.5pp |
|
||||
| deepseek-v4-flash | 74/200 = 37.0% | 71/200 = 35.5% | +1.5pp |
|
||||
| 官方基线(Gemini) | 69/200 = 34.5% | — | — |
|
||||
|
||||
如实呈现:**三个模型上,加载技能都没有跑出可检出的增益。** kimi-k3 裸答反而高
|
||||
1.5pp;qoder-agent 加载技能只高 1 题(+0.5pp);deepseek-v4-flash 高 3 题(+1.5pp),
|
||||
0.5pp;qoder-agent 加载技能只高 1 题(+0.5pp);deepseek-v4-flash 高 3 题(+1.5pp),
|
||||
方向为正但幅度同样在噪声内。qoder-agent 两组做过题级配对检验——
|
||||
两组都对 53 题、只 with-skill 对 26 题、只裸答对 25 题、都错 96 题;
|
||||
两臂选中同一字母 118/200(59%);McNemar 不一致对 51 组且 26:25 几乎对半,
|
||||
@@ -50,12 +50,15 @@ without-skill 两组):
|
||||
|---|---|---|---|---|
|
||||
| v3.6.1+排盘修复(规则库 3.6) | 2026-10-12 | 76/200 | 38.0% | 修复排盘时区/边界口径 bug 后按规则库 3.6 全量盲测,首轮正式收录 |
|
||||
| 3.6.2-未发版(规则库 3.7) | 2026-10-13 | 79/200 | 39.5% | 规则推理层「剪枝上锁」(542→547 条:R-运-32 降级保留、R-杂-38 从格临界双轨、91 新增冲刑方向判别四条),同题集同判分脚本重跑 |
|
||||
| 3.9.0-未发版(规则库 568 条) | 2026-10-13 | 81/200 | 40.5% | E3 规则补强——职业/形貌/健康/学业/六亲应期映射 +20 条,3.7 全量 + 3.9 补强重跑 17 位命主合并收录 |
|
||||
| without-skill 裸答对照 | 2026-10-12 | 82/200 | 41.0% | 同模型不加载技能,仅凭模型自身知识手排四柱作答 |
|
||||
| 官方基线(Gemini,论文口径) | — | 69/200 | 34.5% | BaziQA 论文跑分口径,见 试题/BaziQA-全球算命师大赛/SOURCE.md |
|
||||
|
||||
中性口径:3.7 相对 3.6 总分 +1.5pp,在 200 题规模噪声边界内
|
||||
(单组标准误约 ±3.5pp),不构成显著结论;结构性维度改善明显——
|
||||
流年运势/感情/事业/性格/学业五维度回升约 5–10pp,财富/健康/其他小幅回落。
|
||||
3.9 相对 3.7 总分 +1.0pp(79→81),同样在噪声边界内;
|
||||
职业映射等目标题型翻正确认(事业 40.0%→48.0%、性格 50.0%→60.0%)。
|
||||
3.6 版求解留档存档于 `ai答案/kimi-k3/with-skill-v3.6/`;
|
||||
历史留档目录命名规范:`<模式>-v<规则库大版本>/`(如 `with-skill-v3.6/`),
|
||||
当前成绩固定收录于 `<模式>/`。
|
||||
@@ -126,7 +129,7 @@ python 评测/工具/render_scorecard.py --score <得分.json>
|
||||
```
|
||||
|
||||
`run_eval.py` 不带参数时默认判分 `ai答案/kimi-k3/with-skill/`——
|
||||
应输出 **79/200 = 39.5%**,这是本目录出厂状态的自检点。
|
||||
应输出 **81/200 = 40.5%**,这是本目录出厂状态的自检点。
|
||||
|
||||
> **额度豁免**:评测/复测全程在命令前加 `ZIPEC_EVAL=1`(示例见上),授权门直接放行,
|
||||
> 不签发、不扣次、不创建任何授权文件——跑测试集不会消耗授权副本的使用次数。
|
||||
|
||||
Reference in New Issue
Block a user