规则库 3.8.1 + 排盘修复 + 评测体系
- 规则库 3.6→3.8.1（542→548 条）：剪枝上锁、R-杂-38 从格临界双轨、 R-事-10~13 冲刑方向判别、R-禁-23 自造必要条件之禁 - 排盘修复随 3.6.2 已发：港澳时区夏令时双向误拨、晚子时双重换日 - 新增 评测/ 目录（BaziQA 题答分离、判分工具、记分卡、with/without-skill 对照） 与 scripts/query_rules.py 条款检索；ZIPEC_EVAL 评测额度豁免 - manifest 重建并重新签名；VERSION 保持 3.6.2，不发版不打 tag
This commit is contained in:
@@ -0,0 +1,185 @@
|
||||
# BaziQA 评测得分 — qoder-agent（without-skill 裸答对照组）
|
||||
|
||||
- 模型：**qoder-agent**（同一模型，每位命主一个无上下文子代理）
|
||||
- 模式：**without-skill**（裸答对照——不给排盘工具、不给规则库、不给 SKILL.md）
|
||||
- 技能版本：无（裸模型对照）
|
||||
- 评测日期：2026-10-13
|
||||
- 赛事：BaziQA-全球算命师大赛（2021–2025 五届 × 40 题，共 200 题）
|
||||
- 判分：`评测/工具/run_eval.py`（与实验组同题集、同答案键、同脚本）
|
||||
- 求解留档：`评测/ai答案/qoder-agent/without-skill/`（41 位命主，含手排四柱过程）
|
||||
- 对照口径（测试规则.md §6）：子代理只读盲版题面 `questions/`，禁读禁跑
|
||||
`/tmp/skill_bench/` 与母版 `SKILL.md`/`rules/`/`scripts/`/`vendor/`、禁调 Skill 工具、
|
||||
禁联网查万年历、禁跑任何历法/干支换算脚本（含自己写的）；四柱全部手排
|
||||
（立春换年 / 节气换月 / 子初换日），时区与真太阳时口径由子代理自行决定并在留档写明
|
||||
- 错因分类：暂未归并（错题清单错因列留空，待后续人工/脚本补录）
|
||||
|
||||
## 同模型对照
|
||||
|
||||
| 组别 | 正确/总题数 | 准确率 |
|
||||
|---|---|---|
|
||||
| with-skill（加载技能） | 79/200 | 39.5% |
|
||||
| **without-skill（本组）** | 78/200 | 39.0% |
|
||||
| 官方基线（Gemini） | 69/200 | 34.5% |
|
||||
|
||||
如实呈现：裸答组比加载技能组只低 **1 题（−0.5pp）**，McNemar 不一致对 51（26:25），
|
||||
校正 χ² = 0.00。两组在 200 题上几乎完全同分，**本基准未能检出技能带来的增益**。
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 78/200 | 39.0% | 0 |
|
||||
| 官方基线（Gemini） | 69/200 | 34.5% | 0 |
|
||||
|
||||
> 基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md。
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 18/40 = 45.0%（未答 0） | 27.5% |
|
||||
| contest8_2022 | 17/40 = 42.5%（未答 0） | 40.0% |
|
||||
| contest8_2023 | 13/40 = 32.5%（未答 0） | 27.5% |
|
||||
| contest8_2024 | 14/40 = 35.0%（未答 0） | 35.0% |
|
||||
| contest8_2025 | 16/40 = 40.0%（未答 0） | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 14/37 = 37.8%（未答 0） | 40.5% |
|
||||
| 感情 | 16/49 = 32.7%（未答 0） | 36.7% |
|
||||
| 六亲 | 15/29 = 51.7%（未答 0） | 27.6% |
|
||||
| 事业 | 8/25 = 32.0%（未答 0） | 24.0% |
|
||||
| 性格 | 6/20 = 30.0%（未答 0） | 45.0% |
|
||||
| 学业 | 7/12 = 58.3%（未答 0） | 41.7% |
|
||||
| 财富 | 7/13 = 53.8%（未答 0） | 30.8% |
|
||||
| 健康 | 4/13 = 30.8%（未答 0） | 23.1% |
|
||||
| 其他 | 1/2 = 50.0%（未答 0） | 50.0% |
|
||||
|
||||
## 错题清单（错因留空，待人工/后续填写）
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答 | 正解 | 错因 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q3 | 流年运势 | B | C | |
|
||||
| contest8_2021 | male_19540318_P025 | Q4 | 健康 | A | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | C | B | |
|
||||
| contest8_2021 | male_19831019_P026 | Q5 | 性格 | D | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | B | D | |
|
||||
| contest8_2021 | male_19770706_P028 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q3 | 性格 | B | A | |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q3 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q4 | 事业 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q1 | 事业 | A | C | |
|
||||
| contest8_2021 | male_19530127_P031 | Q2 | 六亲 | C | B | |
|
||||
| contest8_2021 | male_19530127_P031 | Q3 | 流年运势 | B | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | A | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | B | A | |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q3 | 流年运势 | A | C | |
|
||||
| contest8_2022 | female_19810526_P018 | Q1 | 学业 | C | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2022 | female_19900523_P019 | Q5 | 性格 | C | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q5 | 健康 | B | D | |
|
||||
| contest8_2022 | male_19850629_P021 | Q1 | 性格 | C | A | |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | male_19831101_P022 | Q2 | 学业 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q5 | 财富 | D | B | |
|
||||
| contest8_2022 | female_19841209_P023 | Q1 | 性格 | C | D | |
|
||||
| contest8_2022 | female_19841209_P023 | Q3 | 流年运势 | B | A | |
|
||||
| contest8_2022 | female_19841209_P023 | Q4 | 感情 | B | C | |
|
||||
| contest8_2022 | female_19841209_P023 | Q5 | 感情 | C | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q2 | 感情 | D | C | |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | D | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q4 | 事业 | D | A | |
|
||||
| contest8_2023 | female_19661018_P009 | Q1 | 性格 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | D | A | |
|
||||
| contest8_2023 | male_19620806_P010 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q5 | 其他 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q1 | 感情 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19860424_P011 | Q5 | 事业 | C | D | |
|
||||
| contest8_2023 | male_19560311_P012 | Q1 | 性格 | D | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | B | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | B | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q4 | 流年运势 | A | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q5 | 健康 | B | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | A | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | C | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q5 | 六亲 | D | B | |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q3 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q5 | 健康 | B | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C | B | |
|
||||
| contest8_2023 | female_20020601_P015 | Q3 | 感情 | D | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q3 | 事业 | C | B | |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | A | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | A | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q5 | 感情 | B | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q1 | 性格 | B | D | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q2 | 感情 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q5 | 财富 | C | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q1 | 流年运势 | C | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | D | C | |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | C | D | |
|
||||
| contest8_2024 | female_19831028_P004 | Q5 | 感情 | C | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B | C | |
|
||||
| contest8_2024 | male_19710412_P005 | Q4 | 财富 | A | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q3 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q2 | 感情 | B | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q4 | 六亲 | C | D | |
|
||||
| contest8_2024 | male_20070131_P008 | Q1 | 健康 | A | B | |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q3 | 事业 | D | B | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q4 | 流年运势 | B | A | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q5 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q2 | 性格 | A | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | B | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | B | C | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q5 | 流年运势 | C | A | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q5 | 健康 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | D | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | D | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | D | A | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q2 | 学业 | A | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q3 | 感情 | D | B | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A | D | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | D | B | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | A | D | |
|
||||
Reference in New Issue
Block a user