- 规则库 3.6→3.8.1(542→548 条):剪枝上锁、R-杂-38 从格临界双轨、 R-事-10~13 冲刑方向判别、R-禁-23 自造必要条件之禁 - 排盘修复随 3.6.2 已发:港澳时区夏令时双向误拨、晚子时双重换日 - 新增 评测/ 目录(BaziQA 题答分离、判分工具、记分卡、with/without-skill 对照) 与 scripts/query_rules.py 条款检索;ZIPEC_EVAL 评测额度豁免 - manifest 重建并重新签名;VERSION 保持 3.6.2,不发版不打 tag
2.2 KiB
2.2 KiB
试题来源说明 — BaziQA・全球算命师大赛
| 项 | 内容 |
|---|---|
| 赛事名称 | 全球算命师大赛(第 8 届,BaziQA 数据集) |
| 届次 | 2021 / 2022 / 2023 / 2024 / 2025,共 5 届 |
| 题目数 | 每届 40 题,共 200 题(每题四选一;2021 届为 9 位命主,其中 P033 计 3 题、P034 计 2 题,其余各届均 8 位命主 × 5 题) |
| 学术来源 | 论文 BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models |
| 收录日期 | 2026-10-12 |
| 官方基线 | 34.5%(69/200,论文官方跑分口径,Gemini;分届/分维度基线见下) |
题目来源于公开赛事(全球算命师大赛)的公开赛题,经上述论文整理为基准数据集。 本目录仅作学术评测用途,题面著作权归原赛事方所有。
目录结构
BaziQA-全球算命师大赛/
├── SOURCE.md # 本文件
├── questions/ # 盲版题面(已剥离 answer 字段,求解端只准读这里)
│ └── contest8_2021.json ... contest8_2025.json
└── answers/ # 答案键(仅 person_id + 题序 + 标准答案字母 + 维度标签;求解端禁读)
└── contest8_2021.json ... contest8_2025.json
questions/与answers/由评测/工具/make_blind.py从含答案的原始包分离生成, 生成时经四项校验(盲版无 answer 键、文本无"answer"字样、可与答案键无损还原 原始包、题数与元数据一致)。- 维度标签(流年运势/感情/六亲/事业/性格/学业/财富/健康/其他)合并自论文官方 跑分结果的 details 字段。
官方基线明细(论文跑分口径)
| 届别 | 基线 | 维度 | 基线 | |
|---|---|---|---|---|
| contest8_2021 | 27.5% | 流年运势 | 40.5% | |
| contest8_2022 | 40.0% | 感情 | 36.7% | |
| contest8_2023 | 27.5% | 六亲 | 27.6% | |
| contest8_2024 | 35.0% | 事业 | 24.0% | |
| contest8_2025 | 42.5% | 性格 | 45.0% | |
| 总体 | 34.5% | 学业 | 41.7% | |
| 财富 | 30.8% | |||
| 健康 | 23.1% | |||
| 其他 | 50.0% |
判分脚本 评测/工具/run_eval.py 内嵌同一组基线,报告中逐届/逐维度对照引用。