moxiaonian
1a0eed1999
- 规则库 3.6→3.8.1（542→548 条）：剪枝上锁、R-杂-38 从格临界双轨、 R-事-10~13 冲刑方向判别、R-禁-23 自造必要条件之禁 - 排盘修复随 3.6.2 已发：港澳时区夏令时双向误拨、晚子时双重换日 - 新增 评测/ 目录（BaziQA 题答分离、判分工具、记分卡、with/without-skill 对照） 与 scripts/query_rules.py 条款检索；ZIPEC_EVAL 评测额度豁免 - manifest 重建并重新签名；VERSION 保持 3.6.2，不发版不打 tag
47 lines
2.2 KiB
Markdown
47 lines
2.2 KiB
Markdown
# 试题来源说明 — BaziQA・全球算命师大赛
|
|
|
|
| 项 | 内容 |
|
|
|---|---|
|
|
| 赛事名称 | 全球算命师大赛（第 8 届，BaziQA 数据集） |
|
|
| 届次 | 2021 / 2022 / 2023 / 2024 / 2025，共 5 届 |
|
|
| 题目数 | 每届 40 题，共 200 题（每题四选一；2021 届为 9 位命主，其中 P033 计 3 题、P034 计 2 题，其余各届均 8 位命主 × 5 题） |
|
|
| 学术来源 | 论文 [BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models](https://arxiv.org/abs/2602.12889) |
|
|
| 收录日期 | 2026-10-12 |
|
|
| 官方基线 | **34.5%**（69/200，论文官方跑分口径，Gemini；分届/分维度基线见下） |
|
|
|
|
题目来源于公开赛事（全球算命师大赛）的公开赛题，经上述论文整理为基准数据集。
|
|
本目录仅作学术评测用途，题面著作权归原赛事方所有。
|
|
|
|
## 目录结构
|
|
|
|
```
|
|
BaziQA-全球算命师大赛/
|
|
├── SOURCE.md # 本文件
|
|
├── questions/ # 盲版题面（已剥离 answer 字段，求解端只准读这里）
|
|
│ └── contest8_2021.json ... contest8_2025.json
|
|
└── answers/ # 答案键（仅 person_id + 题序 + 标准答案字母 + 维度标签；求解端禁读）
|
|
└── contest8_2021.json ... contest8_2025.json
|
|
```
|
|
|
|
- `questions/` 与 `answers/` 由 `评测/工具/make_blind.py` 从含答案的原始包分离生成，
|
|
生成时经四项校验（盲版无 answer 键、文本无 `"answer"` 字样、可与答案键无损还原
|
|
原始包、题数与元数据一致）。
|
|
- 维度标签（流年运势/感情/六亲/事业/性格/学业/财富/健康/其他）合并自论文官方
|
|
跑分结果的 details 字段。
|
|
|
|
## 官方基线明细（论文跑分口径）
|
|
|
|
| 届别 | 基线 | | 维度 | 基线 |
|
|
|---|---|---|---|---|
|
|
| contest8_2021 | 27.5% | | 流年运势 | 40.5% |
|
|
| contest8_2022 | 40.0% | | 感情 | 36.7% |
|
|
| contest8_2023 | 27.5% | | 六亲 | 27.6% |
|
|
| contest8_2024 | 35.0% | | 事业 | 24.0% |
|
|
| contest8_2025 | 42.5% | | 性格 | 45.0% |
|
|
| 总体 | **34.5%** | | 学业 | 41.7% |
|
|
| | | | 财富 | 30.8% |
|
|
| | | | 健康 | 23.1% |
|
|
| | | | 其他 | 50.0% |
|
|
|
|
判分脚本 `评测/工具/run_eval.py` 内嵌同一组基线，报告中逐届/逐维度对照引用。
|