# 试题来源说明 — BaziQA・全球算命师大赛 | 项 | 内容 | |---|---| | 赛事名称 | 全球算命师大赛(第 8 届,BaziQA 数据集) | | 届次 | 2021 / 2022 / 2023 / 2024 / 2025,共 5 届 | | 题目数 | 每届 40 题,共 200 题(每题四选一;2021 届为 9 位命主,其中 P033 计 3 题、P034 计 2 题,其余各届均 8 位命主 × 5 题) | | 学术来源 | 论文 [BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models](https://arxiv.org/abs/2602.12889) | | 收录日期 | 2026-10-12 | | 官方基线 | **34.5%**(69/200,论文官方跑分口径,Gemini;分届/分维度基线见下) | 题目来源于公开赛事(全球算命师大赛)的公开赛题,经上述论文整理为基准数据集。 本目录仅作学术评测用途,题面著作权归原赛事方所有。 ## 目录结构 ``` BaziQA-全球算命师大赛/ ├── SOURCE.md # 本文件 ├── questions/ # 盲版题面(已剥离 answer 字段,求解端只准读这里) │ └── contest8_2021.json ... contest8_2025.json └── answers/ # 答案键(仅 person_id + 题序 + 标准答案字母 + 维度标签;求解端禁读) └── contest8_2021.json ... contest8_2025.json ``` - `questions/` 与 `answers/` 由 `评测/工具/make_blind.py` 从含答案的原始包分离生成, 生成时经四项校验(盲版无 answer 键、文本无 `"answer"` 字样、可与答案键无损还原 原始包、题数与元数据一致)。 - 维度标签(流年运势/感情/六亲/事业/性格/学业/财富/健康/其他)合并自论文官方 跑分结果的 details 字段。 ## 官方基线明细(论文跑分口径) | 届别 | 基线 | | 维度 | 基线 | |---|---|---|---|---| | contest8_2021 | 27.5% | | 流年运势 | 40.5% | | contest8_2022 | 40.0% | | 感情 | 36.7% | | contest8_2023 | 27.5% | | 六亲 | 27.6% | | contest8_2024 | 35.0% | | 事业 | 24.0% | | contest8_2025 | 42.5% | | 性格 | 45.0% | | 总体 | **34.5%** | | 学业 | 41.7% | | | | | 财富 | 30.8% | | | | | 健康 | 23.1% | | | | | 其他 | 50.0% | 判分脚本 `评测/工具/run_eval.py` 内嵌同一组基线,报告中逐届/逐维度对照引用。