规则库 3.8.1 + 排盘修复 + 评测体系
- 规则库 3.6→3.8.1(542→548 条):剪枝上锁、R-杂-38 从格临界双轨、 R-事-10~13 冲刑方向判别、R-禁-23 自造必要条件之禁 - 排盘修复随 3.6.2 已发:港澳时区夏令时双向误拨、晚子时双重换日 - 新增 评测/ 目录(BaziQA 题答分离、判分工具、记分卡、with/without-skill 对照) 与 scripts/query_rules.py 条款检索;ZIPEC_EVAL 评测额度豁免 - manifest 重建并重新签名;VERSION 保持 3.6.2,不发版不打 tag
This commit is contained in:
File diff suppressed because one or more lines are too long
@@ -0,0 +1,48 @@
|
||||
{
|
||||
"model": "deepseek-v4-flash",
|
||||
"skill_mode": "with-skill",
|
||||
"skill_version": "3.6.2",
|
||||
"eval_date": "2026-10-13",
|
||||
"benchmark": "BaziQA-全球算命师大赛",
|
||||
"overall": {"total": 200, "correct": 74, "accuracy": 37.0, "no_answer": 0},
|
||||
"baseline": {
|
||||
"name": "官方基线(Gemini)",
|
||||
"overall": {"total": 200, "correct": 69, "accuracy": 34.5},
|
||||
"per_contest": {
|
||||
"contest8_2021": 27.5,
|
||||
"contest8_2022": 40.0,
|
||||
"contest8_2023": 27.5,
|
||||
"contest8_2024": 35.0,
|
||||
"contest8_2025": 42.5
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": 40.5,
|
||||
"感情": 36.7,
|
||||
"六亲": 27.6,
|
||||
"事业": 24.0,
|
||||
"性格": 45.0,
|
||||
"学业": 41.7,
|
||||
"财富": 30.8,
|
||||
"健康": 23.1,
|
||||
"其他": 50.0
|
||||
}
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": {"total": 40, "correct": 19, "accuracy": 47.5, "no_answer": 0},
|
||||
"contest8_2022": {"total": 40, "correct": 16, "accuracy": 40.0, "no_answer": 0},
|
||||
"contest8_2023": {"total": 40, "correct": 15, "accuracy": 37.5, "no_answer": 0},
|
||||
"contest8_2024": {"total": 40, "correct": 12, "accuracy": 30.0, "no_answer": 0},
|
||||
"contest8_2025": {"total": 40, "correct": 12, "accuracy": 30.0, "no_answer": 0}
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": {"total": 37, "correct": 9, "accuracy": 24.3, "no_answer": 0},
|
||||
"感情": {"total": 49, "correct": 15, "accuracy": 30.6, "no_answer": 0},
|
||||
"六亲": {"total": 29, "correct": 12, "accuracy": 41.4, "no_answer": 0},
|
||||
"事业": {"total": 25, "correct": 9, "accuracy": 36.0, "no_answer": 0},
|
||||
"性格": {"total": 20, "correct": 11, "accuracy": 55.0, "no_answer": 0},
|
||||
"学业": {"total": 12, "correct": 5, "accuracy": 41.7, "no_answer": 0},
|
||||
"财富": {"total": 13, "correct": 7, "accuracy": 53.8, "no_answer": 0},
|
||||
"健康": {"total": 13, "correct": 5, "accuracy": 38.5, "no_answer": 0},
|
||||
"其他": {"total": 2, "correct": 1, "accuracy": 50.0, "no_answer": 0}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,165 @@
|
||||
# BaziQA 评测报告
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 74/200 | 37.0% | 0 |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% | 0 |
|
||||
|
||||
> 基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md。
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 19/40 = 47.5%(未答 0) | 27.5% |
|
||||
| contest8_2022 | 16/40 = 40.0%(未答 0) | 40.0% |
|
||||
| contest8_2023 | 15/40 = 37.5%(未答 0) | 27.5% |
|
||||
| contest8_2024 | 12/40 = 30.0%(未答 0) | 35.0% |
|
||||
| contest8_2025 | 12/40 = 30.0%(未答 0) | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 9/37 = 24.3%(未答 0) | 40.5% |
|
||||
| 感情 | 15/49 = 30.6%(未答 0) | 36.7% |
|
||||
| 六亲 | 12/29 = 41.4%(未答 0) | 27.6% |
|
||||
| 事业 | 9/25 = 36.0%(未答 0) | 24.0% |
|
||||
| 性格 | 11/20 = 55.0%(未答 0) | 45.0% |
|
||||
| 学业 | 5/12 = 41.7%(未答 0) | 41.7% |
|
||||
| 财富 | 7/13 = 53.8%(未答 0) | 30.8% |
|
||||
| 健康 | 5/13 = 38.5%(未答 0) | 23.1% |
|
||||
| 其他 | 1/2 = 50.0%(未答 0) | 50.0% |
|
||||
|
||||
## 错题清单(错因留空,待人工/后续填写)
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答 | 正解 | 错因 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q2 | 六亲 | B | A | |
|
||||
| contest8_2021 | male_19540318_P025 | Q3 | 流年运势 | D | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | C | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | C | B | |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q3 | 感情 | D | C | |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | B | D | |
|
||||
| contest8_2021 | male_19770706_P028 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q1 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q2 | 事业 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q4 | 事业 | D | A | |
|
||||
| contest8_2021 | female_19750107_P030 | Q5 | 流年运势 | C | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | B | D | |
|
||||
| contest8_2021 | male_19710910_P033 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | B | A | |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q3 | 流年运势 | B | C | |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19810526_P018 | Q5 | 六亲 | A | B | |
|
||||
| contest8_2022 | female_19900523_P019 | Q1 | 六亲 | B | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q2 | 事业 | A | C | |
|
||||
| contest8_2022 | female_19900523_P019 | Q3 | 感情 | C | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2022 | female_19900523_P019 | Q5 | 性格 | C | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q4 | 财富 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q5 | 健康 | B | D | |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | male_19831101_P022 | Q1 | 感情 | C | A | |
|
||||
| contest8_2022 | male_19831101_P022 | Q2 | 学业 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q5 | 财富 | D | B | |
|
||||
| contest8_2022 | female_19841209_P023 | Q3 | 流年运势 | B | A | |
|
||||
| contest8_2022 | male_19810617_P024 | Q2 | 感情 | D | C | |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | A | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q5 | 财富 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q1 | 性格 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | B | A | |
|
||||
| contest8_2023 | female_19661018_P009 | Q5 | 流年运势 | A | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q3 | 感情 | A | B | |
|
||||
| contest8_2023 | male_19620806_P010 | Q5 | 其他 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q1 | 感情 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | C | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | C | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q1 | 流年运势 | A | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | B | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | A | B | |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | B | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q5 | 健康 | B | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C | B | |
|
||||
| contest8_2023 | female_20020601_P015 | Q2 | 学业 | A | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q3 | 感情 | A | C | |
|
||||
| contest8_2023 | female_20020601_P015 | Q5 | 六亲 | D | A | |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q2 | 学业 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | B | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q4 | 六亲 | B | C | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q5 | 感情 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q1 | 性格 | B | D | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q3 | 事业 | B | D | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | A | C | |
|
||||
| contest8_2024 | male_19611230_P003 | Q1 | 流年运势 | D | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q3 | 流年运势 | C | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | A | C | |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | C | D | |
|
||||
| contest8_2024 | female_19831028_P004 | Q5 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B | C | |
|
||||
| contest8_2024 | male_19710412_P005 | Q5 | 健康 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | A | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q2 | 感情 | D | A | |
|
||||
| contest8_2024 | female_19830326_P006 | Q3 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q2 | 感情 | B | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q4 | 六亲 | C | D | |
|
||||
| contest8_2024 | male_20070131_P008 | Q1 | 健康 | D | B | |
|
||||
| contest8_2024 | male_20070131_P008 | Q2 | 六亲 | B | C | |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q3 | 事业 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q4 | 感情 | C | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | B | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | A | C | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q5 | 流年运势 | D | A | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q4 | 感情 | B | A | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q1 | 事业 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q2 | 流年运势 | B | A | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q5 | 性格 | D | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | D | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | A | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | D | A | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q2 | 学业 | A | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A | D | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | A | B | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q1 | 学业 | D | C | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q2 | 事业 | C | A | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q4 | 健康 | A | C | |
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,48 @@
|
||||
{
|
||||
"model": "deepseek-v4-flash",
|
||||
"skill_mode": "without-skill",
|
||||
"skill_version": "3.6.2",
|
||||
"eval_date": "2026-10-13",
|
||||
"benchmark": "BaziQA-全球算命师大赛",
|
||||
"overall": {"total": 200, "correct": 71, "accuracy": 35.5, "no_answer": 0},
|
||||
"baseline": {
|
||||
"name": "官方基线(Gemini)",
|
||||
"overall": {"total": 200, "correct": 69, "accuracy": 34.5},
|
||||
"per_contest": {
|
||||
"contest8_2021": 27.5,
|
||||
"contest8_2022": 40.0,
|
||||
"contest8_2023": 27.5,
|
||||
"contest8_2024": 35.0,
|
||||
"contest8_2025": 42.5
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": 40.5,
|
||||
"感情": 36.7,
|
||||
"六亲": 27.6,
|
||||
"事业": 24.0,
|
||||
"性格": 45.0,
|
||||
"学业": 41.7,
|
||||
"财富": 30.8,
|
||||
"健康": 23.1,
|
||||
"其他": 50.0
|
||||
}
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": {"total": 40, "correct": 17, "accuracy": 42.5, "no_answer": 0},
|
||||
"contest8_2022": {"total": 40, "correct": 18, "accuracy": 45.0, "no_answer": 0},
|
||||
"contest8_2023": {"total": 40, "correct": 6, "accuracy": 15.0, "no_answer": 0},
|
||||
"contest8_2024": {"total": 40, "correct": 19, "accuracy": 47.5, "no_answer": 0},
|
||||
"contest8_2025": {"total": 40, "correct": 11, "accuracy": 27.5, "no_answer": 0}
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": {"total": 37, "correct": 11, "accuracy": 29.7, "no_answer": 0},
|
||||
"感情": {"total": 49, "correct": 13, "accuracy": 26.5, "no_answer": 0},
|
||||
"六亲": {"total": 29, "correct": 12, "accuracy": 41.4, "no_answer": 0},
|
||||
"事业": {"total": 25, "correct": 10, "accuracy": 40.0, "no_answer": 0},
|
||||
"性格": {"total": 20, "correct": 11, "accuracy": 55.0, "no_answer": 0},
|
||||
"学业": {"total": 12, "correct": 5, "accuracy": 41.7, "no_answer": 0},
|
||||
"财富": {"total": 13, "correct": 3, "accuracy": 23.1, "no_answer": 0},
|
||||
"健康": {"total": 13, "correct": 5, "accuracy": 38.5, "no_answer": 0},
|
||||
"其他": {"total": 2, "correct": 1, "accuracy": 50.0, "no_answer": 0}
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,168 @@
|
||||
# BaziQA 评测报告
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 71/200 | 35.5% | 0 |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% | 0 |
|
||||
|
||||
> 基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md。
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 17/40 = 42.5%(未答 0) | 27.5% |
|
||||
| contest8_2022 | 18/40 = 45.0%(未答 0) | 40.0% |
|
||||
| contest8_2023 | 6/40 = 15.0%(未答 0) | 27.5% |
|
||||
| contest8_2024 | 19/40 = 47.5%(未答 0) | 35.0% |
|
||||
| contest8_2025 | 11/40 = 27.5%(未答 0) | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 11/37 = 29.7%(未答 0) | 40.5% |
|
||||
| 感情 | 13/49 = 26.5%(未答 0) | 36.7% |
|
||||
| 六亲 | 12/29 = 41.4%(未答 0) | 27.6% |
|
||||
| 事业 | 10/25 = 40.0%(未答 0) | 24.0% |
|
||||
| 性格 | 11/20 = 55.0%(未答 0) | 45.0% |
|
||||
| 学业 | 5/12 = 41.7%(未答 0) | 41.7% |
|
||||
| 财富 | 3/13 = 23.1%(未答 0) | 30.8% |
|
||||
| 健康 | 5/13 = 38.5%(未答 0) | 23.1% |
|
||||
| 其他 | 1/2 = 50.0%(未答 0) | 50.0% |
|
||||
|
||||
## 错题清单(错因留空,待人工/后续填写)
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答 | 正解 | 错因 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q2 | 六亲 | B | A | |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | D | B | |
|
||||
| contest8_2021 | male_19831019_P026 | Q5 | 性格 | D | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q3 | 感情 | B | C | |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2021 | female_19841220_P027 | Q5 | 流年运势 | B | A | |
|
||||
| contest8_2021 | male_19770706_P028 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q1 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q4 | 流年运势 | C | B | |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q3 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q4 | 事业 | B | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q2 | 六亲 | A | B | |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | A | D | |
|
||||
| contest8_2021 | male_19710910_P033 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | A | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | B | A | |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | A | C | |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q1 | 六亲 | B | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q3 | 感情 | C | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | female_19900523_P019 | Q5 | 性格 | C | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q4 | 财富 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q5 | 健康 | B | D | |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2022 | male_19850629_P021 | Q5 | 学业 | A | B | |
|
||||
| contest8_2022 | male_19831101_P022 | Q1 | 感情 | C | A | |
|
||||
| contest8_2022 | male_19831101_P022 | Q2 | 学业 | B | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q5 | 财富 | D | B | |
|
||||
| contest8_2022 | female_19841209_P023 | Q2 | 财富 | B | C | |
|
||||
| contest8_2022 | female_19841209_P023 | Q5 | 感情 | C | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | A | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q5 | 财富 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q1 | 性格 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | B | A | |
|
||||
| contest8_2023 | female_19661018_P009 | Q5 | 流年运势 | A | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q3 | 感情 | A | B | |
|
||||
| contest8_2023 | male_19620806_P010 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q5 | 其他 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q1 | 感情 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q3 | 财富 | A | C | |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19860424_P011 | Q5 | 事业 | C | D | |
|
||||
| contest8_2023 | male_19560311_P012 | Q1 | 性格 | D | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | C | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | B | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q5 | 健康 | B | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q1 | 流年运势 | C | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | A | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q3 | 感情 | D | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | A | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q5 | 六亲 | A | B | |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q3 | 事业 | A | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q5 | 健康 | B | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C | B | |
|
||||
| contest8_2023 | female_20020601_P015 | Q2 | 学业 | A | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q5 | 六亲 | C | A | |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q3 | 事业 | A | B | |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | A | B | |
|
||||
| contest8_2023 | male_19800711_P016 | Q5 | 财富 | C | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | A | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q5 | 感情 | B | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q5 | 财富 | C | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q1 | 流年运势 | D | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | C | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | B | C | |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | C | D | |
|
||||
| contest8_2024 | female_19831028_P004 | Q5 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q1 | 感情 | A | B | |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B | C | |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q2 | 感情 | C | A | |
|
||||
| contest8_2024 | female_19800921_P007 | Q3 | 流年运势 | B | D | |
|
||||
| contest8_2024 | male_20070131_P008 | Q1 | 健康 | A | B | |
|
||||
| contest8_2024 | male_20070131_P008 | Q2 | 六亲 | B | C | |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q2 | 感情 | A | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q3 | 事业 | B | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q4 | 感情 | C | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q5 | 六亲 | A | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | B | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | B | C | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q5 | 流年运势 | C | A | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q2 | 流年运势 | A | D | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q5 | 健康 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q2 | 流年运势 | B | A | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | D | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | B | A | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q2 | 学业 | A | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q3 | 感情 | A | B | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A | D | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | D | B | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q1 | 学业 | D | C | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q2 | 事业 | C | A | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | C | D | |
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,128 @@
|
||||
{
|
||||
"model": "kimi-k3",
|
||||
"skill_mode": "with-skill",
|
||||
"skill_version": "3.6.2-未发版(规则库 3.7)",
|
||||
"eval_date": "2026-10-13",
|
||||
"benchmark": "BaziQA-全球算命师大赛",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 79,
|
||||
"accuracy": 39.5,
|
||||
"no_answer": 0
|
||||
},
|
||||
"baseline": {
|
||||
"name": "官方基线(Gemini)",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 69,
|
||||
"accuracy": 34.5
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": 27.5,
|
||||
"contest8_2022": 40.0,
|
||||
"contest8_2023": 27.5,
|
||||
"contest8_2024": 35.0,
|
||||
"contest8_2025": 42.5
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": 40.5,
|
||||
"感情": 36.7,
|
||||
"六亲": 27.6,
|
||||
"事业": 24.0,
|
||||
"性格": 45.0,
|
||||
"学业": 41.7,
|
||||
"财富": 30.8,
|
||||
"健康": 23.1,
|
||||
"其他": 50.0
|
||||
}
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": {
|
||||
"total": 40,
|
||||
"correct": 19,
|
||||
"no_answer": 0,
|
||||
"accuracy": 47.5
|
||||
},
|
||||
"contest8_2022": {
|
||||
"total": 40,
|
||||
"correct": 14,
|
||||
"no_answer": 0,
|
||||
"accuracy": 35.0
|
||||
},
|
||||
"contest8_2023": {
|
||||
"total": 40,
|
||||
"correct": 12,
|
||||
"no_answer": 0,
|
||||
"accuracy": 30.0
|
||||
},
|
||||
"contest8_2024": {
|
||||
"total": 40,
|
||||
"correct": 17,
|
||||
"no_answer": 0,
|
||||
"accuracy": 42.5
|
||||
},
|
||||
"contest8_2025": {
|
||||
"total": 40,
|
||||
"correct": 17,
|
||||
"no_answer": 0,
|
||||
"accuracy": 42.5
|
||||
}
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": {
|
||||
"total": 37,
|
||||
"correct": 13,
|
||||
"no_answer": 0,
|
||||
"accuracy": 35.1
|
||||
},
|
||||
"感情": {
|
||||
"total": 49,
|
||||
"correct": 19,
|
||||
"no_answer": 0,
|
||||
"accuracy": 38.8
|
||||
},
|
||||
"六亲": {
|
||||
"total": 29,
|
||||
"correct": 13,
|
||||
"no_answer": 0,
|
||||
"accuracy": 44.8
|
||||
},
|
||||
"事业": {
|
||||
"total": 25,
|
||||
"correct": 10,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.0
|
||||
},
|
||||
"性格": {
|
||||
"total": 20,
|
||||
"correct": 10,
|
||||
"no_answer": 0,
|
||||
"accuracy": 50.0
|
||||
},
|
||||
"学业": {
|
||||
"total": 12,
|
||||
"correct": 6,
|
||||
"no_answer": 0,
|
||||
"accuracy": 50.0
|
||||
},
|
||||
"财富": {
|
||||
"total": 13,
|
||||
"correct": 3,
|
||||
"no_answer": 0,
|
||||
"accuracy": 23.1
|
||||
},
|
||||
"健康": {
|
||||
"total": 13,
|
||||
"correct": 5,
|
||||
"no_answer": 0,
|
||||
"accuracy": 38.5
|
||||
},
|
||||
"其他": {
|
||||
"total": 2,
|
||||
"correct": 0,
|
||||
"no_answer": 0,
|
||||
"accuracy": 0.0
|
||||
}
|
||||
},
|
||||
"notes": "判分:评测/工具/run_eval.py;求解留档:评测/ai答案/kimi-k3/with-skill/(41 位命主,规则库 3.7 重跑,2026-10-13 收录;3.6 版留档存档于 with-skill-v3.6/);官方基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md"
|
||||
}
|
||||
@@ -0,0 +1,169 @@
|
||||
# BaziQA 评测得分 — kimi-k3(with-skill)
|
||||
|
||||
- 模型:**kimi-k3**
|
||||
- 模式:**with-skill**(加载子平八字技能排盘 + 规则库推理)
|
||||
- 技能版本:3.6.2-未发版(规则库 3.7)
|
||||
- 评测日期:2026-10-13
|
||||
- 赛事:BaziQA-全球算命师大赛(2021–2025 五届 × 40 题,共 200 题)
|
||||
- 判分:`评测/工具/run_eval.py`(脚本判分,非模型裁判)
|
||||
- 求解留档:`评测/ai答案/kimi-k3/with-skill/`(41 位命主,含完整推理过程;本轮为规则库 3.7 重跑,3.6 版留档存档于 `with-skill-v3.6/`)
|
||||
- 错因分类:本轮重跑暂未归并(错题清单错因列留空,待后续人工/脚本补录)
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 79/200 | 39.5% | 0 |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% | 0 |
|
||||
|
||||
> 基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md。
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 19/40 = 47.5%(未答 0) | 27.5% |
|
||||
| contest8_2022 | 14/40 = 35.0%(未答 0) | 40.0% |
|
||||
| contest8_2023 | 12/40 = 30.0%(未答 0) | 27.5% |
|
||||
| contest8_2024 | 17/40 = 42.5%(未答 0) | 35.0% |
|
||||
| contest8_2025 | 17/40 = 42.5%(未答 0) | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 13/37 = 35.1%(未答 0) | 40.5% |
|
||||
| 感情 | 19/49 = 38.8%(未答 0) | 36.7% |
|
||||
| 六亲 | 13/29 = 44.8%(未答 0) | 27.6% |
|
||||
| 事业 | 10/25 = 40.0%(未答 0) | 24.0% |
|
||||
| 性格 | 10/20 = 50.0%(未答 0) | 45.0% |
|
||||
| 学业 | 6/12 = 50.0%(未答 0) | 41.7% |
|
||||
| 财富 | 3/13 = 23.1%(未答 0) | 30.8% |
|
||||
| 健康 | 5/13 = 38.5%(未答 0) | 23.1% |
|
||||
| 其他 | 0/2 = 0.0%(未答 0) | 50.0% |
|
||||
|
||||
## 错题清单(错因留空,待人工/后续填写)
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答 | 正解 | 错因 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q2 | 六亲 | B | A | |
|
||||
| contest8_2021 | male_19540318_P025 | Q3 | 流年运势 | D | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | B | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | C | B | |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q3 | 感情 | D | C | |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | B | D | |
|
||||
| contest8_2021 | female_19841220_P027 | Q5 | 流年运势 | B | A | |
|
||||
| contest8_2021 | male_19770706_P028 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q3 | 感情 | C | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q4 | 事业 | B | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | B | D | |
|
||||
| contest8_2021 | male_19710910_P033 | Q2 | 流年运势 | A | B | |
|
||||
| contest8_2021 | male_19710910_P033 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | D | A | |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q3 | 流年运势 | A | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q4 | 六亲 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q5 | 流年运势 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q1 | 学业 | C | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q1 | 六亲 | C | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q3 | 感情 | C | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q4 | 财富 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q5 | 健康 | B | D | |
|
||||
| contest8_2022 | male_19850629_P021 | Q1 | 性格 | C | A | |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2022 | male_19831101_P022 | Q2 | 学业 | B | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q4 | 性格 | A | C | |
|
||||
| contest8_2022 | male_19831101_P022 | Q5 | 财富 | D | B | |
|
||||
| contest8_2022 | female_19841209_P023 | Q2 | 财富 | B | C | |
|
||||
| contest8_2022 | female_19841209_P023 | Q5 | 感情 | D | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q2 | 感情 | A | C | |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | A | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q5 | 财富 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q1 | 性格 | A | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | B | A | |
|
||||
| contest8_2023 | female_19661018_P009 | Q5 | 流年运势 | A | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q5 | 其他 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q1 | 感情 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q3 | 财富 | A | C | |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | B | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | C | A | |
|
||||
| contest8_2023 | female_19780405_P013 | Q1 | 流年运势 | A | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | A | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | A | B | |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q2 | 其他 | C | A | |
|
||||
| contest8_2023 | female_19581027_P014 | Q3 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q5 | 健康 | B | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C | B | |
|
||||
| contest8_2023 | female_20020601_P015 | Q2 | 学业 | A | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q3 | 感情 | D | C | |
|
||||
| contest8_2023 | female_20020601_P015 | Q5 | 六亲 | C | A | |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q3 | 事业 | A | B | |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q2 | 学业 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | B | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q1 | 性格 | B | D | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q2 | 感情 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | A | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q5 | 财富 | D | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q3 | 流年运势 | A | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | D | C | |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | B | D | |
|
||||
| contest8_2024 | female_19831028_P004 | Q5 | 感情 | C | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B | C | |
|
||||
| contest8_2024 | male_19710412_P005 | Q4 | 财富 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q3 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2024 | male_20070131_P008 | Q1 | 健康 | A | B | |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q3 | 事业 | B | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q5 | 六亲 | A | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | D | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | A | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | B | C | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q2 | 流年运势 | B | D | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q5 | 健康 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q1 | 事业 | B | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | A | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | C | A | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A | D | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | D | B | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q4 | 健康 | A | C | |
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,128 @@
|
||||
{
|
||||
"model": "kimi-k3",
|
||||
"skill_mode": "without-skill",
|
||||
"skill_version": "无(裸模型对照)",
|
||||
"eval_date": "2026-10-12",
|
||||
"benchmark": "BaziQA-全球算命师大赛",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 82,
|
||||
"accuracy": 41.0,
|
||||
"no_answer": 0
|
||||
},
|
||||
"baseline": {
|
||||
"name": "官方基线(Gemini)",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 69,
|
||||
"accuracy": 34.5
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": 27.5,
|
||||
"contest8_2022": 40.0,
|
||||
"contest8_2023": 27.5,
|
||||
"contest8_2024": 35.0,
|
||||
"contest8_2025": 42.5
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": 40.5,
|
||||
"感情": 36.7,
|
||||
"六亲": 27.6,
|
||||
"事业": 24.0,
|
||||
"性格": 45.0,
|
||||
"学业": 41.7,
|
||||
"财富": 30.8,
|
||||
"健康": 23.1,
|
||||
"其他": 50.0
|
||||
}
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": {
|
||||
"total": 40,
|
||||
"correct": 17,
|
||||
"no_answer": 0,
|
||||
"accuracy": 42.5
|
||||
},
|
||||
"contest8_2022": {
|
||||
"total": 40,
|
||||
"correct": 20,
|
||||
"no_answer": 0,
|
||||
"accuracy": 50.0
|
||||
},
|
||||
"contest8_2023": {
|
||||
"total": 40,
|
||||
"correct": 12,
|
||||
"no_answer": 0,
|
||||
"accuracy": 30.0
|
||||
},
|
||||
"contest8_2024": {
|
||||
"total": 40,
|
||||
"correct": 17,
|
||||
"no_answer": 0,
|
||||
"accuracy": 42.5
|
||||
},
|
||||
"contest8_2025": {
|
||||
"total": 40,
|
||||
"correct": 16,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.0
|
||||
}
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": {
|
||||
"total": 37,
|
||||
"correct": 14,
|
||||
"no_answer": 0,
|
||||
"accuracy": 37.8
|
||||
},
|
||||
"感情": {
|
||||
"total": 49,
|
||||
"correct": 17,
|
||||
"no_answer": 0,
|
||||
"accuracy": 34.7
|
||||
},
|
||||
"六亲": {
|
||||
"total": 29,
|
||||
"correct": 9,
|
||||
"no_answer": 0,
|
||||
"accuracy": 31.0
|
||||
},
|
||||
"事业": {
|
||||
"total": 25,
|
||||
"correct": 11,
|
||||
"no_answer": 0,
|
||||
"accuracy": 44.0
|
||||
},
|
||||
"性格": {
|
||||
"total": 20,
|
||||
"correct": 10,
|
||||
"no_answer": 0,
|
||||
"accuracy": 50.0
|
||||
},
|
||||
"学业": {
|
||||
"total": 12,
|
||||
"correct": 7,
|
||||
"no_answer": 0,
|
||||
"accuracy": 58.3
|
||||
},
|
||||
"财富": {
|
||||
"total": 13,
|
||||
"correct": 6,
|
||||
"no_answer": 0,
|
||||
"accuracy": 46.2
|
||||
},
|
||||
"健康": {
|
||||
"total": 13,
|
||||
"correct": 6,
|
||||
"no_answer": 0,
|
||||
"accuracy": 46.2
|
||||
},
|
||||
"其他": {
|
||||
"total": 2,
|
||||
"correct": 2,
|
||||
"no_answer": 0,
|
||||
"accuracy": 100.0
|
||||
}
|
||||
},
|
||||
"notes": "对照组:同模型不加载技能,仅凭模型自身知识手排四柱作答;判分:评测/工具/run_eval.py;求解留档:评测/ai答案/kimi-k3/without-skill/(41 位命主)"
|
||||
}
|
||||
@@ -0,0 +1,166 @@
|
||||
# BaziQA 评测得分 — kimi-k3(without-skill)
|
||||
|
||||
- 模型:**kimi-k3**
|
||||
- 模式:**without-skill**(裸答对照:不加载技能、不给排盘与规则库,仅凭模型自身知识手排四柱作答)
|
||||
- 技能版本:无(裸模型对照)
|
||||
- 评测日期:2026-10-12
|
||||
- 赛事:BaziQA-全球算命师大赛(2021–2025 五届 × 40 题,共 200 题)
|
||||
- 判分:`评测/工具/run_eval.py`(脚本判分,与 with-skill 组同一脚本同一答案键)
|
||||
- 求解留档:`评测/ai答案/kimi-k3/without-skill/`(41 位命主,含模型手排四柱与作答过程)
|
||||
- 备注:对照组,仅用于与 with-skill 组对照;裸答无规则推理链,错题不做错因归类
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 82/200 | 41.0% | 0 |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% | 0 |
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 17/40 = 42.5%(未答 0) | 27.5% |
|
||||
| contest8_2022 | 20/40 = 50.0%(未答 0) | 40.0% |
|
||||
| contest8_2023 | 12/40 = 30.0%(未答 0) | 27.5% |
|
||||
| contest8_2024 | 17/40 = 42.5%(未答 0) | 35.0% |
|
||||
| contest8_2025 | 16/40 = 40.0%(未答 0) | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 14/37 = 37.8%(未答 0) | 40.5% |
|
||||
| 感情 | 17/49 = 34.7%(未答 0) | 36.7% |
|
||||
| 六亲 | 9/29 = 31.0%(未答 0) | 27.6% |
|
||||
| 事业 | 11/25 = 44.0%(未答 0) | 24.0% |
|
||||
| 性格 | 10/20 = 50.0%(未答 0) | 45.0% |
|
||||
| 学业 | 7/12 = 58.3%(未答 0) | 41.7% |
|
||||
| 财富 | 6/13 = 46.2%(未答 0) | 30.8% |
|
||||
| 健康 | 6/13 = 46.2%(未答 0) | 23.1% |
|
||||
| 其他 | 2/2 = 100.0%(未答 0) | 50.0% |
|
||||
|
||||
## 错题清单(裸答组不做错因归类)
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答→正解 |
|
||||
|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q2 | 六亲 | B→A |
|
||||
| contest8_2021 | male_19540318_P025 | Q3 | 流年运势 | B→C |
|
||||
| contest8_2021 | male_19540318_P025 | Q4 | 健康 | A→C |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B→C |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | B→D |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | B→D |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | D→B |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C→A |
|
||||
| contest8_2021 | female_19841220_P027 | Q3 | 感情 | D→C |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | A→D |
|
||||
| contest8_2021 | female_19841220_P027 | Q5 | 流年运势 | B→A |
|
||||
| contest8_2021 | male_19770706_P028 | Q2 | 事业 | C→A |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C→D |
|
||||
| contest8_2021 | male_19700723_P029 | Q3 | 性格 | C→A |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | A→D |
|
||||
| contest8_2021 | female_19750107_P030 | Q3 | 感情 | C→D |
|
||||
| contest8_2021 | female_19750107_P030 | Q4 | 事业 | B→A |
|
||||
| contest8_2021 | male_19530127_P031 | Q2 | 六亲 | C→B |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D→A |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | B→D |
|
||||
| contest8_2021 | male_19710910_P033 | Q2 | 流年运势 | A→B |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B→D |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | A→C |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | B→A |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | B→C |
|
||||
| contest8_2022 | male_19740428_P017 | Q3 | 流年运势 | A→C |
|
||||
| contest8_2022 | male_19740428_P017 | Q5 | 流年运势 | A→B |
|
||||
| contest8_2022 | female_19810526_P018 | Q1 | 学业 | C→B |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A→B |
|
||||
| contest8_2022 | female_19810526_P018 | Q3 | 六亲 | B→A |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A→D |
|
||||
| contest8_2022 | female_19900523_P019 | Q1 | 六亲 | B→D |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | D→C |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C→A |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D→B |
|
||||
| contest8_2022 | female_19771026_P020 | Q4 | 财富 | C→A |
|
||||
| contest8_2022 | male_19850629_P021 | Q1 | 性格 | C→A |
|
||||
| contest8_2022 | male_19850629_P021 | Q2 | 感情 | A→B |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | B→C |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C→D |
|
||||
| contest8_2022 | female_19841209_P023 | Q1 | 性格 | A→D |
|
||||
| contest8_2022 | female_19841209_P023 | Q2 | 财富 | B→C |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | A→B |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | B→C |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | D→B |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | D→A |
|
||||
| contest8_2023 | female_19661018_P009 | Q5 | 流年运势 | B→D |
|
||||
| contest8_2023 | male_19620806_P010 | Q1 | 六亲 | D→A |
|
||||
| contest8_2023 | male_19620806_P010 | Q2 | 六亲 | C→B |
|
||||
| contest8_2023 | male_19620806_P010 | Q3 | 感情 | A→B |
|
||||
| contest8_2023 | male_19620806_P010 | Q4 | 流年运势 | C→D |
|
||||
| contest8_2023 | male_19860424_P011 | Q1 | 感情 | B→D |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | B→D |
|
||||
| contest8_2023 | male_19860424_P011 | Q3 | 财富 | A→C |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | B→C |
|
||||
| contest8_2023 | male_19860424_P011 | Q5 | 事业 | C→D |
|
||||
| contest8_2023 | male_19560311_P012 | Q1 | 性格 | D→C |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | B→A |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | B→A |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | B→C |
|
||||
| contest8_2023 | female_19780405_P013 | Q3 | 感情 | D→C |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | A→B |
|
||||
| contest8_2023 | female_19780405_P013 | Q5 | 六亲 | A→B |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | A→C |
|
||||
| contest8_2023 | female_19581027_P014 | Q3 | 事业 | A→C |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C→B |
|
||||
| contest8_2023 | female_20020601_P015 | Q3 | 感情 | D→C |
|
||||
| contest8_2023 | female_20020601_P015 | Q5 | 六亲 | C→A |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A→C |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B→C |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | C→B |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q2 | 学业 | C→B |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | B→D |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q5 | 感情 | A→C |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q1 | 性格 | B→D |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | D→C |
|
||||
| contest8_2024 | male_19611230_P003 | Q3 | 流年运势 | D→B |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | D→A |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | D→C |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B→A |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | B→D |
|
||||
| contest8_2024 | male_19710412_P005 | Q1 | 感情 | D→B |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B→A |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B→C |
|
||||
| contest8_2024 | male_19710412_P005 | Q4 | 财富 | A→B |
|
||||
| contest8_2024 | male_19710412_P005 | Q5 | 健康 | C→B |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | C→B |
|
||||
| contest8_2024 | female_19830326_P006 | Q2 | 感情 | C→A |
|
||||
| contest8_2024 | female_19830326_P006 | Q3 | 感情 | C→B |
|
||||
| contest8_2024 | female_19830326_P006 | Q4 | 流年运势 | A→D |
|
||||
| contest8_2024 | female_19800921_P007 | Q1 | 学业 | B→C |
|
||||
| contest8_2024 | female_19800921_P007 | Q2 | 感情 | C→D |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | A→D |
|
||||
| contest8_2024 | male_20070131_P008 | Q5 | 六亲 | A→C |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q4 | 流年运势 | B→A |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A→D |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q5 | 六亲 | A→B |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | C→B |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q2 | 性格 | C→B |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | B→D |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | B→C |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q5 | 流年运势 | C→A |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q1 | 六亲 | D→C |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C→B |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q5 | 健康 | C→B |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q1 | 事业 | B→D |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A→D |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C→A |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C→B |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | D→B |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | A→D |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | B→C |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | C→A |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q3 | 感情 | A→B |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A→D |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | D→B |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | A→D |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q4 | 健康 | A→C |
|
||||
|
||||
> 共错 118 题(对 82/200)。本组为裸模型对照:模型自行手排四柱并作答,无技能排盘与规则库支持;判分口径与 with-skill 组完全一致。
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,128 @@
|
||||
{
|
||||
"model": "qoder-agent",
|
||||
"skill_mode": "with-skill",
|
||||
"skill_version": "3.6.2-未发版(规则库 3.7)",
|
||||
"eval_date": "2026-10-13",
|
||||
"benchmark": "BaziQA-全球算命师大赛",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 79,
|
||||
"accuracy": 39.5,
|
||||
"no_answer": 0
|
||||
},
|
||||
"baseline": {
|
||||
"name": "官方基线(Gemini)",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 69,
|
||||
"accuracy": 34.5
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": 27.5,
|
||||
"contest8_2022": 40.0,
|
||||
"contest8_2023": 27.5,
|
||||
"contest8_2024": 35.0,
|
||||
"contest8_2025": 42.5
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": 40.5,
|
||||
"感情": 36.7,
|
||||
"六亲": 27.6,
|
||||
"事业": 24.0,
|
||||
"性格": 45.0,
|
||||
"学业": 41.7,
|
||||
"财富": 30.8,
|
||||
"健康": 23.1,
|
||||
"其他": 50.0
|
||||
}
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": {
|
||||
"total": 40,
|
||||
"correct": 16,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.0
|
||||
},
|
||||
"contest8_2022": {
|
||||
"total": 40,
|
||||
"correct": 15,
|
||||
"no_answer": 0,
|
||||
"accuracy": 37.5
|
||||
},
|
||||
"contest8_2023": {
|
||||
"total": 40,
|
||||
"correct": 15,
|
||||
"no_answer": 0,
|
||||
"accuracy": 37.5
|
||||
},
|
||||
"contest8_2024": {
|
||||
"total": 40,
|
||||
"correct": 19,
|
||||
"no_answer": 0,
|
||||
"accuracy": 47.5
|
||||
},
|
||||
"contest8_2025": {
|
||||
"total": 40,
|
||||
"correct": 14,
|
||||
"no_answer": 0,
|
||||
"accuracy": 35.0
|
||||
}
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": {
|
||||
"total": 37,
|
||||
"correct": 15,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.5
|
||||
},
|
||||
"感情": {
|
||||
"total": 49,
|
||||
"correct": 16,
|
||||
"no_answer": 0,
|
||||
"accuracy": 32.7
|
||||
},
|
||||
"六亲": {
|
||||
"total": 29,
|
||||
"correct": 15,
|
||||
"no_answer": 0,
|
||||
"accuracy": 51.7
|
||||
},
|
||||
"事业": {
|
||||
"total": 25,
|
||||
"correct": 10,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.0
|
||||
},
|
||||
"性格": {
|
||||
"total": 20,
|
||||
"correct": 8,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.0
|
||||
},
|
||||
"学业": {
|
||||
"total": 12,
|
||||
"correct": 5,
|
||||
"no_answer": 0,
|
||||
"accuracy": 41.7
|
||||
},
|
||||
"财富": {
|
||||
"total": 13,
|
||||
"correct": 5,
|
||||
"no_answer": 0,
|
||||
"accuracy": 38.5
|
||||
},
|
||||
"健康": {
|
||||
"total": 13,
|
||||
"correct": 4,
|
||||
"no_answer": 0,
|
||||
"accuracy": 30.8
|
||||
},
|
||||
"其他": {
|
||||
"total": 2,
|
||||
"correct": 1,
|
||||
"no_answer": 0,
|
||||
"accuracy": 50.0
|
||||
}
|
||||
},
|
||||
"notes": "判分:评测/工具/run_eval.py;求解留档:评测/ai答案/qoder-agent/with-skill/(41 位命主,每位新开无上下文子代理,真太阳时主盘 + 双盘纪律);技能副本 /tmp/skill_bench(rsync 自母版,排除 评测/ 与 .git,故物理隔绝答案键)+ extend_cities.py 地点扩展;全程 ZIPEC_EVAL=1,副本 data/ 仅 cities.json、无 .license.json,零额度消耗;官方基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md"
|
||||
}
|
||||
@@ -0,0 +1,190 @@
|
||||
# BaziQA 评测得分 — qoder-agent(with-skill)
|
||||
|
||||
- 模型:**qoder-agent**(Qoder 桌面端主代理 + 每位命主一个无上下文子代理)
|
||||
- 模式:**with-skill**(加载子平八字技能排盘 + 规则库推理)
|
||||
- 技能版本:3.6.2-未发版(规则库 3.7)
|
||||
- 评测日期:2026-10-12 起跑,2026-10-13 判分收录
|
||||
- 赛事:BaziQA-全球算命师大赛(2021–2025 五届 × 40 题,共 200 题)
|
||||
- 判分:`评测/工具/run_eval.py`(脚本判分,非模型裁判)
|
||||
- 求解留档:`评测/ai答案/qoder-agent/with-skill/`(41 位命主,含完整推理过程)
|
||||
- 求解方式:技能副本 `/tmp/skill_bench`(rsync 自母版,**排除 `评测/` 与 `.git/`**,
|
||||
物理隔绝答案键)+ `extend_cities.py` 地点扩展(追加 23 条,41 位命主 place 全解析);
|
||||
每命主**新开无上下文子代理**独立排盘 + 独立推理,跨命主不共享上下文;
|
||||
真太阳时主盘 + 双盘纪律(境外/模糊地名与时辰边界 ±15 分钟内加排 120°E 对照盘)
|
||||
- 额度:全程 `ZIPEC_EVAL=1` 豁免,副本 `data/` 仅 `cities.json`、无 `.license.json`,
|
||||
**零授权额度消耗**
|
||||
- 错因分类:暂未归并(错题清单错因列留空,待后续人工/脚本补录)
|
||||
|
||||
## 同模型对照
|
||||
|
||||
| 组别 | 正确/总题数 | 准确率 |
|
||||
|---|---|---|
|
||||
| **with-skill(本组)** | 79/200 | 39.5% |
|
||||
| without-skill(裸答对照) | 78/200 | 39.0% |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% |
|
||||
|
||||
如实呈现:加载技能比同模型裸答只高 **1 题(+0.5pp)**,配对 z = 0.10。
|
||||
题级配对检验——两组都对 53 题、只 with-skill 对 26 题、只裸答对 25 题、都错 96 题;
|
||||
McNemar 不一致对 51 组、26:25 几乎对半,校正 χ² = 0.00,p ≈ 1.0。
|
||||
**技能未带来可检出的增益**。相对官方基线 +5.0pp,配对 z = 1.04(p ≈ 0.30),
|
||||
单组标准误 ±3.46pp,同样不显著。200 题规模下这套基准尚不足以区分
|
||||
「加载技能」与「裸答」两种口径。
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 79/200 | 39.5% | 0 |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% | 0 |
|
||||
|
||||
> 基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md。
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 16/40 = 40.0%(未答 0) | 27.5% |
|
||||
| contest8_2022 | 15/40 = 37.5%(未答 0) | 40.0% |
|
||||
| contest8_2023 | 15/40 = 37.5%(未答 0) | 27.5% |
|
||||
| contest8_2024 | 19/40 = 47.5%(未答 0) | 35.0% |
|
||||
| contest8_2025 | 14/40 = 35.0%(未答 0) | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 15/37 = 40.5%(未答 0) | 40.5% |
|
||||
| 感情 | 16/49 = 32.7%(未答 0) | 36.7% |
|
||||
| 六亲 | 15/29 = 51.7%(未答 0) | 27.6% |
|
||||
| 事业 | 10/25 = 40.0%(未答 0) | 24.0% |
|
||||
| 性格 | 8/20 = 40.0%(未答 0) | 45.0% |
|
||||
| 学业 | 5/12 = 41.7%(未答 0) | 41.7% |
|
||||
| 财富 | 5/13 = 38.5%(未答 0) | 30.8% |
|
||||
| 健康 | 4/13 = 30.8%(未答 0) | 23.1% |
|
||||
| 其他 | 1/2 = 50.0%(未答 0) | 50.0% |
|
||||
|
||||
## 错题清单(错因留空,待人工/后续填写)
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答 | 正解 | 错因 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q2 | 六亲 | B | A | |
|
||||
| contest8_2021 | male_19540318_P025 | Q3 | 流年运势 | D | C | |
|
||||
| contest8_2021 | male_19540318_P025 | Q5 | 六亲 | C | B | |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | D | B | |
|
||||
| contest8_2021 | female_19841220_P027 | Q1 | 学业 | B | C | |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q3 | 感情 | D | C | |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2021 | male_19770706_P028 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q1 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q3 | 性格 | C | A | |
|
||||
| contest8_2021 | male_19700723_P029 | Q5 | 健康 | B | C | |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q3 | 感情 | B | D | |
|
||||
| contest8_2021 | male_19530127_P031 | Q1 | 事业 | A | C | |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | B | D | |
|
||||
| contest8_2021 | male_19710910_P033 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | A | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | B | A | |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q3 | 流年运势 | A | C | |
|
||||
| contest8_2022 | female_19810526_P018 | Q1 | 学业 | C | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q1 | 六亲 | B | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q4 | 财富 | C | A | |
|
||||
| contest8_2022 | male_19850629_P021 | Q1 | 性格 | B | A | |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | male_19850629_P021 | Q5 | 学业 | A | B | |
|
||||
| contest8_2022 | male_19831101_P022 | Q2 | 学业 | A | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q5 | 财富 | D | B | |
|
||||
| contest8_2022 | female_19841209_P023 | Q1 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19841209_P023 | Q2 | 财富 | A | C | |
|
||||
| contest8_2022 | female_19841209_P023 | Q3 | 流年运势 | B | A | |
|
||||
| contest8_2022 | female_19841209_P023 | Q4 | 感情 | A | C | |
|
||||
| contest8_2022 | female_19841209_P023 | Q5 | 感情 | C | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q2 | 感情 | D | C | |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | A | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q5 | 财富 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q1 | 性格 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | C | A | |
|
||||
| contest8_2023 | male_19620806_P010 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q5 | 其他 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | D | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | C | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | C | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | A | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q3 | 感情 | D | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | A | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q5 | 六亲 | D | B | |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q3 | 事业 | A | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q5 | 健康 | B | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C | B | |
|
||||
| contest8_2023 | female_20020601_P015 | Q3 | 感情 | D | C | |
|
||||
| contest8_2023 | female_20020601_P015 | Q5 | 六亲 | C | A | |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q3 | 事业 | A | B | |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | A | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q2 | 学业 | C | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | B | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q5 | 感情 | B | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q2 | 感情 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q5 | 财富 | C | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q3 | 流年运势 | A | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | D | C | |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | B | D | |
|
||||
| contest8_2024 | female_19831028_P004 | Q5 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B | C | |
|
||||
| contest8_2024 | male_19710412_P005 | Q5 | 健康 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q2 | 感情 | C | A | |
|
||||
| contest8_2024 | female_19830326_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2024 | male_20070131_P008 | Q1 | 健康 | D | B | |
|
||||
| contest8_2024 | male_20070131_P008 | Q3 | 性格 | D | A | |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q2 | 感情 | B | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q4 | 流年运势 | C | A | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q3 | 事业 | A | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | C | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | B | C | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q2 | 流年运势 | B | D | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q5 | 健康 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q1 | 事业 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q1 | 性格 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | D | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | B | A | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q3 | 感情 | C | B | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A | D | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | A | B | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q4 | 健康 | A | C | |
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,128 @@
|
||||
{
|
||||
"model": "qoder-agent",
|
||||
"skill_mode": "without-skill",
|
||||
"skill_version": "无(裸模型对照)",
|
||||
"eval_date": "2026-10-13",
|
||||
"benchmark": "BaziQA-全球算命师大赛",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 78,
|
||||
"accuracy": 39.0,
|
||||
"no_answer": 0
|
||||
},
|
||||
"baseline": {
|
||||
"name": "官方基线(Gemini)",
|
||||
"overall": {
|
||||
"total": 200,
|
||||
"correct": 69,
|
||||
"accuracy": 34.5
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": 27.5,
|
||||
"contest8_2022": 40.0,
|
||||
"contest8_2023": 27.5,
|
||||
"contest8_2024": 35.0,
|
||||
"contest8_2025": 42.5
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": 40.5,
|
||||
"感情": 36.7,
|
||||
"六亲": 27.6,
|
||||
"事业": 24.0,
|
||||
"性格": 45.0,
|
||||
"学业": 41.7,
|
||||
"财富": 30.8,
|
||||
"健康": 23.1,
|
||||
"其他": 50.0
|
||||
}
|
||||
},
|
||||
"per_contest": {
|
||||
"contest8_2021": {
|
||||
"total": 40,
|
||||
"correct": 18,
|
||||
"no_answer": 0,
|
||||
"accuracy": 45.0
|
||||
},
|
||||
"contest8_2022": {
|
||||
"total": 40,
|
||||
"correct": 17,
|
||||
"no_answer": 0,
|
||||
"accuracy": 42.5
|
||||
},
|
||||
"contest8_2023": {
|
||||
"total": 40,
|
||||
"correct": 13,
|
||||
"no_answer": 0,
|
||||
"accuracy": 32.5
|
||||
},
|
||||
"contest8_2024": {
|
||||
"total": 40,
|
||||
"correct": 14,
|
||||
"no_answer": 0,
|
||||
"accuracy": 35.0
|
||||
},
|
||||
"contest8_2025": {
|
||||
"total": 40,
|
||||
"correct": 16,
|
||||
"no_answer": 0,
|
||||
"accuracy": 40.0
|
||||
}
|
||||
},
|
||||
"per_dimension": {
|
||||
"流年运势": {
|
||||
"total": 37,
|
||||
"correct": 14,
|
||||
"no_answer": 0,
|
||||
"accuracy": 37.8
|
||||
},
|
||||
"感情": {
|
||||
"total": 49,
|
||||
"correct": 16,
|
||||
"no_answer": 0,
|
||||
"accuracy": 32.7
|
||||
},
|
||||
"六亲": {
|
||||
"total": 29,
|
||||
"correct": 15,
|
||||
"no_answer": 0,
|
||||
"accuracy": 51.7
|
||||
},
|
||||
"事业": {
|
||||
"total": 25,
|
||||
"correct": 8,
|
||||
"no_answer": 0,
|
||||
"accuracy": 32.0
|
||||
},
|
||||
"性格": {
|
||||
"total": 20,
|
||||
"correct": 6,
|
||||
"no_answer": 0,
|
||||
"accuracy": 30.0
|
||||
},
|
||||
"学业": {
|
||||
"total": 12,
|
||||
"correct": 7,
|
||||
"no_answer": 0,
|
||||
"accuracy": 58.3
|
||||
},
|
||||
"财富": {
|
||||
"total": 13,
|
||||
"correct": 7,
|
||||
"no_answer": 0,
|
||||
"accuracy": 53.8
|
||||
},
|
||||
"健康": {
|
||||
"total": 13,
|
||||
"correct": 4,
|
||||
"no_answer": 0,
|
||||
"accuracy": 30.8
|
||||
},
|
||||
"其他": {
|
||||
"total": 2,
|
||||
"correct": 1,
|
||||
"no_answer": 0,
|
||||
"accuracy": 50.0
|
||||
}
|
||||
},
|
||||
"notes": "对照组:同模型不加载技能——无排盘脚本、无规则库、无 SKILL.md,仅给盲版题面的出生信息,模型手排四柱(自行决定时区/真太阳时口径并留档)作答;求解留档:评测/ai答案/qoder-agent/without-skill/(41 位命主);判分:评测/工具/run_eval.py(与实验组同题集、同答案键、同脚本)"
|
||||
}
|
||||
@@ -0,0 +1,185 @@
|
||||
# BaziQA 评测得分 — qoder-agent(without-skill 裸答对照组)
|
||||
|
||||
- 模型:**qoder-agent**(同一模型,每位命主一个无上下文子代理)
|
||||
- 模式:**without-skill**(裸答对照——不给排盘工具、不给规则库、不给 SKILL.md)
|
||||
- 技能版本:无(裸模型对照)
|
||||
- 评测日期:2026-10-13
|
||||
- 赛事:BaziQA-全球算命师大赛(2021–2025 五届 × 40 题,共 200 题)
|
||||
- 判分:`评测/工具/run_eval.py`(与实验组同题集、同答案键、同脚本)
|
||||
- 求解留档:`评测/ai答案/qoder-agent/without-skill/`(41 位命主,含手排四柱过程)
|
||||
- 对照口径(测试规则.md §6):子代理只读盲版题面 `questions/`,禁读禁跑
|
||||
`/tmp/skill_bench/` 与母版 `SKILL.md`/`rules/`/`scripts/`/`vendor/`、禁调 Skill 工具、
|
||||
禁联网查万年历、禁跑任何历法/干支换算脚本(含自己写的);四柱全部手排
|
||||
(立春换年 / 节气换月 / 子初换日),时区与真太阳时口径由子代理自行决定并在留档写明
|
||||
- 错因分类:暂未归并(错题清单错因列留空,待后续人工/脚本补录)
|
||||
|
||||
## 同模型对照
|
||||
|
||||
| 组别 | 正确/总题数 | 准确率 |
|
||||
|---|---|---|
|
||||
| with-skill(加载技能) | 79/200 | 39.5% |
|
||||
| **without-skill(本组)** | 78/200 | 39.0% |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% |
|
||||
|
||||
如实呈现:裸答组比加载技能组只低 **1 题(−0.5pp)**,McNemar 不一致对 51(26:25),
|
||||
校正 χ² = 0.00。两组在 200 题上几乎完全同分,**本基准未能检出技能带来的增益**。
|
||||
|
||||
## 总览
|
||||
|
||||
| 口径 | 正确/总题数 | 准确率 | 未答 |
|
||||
|---|---|---|---|
|
||||
| 本次评测 | 78/200 | 39.0% | 0 |
|
||||
| 官方基线(Gemini) | 69/200 | 34.5% | 0 |
|
||||
|
||||
> 基线口径见 试题/BaziQA-全球算命师大赛/SOURCE.md。
|
||||
|
||||
## 分届准确率
|
||||
|
||||
| 届别 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| contest8_2021 | 18/40 = 45.0%(未答 0) | 27.5% |
|
||||
| contest8_2022 | 17/40 = 42.5%(未答 0) | 40.0% |
|
||||
| contest8_2023 | 13/40 = 32.5%(未答 0) | 27.5% |
|
||||
| contest8_2024 | 14/40 = 35.0%(未答 0) | 35.0% |
|
||||
| contest8_2025 | 16/40 = 40.0%(未答 0) | 42.5% |
|
||||
|
||||
## 分维度准确率
|
||||
|
||||
| 维度 | 本次 | 官方 |
|
||||
|---|---|---|
|
||||
| 流年运势 | 14/37 = 37.8%(未答 0) | 40.5% |
|
||||
| 感情 | 16/49 = 32.7%(未答 0) | 36.7% |
|
||||
| 六亲 | 15/29 = 51.7%(未答 0) | 27.6% |
|
||||
| 事业 | 8/25 = 32.0%(未答 0) | 24.0% |
|
||||
| 性格 | 6/20 = 30.0%(未答 0) | 45.0% |
|
||||
| 学业 | 7/12 = 58.3%(未答 0) | 41.7% |
|
||||
| 财富 | 7/13 = 53.8%(未答 0) | 30.8% |
|
||||
| 健康 | 4/13 = 30.8%(未答 0) | 23.1% |
|
||||
| 其他 | 1/2 = 50.0%(未答 0) | 50.0% |
|
||||
|
||||
## 错题清单(错因留空,待人工/后续填写)
|
||||
|
||||
| 届别 | 命主 | 题序 | 维度 | 我答 | 正解 | 错因 |
|
||||
|---|---|---|---|---|---|---|
|
||||
| contest8_2021 | male_19540318_P025 | Q3 | 流年运势 | B | C | |
|
||||
| contest8_2021 | male_19540318_P025 | Q4 | 健康 | A | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q1 | 事业 | B | C | |
|
||||
| contest8_2021 | male_19831019_P026 | Q2 | 感情 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q3 | 六亲 | A | D | |
|
||||
| contest8_2021 | male_19831019_P026 | Q4 | 流年运势 | C | B | |
|
||||
| contest8_2021 | male_19831019_P026 | Q5 | 性格 | D | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | female_19841220_P027 | Q4 | 流年运势 | B | D | |
|
||||
| contest8_2021 | male_19770706_P028 | Q2 | 事业 | C | A | |
|
||||
| contest8_2021 | male_19770706_P028 | Q4 | 感情 | C | D | |
|
||||
| contest8_2021 | male_19700723_P029 | Q3 | 性格 | B | A | |
|
||||
| contest8_2021 | female_19750107_P030 | Q2 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q3 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19750107_P030 | Q4 | 事业 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q1 | 事业 | A | C | |
|
||||
| contest8_2021 | male_19530127_P031 | Q2 | 六亲 | C | B | |
|
||||
| contest8_2021 | male_19530127_P031 | Q3 | 流年运势 | B | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2021 | male_19530127_P031 | Q5 | 六亲 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q1 | 感情 | B | D | |
|
||||
| contest8_2021 | female_19670827_P034 | Q2 | 事业 | A | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q1 | 流年运势 | B | A | |
|
||||
| contest8_2022 | male_19740428_P017 | Q2 | 感情 | B | C | |
|
||||
| contest8_2022 | male_19740428_P017 | Q3 | 流年运势 | A | C | |
|
||||
| contest8_2022 | female_19810526_P018 | Q1 | 学业 | C | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q2 | 感情 | A | B | |
|
||||
| contest8_2022 | female_19810526_P018 | Q4 | 性格 | A | D | |
|
||||
| contest8_2022 | female_19900523_P019 | Q4 | 流年运势 | D | C | |
|
||||
| contest8_2022 | female_19900523_P019 | Q5 | 性格 | C | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q1 | 事业 | C | A | |
|
||||
| contest8_2022 | female_19771026_P020 | Q3 | 感情 | D | B | |
|
||||
| contest8_2022 | female_19771026_P020 | Q5 | 健康 | B | D | |
|
||||
| contest8_2022 | male_19850629_P021 | Q1 | 性格 | C | A | |
|
||||
| contest8_2022 | male_19850629_P021 | Q4 | 流年运势 | B | C | |
|
||||
| contest8_2022 | male_19831101_P022 | Q2 | 学业 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q3 | 流年运势 | C | D | |
|
||||
| contest8_2022 | male_19831101_P022 | Q5 | 财富 | D | B | |
|
||||
| contest8_2022 | female_19841209_P023 | Q1 | 性格 | C | D | |
|
||||
| contest8_2022 | female_19841209_P023 | Q3 | 流年运势 | B | A | |
|
||||
| contest8_2022 | female_19841209_P023 | Q4 | 感情 | B | C | |
|
||||
| contest8_2022 | female_19841209_P023 | Q5 | 感情 | C | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q2 | 感情 | D | C | |
|
||||
| contest8_2022 | male_19810617_P024 | Q3 | 健康 | D | B | |
|
||||
| contest8_2022 | male_19810617_P024 | Q4 | 事业 | D | A | |
|
||||
| contest8_2023 | female_19661018_P009 | Q1 | 性格 | D | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q2 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19661018_P009 | Q3 | 六亲 | C | B | |
|
||||
| contest8_2023 | female_19661018_P009 | Q4 | 感情 | D | A | |
|
||||
| contest8_2023 | male_19620806_P010 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2023 | male_19620806_P010 | Q5 | 其他 | B | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q1 | 感情 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q2 | 六亲 | A | D | |
|
||||
| contest8_2023 | male_19860424_P011 | Q4 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19860424_P011 | Q5 | 事业 | C | D | |
|
||||
| contest8_2023 | male_19560311_P012 | Q1 | 性格 | D | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q2 | 学业 | B | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q3 | 感情 | B | A | |
|
||||
| contest8_2023 | male_19560311_P012 | Q4 | 流年运势 | A | C | |
|
||||
| contest8_2023 | male_19560311_P012 | Q5 | 健康 | B | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q2 | 流年运势 | A | C | |
|
||||
| contest8_2023 | female_19780405_P013 | Q4 | 六亲 | C | B | |
|
||||
| contest8_2023 | female_19780405_P013 | Q5 | 六亲 | D | B | |
|
||||
| contest8_2023 | female_19581027_P014 | Q1 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q3 | 事业 | D | C | |
|
||||
| contest8_2023 | female_19581027_P014 | Q5 | 健康 | B | D | |
|
||||
| contest8_2023 | female_20020601_P015 | Q1 | 财富 | C | B | |
|
||||
| contest8_2023 | female_20020601_P015 | Q3 | 感情 | D | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q1 | 感情 | A | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q2 | 感情 | B | C | |
|
||||
| contest8_2023 | male_19800711_P016 | Q3 | 事业 | C | B | |
|
||||
| contest8_2023 | male_19800711_P016 | Q4 | 性格 | A | B | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q3 | 感情 | A | D | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | guangdong_female_19800824_P001 | Q5 | 感情 | B | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q1 | 性格 | B | D | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q2 | 感情 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q4 | 六亲 | D | C | |
|
||||
| contest8_2024 | chaozhou_male_19720108_P002 | Q5 | 财富 | C | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q1 | 流年运势 | C | B | |
|
||||
| contest8_2024 | male_19611230_P003 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q4 | 流年运势 | D | A | |
|
||||
| contest8_2024 | male_19611230_P003 | Q5 | 财富 | D | C | |
|
||||
| contest8_2024 | female_19831028_P004 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | female_19831028_P004 | Q4 | 感情 | C | D | |
|
||||
| contest8_2024 | female_19831028_P004 | Q5 | 感情 | C | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | male_19710412_P005 | Q2 | 感情 | B | A | |
|
||||
| contest8_2024 | male_19710412_P005 | Q3 | 财富 | B | C | |
|
||||
| contest8_2024 | male_19710412_P005 | Q4 | 财富 | A | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q1 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q3 | 感情 | C | B | |
|
||||
| contest8_2024 | female_19830326_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q2 | 感情 | B | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q3 | 流年运势 | A | D | |
|
||||
| contest8_2024 | female_19800921_P007 | Q4 | 六亲 | C | D | |
|
||||
| contest8_2024 | male_20070131_P008 | Q1 | 健康 | A | B | |
|
||||
| contest8_2024 | male_20070131_P008 | Q4 | 流年运势 | C | D | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q3 | 事业 | D | B | |
|
||||
| contest8_2025 | guangdong_female_19511114_P001 | Q4 | 流年运势 | B | A | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q1 | 健康 | A | D | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q2 | 性格 | D | B | |
|
||||
| contest8_2025 | hongkong_female_19870705_P002 | Q5 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q1 | 六亲 | C | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q2 | 性格 | A | B | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q3 | 学业 | B | D | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q4 | 感情 | B | C | |
|
||||
| contest8_2025 | miyazaki_male_19830421_P003 | Q5 | 流年运势 | C | A | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q3 | 事业 | C | B | |
|
||||
| contest8_2025 | singapore_male_19930408_P004 | Q5 | 健康 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q3 | 感情 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19880110_P005 | Q4 | 六亲 | C | A | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q2 | 性格 | C | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q3 | 事业 | D | B | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q4 | 流年运势 | A | D | |
|
||||
| contest8_2025 | malaysia_male_19730824_P006 | Q5 | 健康 | D | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q1 | 六亲 | D | A | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q2 | 学业 | A | C | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q3 | 感情 | D | B | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q4 | 事业 | A | D | |
|
||||
| contest8_2025 | taiwan_female_19880215_P007 | Q5 | 性格 | D | B | |
|
||||
| contest8_2025 | beijing_male_19700722_P008 | Q3 | 流年运势 | A | D | |
|
||||
Reference in New Issue
Block a user