ai-labeling: Prompt 1 v0.1 + ground-truth v0.4.0(20期) + MiMo首轮跑批

- Prompt 1 v0.1: 4分类字段(题材/装备域/场景/技术)判别prompt,含5示例+边界规则+换装测试
- ground-truth v0.4.0: 10→20期扩展,ep编号重映射(旧ep3-15→新ep001-020),4分类字段全填(制片人逐期审定)
- 文稿升级: 旧10期删除,新20期md文件(doco子项目清洗产出)替换
- 脚本升级: ep编号2位→3位,ALL_EPISODES扩至1-20,summarize classification比对逻辑实现
- MiMo首轮结果: 题材75%/装备域70%/场景95%/技术70%/全对40%,需迭代Prompt
- 质量标杆: 加入PPT+Excel样板文件(example/)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
simonkoson
2026-06-24 19:22:13 +08:00
parent 30931d4446
commit d8057b07e9
37 changed files with 3647 additions and 1508 deletions
+23 -20
View File
@@ -12,8 +12,8 @@
## 🔖 状态栏(每次结束 session 前必须更新这三行)
- **最后更新**Claude Opus(顾问)| 2026-06-24
- **当前状态一句话**全貌已对齐——看板升级 = 数据沉淀 + AI 打标 + 分析引擎 + 诊断报告生成。Prompt 2(叙事结构)已锁定,生产模型 mimo-v2.5-pro。下一步写 Prompt 1 + Prompt 3,同时启动分析引擎架构设计
- **最后更新**Claude Opus(顾问)| 2026-06-24(晚)
- **当前状态一句话**Prompt 1 v0.1 完成 + ground-truth v0.4.020期4分类字段全填) + MiMo 首轮跑批完成(题材75%/装备域70%/场景95%/技术70%/全对40%)。Prompt 需迭代改进多选字段门槛
- **下一个动手的人从这里开始**:见下方「⏩ 交接备注」
---
@@ -108,7 +108,7 @@
| 层 | 名称 | 做什么 | 当前状态 |
|----|------|--------|----------|
| L1 | **数据沉淀** | 每期节目的收视数据、文稿全文、编导、选题单持续入库 | 主项目已有 episodes 表基础结构 |
| L2 | **AI 打标** | 读文稿自动判别:题材分类(4字段)、叙事结构(2档)、开篇钩子(3档) | Prompt 2 已锁定,Prompt 1/3 待写 |
| L2 | **AI 打标** | 读文稿自动判别:题材分类(4字段)、叙事结构(2档)、开篇钩子(3档) | Prompt 1 v0.1 + Prompt 2 已锁定,Prompt 1 需迭代,Prompt 3 待写 |
| L3 | **分析引擎** | 基于双引擎模型,计算走势、编导对比、题材对比、高低样本对照等多维分析 | 待设计 |
| L4 | **诊断报告** | 调用 LLM 生成文字诊断结论 + 改进建议(对标 PPT 第 8-10 页水平) | 待设计 |
@@ -199,17 +199,16 @@ ai-labeling/
### 2.4 常用命令(PowerShell
```powershell
# 单期打标
# 单期打标narrative 或 classification
cd E:\tps-dashboard\ai-labeling
python scripts/run_labeling.py --ep 4 --model mimo-v2.5-pro
python scripts/run_labeling.py --ep 1 --model mimo-v2.5-pro --field classification
# 批量跑 10 期基准
3, 4, 5, 7, 10, 11, 12, 13, 14, 15 | ForEach-Object {
python scripts/run_labeling.py --ep $_ --model mimo-v2.5-pro
}
# 批量跑 20 期基准
python scripts/run_labeling.py --all --model mimo-v2.5-pro --field classification
# 汇总命中率
python scripts/summarize.py --model mimo-v2.5-pro
python scripts/summarize.py --model mimo-v2.5-pro --field classification
python scripts/summarize.py --model mimo-v2.5-pro --field narrative
```
### 2.5 模型配置(`scripts/run_labeling.py` 内 MODEL_CONFIG
@@ -227,14 +226,15 @@ python scripts/summarize.py --model mimo-v2.5-pro
## 3. 当前进度(动态,核心交接区)
- **已完成**L2 层 Prompt 2(叙事结构)锁定 + ground-truth v0.3.04 分类字段骨架预留)+ 脚本扩展支持 --field classification + 生产模型 mimo-v2.5-pro 确定
- **正在做**Prompt 14 分类字段)撰写中
- **卡点/待解**L3/L4 架构设计未启动;诊断报告多 LLM 共识机制待选型测试
- **已完成**Prompt 1 v0.1 + ground-truth v0.4.020期完整标注)+ MiMo 首轮跑批(题材75%/装备域70%/场景95%/技术70%/全对40%+ 脚本 ep 编号升级至 3 位数 + summarize classification 比对逻辑实现
- **正在做**无(本轮收摊)
- **卡点/待解**Prompt 1 需迭代(多选字段门槛太松、program_format 三组边界混淆);Prompt 3(开篇钩子)待写;L3/L4 架构设计未启动
---
## 4. 已完成(只追加,最新在上)
- [2026-06-24晚 Opus] Prompt 1 v0.1 撰写完成(4分类字段:题材/装备域/场景/技术)+ ground-truth v0.4.010→20期扩展,旧ep编号重映射,4分类字段全填,制片人逐期审定)+ 脚本升级(ep编号2位→3位、ALL_EPISODES扩至1-20、summarize classification比对逻辑实现)+ MiMo首轮跑批20期(题材75%/装备域70%/场景95%/技术70%/全对40%)。主要错误模式:多选字段过度标注、装备深解/前沿科技与横切类比混淆。
- [2026-06-24 Opus+Cline] ground-truth v0.3.0 结构扩展(4 分类字段骨架预留)+ run_labeling.py / summarize.py 扩展 --field 参数支持 classification。脚本可直接跑 Prompt 1,等 prompt 文件就位即用。
- [2026-06-24 Opus] CLAUDE.md 二次更新:精读 v1-v4 四份续接快照,补入双引擎象限图视觉规格、6 字段完整枚举定义、三层分步交付策略、编导能力地图设计、v1-v4 关键决策。
- [2026-06-24 Opus] 全貌对齐:精读 PPT+Excel 样板、明确四层架构(数据沉淀→AI打标→分析引擎→诊断报告)、确认多 LLM 共识机制方向、确认季度+自定义双轨周期、确认全员可见。CLAUDE.md 从打标沙盒文档升级为全局指导文件。
@@ -250,7 +250,7 @@ python scripts/summarize.py --model mimo-v2.5-pro
### L2 — AI 打标(当前主战场)
- [ ] **Prompt 14 分类字段)撰写** — program_format / equipment_domain / scene_tags / tech_tags。Opus 写 → MiMo 跑基准 → 制片人审 → 锁定
- [ ] **Prompt 1 v0.2 迭代** — v0.1 首轮全对率 40%,主要问题:多选字段(equipment_domain/tech_tags)过度标注("一笔带过"也选了)+ program_format 三组边界混淆(装备深解vs横切类比、前沿科技vs横切类比、装备深解vs前沿科技)。改进方向:加强门槛描述+加反例教学
- [ ] **Prompt 3(开篇钩子)撰写** — 只看前 1-2 分钟判强/中/弱。同上套路。
- [ ] **opening_hook AI 验证** — ground-truth 里 opening_hook 是人工标的,等 Prompt 3 上线后跑一次看 MiMo 命中率。
- [ ] **示例集月度更新机制** — 上线后启用,每月集中替换,不碎片化(吃 prompt 缓存红利)。
@@ -317,7 +317,9 @@ python scripts/summarize.py --model mimo-v2.5-pro
- v0.110 期初始标注
- v0.2:改 2 期(ep12 逆袭战局改为并列→后经复议改回主线演进、ep14 X76 确认并列)
- **v0.2.1(当前锁定)**:改 1 期(ep12 经制片人复读稿 + 三家模型独立一致,最终定为并列结构)。**边界期用"多家独立一致 + 人工复审"双重证据机制**,未来扩展示例集时沿用
- v0.2.1:改 1 期(ep12 经制片人复读稿 + 三家模型独立一致,最终定为并列结构)。**边界期用"多家独立一致 + 人工复审"双重证据机制**。
- v0.3.0:为 Prompt 1 预留 4 分类字段骨架(null/[]),ep 编号仍为旧制。
- **v0.4.0(当前锁定)**:期号重映射(旧ep3-15→新ep001-020按播出日期排序),10→20期扩展,4分类字段(program_format/equipment_domain/scene_tags/tech_tags)全部填入,制片人逐期审定。新增10期暂无narrative_structure/opening_hook标注。
### Prompt 设计原则
@@ -336,11 +338,12 @@ python scripts/summarize.py --model mimo-v2.5-pro
## 7. ⏩ 交接备注(换人/换工具 0 摩擦续上)
- **全貌已对齐**(2026-06-24):看板升级四层架构(L1-L4)、双引擎理论、多 LLM 共识机制、季度+自定义双轨周期、全员可见——这些方向已与制片人确认。新来的人先读完第 1 节「子项目全貌」再动手。
- **当前主战场是 L2AI 打标)**:Prompt 2 已锁定,下一步写 Prompt 1(4 分类字段)→ Prompt 3(开篇钩子)。流程:Opus/Claude Code 写 Prompt → MiMo 跑 10 期基准 → 制片人审 → 锁定
- **Prompt 1 前置**:4 分类字段枚举需与制片人收敛口径(v1 快照 §三.1 已列草案)。
- **Prompt 1 v0.1 已完成,需迭代至 v0.2**:首轮 MiMo 跑批全对率 40%。两大错误模式:① 多选字段(equipment_domain/tech_tags)过度标注——"一笔带过"的也选了;② program_format 三组边界混淆(装备深解vs横切类比、前沿科技vs横切类比)。改进方向:加强门槛措辞 + 加反例教学 + 可能需要增补示例
- **ground-truth v0.4.0 已锁定**:20 期全部标注(4 分类字段),期号已重映射至 ep001-020。新增 10 期暂无 narrative_structure/opening_hook(待 Prompt 2/3 跑批后补)。
- **脚本已升级**ep 编号 2 位→3 位,ALL_EPISODES 扩至 1-20summarize classification 比对逻辑已实现(逐字段命中 + 全对率)。
- **下一步优先级建议**Prompt 1 v0.2 迭代 → Prompt 3(开篇钩子)→ 新增 10 期跑 Prompt 2 补 narrative_structure。
- **L3/L4 待设计**:分析引擎和诊断报告的架构尚未展开。建议 Prompt 1/3 锁定后启动,可与 schema 加字段并行。
- **schema 加字段是跨层硬前置**episodes 表加 6+1 字段,必须 Plan + Opus 审 + 制片人批准 + `pg_dump` 备份。这是主项目的事,不在沙盒内做。
- **ep12 逆袭战局**是标志性边界期:制片人 v0.1 标主线演进 → 三家模型独立判并列 → 制片人复读稿后改并列(v0.2.1)。这个案例是"双重证据机制"的范例。
---
@@ -349,5 +352,5 @@ python scripts/summarize.py --model mimo-v2.5-pro
- [x] ~~Prompt 1 的 4 分类字段枚举最终口径~~ → 已在 v2 快照锁定(见 §1.4)
- [ ] 多 LLM 共识机制的模型阵容(MiMo + GLM 5.2 + ?)待选型测试后定
- [ ] L3 分析引擎是否需要超出 Excel 8 Sheet 的额外分析维度
- [ ] 下一步优先级:先推 Prompt 1 还是先推 schema 加字段方案?
- [ ] 示例集扩充策略:当前 5 个示例(含 2 个陷阱反例),是否需要补更多?
- [x] ~~下一步优先级:先推 Prompt 1 还是先推 schema 加字段方案?~~ → Prompt 1 先行,已完成 v0.1
- [ ] Prompt 1 v0.2 示例集是否需要扩充?当前 5 个示例(含 2 个陷阱反例),首轮全对率 40% 偏低