ai-labeling: Prompt 1 v0.3(80%) + Prompt 3 v0.2(90%) + GT v0.4.2

Prompt 1 迭代 v0.1→v0.3:
- 多选字段加显著篇幅门槛+从属零件反例教学
- 前沿科技vs横切类比拆清(技术主角测试)
- 装备深解加同类体系/窄类别测试
- 跨域改为传播分类框(≥3域即标,非军事术语)
- 全对率 40%→80%

Prompt 3 开篇钩子 v0.1→v0.2:
- 阅读范围扩至3段(导视+主持人+首段解说)
- 强判定从紧迫感硬门槛改为6条独立路径
- 弱判定区分信息性提问vs悬念式提问
- 命中率 50%→90%

ground-truth v0.4.2:ep008补标跨域 + 20期opening_hook全标注
脚本:run_labeling/summarize 支持 opening_hook,summarize改从源GT读取

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
This commit is contained in:
simonkoson
2026-06-25 13:26:42 +08:00
parent d8057b07e9
commit 81b331d6d7
6 changed files with 440 additions and 79 deletions
+45 -22
View File
@@ -12,8 +12,8 @@
## 🔖 状态栏(每次结束 session 前必须更新这三行)
- **最后更新**Claude Opus(顾问)| 2026-06-24(晚)
- **当前状态一句话**Prompt 1 v0.1 完成 + ground-truth v0.4.020期4分类字段全填) + MiMo 首轮跑批完成(题材75%/装备域70%/场景95%/技术70%/全对40%)。Prompt 需迭代改进多选字段门槛
- **最后更新**Claude Opus(顾问)| 2026-06-25
- **当前状态一句话**Prompt 1 v0.3(题材分类80%全对)+ Prompt 3 v0.2(开篇钩子90%)完成。ground-truth v0.4.220期opening_hook全标注)。三个Prompt均达可用水平
- **下一个动手的人从这里开始**:见下方「⏩ 交接备注」
---
@@ -108,7 +108,7 @@
| 层 | 名称 | 做什么 | 当前状态 |
|----|------|--------|----------|
| L1 | **数据沉淀** | 每期节目的收视数据、文稿全文、编导、选题单持续入库 | 主项目已有 episodes 表基础结构 |
| L2 | **AI 打标** | 读文稿自动判别:题材分类(4字段)、叙事结构(2档)、开篇钩子(3档) | Prompt 1 v0.1 + Prompt 2 已锁定,Prompt 1 需迭代,Prompt 3 待写 |
| L2 | **AI 打标** | 读文稿自动判别:题材分类(4字段)、叙事结构(2档)、开篇钩子(3档) | Prompt 1 v0.3(80%) + Prompt 2 v0.2(100%) + Prompt 3 v0.2(90%),三个均达可用水平 |
| L3 | **分析引擎** | 基于双引擎模型,计算走势、编导对比、题材对比、高低样本对照等多维分析 | 待设计 |
| L4 | **诊断报告** | 调用 LLM 生成文字诊断结论 + 改进建议(对标 PPT 第 8-10 页水平) | 待设计 |
@@ -181,10 +181,12 @@ ai-labeling/
│ ├── 军事科技栏目收视复盘与提振方案_v2.pptx ← 质量标杆(14 页诊断报告)
│ └── 军事科技栏目收视诊断分析_v2.xlsx ← 质量标杆(8 个分析 Sheet)
├── benchmark-set/
│ ├── transcripts/ ← 10 期文稿 .md(基准卷子)
│ └── ground-truth.json ← 基准答案 v0.2.1(核心资产,入 git
│ ├── transcripts/ ← 20 期文稿 .md(基准卷子)
│ └── ground-truth.json ← 基准答案 v0.4.2(核心资产,入 git
├── prompts/
── prompt2_narrative.md ← 叙事结构判别 v0.2(已锁定,入 git
── prompt1_classification.md ← 题材分类判别 v0.3入 git
│ ├── prompt2_narrative.md ← 叙事结构判别 v0.2(已锁定,入 git)
│ └── prompt3_opening_hook.md ← 开篇钩子判别 v0.2(入 git)
├── experiments/ ← 跑批结果 .json(不入 git)
├── scripts/
│ ├── import_transcripts.py ← docx → md 解析清洗
@@ -199,7 +201,7 @@ ai-labeling/
### 2.4 常用命令(PowerShell
```powershell
# 单期打标(narrative classification
# 单期打标(narrative / classification / opening_hook
cd E:\tps-dashboard\ai-labeling
python scripts/run_labeling.py --ep 1 --model mimo-v2.5-pro --field classification
@@ -209,6 +211,7 @@ python scripts/run_labeling.py --all --model mimo-v2.5-pro --field classificatio
# 汇总命中率
python scripts/summarize.py --model mimo-v2.5-pro --field classification
python scripts/summarize.py --model mimo-v2.5-pro --field narrative
python scripts/summarize.py --model mimo-v2.5-pro --field opening_hook
```
### 2.5 模型配置(`scripts/run_labeling.py` 内 MODEL_CONFIG
@@ -226,14 +229,17 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
## 3. 当前进度(动态,核心交接区)
- **已完成**Prompt 1 v0.1 + ground-truth v0.4.020期完整标注)+ MiMo 首轮跑批(题材75%/装备域70%/场景95%/技术70%/全对40%+ 脚本 ep 编号升级至 3 位数 + summarize classification 比对逻辑实现
- **已完成**Prompt 1 v0.380%全对)+ Prompt 2 v0.2100%+ Prompt 3 v0.290%+ ground-truth v0.4.220期6字段全标注)+ 脚本支持三种 field + summarize 改为从源GT读取
- **正在做**:无(本轮收摊)
- **卡点/待解**Prompt 1 需迭代(多选字段门槛太松、program_format 三组边界混淆);Prompt 3(开篇钩子)待写L3/L4 架构设计未启动
- **卡点/待解**Prompt 1 剩 3 期硬骨头(ep005/011/016,装备域从属判定边界);Prompt 3 剩 2 期(ep004/007,钩子强度边界)L3/L4 架构设计未启动
---
## 4. 已完成(只追加,最新在上)
- [2026-06-25 Opus] Prompt 1 迭代 v0.1→v0.3(全对率40%→80%):v0.2加多选字段显著篇幅门槛+从属零件反例+前沿科技vs横切类比拆清+装备深解同类体系测试;v0.3修正跨域规则(传播分类框非军事术语)+训练舰窄类别判定+装备首发校准。ground-truth v0.4.1ep008补标跨域)。
- [2026-06-25 Opus] Prompt 3 v0.1→v0.2(开篇钩子,命中率50%→90%):v0.1撰写+脚本opening_hook支持;v0.2修复三问题——阅读范围扩至3段(导视+主持人+首段解说)、强判定从紧迫感硬门槛改为6条独立路径、弱判定区分信息性提问vs悬念式提问。ground-truth v0.4.220期opening_hook全标注,制片人逐期审定含钩子分析)。summarize.py改为从源GT文件读取。
- [2026-06-25 制片人] 开篇钩子经验规则:0-1钩≈弱,2钩≈中,3钩及以上≈强(钩子质量也影响,3个轻钩可能仍为中)。
- [2026-06-24晚 Opus] Prompt 1 v0.1 撰写完成(4分类字段:题材/装备域/场景/技术)+ ground-truth v0.4.010→20期扩展,旧ep编号重映射,4分类字段全填,制片人逐期审定)+ 脚本升级(ep编号2位→3位、ALL_EPISODES扩至1-20、summarize classification比对逻辑实现)+ MiMo首轮跑批20期(题材75%/装备域70%/场景95%/技术70%/全对40%)。主要错误模式:多选字段过度标注、装备深解/前沿科技与横切类比混淆。
- [2026-06-24 Opus+Cline] ground-truth v0.3.0 结构扩展(4 分类字段骨架预留)+ run_labeling.py / summarize.py 扩展 --field 参数支持 classification。脚本可直接跑 Prompt 1,等 prompt 文件就位即用。
- [2026-06-24 Opus] CLAUDE.md 二次更新:精读 v1-v4 四份续接快照,补入双引擎象限图视觉规格、6 字段完整枚举定义、三层分步交付策略、编导能力地图设计、v1-v4 关键决策。
@@ -250,12 +256,14 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
### L2 — AI 打标(当前主战场)
- [ ] **Prompt 1 v0.2 迭代** — v0.1 首轮全对率 40%主要问题:多选字段(equipment_domain/tech_tags)过度标注("一笔带过"也选了)+ program_format 三组边界混淆(装备深解vs横切类比、前沿科技vs横切类比、装备深解vs前沿科技)。改进方向:加强门槛描述+加反例教学
- [ ] **Prompt 3(开篇钩子)撰写** — 只看前 1-2 分钟判强/中/弱。同上套路
- [ ] **opening_hook AI 验证** — ground-truth 里 opening_hook 是人工标的,等 Prompt 3 上线后跑一次看 MiMo 命中率
- [ ] **Prompt 1 继续迭代(可选)** — v0.3 全对率 80%剩 3 期硬骨头(ep005/011/016:前沿科技节目中装备域从属判定边界)。边际收益递减,可暂停
- [ ] **Prompt 3 继续迭代(可选)** — v0.2 命中率 90%,剩 2 期(ep004 枪王对决强→中:AI复活人物的反差未识别;ep007 巨舰反差中→强:旗语开头过度放大)。可考虑融入"数钩子"辅助判据(0-1钩弱/2钩中/3+钩强)
- [ ] **新增 10 期跑 Prompt 2 补 narrative_structure** — ground-truth 中 ep004/007/009/014-020 的 narrative_structure 仍为 null
- [ ] **示例集月度更新机制** — 上线后启用,每月集中替换,不碎片化(吃 prompt 缓存红利)。
- [x] Prompt 2 v0.2 撰写 + 锁定
- [x] ground-truth v0.2.1 锁定
- [x] Prompt 1 v0.3 迭代完成(80% 全对)
- [x] Prompt 2 v0.2 撰写 + 锁定(100%
- [x] Prompt 3 v0.2 撰写完成(90%
- [x] ground-truth v0.4.220期6字段全标注)
- [x] 模型选型(mimo-v2.5-pro 生产)
### L1 — 数据沉淀(与主项目交界,需 Opus 审)
@@ -301,6 +309,19 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
- [2026-06-10] **话题性不独立立维**:稳态热度→横轴,时机→scene_tags,切口→横切类比形态。
- [2026-06-10] **6 字段枚举锁定**(见 §1.4):program_format 6 值 / equipment_domain 9 值多选 / scene_tags 4 值 / tech_tags 3 值 / narrative_structure 2 档 / opening_hook 3 档。
### 题材分类判别
- [2026-06-25] **`跨域`是传播分类框,不是军事术语**:一期节目天上、水里、地上都讲了没法归单一域就标跨域。涉及≥3个具体装备域时额外加选,不需要节目主题是"跨域协同作战"。
- [2026-06-25] **同一功能体系/窄类别内的多装备 = 装备深解**:防空体系远/中/近程、三艘训练舰、航母编队舰/机/护航——这些不是横切类比。换装测试要区分"换同类型号"和"换完全不同类别"。
- [2026-06-25] **前沿科技 vs 横切类比的核心判据**:串联各案例的角度本身是不是一项新兴技术?是→前沿科技,否→横切类比。
### 开篇钩子判别
- [2026-06-25] **"数钩子"经验规则**:0-1钩≈弱,2钩≈中,3钩及以上≈强。钩子质量也影响(3个轻钩可能仍为中)。
- [2026-06-25] **紧迫感不是判强的唯一门槛**:画面震撼、情感冲击、认知冲突(反差)、叙事吸引(战场故事)、节日/文化共鸣都是独立的强钩子路径。
- [2026-06-25] **阅读范围是前三段**(导视+主持人+首段解说),不是两段。有些节目的钩子在主持人之后才引爆。
- [2026-06-25] **信息性提问 vs 悬念式提问**:能用一句话/列表回答的是信息性提问(倾向弱),需要讲故事或揭示原理才能回答的是悬念式提问(至少中)。
### 叙事结构判别
- [2026-06-11] **3 档收为 2 档**`主线演进` / `并列结构`。原"强主线悬念 vs 主线演进"实操中区分不开,合并。
@@ -319,7 +340,9 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
- v0.2:改 2 期(ep12 逆袭战局改为并列→后经复议改回主线演进、ep14 X76 确认并列)
- v0.2.1:改 1 期(ep12 经制片人复读稿 + 三家模型独立一致,最终定为并列结构)。**边界期用"多家独立一致 + 人工复审"双重证据机制**。
- v0.3.0:为 Prompt 1 预留 4 分类字段骨架(null/[]),ep 编号仍为旧制。
- **v0.4.0(当前锁定)**:期号重映射(旧ep3-15→新ep001-020按播出日期排序),10→20期扩展,4分类字段(program_format/equipment_domain/scene_tags/tech_tags)全部填入,制片人逐期审定。新增10期暂无narrative_structure/opening_hook标注
- v0.4.0:期号重映射(旧ep3-15→新ep001-020按播出日期排序),10→20期扩展,4分类字段全部填入。新增10期暂无narrative_structure/opening_hook。
- v0.4.1:ep008马年装备图鉴补标跨域(制片人确认遗漏)。
- **v0.4.2(当前锁定)**:新增10期opening_hook标注(制片人逐期审定含钩子分析)。20期6字段覆盖:4分类+opening_hook全填,narrative_structure仍有10期null待补。
### Prompt 设计原则
@@ -338,11 +361,11 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
## 7. ⏩ 交接备注(换人/换工具 0 摩擦续上)
- **全貌已对齐**(2026-06-24):看板升级四层架构(L1-L4)、双引擎理论、多 LLM 共识机制、季度+自定义双轨周期、全员可见——这些方向已与制片人确认。新来的人先读完第 1 节「子项目全貌」再动手。
- **Prompt 1 v0.1 已完成,需迭代至 v0.2**:首轮 MiMo 跑批全对率 40%。两大错误模式:① 多选字段(equipment_domain/tech_tags)过度标注——"一笔带过"的也选了;② program_format 三组边界混淆(装备深解vs横切类比、前沿科技vs横切类比)。改进方向:加强门槛措辞 + 加反例教学 + 可能需要增补示例
- **ground-truth v0.4.0 已锁定**20 期全部标注(4 分类字段),期号已重映射至 ep001-020。新增 10 期暂无 narrative_structure/opening_hook(待 Prompt 2/3 跑批后补)
- **脚本已升级**ep 编号 2 位→3 位,ALL_EPISODES 扩至 1-20summarize classification 比对逻辑已实现(逐字段命中 + 全对率)。
- **下一步优先级建议**Prompt 1 v0.2 迭代 → Prompt 3(开篇钩子)→ 新增 10 期跑 Prompt 2 补 narrative_structure。
- **L3/L4 待设计**:分析引擎和诊断报告的架构尚未展开。建议 Prompt 1/3 锁定后启动,可与 schema 加字段并行
- **三个 Prompt 均达可用水平**2026-06-25):Prompt 1 v0.3(题材分类80%全对)/ Prompt 2 v0.2(叙事结构100%/ Prompt 3 v0.2(开篇钩子90%)。Prompt 1 剩 3 期硬骨头(装备域从属边界),Prompt 3 剩 2 期(钩子强度边界),边际收益递减可暂停
- **ground-truth v0.4.2 已锁定**20 期4分类+opening_hook 全填。narrative_structure 仍有 10 期 nullep004/007/009/014-020),待跑 Prompt 2
- **脚本支持三种 field**`classification` / `narrative` / `opening_hook`。summarize.py 已改为从 ground-truth.json 源文件读取 GT(不依赖实验文件中的快照)。
- **下一步优先级建议** 新增 10 期跑 Prompt 2 补 narrative_structure → ② schema 加字段方案(跨层硬前置)→ ③ L3 分析引擎设计
- **L3/L4 待设计**:分析引擎和诊断报告的架构尚未展开。三个 Prompt 已到位,可启动 L3
- **schema 加字段是跨层硬前置**episodes 表加 6+1 字段,必须 Plan + Opus 审 + 制片人批准 + `pg_dump` 备份。这是主项目的事,不在沙盒内做。
---
@@ -352,5 +375,5 @@ python scripts/summarize.py --model mimo-v2.5-pro --field narrative
- [x] ~~Prompt 1 的 4 分类字段枚举最终口径~~ → 已在 v2 快照锁定(见 §1.4)
- [ ] 多 LLM 共识机制的模型阵容(MiMo + GLM 5.2 + ?)待选型测试后定
- [ ] L3 分析引擎是否需要超出 Excel 8 Sheet 的额外分析维度
- [x] ~~下一步优先级:先推 Prompt 1 还是先推 schema 加字段方案?~~ → Prompt 1 先行,已完成 v0.1
- [ ] Prompt 1 v0.2 示例集是否需要扩充?当前 5 个示例(含 2 个陷阱反例),首轮全对率 40% 偏低
- [x] ~~下一步优先级:先推 Prompt 1 还是先推 schema 加字段方案?~~ → Prompt 1 先行,已完成 v0.380%
- [x] ~~Prompt 1 示例集是否需要扩充?~~ → v0.3 已扩至 7 个示例(含防空反导、硅基大脑等易错案例),全对率 80%