Files
tps-dashboard/ai-labeling
simonkoson d8057b07e9 ai-labeling: Prompt 1 v0.1 + ground-truth v0.4.0(20期) + MiMo首轮跑批
- Prompt 1 v0.1: 4分类字段(题材/装备域/场景/技术)判别prompt,含5示例+边界规则+换装测试
- ground-truth v0.4.0: 10→20期扩展,ep编号重映射(旧ep3-15→新ep001-020),4分类字段全填(制片人逐期审定)
- 文稿升级: 旧10期删除,新20期md文件(doco子项目清洗产出)替换
- 脚本升级: ep编号2位→3位,ALL_EPISODES扩至1-20,summarize classification比对逻辑实现
- MiMo首轮结果: 题材75%/装备域70%/场景95%/技术70%/全对40%,需迭代Prompt
- 质量标杆: 加入PPT+Excel样板文件(example/)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-06-24 19:22:13 +08:00
..

AI Labeling 实验工作区

用途

为《军事科技》栏目 AI 自动打标做模型选型实验。 基准答案集 = 10 期已审稿的标准答案。

目录结构

  • benchmark-set/transcripts/ 10 期文稿
  • benchmark-set/ground-truth.json 10 期的标准答案
  • prompts/ prompt 模板
  • scripts/ 实验脚本(含 import_transcripts.py
  • experiments/ 每次跑出来的结果(不入 git)

使用步骤

1. 安装依赖

pip install -r scripts/requirements.txt

2. 配置 API Key

cp .env.example .env
# 填入真实 MIMO_API_KEY

3. 导入文稿

python scripts/import_transcripts.py

将源目录(刘瑞桦收集)的 10 期 docx 文稿解析并清洗,落入 benchmark-set/transcripts/

4. 跑单期打标

python scripts/run_labeling.py --ep 4 --model mimo-v2.5-pro

当前版本

  • v0.1: Prompt 2(叙事结构)含 3 示例 + 10 期 ground-truth
  • 生产模型: mimo-v2.5-pro / 备用: DeepSeek V4 Pro

ground-truth 版本

  • v0.1 (2026-06-11): 锁定 10 期 narrative_structure + opening_hook 标准答案
  • 其他字段(program_format / equipment_domain / scene_tags / tech_tags)待 Prompt 1 阶段补