feat(ai-labeling): AI 打标实验工作区初始化 + 模型选型完成
This commit is contained in:
@@ -0,0 +1,44 @@
|
||||
# AI Labeling 实验工作区
|
||||
|
||||
## 用途
|
||||
为《军事科技》栏目 AI 自动打标做模型选型实验。
|
||||
基准答案集 = 10 期已审稿的标准答案。
|
||||
|
||||
## 目录结构
|
||||
- `benchmark-set/transcripts/` 10 期文稿
|
||||
- `benchmark-set/ground-truth.json` 10 期的标准答案
|
||||
- `prompts/` prompt 模板
|
||||
- `scripts/` 实验脚本(含 import_transcripts.py)
|
||||
- `experiments/` 每次跑出来的结果(不入 git)
|
||||
|
||||
## 使用步骤
|
||||
|
||||
### 1. 安装依赖
|
||||
```bash
|
||||
pip install -r scripts/requirements.txt
|
||||
```
|
||||
|
||||
### 2. 配置 API Key
|
||||
```bash
|
||||
cp .env.example .env
|
||||
# 填入真实 MINIMAX_API_KEY
|
||||
```
|
||||
|
||||
### 3. 导入文稿
|
||||
```bash
|
||||
python scripts/import_transcripts.py
|
||||
```
|
||||
> 将源目录(刘瑞桦收集)的 10 期 docx 文稿解析并清洗,落入 `benchmark-set/transcripts/`。
|
||||
|
||||
### 4. 跑单期打标
|
||||
```bash
|
||||
python scripts/run_labeling.py --ep 4 --model m3
|
||||
```
|
||||
|
||||
## 当前版本
|
||||
- v0.1: Prompt 2(叙事结构)含 3 示例 + 10 期 ground-truth
|
||||
- 阵容: MiniMax M3 (Step 1-2) / DeepSeek V4 / 小米 MiMo v2.5 (Step 3-4)
|
||||
|
||||
## ground-truth 版本
|
||||
- `v0.1` (2026-06-11): 锁定 10 期 `narrative_structure` + `opening_hook` 标准答案
|
||||
- 其他字段(program_format / equipment_domain / scene_tags / tech_tags)待 Prompt 1 阶段补
|
||||
Reference in New Issue
Block a user