返回项目列表
RAG EVALUATION / QUALITY ENGINEERING
RAG Evaluation Pipeline
通过公开聊天接口,连接质量度量、运行门禁与统计基线对比。
查看源码Airflow · Python · LLM Judge · PostgreSQL
一次采集,多维度复用
- 01
准备与采集
标签对齐 · 健康 / 失败门禁
- 02
四维评分
检索 · 生成 · 意图 · 对话
- 03
基线对比
Delta · Bootstrap · CI
- 04
报告产出
HTML / JSON · PostgreSQL
- 公共契约
- 只调用 /api/v1/chat,读取 content、sources、intent 和槽位 metadata。检索、生成与意图复用单轮响应;多轮任务另开有状态会话。
- 请求预算
- 消耗聊天 API 的阶段串行,遵守同 IP 限流。先检查服务健康、请求失败率和检索标签覆盖率,故障不会被包装成全零成功报告。
查看八任务 DAG
AIRFLOW / DAG
data_preparation → collect_responses
├─ retrieval_evaluation
├─ generation_evaluation
├─ intent_evaluation
└─ dialogue_evaluation
→ baseline_comparison → report_generation
single-turn response reuse: retrieval / generation / intent
additional stateful requests: dialogue