PL
返回项目列表

RAG EVALUATION / QUALITY ENGINEERING

RAG Evaluation Pipeline

通过公开聊天接口,连接质量度量、运行门禁与统计基线对比。

查看源码Airflow · Python · LLM Judge · PostgreSQL

一次采集,多维度复用

  1. 01

    准备与采集

    标签对齐 · 健康 / 失败门禁

  2. 02

    四维评分

    检索 · 生成 · 意图 · 对话

  3. 03

    基线对比

    Delta · Bootstrap · CI

  4. 04

    报告产出

    HTML / JSON · PostgreSQL

公共契约
只调用 /api/v1/chat,读取 content、sources、intent 和槽位 metadata。检索、生成与意图复用单轮响应;多轮任务另开有状态会话。
请求预算
消耗聊天 API 的阶段串行,遵守同 IP 限流。先检查服务健康、请求失败率和检索标签覆盖率,故障不会被包装成全零成功报告。
查看八任务 DAG
AIRFLOW / DAG
data_preparation → collect_responses
  ├─ retrieval_evaluation
  ├─ generation_evaluation
  ├─ intent_evaluation
  └─ dialogue_evaluation
       → baseline_comparison → report_generation

single-turn response reuse: retrieval / generation / intent
additional stateful requests: dialogue