PL

LLM Domain Adaptation

A systematic journey to master domain-specific LLM adaptation & distillation

4
阶段
38
总周数
185
总任务数
70%
路线图进度

阶段路线图

Phase 2: Integration

AdaptStack 全链路项目 + 7 组 ablation + arXiv 预印本

整合 交付进度4/40 tasks (10%)
22

AdaptStack 项目架构设计

4 层架构(数据/训练/推理/评估), domain-agnostic 设计

23

数据层 + 训练层串联

端到端 pipeline, YAML 配置驱动, WandB 集成

24

推理层 + 评估层串联

vLLM 部署, RAG 集成, benchmark 自动化, LLM judge

25

Ablation 实验(上)

CPT 必要性, 对齐方法选择 (DPO vs GRPO), 蒸馏效果

26

Ablation 实验(下)+ 跨域验证

模型规模, RAG vs FT, 跨领域迁移(证明通用性)

27

分析 + Insight 提炼

从 6 组实验提炼 3-5 个独立 insight, 每个有数据支撑

28

Web Demo 开发

可交互的多配置对比 demo, 部署到服务器

29

开源发布准备

代码整理, 文档, 示例 notebook, release note

30

arXiv 技术报告写作

6-8 页论文, 具体实验 claim, ablation 结果, honest 分析

31

推广 + 社区互动

Twitter/X thread, Hugging Face 发布, Reddit 分享

32

Phase 2 复盘 + 成果沉淀

技术档案沉淀, 30 分钟深度技术分享准备