Agent Lightning：微软 AI 智能体强化学习训练框架完全指南

§1 学习目标

完成本文档后，你将能够：

• ✅ 理解 Agent Lightning 的核心定位与设计理念
• ✅ 掌握 Agent Lightning 的安装与基本使用方法
• ✅ 理解 Agent Lightning 的架构设计与 LightningStore 原理
• ✅ 使用 Agent Lightning 训练任意框架的智能体
• ✅ 配置强化学习、自动提示优化、监督微调等算法
• ✅ 利用轨迹级聚合（TLA）加速训练
• ✅ 构建生产级别的智能体训练流程

§2 项目概述

2.1 什么是 Agent Lightning？

Agent Lightning（GitHub 仓库）是微软研究院开发的 AI 智能体训练框架，核心理念是「The absolute trainer to light up AI agents」。

官方描述：

Turn your agent into an optimizable beast with ZERO CODE CHANGE (almost)! Build with ANY agent framework (LangChain, OpenAI Agent SDK, AutoGen, CrewAI, Microsoft Agent Framework…); or even WITHOUT agent framework (Python OpenAI). You name it!

2.2 核心数据

2.3 核心特性

2.4 相关资源

§3 核心特性详解

3.1 ZERO CODE CHANGE

Agent Lightning 的核心优势是几乎无需修改代码即可训练智能体：

• 智能体继续正常运行
• 仍可使用任意喜欢的框架
• 只需插入轻量级 agl.emit_xxx() 辅助函数
• 或让 tracer 自动收集每个 prompt、tool call 和 reward

3.2 ANY Agent Framework

支持任意智能体框架：

3.3 Selective Optimization

可选择性优化：

• 单个智能体
• 多智能体系统中的特定智能体
• 不影响其他智能体

3.4 Multiple Algorithms

支持的算法：

§4 架构设计

4.1 整体架构

Agent Lightning 保持最少移动部件，让用户专注于创意而非配置：

┌─────────────────────────────────────────────────────────────┐
│                        Your Agent                            │
│  (runs as usual, any framework you like)                   │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│              agl.emit_xxx() / Tracer                        │
│  Collects: prompts, tool calls, rewards                      │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                     LightningStore                          │
│  Central hub: tasks, resources, traces in sync               │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                    Algorithm (You Choose)                    │
│  Reads spans, learns, posts updated resources                │
└─────────────────────────────────────────────────────────────┘
                              │
                              ▼
┌─────────────────────────────────────────────────────────────┐
│                        Trainer                              │
│  Streams datasets → Runners                                 │
│  Ferries resources → Store & Algorithm                       │
│  Updates inference engine                                   │
└─────────────────────────────────────────────────────────────┘

4.2 核心组件

4.3 工作流程

1. 运行：智能体正常执行，无需修改
2. 收集：Tracer 或 emit_xxx() 收集事件
3. 结构化：事件转化为 Spans 流入 LightningStore
4. 学习：算法读取 Spans，学习并发布更新资源
5. 更新：Trainer 更新推理引擎

§5 安装与配置

5.1 安装方式

pip 安装（稳定版）

pip install agentlightning

pip 安装（最新 nightly build）

pip install --upgrade \
  --index-url https://test.pypi.org/simple/ \
  --extra-index-url https://pypi.org/simple/ \
  --pre agentlightning

5.2 环境要求

5.3 依赖

Agent Lightning 会自动安装所需的依赖，包括主流深度学习和智能体框架。

§6 基本使用

6.1 快速开始

方式一：使用 emit_xxx() 辅助函数

import agentlightning as agl

# 初始化
agl.init()

# 在智能体中使用 emit 函数
response = agl.emit(
    prompt="Your task here",
    tools=[...],
    context={...}
)

方式二：使用 Tracer 自动收集

from agentlightning import Tracer

# 创建 tracer
tracer = Tracer()

# 包装你的智能体
with tracer.trace(your_agent):
    result = your_agent.run(task)

6.2 配置训练

import agentlightning as agl

# 配置训练
config = {
    "algorithm": "rl",  # or "prompt_optimization", "sft"
    "model": "gpt-4",
    "batch_size": 32,
    "learning_rate": 0.001,
}

# 开始训练
trainer = agl.Trainer(config)
trainer.train(dataset)

§7 算法详解

7.1 强化学习 (Reinforcement Learning)

强化学习是最核心的算法，用于优化智能体策略：

config = {
    "algorithm": "rl",
    "reward_function": your_reward_fn,
    "policy": "ppo",  # or "grpo"
}

7.2 自动提示优化 (Automatic Prompt Optimization)

自动优化提示词：

config = {
    "algorithm": "prompt_optimization",
    "optimization_target": "accuracy",
}

7.3 监督微调 (Supervised Fine-tuning)

使用标注数据微调：

config = {
    "algorithm": "sft",
    "train_dataset": your_dataset,
    "eval_dataset": your_eval_set,
}

§8 轨迹级聚合 (TLA)

8.1 TLA 概述

Trajectory Level Aggregation (TLA) 是一种加速训练的方法，通过聚合轨迹级别的信号提高训练效率。

8.2 TLA 优势

8.3 TLA 使用

config = {
    "algorithm": "rl",
    "use_tla": True,
    "tla_window": 100,
}

§9 社区项目

9.1 DeepWerewolf

DeepWerewolf 是一个使用 AgentScope 和 Agent Lightning 训练的中国狼人杀游戏案例。

9.2 AgentFlow

AgentFlow 是斯坦福的模块化多智能体框架，结合 planner、executor、verifier、generator 智能体，使用 Flow-GRPO 算法处理长时序、稀疏奖励任务。

9.3 Youtu-Agent

Youtu-Agent 是腾讯云 ADP 开发的智能体训练框架：

• 使用 Agent Lightning 修改分支
• 经验证支持多达 128 GPU RL 训练
• 在数学、代码、搜索能力上稳定收敛

§10 项目结构

10.1 目录结构

agent-lightning/
├── agentlightning/          # 核心源代码
├── contrib/                  # 贡献代码
│   └── youtu-agent-lightning/  # 腾讯云 Youtu-Agent
├── dashboard/                # 仪表板
├── docker/                   # Docker 配置
├── docs/                     # 文档
├── examples/                  # 示例
├── scripts/                  # 脚本
├── tests/                     # 测试
├── .github/workflows/         # GitHub Actions
├── pyproject.toml            # Python 项目配置
├── mkdocs.yml               # MkDocs 配置
└── uv.lock                  # 依赖锁定

10.2 核心文件

§11 示例与教程

11.1 可用示例

参考 examples/ 目录获取各种使用示例：

• 基础 RL 训练示例
• 多智能体训练示例
• 提示优化示例
• 与 LangChain 集成示例
• 与 AutoGen 集成示例

11.2 官方文章

§12 最佳实践

12.1 训练优化

12.2 代码组织

12.3 生产部署

§13 常见问题

Q1：需要修改智能体代码吗？

几乎不需要。Agent Lightning 设计为零代码改动，只需要插入 agl.emit_xxx() 或使用 Tracer 包装智能体。

Q2：支持哪些智能体框架？

支持主流框架：LangChain、OpenAI Agent SDK、AutoGen、CrewAI、Microsoft Agent Framework，也支持无框架的原生 Python OpenAI。

Q3：支持哪些算法？

支持三大类算法：强化学习（RL）、自动提示优化、监督微调（SFT）。

Q4：如何选择算法？

Q5：如何加速训练？

使用**轨迹级聚合（TLA）**可以显著加速训练收敛。

§14 总结

14.1 核心优势

14.2 适用场景

14.3 项目信息

14.4 相关链接

§15 附录：算法参考

15.1 强化学习算法

15.2 配置参考

# RL 配置示例
config = {
    "algorithm": "rl",
    "policy": "grpo",
    "reward_function": my_reward_fn,
    "batch_size": 32,
    "learning_rate": 0.001,
    "use_tla": True,
}

# Prompt 优化配置示例
config = {
    "algorithm": "prompt_optimization",
    "optimization_target": "accuracy",
    "n_trials": 100,
}

# SFT 配置示例
config = {
    "algorithm": "sft",
    "train_dataset": my_train_set,
    "eval_dataset": my_eval_set,
    "model": "gpt-4",
    "epochs": 3,
}

文档版本 1.0 | 撰写日期：2026-04-01 | 基于 Agent Lightning (16.1k Stars) | 论文：arXiv:2508.03680