19｜GAIA 实战准备：数据集、工具与评测流程

熟悉 GAIA 数据、提交格式和端到端评测步骤。

生产系统像餐厅厨房：菜好吃只是起点，还要在高峰期按时、同品质、不过敏、算得过账。

本课交付物

为客服 Agent 画 SLO 与成本预算，模拟工具超时、模型限流和重复提交。

---

核心讲解

现在你已经准备好更深入地创建你的最终智能体了，让我们看看如何提交它以供评审。

数据集

此排行榜使用的数据集包含从 GAIA 验证集的一级问题中所提取的 20 个问题。

这些问题是根据回答问题所需的工具和步骤数量进行筛选的。

根据 GAIA 基准目前的状况，我们认为让你尝试在一级问题中达到 30% 的准确率是一个相对好的测试。

流程

现在你脑海中最大的问题可能是：“我如何开始提交？”

对于本单元，我们创建了一个 API，你可以通过它获取问题并发送答案进行评分。
以下是路由摘要（请参阅实时文档以获取交互式详细信息）：

• GET /questions：检索过滤后的评估问题完整列表。
• GET /random-question：从列表中获取一个随机问题。
• GET /files/{task_id}：下载与给定任务 ID 关联的特定文件。
• POST /submit：提交智能体的答案，计算分数，并更新排行榜。

提交函数将以完全匹配的方式将答案与真实答案进行比较，因此请好好作出提示！GAIA 团队在此处分享了一个代理提示示例（为了本课程的目的，请确保你的提交中不包含文本“FINAL ANSWER”，只需让你的代理回复答案而无需其他内容）。

🎨 打造你自己的模板！

为了演示与 API 交互的过程，我们提供了一个基本模板作为开始的部分。

我们请您随意的去更改、添加或完全重构它！以最适合你的方法和具有创造力的方式修改它。这也是我们所积极鼓励的方式。

为了提交此模板，请需要计算 API 所需的 3 个内容：

• 用户名： 你的 模型服务平台 用户名（此处通过 Gradio 登录获取），用于识别你的提交。
• 代码链接 (agent_code)： 指向你的 模型服务平台 Space 代码（.../tree/main）的 URL，用于验证目的，因此请保持你的 Space 为公开。
• 答案 (answers)： 你的代理生成的响应列表（{"task_id": ..., "submitted_answer": ...}），用于评分。

因此，我们鼓励你从复制此模板到你自己的 模型服务平台 个人资料开始。

🏆 在此处查看排行榜

温馨提示：此排行榜仅供娱乐！我们知道可以在没有完全验证的情况下提交分数。如果我们看到太多没有公开链接支持的高分，我们可能需要审查、调整或删除一些条目，以保持排行榜的有用性。
排行榜将显示你的 Space 代码库链接，由于此排行榜仅供学生使用，如果你获得了一个令你骄傲的分数，请保持你的 Space 公开。

---

本站实战工作台

生产化是一组相互拉扯的预算

更强模型可能提高正确率，也增加成本与延迟；更多重试提高成功率，也可能重复外部动作；缓存降低成本，也可能返回旧权限或旧事实。SLO、成本、安全和质量必须一起设计。

客服 Agent SLO

定义月可用性 99.5%，首个可见响应 P95 < 2 秒，完整简单问答 P95 < 8 秒，高风险动作零未授权，每会话平均成本上限。按任务分类，不用一个数字掩盖研究型慢任务。

模型路由

规则与小模型处理意图分类和简单 FAQ；复杂推理升级强模型。路由失败有明确 fallback。不要把用户身份或秘密作为缓存 key 明文。

超时、重试、幂等

工具调用设置连接与总超时。只对暂时错误指数退避，最多两次并加入 jitter。写操作带 idempotency key；若结果未知，先查询状态再决定，不直接重放。

三个故障实验

工具超时：返回部分结果或升级人工；模型限流：切备用模型但保持安全规则；重复提交：服务端返回同一 operationId，不执行两次。每个实验观察用户体验、trace 与指标。

降级设计

检索不可用时可以提供通用帮助并声明无法查账户，不能凭模型记忆回答订单状态。高风险政策服务不可用时停止交易，而不是 fail-open。

容量与背压

为并发模型调用和每个工具设置队列上限。流量超过容量时尽早返回可重试状态或进入异步任务，不让请求无限堆积拖垮数据库。按用户与租户限流，防止一个长任务占满全部预算。压测不仅看平均吞吐，还要观察队列长度、超时传播、连接池和取消请求后后台工作是否真正停止。

容量计划使用真实任务长度分布，并预留模型供应商故障时的降级空间。

发布门槛

离线评估通过、安全硬门槛为零、负载测试达 SLO、成本在预算、监控与回滚就绪。上线后小流量灰度并比较基线，异常自动关闭新路径。

通过标准是 production-plan.md 能用数值说明取舍，三个故障不产生重复或越权，降级文案诚实且可恢复。