pyattacker¶
English | 简体中文
为模型评估和其他数据集任务构建可恢复的 Python 工作流。 在一个 Runner 下组合任务链、共享资源池、重试与持久检查点。
从这里开始¶
安装 Python 3.11 或更高版本,然后安装库:
使用 YAML 配置时安装 pyattacker[yaml],基础库没有运行时依赖。
本站跟随 main 分支,已安装的发布版本可能尚未包含全部功能。
要体验开发版本,请克隆仓库并按照教程中的安装步骤操作。
选择阅读路径¶
| 你的目标 | 阅读 |
|---|---|
| 编写任务并运行数据集 | 分步教程 |
| 共享端点、重试失败和恢复工作 | 资源、重试与恢复教程 |
| 在一个 Runner 下比较多个实验 | 实验套件 |
| 查询 Python 接口和行为 | API 参考 |
| 使用 JSON、TOML 或 YAML 驱动运行 | CLI 与配置 |
| 理解检查点和调度保证 | 架构设计 |
| 比较资源调度策略 | 基准测试 |
理解数据保留方式¶
Runner 默认使用内存存储。需要跨进程恢复时,请选择文件存储。
concurrency 限制执行中的尝试数;max_admitted 限制排队、执行及延迟流水线的总数。
载荷、输入缓冲和存储累积数据也会占用内存。扩大工作负载前请阅读
RunConfig。