衡量 Agent「写 Python 脚本 → 运行脚本完成办公任务」的性能。覆盖 Word / Excel / PPT + 数据可视化,最多 4 个任务进程级并发。
只需 Python 3.9+:
# 建议先创建并激活虚拟环境(可选)
python -m venv .venv # Windows: .venv\Scripts\activate Linux/macOS: source .venv/bin/activate
# 安装依赖(国内镜像)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 开始测试(默认:4 并发跑全部任务)
python main.py也可换成阿里云镜像:
-i https://mirrors.aliyun.com/pypi/simple。 本机若装有 uv,直接uv run main.py亦可。
常用参数:
python main.py --workers 1 # 串行基准(对比加速比)
python main.py --tasks t1,t3 # 只跑指定任务
python main.py --rows 50000 # 加大数据量
python main.py --rounds 3 # 跑 3 轮取平均
python main.py --timeout 60 # 单任务超时秒数
python main.py --clean # 运行前清空 output/| id | 名称 | 内容 |
|---|---|---|
| t1_excel_stats | Excel数据统计 | pandas 多维聚合 + 透视表,openpyxl 写多 sheet、表头样式、合计公式、条件格式 |
| t2_data_viz | 数据可视化 | matplotlib 生成 6 张图(折线/柱状/饼/散点/热力/条形),PNG 落盘 |
| t3_word_report | Word报告生成 | python-docx 生成报告:多级标题、KPI 列表、样式表格、插入 2 张图表、页眉页脚页码域 |
| t4_ppt_deck | PPT幻灯片生成 | python-pptx 生成 11 页 16:9 演示文稿:KPI 卡片、3 张内嵌图表、数据表格、背景色、自定义形状 |
每个任务独立从基准 CSV 派生工作、自带校验(重新打开产物核对结构与数值),互不依赖,可真正并发。
- 每任务:墙钟耗时、状态(success/failed/timeout)、校验是否通过
- 整体:并发总墙钟、成功率、加速比 speedup = Σ任务耗时 / 并发总墙钟
- 结果写入
results/:JSON + Markdown 报告;办公产物在output/
main.py 入口
benchmark/runner.py 进程池调度(最多 4 并发,超时/异常隔离)
benchmark/report.py 结果汇总
benchmark/tasks/ 四个任务 + 数据集生成
data/ output/ results/ 运行期产物
- 数据集由固定随机种子生成,跨机器可复现。
- matplotlib 中文字体使用回退链(微软雅黑/黑体/苹方/Noto CJK),无中文字体的机器上图表文字可能显示为方块,但不影响任务成功判定。
- 依赖全部为主流包:pandas、openpyxl、matplotlib、python-docx、python-pptx。