▦ Distributed Compute Lab
实测 · 2026-11-13–14

实测证据

一台主机上真实 Spark 执行的保存结果。这些表格不是模拟器。通过控件检查重复运行,再在本地执行同一份代码。

性能探针:每方案一次预热,再交替顺序计时三次。容错:三个不预热的机制轨迹。AQE 一字节反例只有一次计时重复。方案计时包括计划构建、执行与 Python/JVM 传输,不含应用启动和共同输入的缓存物化。资源 Spill 由受控阈值触发。
下载 JSON

卡片展示中位与最小–最大墙钟时间。下表每行是一次观测,不是生产建议。

检查一次运行

任务尝试与逐任务指标
保存的 Lineage / 物理计划
条件与机制观测

证据文件与方法

任务计数来自 Spark TaskEnd 事件,保留失败尝试。Shuffle 读取包括本地和远程;本基线远程读取均为零。Shuffle Record 可能是批量序列化对象,尤其在 PySpark 中。峰值执行内存为逐任务最大值,不是进程 RSS。

原始环境事件与运行日志不分发;报告只含允许字段和清理路径后的计划。JVM 预热、系统调度和其他主机活动会影响耗时。本版不声称统计置信区间,也不推广为多机结论。