"英文标题:Parallel Computing Framework Energy Consumption and Operating Parameters Experimental Dataset
数据集概述
聚焦数据处理并行计算框架的核心运行参数与能耗关联性研究,记录不同负载场景下框架关键配置、运行状态与能耗消耗的对应关系。数据覆盖主流并行计算框架类型,包含多负载规模、多节点部署、多参数组合的实验场景,横跨完整的计算任务生命周期。颗粒度精确至运行时刻、节点层级,支持参数配置与能耗性能的多维度关联分析。数据集采用标准化实验数据格式组织,字段定义遵循并行计算与能耗测量领域专业规范,可直接用于模型训练与性能优化验证。该数据集为并行计算框架的能耗优化、资源调度策略制定提供基础依据,支撑理解参数配置对计算性能与能耗效率的耦合影响。
字段详情
数据集包含以下核心字段:
- framework_type:框架类型,标识并行计算框架的具体版本与分支,如Spark、Flink等主流框架
- parallelism_degree:并行度,单位线程数/任务数,指框架运行时同时执行的任务实例数量
- data_block_size:数据块大小,单位字节,指框架用于数据划分与传输的最小数据单元规模
- cpu_usage_rate:CPU使用率,单位百分比,指计算节点在运行时的CPU资源占用率
- energy_consumption_w:能耗消耗,单位瓦特,指计算节点在运行周期内的实时电力消耗
- task_completion_time_s:任务完成时间,单位秒,指完整计算任务的执行时长
适用场景
- 并行计算框架开发团队优化参数配置,降低高负载场景下的能耗损失
- 数据中心运维部门制定动态资源调度策略,平衡计算性能与能耗成本
- 计算机系统研究人员构建参数-能耗关联模型,验证节能优化算法的有效性
- 云服务提供商设计绿色云服务产品,优化云资源的能耗效率与定价策略
- 高校科研团队开展并行计算能耗优化方向的学术研究与实验验证"