导　　师： 喻之斌

授予学位： 硕士

作　　者： (）;

机构地区： 中国科学院深圳先进技术研究院

摘　　要： 在现代数据中心中,异构机器的数量成千上万,且它们之间的硬件资源细粒度异构性表现明显,如不同的处理器体系架构、CPU主频、CPU缓存大小、内存型号、内存容量以及硬盘的I/O读写速度等等。然而,当前数据中心对资源的度量是粗粒度的,如CPU个数和内存大小的组合。这种粗粒度的资源度量方式忽略了不同机器之间硬件的细粒度异构性,没有考量异构机器的实际计算能力。因此,它不能使资源分配和任务调度达到性能最优,减慢了任务处理的时间。针对上述问题,本文提出 SMHC(a synthetic metric for heterogeous cloud resources)—一个合成的云资源度量方式,它的主要作用有:1.SMHC考虑了五种细粒度硬件资源(CPU型号、CPU主频大小、CPU三级缓存大小以及内存频率、硬盘I/O读写速度),它们通过加权的方式组合起来,比较准确地反映出一台服务器的计算能力。2.SMHC通过线性组合的数学模型,综合评估了粗粒度和细粒度的异构硬件资源对大数据处理任务的加速效果。3.集群资源管理系统可以基于SMHC,设计出根据异构机器实际计算能力比较的任务调度策略,有效利用异构机器的计算能力,加速任务运行。为了验证SMHC的有效性,针对Spark大数据处理任务,本文提出一种通过异构机器之间SMHC加速因子比较的任务调度策略,并在流行的分布式资源管理系统Mesos上得以实现。在异构的集群环境中,基于SMHC的加速因子大小比较,调度器能够将大数据处理任务优先地调度到计算性能较好的机器上运行。实验结果表明,与Mesos原有基于粗粒度资源度量单位的调度策略相比,基于SMHC的任务调度策略能更能有效利用异构机器的计算能力,平均降低Spark任务运行时间约16.7%。更多还原

关 键 词： [1282135]云计算 大数据处理 异构机器集群 [3508164]资源管理 [1672673]任务调度

分 类 号： [TP308]

领　　域： []