导　　师： 高英

授予学位： 硕士

作　　者： (）;

机构地区： 华南理工大学

摘　　要： 随着云计算技术的日益发展,大数据技术也随之蓬勃发展,对大数据技术的研究也引起了学术界的高度重视。现阶段主流的大数据处理平台有很多,大部分都围绕开源的Hadoop分布式平台为基础展开,标准的Hadoop平台包含了许多开源的组件,例如分布式文件系统HDFS,资源调度模块Yarn,计算框架Map Reduce等。随着数据的样式越来越多样化,以及用户对数据的准确性,处理效率等有了更高的要求,现有的大数据平台已经不能完全满足用户的需求。本文深入研究了Hadoop Yarn的资源分配与调度机制,从资源调度器着手进行研究,分别研究了调度器的具体调度流程以及队列调度的优化,针对已有分配模式不合理以及缺乏队列调度等问题提出了以下方案:1)提出一种基于粒子群和蚁群算法的自适应调度器,该调度器通过获取现有的任务需求以及节点资源使用量,来初始化粒子的状态以及前进方向,并引入信息素予以修正。2)对调度器的任务分配部分进行了优化,通过负载判断智能选择调度队列,提升了调度性能。我们对传统的Hadoop平台进行了改进,使它具有多样化的数据接入功能,同时支持固定格式的文本数据,关系型数据库以及流式数据三种数据类型。同时加入了改进的调度器,使得资源的分配更加高效合理,同时平衡各节点的负载。更多还原

关 键 词： 大数据分析 资源调度 负载

领　　域： []