导 师: 陈志刚
学科专业: H1203
授予学位: 博士
作 者: ;
机构地区: 中南大学
摘 要: 本文深入地研究了并行I/O数据文件分配存储和访问调度策略,提出了并行I/O数据文件分割、分配存储方法,其中包括了大型数据文件的分割策略和大量小型数据文件的分组策略,对数据存储资源的可扩展算法进行了研究,并对数据的访问调度和多维数据的分配存储与访问提出了新的算法。 针对分布式计算并行I/O中大型数据文件的分布存储,提出了数据分割存储的新方法,即已知知识的文件拆分与分配策略(KKFDA),它能够保证在将大型数据文件分割为文件数据块存储时,保证文件分布存储方式与访问方式的一致性,提高磁盘本地命中率、降低数据访问延迟。 针对由大量小文件组成文件组的分配存储问题,在研究相应数据文件分发策略的基础上,提出了二种具有可扩展性的策略,即可用百分比决策(APD)和分段选择与可用百分比决策相结合(CSSAPD)的自适应数据分配策略。另外,考虑对每个磁盘上文件服务时间变化的优化,本文还提出了一种新的应用于分布式计算环境的启发式文件分类分配策略(HFSA)。它在保证系统负载基本均衡的前提下,按相似的访问服务时间对每个待分配的数据文件进行磁盘分配,使服务时间相同或相近的文件分配到同一个磁盘上,这样就能够降低每一个磁盘上文件服务时间的变化,提高分布式计算系统的性能。 在并行I/O访问策略方面提出了自适应平等划分I/O调度(AEQUI)和二次调度自主维护负载平衡动态I/O调度(DIOTSMB)二种新策略。自适应平等划分I/O调度策略在进行并行I/O访问的负载平衡时,既考虑了未分配的I/O请求在I/O服务器上进行平等的分配,又考虑到了已经分配到某一台I/O服务器上任务处理的实际情况,是一种有效的新方法。DIOTSMB是基于负载平衡策略中的接收者驱动策略提出来的,应用于分布式计算系统时,能够降低数据访问调度时的复杂度,降低I/O数据调度器的负载,缓解其形成瓶颈的可能,缩短调度处理的时间。 针对在大型多维数据集合的所有数据元素中进行数据访问时效率很低的情况而开展了相应的研究,基于并行I/O技术,提出了一种新的多维数据启发式数据分配存储与访问算法,即HSPHM,它在并行度和效率等方面都具有有效性。
关 键 词: 分布式计算系统 数据存储 访问调度策略 多维数据集
分 类 号: [TP338.8]
领 域: [自动化与计算机技术] [自动化与计算机技术]