摘要：分布式存储系统是解决海量数据存储问题的有效手段之一,它利用冗余数据维护技术,通过分散在网络上大量存储...分布式存储系统是解决海量数据存储问题的有效手段之一,它利用冗余数据维护技术,通过分散在网络上大量存储节点之间的协作,能够实现长久可靠的数据存储服务;现有大规模数据中心、P2P网络存储和无线网络存储技术等均属于分布式存储系统的范畴。然而,在分布式存储系统中,由于某些存储节点可能会暂时失效或永久失效,所以存储系统一般是通过附加冗余数据信息的方式来保证存储系统的可靠性和可用性,因此分布式存储系统中的数据冗余和维护技术是一个非常重要的研究课题。目前在分布式存储系统的数据冗余和维护技术中,所面临的主要问题有:1)当采取不同的数据冗余策略时,必须研究针对该策略的数据可靠性问题,从而预测系统的失效概率、所需的数据冗余大小和系统的生命周期等。2)针对不同的数据冗余策略,需要研究更加有效的存储编码。3)对于采用纠删码冗余的分布式存储系统,实现数据修复往往需要耗费大量的网络带宽,这对某些低速的存储网络可能是无法容忍的,所以必须研究改进纠删码冗余的数据修复方法。4)某些新的应用可能会使存储的数据从传统的静态文件共享转变为动态文件交互,文件副本需要经常更新,所以必须研究维护冗余副本的一致性问题。因此,分布式存储系统中的数据冗余与维护技术的研究课题有重要的理论意义和实际意义。基于此,本文分别从数据冗余的可靠性、最小存储与最小带宽的数据冗余编码、干扰准直技术的冗余数据维护和冗余数据的一致性维护四个方面对分布式存储系统中的数据冗余和维护技术问题进行了深入分析和研究,取得了若干创新性成果。本文的主要研究工作和创新性成果体现在以下几个方面:1.提出了一种能够预测数据冗余系统可靠性的数学模型(DRSRM,Data Redundancy System Reliability Model)。针对分布式存储系统存储节点的不稳定性,分析了复制和纠删码冗余维护的数据文件可用性,给出了存储节点失效与修复的数学分布,从而计算出存储节点的可靠性模型。在此基础上,提出了复制数据冗余存储系统的可靠性预测模型(DRSRM),该模型能模拟系统冗余数据的维护过程,并由此计算出系统的失效率、经历的时间段和系统生命周期等。2.提出了两种新的数据冗余编码,即:最小存储冗余再生码(MSRRC,Minimum Storage Redundancy Regenerating Code)和最小带宽冗余再生码(MBRRC, Minimum Bandwidth Redundancy Regenerating Code)。本文根据纠删码冗余数据维护中失效数据修复的理论极值点:最小带宽再生点(MBR, Minimum Storage Regeneration)和最小存储再生点(MSR, Minimum Bandwidth Regeneration),提出了最小存储冗余再生码(MSRRC)和最小带宽冗余再生码(MBRRC)的概念,分别给出了这两类编码的数据分布、失效数据修复和数据重构过程,理论证明了实现原理的正确性,并详细给出了两类编码的运行实例,最后通过实验证明了编码的有效性。3.提出了一种运用干扰准直技术实现分布式存储系统冗余数据维护的方法(RDMIA, Redundancy Data Maintenance based on Interference Alignment)。RDMIA方法的突出优点在于:1)丢失的编码分块能直接从其它编码分块的子集中修复,无需重构原数据;2)能从固定数目的存活编码分块就能修复失效分块,该数目只依赖于多少个编码分片丢失,而无需知道哪个分片丢失。运用该技术能极大减少分布式存储系统冗余数据维护时的网络开销。4、提出了一种运用副本信息传播树(RBT, Replica information Broadcast Tree)维护冗余数据一致性的方法(DCMRBT, Data Consistency Maintenance based on RBT)。DCMRBT方法的主要设计思想是:通过为每个数据副本节点的关键词构建RBT,使得系统能追踪副本位置并传播副本更新信息。该策略能有效避免热点和节点失效问题,同时由于避免显示记录节点的ID和IP地址来存储副本,因此能有效地保护节点私密性。显示全部
