摘要：随着移动网络技术的快速发展和移动用户数量的持续增长,移动环境下的各种业务应用已经日趋广泛。伴随而来的...随着移动网络技术的快速发展和移动用户数量的持续增长,移动环境下的各种业务应用已经日趋广泛。伴随而来的是移动应用环境下产生的数据信息呈指数式的增长,它带来了对移动环境下的大量数据信息进行存储管理的新技术需求,因此,有关面向移动环境下的数据存储管理问题的研究已经变得越来越重要。现有的有线网络中的分布式存储管理方法主要是针对带宽稳定、可持续服务、可扩展和高性能节点等都比较稳定的应用环境;但它在面对移动环境的异构性、分布性、高维性、动态性带来的移动数据管理的复杂性等方面具有明显的不适应性,因此,不能直接应用于移动环境下的数据存储管理。由于移动环境的多源性、多宿性、自治性、上下文感知性和环境依存性,且面向移动环境的数据存储管理具有集中与分布的特点,因此,可以考虑借助移动Agent技术、移动数据库、分布式网络、跨层协作、网格计算及云计算等多种技术来构建移动环境存储管理与服务系统。另外,随着各种网络互通和融合技术的日益成熟,在移动环境下设备与网格和云计算系统协作可以构建海量、持久、无限可扩展的存储资源与服务系统的市场前景巨大,并且良好的数据存储管理方法将会为移动应用的运行服务提供高效、安全的数据存储基础。因此,面向移动环境的数据存储管理方法的研究有重要的理论意义和实际意义。本文对移动环境下的移动网格体系结构与资源选择方法、移动分布式数据存储服务结构模型、移动数据库技术、基于无线Mesh网的层次化存储系统和移动环境下的存储服务QoS等关键技术问题进行了系统而深入的研究,取得了一些有创新性意义的研究成果;其主要研究工作和创新性成果体现在以下几个方面。1.提出了一种移动网格结构模型(MGAM,Mobile Grid Architecture Model)和移动网格资源管理算法(MGRMA,Mobile Grid Resource Management Algorithms)。首先提出了一种结合移动计算和网格计算、支持移动环境存储服务的移动网格结构模型,其次,对移动网格的逻辑构成和形式化模型进行分析,给出了移动网格资源选择与分配方法和相关的移动网格资源协作算法,最后给出了移动网格的原型和应用实例,并进行了模拟测试和性能分析。2.提出了一种基于移动环境的自适应分布式存储服务的系统结构模型(SDSSAM,Self-Adaptive Distributed Storage Service Architecture Model),SDSSAM是一种结合移动计算的跨层协作式存储结构模型。首先描述了SDSSAM的各层次的功能;其次提出了SDSSAM结构中的跨层协作方式;最后给出了SDSSAM的分布式存储协作服务和自适应存储等算法。研究表明SDSSAM具有自适应、移动计算、分布式计算和自组织的特点,是一种具备了灵活性、自主性、协作性和群体智能的移动存储系统结构。3.提出了一种基于移动数据库的移动数据管理结构(MDMA,Mobile Data Management Architecture)和存储管理方法(SMS,Storage Management Solution)。移动数据库是移动分布式环境数据组织和存储的最有效的方式,为移动业务运行提供了数据支撑,移动应用一般基于移动数据库而实现。针对移动环境的特点,首先提出了一种基于移动数据库的移动数据管理结构和存储管理方法;其次研究了移动数据库中数据的预取与复制、缓存同步、事务处理、并发控制、广播机制等多种关键技术,为移动环境下数据存储与管理相结合提供可行的管理方法。4.提出了一种基于无线Mesh网的层次化存储系统(HSSWMN,Hierarchical Storage System over Wireless Mesh Network)模型。首先提出了基于无线Mesh网的层次存储系统(HSSWMN)模型,并对其存储模型、存取算法、性能优化等方面进行了分析和研究;其次研究了HSSWMN的名字空间与元数据服务、搜索与查找服务、注册与注销,可扩展性、负载均衡、容错机制、数据安全、复制与缓存机制和拓扑重构等关键问题;最后通过仿真分析,对时延、吞吐量、误码率等进行了模拟测试,并对HSSWMN存储系统的可行性、可用性和可靠性进行了性能分析。5.提出了一种面向移动环境数据存储服务QoS跨层模型(QCLMSS,QoS Cross Layer Model of Storage Services)和移动环境存储服务QoS确保算法(QASS,QoS Guarantee Algorithms of Storage Service)。首先对移动环境数据存储服务QoS技术进行了研究,分析了各层次QoS的特征及关系;其次提出了QoS实施算法及性能模型,并对移动环境下存储QoS保证算法进行了研究;最后提出了全局优化、局部优化、多阶段优化、自适应优化等算法,并分析了移动存储系统的QoS实例,对有线网络、无线网络接入方式下磁盘I/O性能进行了模拟测试和分析研究。显示全部
摘要：分布式存储系统是解决海量数据存储问题的有效手段之一,它利用冗余数据维护技术,通过分散在网络上大量存储...分布式存储系统是解决海量数据存储问题的有效手段之一,它利用冗余数据维护技术,通过分散在网络上大量存储节点之间的协作,能够实现长久可靠的数据存储服务;现有大规模数据中心、P2P网络存储和无线网络存储技术等均属于分布式存储系统的范畴。然而,在分布式存储系统中,由于某些存储节点可能会暂时失效或永久失效,所以存储系统一般是通过附加冗余数据信息的方式来保证存储系统的可靠性和可用性,因此分布式存储系统中的数据冗余和维护技术是一个非常重要的研究课题。目前在分布式存储系统的数据冗余和维护技术中,所面临的主要问题有:1)当采取不同的数据冗余策略时,必须研究针对该策略的数据可靠性问题,从而预测系统的失效概率、所需的数据冗余大小和系统的生命周期等。2)针对不同的数据冗余策略,需要研究更加有效的存储编码。3)对于采用纠删码冗余的分布式存储系统,实现数据修复往往需要耗费大量的网络带宽,这对某些低速的存储网络可能是无法容忍的,所以必须研究改进纠删码冗余的数据修复方法。4)某些新的应用可能会使存储的数据从传统的静态文件共享转变为动态文件交互,文件副本需要经常更新,所以必须研究维护冗余副本的一致性问题。因此,分布式存储系统中的数据冗余与维护技术的研究课题有重要的理论意义和实际意义。基于此,本文分别从数据冗余的可靠性、最小存储与最小带宽的数据冗余编码、干扰准直技术的冗余数据维护和冗余数据的一致性维护四个方面对分布式存储系统中的数据冗余和维护技术问题进行了深入分析和研究,取得了若干创新性成果。本文的主要研究工作和创新性成果体现在以下几个方面:1.提出了一种能够预测数据冗余系统可靠性的数学模型(DRSRM,Data Redundancy System Reliability Model)。针对分布式存储系统存储节点的不稳定性,分析了复制和纠删码冗余维护的数据文件可用性,给出了存储节点失效与修复的数学分布,从而计算出存储节点的可靠性模型。在此基础上,提出了复制数据冗余存储系统的可靠性预测模型(DRSRM),该模型能模拟系统冗余数据的维护过程,并由此计算出系统的失效率、经历的时间段和系统生命周期等。2.提出了两种新的数据冗余编码,即:最小存储冗余再生码(MSRRC,Minimum Storage Redundancy Regenerating Code)和最小带宽冗余再生码(MBRRC, Minimum Bandwidth Redundancy Regenerating Code)。本文根据纠删码冗余数据维护中失效数据修复的理论极值点:最小带宽再生点(MBR, Minimum Storage Regeneration)和最小存储再生点(MSR, Minimum Bandwidth Regeneration),提出了最小存储冗余再生码(MSRRC)和最小带宽冗余再生码(MBRRC)的概念,分别给出了这两类编码的数据分布、失效数据修复和数据重构过程,理论证明了实现原理的正确性,并详细给出了两类编码的运行实例,最后通过实验证明了编码的有效性。3.提出了一种运用干扰准直技术实现分布式存储系统冗余数据维护的方法(RDMIA, Redundancy Data Maintenance based on Interference Alignment)。RDMIA方法的突出优点在于:1)丢失的编码分块能直接从其它编码分块的子集中修复,无需重构原数据;2)能从固定数目的存活编码分块就能修复失效分块,该数目只依赖于多少个编码分片丢失,而无需知道哪个分片丢失。运用该技术能极大减少分布式存储系统冗余数据维护时的网络开销。4、提出了一种运用副本信息传播树(RBT, Replica information Broadcast Tree)维护冗余数据一致性的方法(DCMRBT, Data Consistency Maintenance based on RBT)。DCMRBT方法的主要设计思想是:通过为每个数据副本节点的关键词构建RBT,使得系统能追踪副本位置并传播副本更新信息。该策略能有效避免热点和节点失效问题,同时由于避免显示记录节点的ID和IP地址来存储副本,因此能有效地保护节点私密性。显示全部
摘要：分布式存储系统(Distributed storage Systems,DSS)采取复制和纠删码两种冗余策略来保障系统的可靠性。复制...分布式存储系统(Distributed storage Systems,DSS)采取复制和纠删码两种冗余策略来保障系统的可靠性。复制空间资源利用率低,而传统的纠删码基于高进制域操作,编解码复杂度高。锯齿解码(ZigZag Decoding,ZD)的解码过程是基于二进制域上的回代异或运算,解码复杂度低。锯齿解码具备组合性质(Combination Property,CP),即将k个原始数据块编码成n个(n?k)个数据块,只要取这n个数据块中的任意k个数据块,就可成功恢复原文件。CP-BZD码是一种同时具有CP和ZD性质的存储编码,被广泛应用于分布式存储和无线通信中。因此研究基于CP-BZD码这类纠删码的编码及纠错算法具有重要意义。本文发现当(n,k)CP-BZD码单节点存储多文件时,一旦节点发生故障,需要下载k个幸存节点中的全部数据块,才能成功进行修复,节点修复带宽较大。针对CP-BZD码修复带宽较大的问题,在没有增加存储开销的前提下,本文设计了3种新的编码方案。文中分别对每种方案的编解码和修复过程进行了阐述,发现所设计方案既没有增加解码复杂度,又有效降低了失效节点的修复带宽。数据结果对比表明,本文设计的3种编码方案的节点修复带宽均小于CP-BZD码。而且随着(n,k)值的增大,本文设计的3种编码方案的节点平均修复效率越来越高。本文通过研究CP-BZD码的解码过程,发现其回代解码机制具有错误的扩散性,降低了数据的可靠性。目前已存在的分布式存储系统的两个纠错设计方向:密码学和信道编码,都需要加大开销位,才能有效的进行纠错。由此,本文提出了一种基于CP-BZD码的具有纠错能力的算法。该算法不需要增加其他开销位,而获得纠错能力,且算法的模块可以自由选配。此算法主要的构造过程为:先利用CP-BZD码的编码结构构建校验方程,然后构造Tanner图,接着应用硬判决算法进行迭代判决,最后进行锯齿解码恢复初始信息。结果数据表明,与锯齿解码相比,此算法在分布式存储系统中有较好的纠错能力。本文利用路边单元进行数据的分布式存储,提出了车辆通信网络协作内容交付框架,以解决车载通信(Vehicular Ad Hoc Network,VANET)中,由于网络覆盖时间短或车辆速度过快,路边单元传输的数据不能被车辆一次性成功接收的问题。然后将本文提出的纠错算法应用于此车载通信框架中,以解决车辆接收数据不正确的问题。结果数据表明,将提出的框架和纠错算法相结合应用于车载通信中,可以在一定程度上提高车辆成功接收数据的概率。更多还原显示全部
