摘要：随着即时定位与地图构建技术(SLAM,simultaneous localization and mapping)的发展成熟,以及基于RGB-D的三...随着即时定位与地图构建技术(SLAM,simultaneous localization and mapping)的发展成熟,以及基于RGB-D的三维场景解析技术的发展,语义SLAM越来越受到关注。虽然已有不少将实时三维重建与语义分割结合的研究,并能得到物体级别的三维语义地图,但这些研究并没有考虑地图语义信息的粒度与组织的问题。机器人要执行一般任务,执行过程并不是一个单一操作,而是由多个阶段组成的。执行任务的不同阶段需要用到的语义信息粒度不同。然而不匹配的语义信息粒度会加大机器人执行任务的计算负担,由此使得重建的语义地图利用价值受到限制。基于室内场景的主要几何结构是平面的事实,本文提出了一个在线构建包含几何-平面布局-物体信息的层级语义地图方法。本文基于不同层次语义信息之间的关系,通过对帧内的平面结构的解析,结合结构化的场景几何信息实现对单帧快速的三维场景解析,得到不同层次的语义信息。本文提出的一种新的平面区域表示方法对平面信息进行结构化和降噪,使得在增加语义信息的同时压缩模型数据量。本文的全局模型采用平面网格-面元混合表示方法,并为此设计了一个相适应的数据融合方法实现对场景的重建。其后,利用全局语义地图中的语义信息,实现对全局模型基于语义的优化,包括:基于语义关系约束减少噪声和平面检测算法不稳定的影响;基于语义信息对分裂面进行合并;利用语义信息对布局平面的被遮挡区域进行补全。在对场景中的布局平面的稳定识别下,可以自动生成室内场景的平面布局地图。最后,我们可以得到一个包含几何-平面布局-物体信息的全局层级语义地图。这样的层级语义地图可以应对用户在不同使用场景下对语义粒度的需求。实验证明,语义信息优化的帧内平面结构解析在召回率上较对比方法有较大改进,且层级语义地图在比SLAM算法的点云模型取得更高的数据压缩率。更多还原显示全部
摘要：同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)是计算机视觉和机器人的交叉领域中的一...同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)是计算机视觉和机器人的交叉领域中的一个非常重要的部分,SLAM的目标是相机的定位以及场景地图的构建,这使得机器具有感知场景的能力,这种能力在机器人的导航、增强现实和虚拟现实、工业的自动化、人机交互等领域都发挥着重要的作用。现今已有许多的研究者提出了各种优秀的SLAM系统,通过对这些系统的研究分析我们发现几个普遍存在的现象:第一,现有的视觉SLAM系统不能够自主完成初始化,其初始化需要人为刻意平移相机才能成功,实际应用中,由于许多非SLAM研究人员的使用者不清楚这一要求,因而会出现系统不能成功初始化的问题;第二,现有的SLAM系统构建的场景模型为点云模型或者缺乏纹理的表面模型,点云模型或者缺乏纹理的表面模型所能表达的真实场景信息有限,它们都不能满足实际应用的需求,例如点云模型无法应用于机器人自主导航,以及缺乏纹理的表面模型不能满足3D游戏的需求;第三,现有SLAM系统构建的场景模型不包含场景的结构信息,如平面结构,室内场景中平面是普遍存在的一种结构,并且平面结构具有“支撑”意义在AR等应用中具有重要作用。针对上述几个问题,本文先采用一种抖动重建的方法用于替代传统视觉SLAM的初始化模块,这使得我们的SLAM系统能够自主完成初始化,不再需要人为刻意地平移相机;其次,本文基于SLAM类方法构建场景的点云模型,采用TSDF方法对场景的点云模型做融合优化,本文使用Marching Cubes算法提取场景的Mesh表面模型,与已有方法不同的是本文给出一种基于TSDF方法的纹理计算方法并用于计算Mesh模型的纹理贴图;第三,本文将对场景结构进行抽象,构建场景的抽象平面模型,为此,本文给出帧内平面检测的方法,并且提出不同帧之间平面匹配以及帧与模型之间平面匹配的策略,同时给出包括模型的增长和优化策略。以上是本文的主要工作内容,我们给出一种能够让SLAM系统自主初始化的方法,其次我们构建了具有丰富纹理信息且更符合实际应用需求的场景表面模型,以及构建具有场景结构信息的抽象平面模型。更多还原显示全部
