当前,随着三维建模、扫描及计算机视觉等领域的不断发展,无人驾驶、三维场景漫游、智慧城市建设等相关技术的研究和应用受到了人们的广泛关注。三维模型识别作为场景理解中最具有挑战性的任务之一,其在计算机视觉和计算机图形学领域一直是被关注的焦点和研究的热点。识别的关键在于如何构造有效的特征表征。特别是对三维模型这类复杂的数据类型,其原始表征是非结构化的、高维的,如何让计算机自动、有效捕捉其本质特征一直是业界关注的热点和难点。深度学习作为一种特征自学习技术,能让机器自动学习客观对象的多层抽象和表示,从而理解复杂对象的内在含义,完成本质特征的提取,为三维模型的检索带来了新的研究方向。为此,针对三维模型检索问题,本文研究并实现了一种基于深度学习的三维模型多模态检索方法。提出了基于深度集成学习和度量学习的三维模型多视图分类算法,通过在视图分类中引入度量学习有效处理视图中难分样本提高三维模型的识别能力,通过在决策层实现多视图的集成确保三维模型特征描述符提取的合理性;提出了基于深度学习的多模态数据表征和相似性评价算法,实现不同模态数据对三维模型的有效检索;提出了基于Deep CoNet的三维模型多模态检索新方法,可根据文本、草图、实例等不同的输入类型实现三维模型的多模态检索,提高三维模型检索的准确性和有效性,并满足不同场景、不同需求用户对三维模型的多样化检索需求。基于以上研究,在Windows下设计并实现了基于Deep CoNet的三维模型多模态检索系统。该系统以现有研究内容为理论依托,以三维模型标准数据集为训练及测试样本,实现了三维模型的多模态检索;设计了数据在线训练模块,防止了因为数据库变更而进行系统变更等一系列冗余操作。最终,通过定性、定量的方式综合评价了算法的准确性和系统的有效性。实验结果表明,本文所提出的算法在刚性三维模型数据集ModelNet10和ModelNet40、非刚性三维模型数据集SHREC10、SHREC11、SHREC15上均取得了极好的效果,分类准确率高且稳定性强。本文所实现的系统极好地支持了基于文本、草图、实例等为输入的多模态三维模型检索需求,灵活、方便、易用。
基本信息
| 题目 | 基于Deep CoNet的三维模型检索研究与实现 |
| 文献类型 | 硕士论文 |
| 作者 | 刘振刚 |
| 作者单位 | 北方民族大学 |
| 导师 | 白静,郭伟 |
| 文献来源 | 北方民族大学 |
| 发表年份 | 2020 |
| 学科分类 | 信息科技 |
| 专业分类 | 计算机软件及计算机应用 |
| 基金 | 国家自然科学基金项目“基于深度学习的非刚性三维模型多模态检索研究”(61762003),宁夏自然科学基金项目“面向多模态信息源的三维数据识别技术研究”(2018AAC03124),2019 年重点研发计划(西部之光)“多源信息融合的智能装配技术研究”(018QNXZ0024) |
| 分类号 | TP391.41 |
| 关键词 | 深度学习,集成学习,度量学习,多模态,三维模型检索系统 |
| 总页数： | 62 |
| 文件大小： | 2814K |
论文目录
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 本文研究内容 |
| 1.4 论文组织结构 |
| 第二章 相关工作和技术 |
| 2.1 引言 |
| 2.2 三维模型检索概述 |
| 2.3 深度学习算法概述 |
| 2.3.1 人工神经网络 |
| 2.3.2 卷积神经网络 |
| 2.3.3 度量学习 |
| 2.4 基于深度学习的三维模型分类方法 |
| 2.4.1 基于体素的三维模型分类方法 |
| 2.4.2 基于视图的三维模型分类方法 |
| 2.5 本章小结 |
| 第三章 基于多视图的集成度量学习网络Deep CoNet |
| 3.1 引言 |
| 3.2 算法思想 |
| 3.3 三维模型的多视图表征 |
| 3.4 集成度量学习网络Deep CoNet构建 |
| 3.4.1 基于度量学习的基学习器 |
| 3.4.2 集成学习器的构造 |
| 3.4.3 级联损失函数 |
| 3.5 网络训练 |
| 3.6 算法测试及结果分析 |
| 3.6.1 实验数据集选择 |
| 3.6.2 三维模型分类实验 |
| 3.6.3 度量学习对三维模型分类的影响 |
| 3.7 本章小结 |
| 第四章 多模态数据表征及检索 |
| 4.1 引言 |
| 4.2 多模态检索框架 |
| 4.2.1 基于文本的三维模型检索框架 |
| 4.2.2 基于草图的三维模型检索框架 |
| 4.2.3 基于实例的三维模型检索框架 |
| 4.3 多模态数据表征 |
| 4.3.1 文本的数据表征 |
| 4.3.2 草图的数据表征 |
| 4.3.3 实例的数据表征 |
| 4.4 多模态相似评价 |
| 4.4.1 基于文本的相似性度量 |
| 4.4.2 基于草图的相似性度量 |
| 4.4.3 基于实例的相似性度量 |
| 4.5 多模态检索结果 |
| 4.5.1 基于文本的三维模型检索结果 |
| 4.5.2 基于草图的三维模型检索结果 |
| 4.5.3 基于实例的三维模型检索结果 |
| 4.6 本章小结 |
| 第五章 多模态三维模型检索系统的设计与实现 |
| 5.1 引言 |
| 5.2 功能需求分析 |
| 5.3 系统总体设计 |
| 5.3.1 系统设计原则 |
| 5.3.2 系统架构 |
| 5.3.3 数据库设计 |
| 5.4 系统详细设计与实现 |
| 5.4.1 基于文本的三维模型检索模块 |
| 5.4.2 基于草图的三维模型检索模块 |
| 5.4.3 基于实例的三维模型检索模块 |
| 5.4.4 网络训练模块 |
| 5.5 系统测试 |
| 5.6 本章小结 |
| 第六章 总结和展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 个人简介 |
参考文献
| [1] 深度学习在三维模型检索中的应用[J]. 电脑知识与技术 2020(31) |
| [2] 一种距离特征融合的机械三维模型检索方法[J]. 机械设计与制造 2020(08) |
| [3] 基于渲染图像角度结构特征的三维模型检索方法[J]. 计算机科学 2018(S2) |
| [4] 基于智能计算的三维模型检索技术的应用[J]. 现代工业经济和信息化 2015(17) |
| [5] 三维模型检索中的特征提取方法[J]. 科技信息 2012(26) |
| [6] 语义树在三维模型检索中的应用[J]. 计算机与数字工程 2015(12) |
| [7] 一种基于结构的三维模型检索方法[J]. 电脑知识与技术 2010(19) |
| [8] 一种三维模型检索直方图比较算法[J]. 闽江学院学报 2013(02) |
| [9] 基于深度学习的三维模型检索研究[J]. 智能计算机与应用 2019(03) |
| [10] 基于卷积神经网络的高效三维模型检索方法[J]. 电子学报 2021(01) |
| [11] 基于球体投影的三维模型检索[J]. 计算机工程与应用 2020(07) |
| [12] 一种基于实例学习的三维模型检索匹配方法[J]. 浙江工业大学学报 2012(03) |
| [13] 一种基于语义树的三维模型检索方法[J]. 情报理论与实践 2011(01) |
| [14] 基于多特征融合的三维模型检索[J]. 郑州大学学报(工学版) 2019(01) |
| [15] 基于深度卷积神经网络的三维模型检索[J]. 计算机科学 2019(01) |
| [16] 一种基于多特征结合的三维模型检索方法[J]. 计算机科学 2019(S1) |
| [17] 基于视觉形状与相关反馈的三维模型检索[J]. 南华大学学报(自然科学版) 2012(02) |
| [18] 基于孔洞填充的残缺三维模型检索[J]. 计算机工程与应用 2020(10) |
| [19] 基于体素构造和遗传算法的三维模型检索[J]. 图学学报 2016(06) |
| [20] 基于层次化特征提取的三维模型检索系统研究[J]. 信息通信 2018(11) |
| [21] 基于神经网络的三维模型检索[J]. 湖南工程学院学报(自然科学版) 2010(04) |
| [22] 基于手绘草图的三维模型检索[J]. 科学技术创新 2021(06) |
| [23] 显著角点特征在三维模型检索中的应用[J]. 计算机仿真 2012(12) |
| [24] 融合信息熵和CNN的基于手绘的三维模型检索[J]. 图学学报 2018(04) |
| [25] 三维模型库语义网构建及检索方法研究[J]. 西安邮电学院学报 2012(03) |
| [26] 基于深度学习的三维模型重建检索算法研究[J]. 福建电脑 2017(11) |
| [27] 基于形状相似的三维模型检索方法研究[J]. 北京师范大学学报(自然科学版) 2011(04) |
| [28] 基于同心球面分割的三维模型检索方法[J]. 现代计算机(专业版) 2009(11) |
| [29] 基于特征融合及流形排序的三维模型检索分析[J]. 电子技术与软件工程 2018(21) |
| [30] 基于边界点描述符的三维模型检索研究"[J]. 微电子学与计算机 2013(08) |
相似文献
| [1]基于深度卷积神经网络的三维模型检索研究[D]. 刘杨圣彦.浙江工业大学2019 |
| [2]基于手绘草图的三维模型检索研究与应用[D]. 何柳.西北大学2018 |
| [3]多特征三维模型检索技术研究[D]. 张艺琨.西南大学2018 |
| [4]基于多级特征提取的三维模型检索方法与系统研究[D]. 张海冬.哈尔滨工业大学2018 |
| [5]基于维度转换的三维模型检索研究[D]. 张莹莹.大连理工大学2018 |
| [6]基于草图的三维模型检索的研究[D]. 魏建超.大连理工大学2018 |
| [7]基于图匹配的三维模型检索方法研究[D]. 郝雅惠.天津大学2018 |
| [8]基于视图的三维模型检索方法研究[D]. 师阳.天津大学2018 |
| [9]基于多视图的三维模型检索系统[D]. 许磊.天津大学2018 |
| [10]基于深度学习的三维模型检索技术研究[D]. 张欣.天津大学2018 |
