云存储三维数据组织管理探讨

开篇：润墨网以专业的文秘视角，为您筛选了一篇云存储三维数据组织管理探讨范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

[摘要]对云存储技术的发展和云存储的层次模型进行了介绍，基于云存储技术设计了三维场景数据存储架构,对三维场景数据的设计进行了详细描述，提出并实现了一种基于云存储架构的三维场景数据组织和存储的方式，在这种存储架构模型下，可以对三维场景所涉及的包括遥感影像、矢量地图在内的各类底图数据和三维模型数据进行快速存取，实现平滑展现。

[关键词]云存储；非结构化数据存储；数字地球；三维场景数据；可视化

1引言

随着计算机技术、网络技术、云计算和云存储技术突飞猛进的发展，各个行业和领域中，计算机图形学的应用也得到了迅速地普及，三维场景技术因其更加丰富、全面和生动的细节信息而倍受欢迎，正在逐步取代传统的基于二维图形的展现方式。传统的三维数据组织一般是采用单机存储、本机使用的方式实现，这种方式具有存取性能较低、存储容量有限、数据无法共享和统一维护困难等缺点[1]。同时云存储作为一种新形态的针对海量数据的存储系统，具有大容量、易管理、高可扩展和按需服务等方面的优势和特点，从而受到了学术界和产业界的重视，三维场景技术的实现对数据存储要求越来越高，云存储技术的快速发展大大推动了三维场景技术的推广和普及。

2虚拟现实技术与三维场景

虚拟现实技术是一种综合了计算机显示技术、建模技术、计算机图形学和仿真技术等各类技术的一种多学科的模拟技术，三维场景建模技术和显示技术则是虚拟现实技术的核心问题[1]。在通过计算机构建形成的三维场景中，系统的使用者可以从中感受到一种可视的、形象逼真的和直观的虚拟环境，通过对计算机的操作可以实现在三维场景中自由自在地漫游，就像在现实中一样[2]。随着虚拟现实技术与计算机技术、高效存储技术和网络技术日益紧密结合以及用户需求的不断提高，三维场景也逐步向精细化发展，同时，该过程需要大量三维场景数据和高性能计算的支撑，大数据量场景的实时仿真成为虚拟现实技术中一项重要的研究内容，而三维场景数据的组织管理在这个技术实现过程中起着很重要的作用，也成为地理信息系统向三维立体分析方面纵深发展所需解决的一个重要命题。三维场景以虚拟现实为技术依托，以计算机网络的发展为契机，在生产、生活和娱乐等各个方面得到了广泛地应用，虚拟现实技术的发展则对三维场景的逼真显示给予了强有力的推动作用，三维场景已经越来越受到了各行各业的重视，因而逐渐成为了虚拟现实中的重要研究课题[3]。

3关键技术

3.1云存储技术

云存储技术是在云计算的概念上延伸和发展出来的海量数据存储技术，一般的云存储系统由多个不同或相同的存储设备组成，通过集群应用、并行处理、分布式文件系统或类似网格技术等功能，实现对大量不同类型的存储设备集合起来一起协同工作[4]，云存储系统一般通过特定的应用软件或应用接口实现对外提供数据存储服务和数据访问服务的功能。随着计算机和网络等各种技术的快速发展，云计算系统运算和处理的核心已经由机器的处理变为数据的存储和管理，当云计算系统中配备了大量的、快速的存储设备及配套的计算设备，云计算系统就已经转变成为一个能够对外提供存取服务的云存储系统，因而，云存储是一个以数据存储和管理为核心的云计算系统。云存储系统和云计算系统从层次架构模型来看有一些差别，云存储系统比云计算的架构多一个存储层，并且在基础管理上云存储系统也包括很多与数据管理和数据安全有关的功能。云计算系统是一种以数据处理为中心的服务密集型系统，而云存储系统则可以看作是云计算的底层数据支持系统，云存储系统可以为云计算系统提供高可用、高可靠和运营成本低的数据存储服务。目前，云存储服务的形式有个人级应用和企业级应用2种情况。企业级的云存储系统可以对外部客户提供存储服务租赁、异地数据容灾备份和业务应用的存储支撑。云存储服务通过传统的集群技术、网络计算技术和分布式并行存储技术，将网络中大量的存储设备进行有机集成，这些存储设备要求不高，可以是很低廉的、配置不一的计算设备和存储设备，这样可以减少项目的再投资和盲目扩张滥建。云存储系统具有高可靠性、高通用性、高扩展性、高并发性及大容量存储等一系列特点，要进行云存储技术的研究，必须紧跟技术发展的趋势。各类应用系统运行过程中，所积累的数据不断增长，这样对存储容量的需求也不断增加，同时，存储设备容量的增长和成本的降低促进了海量存储技术的实现和发展。但是，当系统积累的数据量不断增加以后，系统所需要处理的数据量也就增大了，这使得系统对高性能处理的需求也不断提高，传统的存储方式则成为系统提高数据访问性能的“瓶颈”，此时对系统数据的高效存储和访问便成了一个急需解决的问题。相应地，云存储具有根据需求动态扩展存储容量和提高存取性能的特点，很好地迎合了系统的需求。

3.2云存储的多层结构模型

从构成上看，云存储与传统的存储设备相比，不仅仅是一个或一系列的硬件设备，而是一个集合了网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分的复杂系统[4]。云存储的各个组成部分以系统的存储设备为核心，通过云存储所提供的应用软件对外提供数据存储服务和业务访问服务。云存储系统的结构模型是一个多层次的模型，从下到上依次由存储层、基础管理层、应用接口层和访问层组成。①存储层：存储层是云存储最基础的部分，主要由一系列的存储设备组成，存储层的存储设备可以是光纤存储设备或网络存储设备。云存储层中的存储设备数量往往比较庞大且可以分布在不同地域，这就提高了云存储系统的可靠性和可扩展性，不同的存储设备之间通过各种网络连接在一起。在存储设备之上是存储设备管理系统，实现存储设备的虚拟化和链路冗余管理，具有对各个存储设备的状态监控维护的功能；②基础管理层：基础管理层是云存储系统中最重要的部分，也是云存储系统中最难实现的部分。基础管理层通过联合运用集群、分布式文件系统和网格计算等技术，协调调度云存储系统内部多个存储设备，使不同的存储设备实现协同工作，并统一对外提供服务，通过并行处理技术的应用，对外提供更好的数据访问性能。在数据访问安全方面，基础管理层还通过数据防控技术和数据加密技术来防止未授权用户对数据的访问。此外，在数据存储安全方面，基础管理层通过各种数据备份和容灾措施确保云存储系统中的数据不会丢失或破坏，即使数据发生丢失或破坏，内部也可以将其恢复，从而保证云存储自身的安全和稳定；③应用接口层：应用接口层是云存储最灵活多变的部分，不同的云存储系统根据实际的业务类型和应用模式实现不同的访问服务接口，对上层应用提供各自的应用服务；④访问层：在云存储的访问层，合法用户可以通过应用接口层提供的应用接口登录云存储系统，通过云存储系统提供的服务实现业务数据的存储访问。

3.3三维场景可视化技术

三维场景的构建就是在三维地理信息平台的基础上，逐步加载地图数据、矢量信息数据以及若干静止或移动的三维模型的过程，构建示意图如图1所示。三维场景的可视化技术是指用计算机图形学与图像处理技术将三维场景中的复杂对象转换为图形或图像在屏幕上显示并与操作者进行交互处理的技术和方法。为了实现由三维空间向二维平面映射时图像显示的立体感，三维数据显示前需要进行一系列计算机图形学的技术处理[5]，基于三维地理信息平台的三维场景展示处理流程如图2所示。在三维地理信息平台的基础上，首先加载所显示区域范围内的三维模型，然后从模型库中读取相应的三维模型数据，计算三维坐标系的三维剪裁信息，同时读取三维模型的尺寸信息、光照模型和纹理映射，进行坐标转换实现三维坐标到屏幕二维坐标的投影计算，最终生成屏幕坐标系中的图形图像并显示。

4云存储环境下三维场景存储架构的设计和实现

4.1总体存储架构

随着对三维场景的精细化越来越高和场景区域的越来越广，三维场景构建所涉及的数据量也越来越大，采用传统的关系数据库或普通存储已经无法满足系统的访问要求，因而设计了基于云存储的三维数据组织管理方式，以适应系统对三维数据的更高的访问需求，基于云存储的三维场景存储架构如图3所示。在三维场景存储架构中，由底向上各层的功能如下：①基础设施层：主要由计算设备、存储设备和网络设备组成，为上层提供网络通信环境、计算服务运行环境和存储环境，实现最基础的硬件服务平台；②混合型存储层：在底层硬件环境的支撑下，通过事务型数据库、分析型数据库、NoSQL数据库以及Hadoop的生态环境实现对不同类型数据的存储管理；③统一访问层：实现对混合型存储层各种形式的数据进行统一访问的功能，在统一访问层中，通过对不同数据库和文件系统的适配处理，对上层形成一个屏蔽数据库差异的虚拟层，使得上层数据在存储管理过程中不需考虑存储的位置；④数据资源层：包括构建三维场景所需的各类数据，如结构化数据、非结构化数据和半结构化数据。在以上的分层存储架构中，每一层都是为上层提供服务和支撑，并建立在下一层的基础之上，形成三维场景数据的整体存储架构。

4.2数据库设计

以上对三维数据的总体存储架构进行了设计，其中的数据资源层，对于结构化数据，对应的存储管理方式主要是传统的关系型数据库，半结构化数据则保存在NoSQL数据库中，而非结构化数据则保存到云存储系统中[6]，针对结构化数据的数据库设计如图4所示。整个数据库以三维场景数据为中心，通过关联关系实现了在一个三维场景中对三维模型数据的调用，通过外键引用的方式展现了三维场景数据对正射影像模型、数字高程数据、电子海图和遥感影像等底图的依赖关系。此外，对于以文件形式存在的各类非结构化数据均保存到云存储系统中，通过调用服务的方式实现存取。

4.3数据仿真结果

在传统存储环境下，通过模拟数据进行三维场景数据读取显示的仿真实验，系统运行的结果如表1所示，在云存储环境下，系统运行的结果如表2所示。实验结果表明，在视点高度、地理数据的分辨率和三维模型实体的复杂度不同的情况下，采用基于云存储的数据组织方式，显示性能和对本机资源的占用情况都比传统存储环境更为优越，在云存储环境下显示帧率最低为27.3帧/s，依然能够满足人眼的适应帧率。三维场景技术的应用非常广泛，例如在作战仿真领域，可以采用三维场景技术和虚拟现实技术在计算机中对一种模拟战争过程进行重现，通过可视化的军事演示来分析军事环境、战地场景、过程模拟及武器爆炸等，实现军队与虚拟军事环境直接进行自然的交互，有助于军事单位对灾难方案的分析与研究，可大大节省军费开支，降低军事成本，缩短军事演习时间，解决在军事实战中可能出现的问题。5结束语在具有大容量、易管理及高可扩展等特点的云存储环境下，三维数据组织管理的存取变得更为方便，针对海量数据的三维场景信息实现平滑展示更为可行，并且能够适应数据量和读取性能不断增长的需求，本文提出的基于云存储的三维数据组织管理和实现很好地应用在某重点课题项目中，解决了传统环境下无法实现高效组织和快速访问的问题，在数据量不断增长的将来，具有十分广阔的应用前景。

参考文献

[1]饶伟,明德烈,田金文.目标三维场景建模与实时红外仿真技术研究[J].计算机与数字工程,2012,40(1):114-116.

[2]陈永华,王德成,陈燕.基于Creator的三维场景优化技术的应用[J]软件天地,2007,23(1):297-299.

[3]翟巍,迟忠先,方芳,等.大规模三维场景可视化的数据组织方法研究[J].计算机工程,2003,29(20):26-28.

[4]李琳琳,王庆超,姚超,等.云存储中的数据冗余策略研究[J].无线电工程,2013,43(9):1-3,32.

[5]于文洋,杨崇俊,乐小虬,等.三维复杂场景管理研究[J].计算机工程与应用,2006(13):38-40.

[6],王爱红,杜志范.云存储环境下数据库系统的构建[J].信息技术员应用研究,2012(2):14-15.

作者：员建厦 单位：中国电子科技集团公司第五十四研究所