首页 > 范文大全 > 正文

浅议数据整合与时点更新的衔接管理

开篇:润墨网以专业的文秘视角,为您筛选了一篇浅议数据整合与时点更新的衔接管理范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

【摘要】与生产和管理系统衔接的数据是与院日常生产紧密结合的实时更新的数据。在新的生产和管理系统未正式上线前,数据规整建库与院日常更新是同步进行的,要保证数据规整建库工作顺利开展,按时完成上报,同时又能与新的生产和管理系统无缝衔接。本文重点阐述了城镇地籍数据整合过程中数据衔接方案及项目管理过程,及项目实施过程中的质量保障和安全保密措施。

【关键词】数据衔接;时点更新;质量保障;安全保密;

中图分类号:O213文献标识码: A

1、引言

乌鲁木齐市城镇地籍数据库不但要满足国土资源部、自治区国土资源厅对第二次城镇土地调查成果数据库的要求,更重要的还需要满足乌鲁木齐市国土资源“批、供、用、补、查、权”各业务管理的应用、内外一体化更新工作的需要、日常办公管理的工作需要、社会共享服务等需要。上报数据是某一时点静态的现状数据,生产和管理系统衔接的数据则是与日常生产紧密结合的实时更新的数据。在新的生产和管理系统未正式上线前,数据规整建库与院日常更新是同步进行的,本次数据整合项目必须保证数据规整建库工作的顺利开展,按时完成上报,同时又能与新的生产和管理系统无缝衔接。因此,数据整合项目经过需求目标相结合、梳理、分析,制定了时点数据提取和更新方案,并且为保障项目的顺利实施,特制定了质量保障和安全保密措施。

2、数据整合衔接方案

数据整合项目实施必须指定数据整合的时点,已有数据整合应与整合期间更新数据的整合分步实施,才能保证项目顺利实施。因此,本项目实施过程中采用阶段性整合、阶段性时点更新实现整合数据与日常更新数据的衔接,以此确保日常测绘从旧生产平台切换至GIS新生产平台时,上线的所有数据均为最新时点的整合后成果。如图1所示:

图1 数据衔接方案图

2.1、阶段性整合模式

数据整合与日常更新无缝衔接,按照分阶段模式逐步过渡:

第一阶段:沿用原生产模式进行日常更新采集

是指新的生产模式试运行上线以及初始时点数据整合完成前。即2011年8月31日前。

第二阶段:原生产模式与新的生产模式并行

是指新的生产模式试运行上线及初始时点数据整合完成后,且日常更新完全切换到新的生产模式前,即2011年9月1日至2011年10月31日。

第三阶段:完全用新的生产模式进行日常更新采集

是指日常更新完全切换到新的生产模式后,即2011年10月31日以后。

2.2、阶段性时点更新

初始时点到统一时点成果的形成并不是一步到位的,时点更新的周期主要取决于新的生产管理平台上线的时间。实现数据无缝衔接需要确定以下几个过渡时间点,此次数据整合需要确定两个时点:一个是数据整合初始时点,另一个统一时点。

(1)初始时点成果整合

初始时点是指数据整合工作开始时间,该时点的数据是整合工作开始前的现状数据。本项目获取的第一批数据时间是2011年7月5日,因此,可作为初始时点。

(2)初始时点成果整合完成后的时点过渡

初始时点成果完成后仍需一段时间的过渡,方能将所有采用旧的生产模式形成的更新数据全部整合完成。更新周期逐步由15日缩减至7日直至最后一个采用旧生产模式形成的更新数据完成整合。

(3)数据整合的统一时点更新

统一时点是指数据整合工作结束时间,该时点的数据是日常生产完全切换到新的生产管理模式下的时间,即原生产模式下产生的数据全部完成整合的时间,定为2011年10月31日。该时间每延后一天,采用旧生产模式形成的更新数据随之增多,也意味着过渡时间的延长。因此,数据整合与日常更新能否尽快衔接,需要数据整合建库工程与生产管理平台改造升级工作紧密配合才能完成。

图2 数据整合总体工作流程图

2.3、时点更新数据的提取

整合项目中更新数据的提取通过软件自动实现,由用户主动触发,根据旧生产管理系统中记录的相关信息提取更新的地籍图号列表,然后从存储地籍图的服务器文件目录中拷贝相应的地籍图数据。

提取旧生产模式形成的更新数据所需的关键信息来源信息为地籍图的:调图时间、完成时间、地籍图号。关键信息存储在院OA系统中的图幅信息表中,如下表。

字段名 字段中文描述 类型 是否为空 默认值 主键 外键 备注

MAPAREAID 片区ID号 VARCHAR2(50) 否 是 是

MAPNUMBER 图幅号 VARCHAR2(50) 否

MAPSTATUS 片区图幅状态 NUMBER(10) 否 0 0为正常,1为调图

2为质检,3为入库

REQUESTTIME 申请时间 DATE 否 sysdate 片区生成时间

ACCEPTTIME 批准时间 DATE 否 sysdate 图幅下载时间

SUMTIME NUMBER(10) 是

MAPTYPE 图幅类型 NUMBER(10) 否 0 0正式,1相邻,2草图

ISBORROW NUMBER 否 0 0为正常,1为被借图,2为例外放行

SENDTIME 提交数据质检时间 DATE 否 sysdate

DATAINTIME 片区入库时间 DATE 否 sysdate

表1 片区图幅信息表

提取更新数据的规则,根据用户指定的时间范围,提取MAPLIST表中DATAINTIME值在指定时间范围,MAPSTATUS=3,MAPTYPE=0的MAPNUMBER值,形成列表。然后根据列表中MAPNUMBER从数据文件存储位置拷贝文件名=MAPNUMBER的文件到客户指定的位置,并自动创建数据目录。

2.4、双系统并行的数据衔接问题处理

数据整合与日常更新时,初始建库数据入录城镇地籍数据库管理系统,会存在Walk土地测绘生产管理系统和SCS外业采集系统并行的情况。针对此情况,作业室可能遇到如下三种情况:

(1)项目范围数据在初始建库的数据库中为最新,作业员就需要在walk平台下进行项目的生产。

(2)项目范围的数据在初始建库时点之后,并且数据还未更新到数据库中,作业员还在采用SCS软件进行项目生产。

(3)项目范围跨了两个生产平台,即范围覆盖到初始数据库,也覆盖了旧的生产平台数据。如出现这种情况,作业室如发现此情况,需要立刻告知项目组,项目组尽量在不耽误生产的情况下,优先进行改覆盖范围的数据,把CAD数据录入到数据库中,最终要求作业员采用walk软件进行项目作业,并在把该信息反馈到数据室,把OA的CAD数据从服务器中撤下来。

3、质量保障及安全保密措施

4.1、质量控制

4.1.1、质量控制工作原则

整个数据整合项目按照统一、规范的作业标准作业;坚持质量控制贯穿作业全过程,同时做好相应的记录工作,以便质量跟踪检查;明确质量检查指标,责任落实到人;遵守严格的质量检查制度和建立健全的检查组织,严格遵守作业员自检、作业员互检、项目负责人专检和质量检查组内部预验的“三检一验”制度。

4.1.2、质量检查工作方法

质量检查方法包括全检、抽检两种主要类型,采用自动检查和人工检查相结合的方法。针对不同类型的数据有不同的检查方法。

矢量数据检查方法:本项目中矢量数据采用自动检查和人工检查相结合的方法。根据检查规范配置质检模板,使用统一质检平台对数据进行自动检查。

影像数据检查方法:本项目中影像数据主要采用人工检查的方式,使用ArcMap或ArcCatalog软件浏览检查空间参考、波段、位数、显示等是否符合要求。

4.2、安全保密措施

本项目严格按照相关法律法规及管理文件的要求,加强管理、合法使用,并对保密资料进行有效管理,做好安全保密工作,主要措施如下:

设立专门的资料保管组,负责原始数据、资料及最终成果的保管及备份工作。这部分数据的使用、更新及销毁等工作过程详细记录。项目启动时,由专人获取数据,并做初步筛查后交由资料保管组保管并登记。

数据管理过程中,原始资料由各作业组负责人到资料室提取,数据放入权限目录,供作业人员使用。作业完成并通过质检组检查无误后将成果数据提交资料保管组保管并登记。

项目完成后,项目成果经院方确认并通过验收后,由资料保管组对原始数据、最终成果及作业员过程数据进行销毁。工作用机设置访问密码,离开工作场地时关闭电脑及电源。网络管理人员负责保证作业设备之间数据的流动只能在局域网内部互相进行,同时封闭无关设备的USB接口,避免作业人员与外界交换数据。

4、结束语

乌鲁木齐市城镇地籍调查数据规整建库成果已正式入库,并顺利投入到日常测绘更新工作中使用。经过了数据整合、时点数据顺利衔接更新以及严格的数据质量检查和保密措施控制,数据成果更加规范,能够满足乌鲁木齐市国土资源各项管理和其他政府部门对基础数据的应用需求。本项目数据成果形成的基础图形数据可通过直接数据访问、定制化地图服务等多种方式与业务审批系统进行挂接,为业务审批提供可靠的依据,且这些经过规范化处理的成果能够很好的支撑各种关联查询和分析统计需求,提高审批效率。同时这些项目成果数据是地理空间框架建设的数据源,为“数字乌鲁木齐地理空间框架建设”提供了可靠的数据基础。

参考文献

[1]【乌鲁木齐市城镇地籍调查数据规整建库】实施方案[内部资料].

[2] [乌鲁木齐市国土资源空间信息管理与服务平台]总体方案[内部资料].

[3]张春强,杨从华.地籍GIS基础数据质量控制与检查方法[J].现代测绘,2010,30(1):45-46.