通用数据处理平台的研究与设计

开篇：润墨网以专业的文秘视角，为您筛选了一篇通用数据处理平台的研究与设计范文，如需获取更多写作素材，在线客服老师一对一协助。欢迎您的阅读与分享！

摘要：本文通过对各类关系数据库软件的分析总结，以研发通用统计数据处理平台为例，已在灵活性、效率、离线、带宽占用、负荷均衡等方面取得突破，用该平台定义的表，行与列可以对换，行或列可以随意增减、组合，表内和表间审核关系、计算等可以分级定义，且对硬件要求不高，能集数据采集、处理、存储、查询和分析集为一体，做到运行稳定、高效，客户端程序安装后可自动升级，适用于大多数行业。

关键词：通用 数据平台 研发

中图分类号：TP873 文献标识码：A 文章编号：1007-9416（2012）09-0144-02

1、引言

自接触以数据库为后台的数据处理软件以来，见证、经历并使用了统计上所有的专业程序、普查程序，通过对金碟、新中大、清华同方等ERP软件和各类库存软件、数据采集软件的分析和使用，明白了统计系统使用的数据处理软件最具代表性，也最复杂。几年前集中精力潜心研究并编写通用数据平台，现将自己的研发经历，分别从系统架构、数据库定位、语言选择，以及在灵活性、效率、离线、带宽占用、负荷均衡等取得突破的几个方面一一概述，为研发通用数据处理平台提供参考。

2、研发的背景

多年来对全部统计软件及相关行业软件进行了认真的分析和研究，我的感受是：统计系统所需要的软件比其他行业（部门）要复杂得多，不但表种变化频繁，表的行或列也经常增减，不但表中行列之间有逻辑关系、审核关系，也有计算公式，还有限定格式。表间也同样有这些关系和要求。不同行政级别的审核关系不尽相同，当有的数据大于零时则另一个数据必须大于零或小于某个数值，或者有的数据必须为空。极值的限定差别也很大。有的数据需要逐级汇总，是1+1=2的关系。有的数据又不是1+1=2的关系；数据的录入、汇总、查看不仅有级别限制，还有行政区域限制，情况极为复杂。市场上针对固定表式开发的软件水平已经很高，技术也相当成熟，但涉足统计行业的网络软件，成熟的不多，而且灵活程度不够，或者说只适应当前工作需要，不适合统计改革和发展的要求。

3、统计报表的特点

指标众多、变化频繁、标准没有完全统一；表内表间关系复杂、表样变化快；处理流程各不相同；结果因人而易，需求各有特点；数据量大，时效性强。

4、研发的意义

统计数据工作平台建设是我国统计事业的“四大工程”之一，它对于提高统计工作效率，降低运行成本，指导宏观经济调控，规范市场秩序，规划城乡建设，促进国民经济和社会的持续发展，具有十分重要的战略意义。

5、实现目标

能满足各专业的需求，指标可以任意调整、变化，报表行列可以随意增减、组合，表内和表间审核关系可以根据需要变化，能够适用统计行业发展要求，能完成国家的全面调查、抽样调查、典型调查和临时性调查，适用于定期和不定期报表、一次性和临时性报表，对硬件要求不高，有严格的权限限制，集数据采集、处理、存储、查询、分析于一体，终端简洁，可以自动升级、离线工作，稳定、高效、安全、可靠的全功能软件。

6、设计的基本原则

系统的权限、指标、字典、中间指标、计算结果、计算公式、汇总公式、审核公式、表间关系、审核关系、报表打印等关系式均不在程序中编写，全部设计在系统之外，用数据表保存，通过程序调用，以适应统计工作改革发展的需要。

7、数据平台的整体设计

7.1 系统架构

统计数据工作平台应该采用多层混合结构，报表的定义通过CS在终端完成，公式的定义通过多层架构在终端完成；后台数据库采用SQL Server2005，服务端承担数据的存储、报表格式的转换、公式的分发；前台采用C Sharp（C#）在微软.net Framework 2.0框架基础上开发，通过中间层访问后台数据库，前台程序与后台程序自动握手，当后台更新程序、制度和公式等内容时自动下载，并提示安装，没有新内容时调用本地资源，实现离线工作；前台程序完成数据的录入、计算、处理、审核及汇总，以分摊服务器的工作压力，编辑数据时只传输更新部分内容，以减少网络流量。

7.2 系统灵活性设计

（1）各报表的每个单元格在后台数据库即是一条记录，以报告期、行政区划及表号等关键标志存储到后台数据库，且唯一，于是数据在前台展示的位置可以灵活变动；（2）在数据处理时，通过存储过程将后立的数据记录还原成前台的二维关系表，交给前台处理，以提高效率，处理完成后再删除临时二维表，单元格数据还原成唯一记录。（3）上级定义的报表、公式下级必须无条件使用，各级可以对上级报表指标、公式进行增加补充，但增加补充的指标和公式只适用本级及下级。（4）计算公式和审核公式和表关联。指标的唯一码和表中的相对位置（位置代码）是公式的关联标志，所以指标在表中的展示顺序也就可以灵活处理了。（5）图形展示功能。借助EXCEL插件，所见数据和EXCEL的图表功能完全一致。

7.3 客户端设计

客户端程序在打开报表时与服务端握手，判断服务端程序、报表、公式有无新内容，如果有则从服务器下载相应的内容，并提示安装，并将新的报表格式和公式存储在客户端本地，否则使用本地程序和关系式，报表数据的编辑也会作同样的判断，只传输更新部分，处理完成后与服务器自动握手，如果握手成功则提交数据，否则暂存客户端本地，等自动握手成功再上传，以减少网络流量，实现离线工作。

7.4 系统管理

系统管理包括本系统的基本代码和字典库、用户角色的定义、权限管理、数据备份与恢复、操作日志、部门设置、数据转换和数据传输、系统基本运行参数设置、系统运行状态监测等管理功能。系统管理是本系统建立的基础，也是保证系统正常运行的重要环节。

7.5 报表设计与管理

统计报表设计与管理是指根据统计报表制度中的说明、调查表式、附录（包括指标解释及填写说明）完成统计报表样式的建立。包括建立统计报表的基本信息库、设置统计报表的样式、定义统计报表的指标库、定义报表的平衡关系、定义报表的汇总计算公式、定义报表的数据转换公式等。

7.6 报表数据采集

报表数据采集子系统完成对基层数据的采集与处理，主要的功能包括数据录入、审核、打印、查询等功能，同时还提供一定的帮助功能，对本统计表包含的指标解释。

7.7 报表的数据处理和监督管理

数据处理、监督子系统包括对报表数据录入的情况查询，报表数据的审核和报表数据的汇总，同时还有对报表的打印硬拷贝，数据的备份，和数据的转移功能。能对下级同级或下级通报信息。

7.8 其他功能

（1）支持边录边审、跳转、自动摘数等多种录入功能，真正实现“所见即所得”。（2）提供网上和本地两种审核方式。（3）可以跨表跨专业，从多个数据源提取数据参与运算。（4）提供可视化、通用性极强的数据查询页面，实现跨报表、跨专业数据的任意查询。（5）通过专业管理员分配用户、报表权限，设置数据共享，实现不同层次用户的报表及数据管理。（6）提供多种数据备份、恢复及导入、导出机制。（7）提供与在线功能一致的离线程序，在网络不通的情况下可离线填报数据，再导入在线系统。（8）可以查看各报表的填报人、填报时间、审核人、审核时间、上报人、上报时间、验收人、验收时间。（9）可以将一系列具有相同操作属性的用户分配到同一用户组，实现更复杂的权限分配；可对报表进行分组，让组里面的成员都可拥有对报表相应的操作权限。（10）支持传统的层层上报、分级处理的模式；支持条块结合的处理模式。

8、结语

统计数据工作平台主要解决统计数据的采集、传递、处理、存储、查询、分析和等问题，建立统计信息收集和数据处理快速反应机制和平台，由传统的采集方式向网络化过渡。各类ERP软件都和统计数据处理平台相似，仅仅是统计数据处理平台中的一部分，只是统计软件要求灵活多变，可以自由定义，比其他软件更复杂、功能更全面。

参考文献

[1]第五次、六次全国人口普查数据处理系统.

[2]第一次、二次全国经济普查数据处理系统.

[3]第二次全国农业普查数据处理系统.

[4]久其软件、SARP、畜禽监测程序.

[5]新中大ERP系统、金碟ERP K3系统、速达V3企业管理平台.