GB/T34079.3-2017
基于云计算的电子政务公共平台服务规范第3部分：数据管理
Servicespecificationofelectronicgovernmentcommonplatformbasedoncloudcomputing—Part3：Datamanagement
- 中国标准分类号（CCS）M67
- 国际标准分类号（ICS）35.240.01
- 实施日期2017-11-01
- 文件格式PDF
- 文本页数16页
- 文件大小1.26M
以图片形式预览基于云计算的电子政务公共平台服务规范第3部分：数据管理
基于云计算的电子政务公共平台服务规范第3部分：数据管理
国家标准 GB/34079.3一2017 基于云计算的电子政务公共平台服务规范 第3部分数据管理 Seryieespeeifieationofeleetronicgovermmenteommonplatformbasedon doudcomputimg一Part3:Datamanagement 2017-07-31发布 2017-11-01实施 国家质量监督检验检疫总局 发布 国家标准化管理委员会国家标准
GB;/T34079.3一2017 目 次 前言 引言 范围 规范性引用文件 术语,定义和缩略语 3 XMPP可扩展通信和表示协议数据管理技术基本组成 5 数据采集技术 5.1采集对象技术要求 5.2采集监控技术要求 5.3采集传输技术要求 5.4采集统计技术要求 数据存储技术 6.1存储调度技术要求 6.2存储监控技术要求 6.3存储管理技术要求 6.4存储备份技术要求 数据集成技术 7.1数据抽取服务技术要求 7.2数据转换服务技术要求 7.3数据加载服务技术要求 7.！ETL开发配置服务技术要求 7.5ETL监控管理服务技术要求 数据处理技术 8.1数据分析服务技术要求 8.2数据展现服务技术要求 数据服务技术 9.1数据服务发布管理技术要求 9.2数据服务访问管理技术要求 9.3数据服务变更管理技术要求 9.4数据服务监控管理技术要求 l0数据管理目录技术 0.1数据管理目录技术要求 10.2数据管理元数据采集技术要求 0.3数据管理元数据存储技术要求 0.4数据管理元数据查询技术要求
GB/T34079.3一2017 0.5数据管理元数据变更控制技术要求 1 数据交换共享技术 1.1数据交换共享技术要求 0 1.2数据交换共享监控技术要求 12数据质量管理技术 2.1数据质量指标管理技术要求 11 2.2数据质量规则管理技术要求 12.3数据质量检测技术要求 12.4数据质量评估技术要求
GB;/T34079.3一2017 前 言 GB/T34079《基于云计算的电子政务公共平台服务规范》预计分为以下5个部分: 第1部分:应用分类; -第2部分:;应用部署和数据迁移; 第3部分:数据管理; 第4部分;应用服务; 第5部分:移动服务
本部分为GB/T34079的第3部分
本部分按照GB/T1.1一2009给出的规则起草
请注意本文件的某些内容可能涉及专利
本文件的发布机构不承担识别这些专利的责任
本部分由工业和信息化部提出
本部分由工业和信息化部通信)归口 本部分起草单位;北京中海纪元数字技术发展股份有限公司,北京东方通科技股份有限公司、湖南 科创信息技术股份有限公司南京菜斯信息技术股份有限公司深圳市华傲数据技术有限公司、福建省 空间信息工程研究中心、东软集团股份有限公司、信息通信研究院天津神舟通用数据技术有限 公司
本部分主要起草人;范小平、徐宝新,魏冰、肖国荣、赵刚、刘辉、贾一超,刘瑞虹、马亚中,冯晓帆 肖桂荣、马旭慧、关键、陈镜宇、聂秀英、吴嵩
GB/T34079.3一2017 引 言 电子政务发展正处于转变发展方式、深化应用和突出成效的关键转型期
政府职能转变和服务型 政府建设对电子政务发展提出了更新更高要求
以云计算为代表的新兴信息技术、产业、应用不断涌 现,深刻改变了电子政务发展的技术环境及条件
构建基于云计算的电子政务公共平台既可充分利用 已有资源,又可充分发挥新兴信息技术的潜能,加快电子政务发展创新,提高应用支撑服务能力,增强安 全保障能力,减少重复建设,避免各自为政和信息孤岛
围绕基于云计算的电子政务公共平台对数据的采集、存储、集成、处理和服务等环节全过程数据管 理的需求,本部分在充分考虑电子政务公共平台数据管理核心要素的基础上,制定了数据管理中的采集 技术,存储技术,集成技术、处理技术,服务技术和数据管理支撑技术等全过程的数据管理技术体系,为 电子政务公共平台的服务提供机构、服务使用机构、服务评估机构及平台管理机构提供标准规范,为推 动政务数据在电子政务公共平台上的统一管理和规范服务提供参考,为电子政务应用中的数据完整性 可靠性和可用性提供保障
本部分的制定结合了云计算、大数据的管理技术特征,并兼顾、引导传统数据管理技术逐步演进为 基于云计算的数据管理技术,为政务数据的高效利用提供有力的支撑
IN
GB;/T34079.3一2017 基于云计算的电子政务公共平台服务规范 第3部分:数据管理 范围 GB/T34079的本部分规定了基于云计算的电子政务公共平台上和受电子政务公共平台管理的所 有政务数据的采集技术,存储技术、集成技术,处理技术和服务技术等五个环节的技术要求,以及数据管 理目录技术、数据交换共享技术和数据质量管理技术等三个通用支撑技术的要求
本部分适用于基于云计算的电子政务公共平台的数据管理技术要求
注，除非特殊说明,以下各章中"电子政务公共平台"均指"基于云计算的电子政务公共平台” 规范性引用文件 下列文件对于本文件的应用是必不可少的
凡是注日期的引用文件,仅注日期的版本适用于本文 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件
件
GB/T34078.1-2017基于云计算的电子政务公共平台总体规范第1部分;术语和定义 术语、,定义和缩略语 3.1术语和定义 GB/T34078.12017界定的以及下列术语和定义均适用于本文件
3.1.1 数据采集技术dataacquisitionm 依照电子政务公共平台服务使用机构的需求,从电子政务公共平台有效的数据源中获取和收集各 种形态数据的相关管理技术,包括数据源的发现与定位、数据采集与提取等相关技术
3.1.2 数据集成技术dataintegration 把不同来源、不同格式将不同技术实现的数据,进行数据比对、数据清洗和数据整合等工作,在逻辑 上或物理上形成更为完整的数据集合所需的相关技术
3.1.3 数据处理技术dataprocessing 为满足电子政务应用需求而提供的多种形式的技术手段,包括电子政务中常用的数据分析服务和 数据展现服务等相关技术
3.1.4 数据服务技术dataservice 将电子政务公共平台中的数据及其相关处理功能发布为服务的相关技术,包括服务发布、服务访 问、服务变更、服务监控等
3.1.5 数据质量管理技术dataqualitymanagement 通过对数据质量指标,要素、规则等功能与性能的约定,规范电子政务公共平台的技术方法,为持续
GB/T34079.3一2017 不断提升数据服务质量提供保障
3.1.6 元数据 etadata 关于数据的数据 注电子政务公共平台中的元数据主要有技术元数据和业务元数据,以计算机系统处理为主要形式
技术元数据 是指从IT技术实现角度描述数据的技术概念、关系和规则的数据,主要包括对数据结构、数据处理方面的特 征描述
业务元数据是指从用户业务角度描述数据的概念,关系和规则的数据,它提供了介于使用者和实际 系统之间的语义层,使得业务使用人员不需要了解技术实现原理,也能够明白综合分析系统中的数据脉络和 数据定义
3.1.7 自描述self-explanatory 数据源能自动提供所属单位、数据内容、数据关联、数据类型、更新频率、访问方式等属性的功能,并 以服务形式提供给电子政务公共平台发现,定位及为服务使用机构所使用
3.1.8 服务化service-oriented 通过特定技术手段将软件系统的功能单元转变为服务的过程
如将应用系统的接口转换为web 服务或RESTfulweb服务等形式,以便为第三方基于服务方式进行访问
3.2缩略语 下列缩略语适用于本文件
数据的提取、转换和加载(ExtractTransformLoad) EmL FTP 文件传输协议(FieTransferPooeob) Gs 地理信息系统(GeographicInformationSystem) HTIP 超文本传输协议(HypertextTransferProtoeol HTTPs超文本安全传输协议(HypertextTrnsferProtocoloverSeureSocketLayer Pv6 互联网协议版本6(InternetProtocolVersion6) 信息技术(InformationTedhnology) 消息服务(JavaMess4geServicee) JsON 轻量级的数据交换格式(JavaSeriptObjectNotation) Pw 拍字节,千万亿字节Petabyte) NosQL 非关系型的数据库(NotOnlysQL REST sentationalStateTransfer) -组架构约束条件和原则Repres REsT满足REsT原则的应用程序或设计 结构化查询语言(StrueturedQueryLanguage) 计算机存储容量单位(TrilionlByte ransmissionControlProtocol 传输控制协议(Tre xML 可扩展标记语言(eXtensibleMarkuplanguage) resenceProtocol XMPP 可扩展通信和表示协议(eXtensibleMesgingandP XMPP可扩展通信和表示协议数据管理技术基本组成 本部分规定了电子政务公共平台数据管理技术涉及的核心要素及数据全过程管理技术体系,通过 规范数据管理核心要素,制定了数据管理中的数据采集技术,数据存储技术、数据集成技术、数据处理技
GB;/T34079.3一2017 术和数据服务技术等五个过程环节的技术以及数据管理目录技术、数据交换共享技术和数据质量管理 技术等三个通用支撑技术的要求 数据采集技术 5.1采集对象技术要求 本项要求包括: 采集对象是指能提供自描述功能的有效数据源， a 采集对象应支持服务化;宜支持XML,JsON等数据格式;web服务应支持ws-Security安全 b 相关规范 应提供采集对象的组织管理功能
可按服务使用机构的组织机构,业务应用等不同方式进行 分类管理;也可依据不同对象数据的重要性及敏感程度划分不同的级别,实行分级管理， 应提供对采集对象的查询/检索功能; d 应提供采集对象全生命周期管理功能,包括采集对象的注册、,发布、使用授权、变更、注销; e 应支持结构化数据、非结构化数据、半结构化数据和GIS数据等形态; 数据采集对象管理框架应具备扩展能力,以便适应多种采集接人和信息存取方式适配 g h 应提供异构数据源的接人与适配能力,可实现数据格式的转换; 应支持对采集对象的采集频度、数量、类型等进行管理
5.2采集监控技术要求 本项要求包括 应提供采集网络运行状态监控,即采集对象网络通断情况监控; a b 应提供采集对象监控,包括采集对象运行状态、负载情况监控 应能提供采集任务执行情况监控,能实时了解任务执行时间、采集数据量、采集数据大小、空间 使用情况和内存使用情况 d 应监控采集任务队列情况 应能提供异常情况预警,包括采集任务执行失败,采集节点状态异常、网络情况异常等,对采集 异常情况可以进行采集任务追溯; 应提供服务使用机构可定制的监控预警能力,异常时可提供多种预警方式,如电子邮件、短信、 即时通信、智能终端APP等 应支持高级别权限的服务使用机构手动控制采集任务的执行过程 g h)监控数据采集不影响采集任务正常执行,应可以灵活定义监控数据采集策略,包括采集对象、 采集时间段和采集频率等; 应对敞级别数据采维豺象提供告警响应和自拉采集功能 5.3采集传输技术要求 本项要求包括 应支持电子政务公共平台上不同节点之间的可靠传输; aa b 应支持HTTP/HTTPS/JMs、F:TP,XMPP等多种传输通信协议;应提供IPv6协议的支持 能力; 宜支持单点对单点,单点对多点传输实现方式; c d 应支持基于消息和文件的传输方式
消息传输应支持异步和同步消息传输机制,应支持低延 时(实时/准实时高并发的消息传输能力;应支持大规模文件传输和数据压缩,解压机制;
GB/T34079.3一2017 应提供可靠的数据传输机制,如断点续传和加密等机制,确保传输数据不丢失、不泄露,保障数 据传输前后的一致性; f 宜提供实时传输数据的复杂事件处理能力,支持基于时间序列的流式数据的处理,支持对内存 中动态数据的计算分析,可进行数据的聚合、分组、关联、计算、模式识别等功能,以便实时跟踪 和分析采集数据流中的事件信息,及时通知相关应用系统进行后继处理
5.4采集统计技术要求 采集统计管理通过对采集过程和结果的统计,让服务使用机构了解采集的具体情况
采集统计技 术包括如下要求 应提供采集任务运行情况报表 a b) 应提供采集任务资源使用情况统计报表; 宜提供采集数据多维度分类统计报表 c d 应提供采集任务异常事件情况 应提供手动统计、按方案自动统计功能; 应输出不同格式的报表; 应提供各种图表展现形式; 8 h 应支持动态定义统计指标; 报表统计应不影响采集任务运行; i) 宜支持自定制的统计周期,包括日报、周报、月报、年报、实时报等
数据存储技术 6.1存储调度技术要求 本项要求包括 应支持存储调度,根据服务使用机构需要有计划的对存储节点的迁移、扩容、复制更改、删除 a 等操作进行规划和自动执行 应提供智能化的存储资源调度管理策略,并能将这些基础资源合理,按需提供给服务使用机构 b 使用 应提供满足不同任务需求的存储服务动态调度机制; d 应通过相应的权限和排队机制进行服务的调度处理,以平衡各类应用压力,优化资源的应用 应提供让服务使用机构可以按任意的时间间隔(年、月、日、时、分、秒等)自动调度; e f 应支持副本调度策略
6.2存储监控技术要求 本项要求包括: 应可灵活配置数据监控内容及监控策略; a b 应提供存储状态监控; 应提供监控、,追踪和关联分布式文件系统的各部件运行过程中所执行的特定操作,应支持分布 式文件系统的运行时行为,支持直观了解和分析系统当前运行状况和执行过程,快速有效地定 位问题根源和系统设计中的问题; 能够对运行在分布式计算框架中的作业任务进行监控; d 应提供对分布式文件系统监控,监控信息应包括节点信息、文件/数据块信息及其历史操作和 排名等信息;
GB;/T34079.3一2017 fD 应提供对网络带宽和硬盘占用情况等物理资源性能指标的监控; g 数据存储监控应该能以服务方式提供
6.3存储管理技术要求 本项要求包括: 应满足电子政务公共平台不同类型的服务使用机构需求,要求能为不同服务使用机构提供不 a 同级别的数据存放策略
应提供文件存储分级功能,如单机级、跨服务器级、跨机柜级以及跨 数据中心级; 应为单个服务使用机构提供独立逻辑数据存储空间;为保证各服务使用机构之间的数据不可 b 见性,应在多服务使用机构之间采用数据隔离机制; 应提供多种数据模型融合的功能,融合模型与模型复杂度无关 c 应提供自动分层和精简配置等提高存储效率的工具， d e 应提供数据导人/导出和数据迁移等功能
6.4存储备份技术要求 本项要求包括: 应支持实例运行的容错机制
支持多实例并行运行,任一实例宕机不会影响应用可用性,系统 a 自动完成运行实例与数据的恢复; 应支持集中控制的数据备份,应对不同数据实例制定具体的数据备份策略 b 应支持系统提供错误监控机制,对于故障采取自动迁移,采用多份冗余备份来确保数据的安全 性,系统达到高可用性; 应支持镜像备份; d 应支持灾难恢复和裸机恢复 e f 应支持备份负载与应用程序分离 应支持源端重复数据消重; g h) 应支持备份数据压缩存储 应支持异地备份 数据集成技术 7.1数据抽取服务技术要求 本项要求包括: 应支持结构、半结构和非结构等不同类型的数据源的数据抽取,应支持主流安全可控的数据库 a 系统和数据仓库系统 支持全量抽取,增量抽取、基于日志的抽取等抽取模式,可支持地理空间信息数据抽取 b 应具备扩展能力,可以支持NosQL等非关系数据库 c 数据抽取数据格式及抽取流程支持服务使用机构自定义配置
d 7.2数据转换服务技术要求 本项要求包括 提供数据校验功能,如空值检测、长度检查、数值范围检查,正则表达式校验等 aa b 提供数据表转换功能,如字段值替换、值映射、列转行、行转列、记录合并、记录排序、去除重复 记录等
GB/T34079.3一2017 提供数据运算处理功能,如求和、最大值、最小值、平均值等 c d) 提供基于代码映射的自动转换功能 可支持数据的计算、清洗、比对的服务,排除错误、重复、不完整的数据
e 7.3数据加载服务技术要求 本项要求包括 对可支持常见关系型数据库、数据仓库的数据加载,必须支持主流安全可控的数据库系统; a b) 应具备扩展能力,可以支持诸如NosQL的非关系型数据库的加载， 7.4ETL开发配置服务技术要求 本项要求包括 a 应提供可视化图形操作界面; b)提供大量的ETL流程可视化组件,如序列组件、常量组件、随机数组件、资源校验组件、系统信 息组件、延迟组件,测试组件、计算器组件等,可通过拖拽方式来组装成ETL流程 ETL可视化组件应具有扩展能力
7.5ETL监控管理服务技术要求 本项要求包括 提供监控管理功能
能够对数据处理状态进行实时监控,包括组件处理的记录数和异常数,并 a 且可以评估单个组件处理数据的性能指标和整个处理流程的性能指标; 具有完整的日志管理功能,提供对监测数据的查询功能
服务使用机构可通过多个角度(创建 b 时间、作业类型、运行时间等)查看监测结果的详细信息 具有监控预警机制
预警内容、警戒值可由服务使用机构配置,预警方式可支持邮件预警 c d 提供多种调度机制和异常恢复机制,支持自动和手动恢复,支持从异常点处继续开始流程,以 保证数据的完整性
8 数据处理技术 8.1数据分析服务技术要求 本项要求包括 应支持海量数据挖掘,满足政府部门TB,PB级数据分析需要; a 应支持基于分布式并行处理技术的大数据存储、计算框架,灵活处理分布式挖掘分析应用 b 应支持内存计算,利用更大的内存资源,实现实时分析 c 应支持列存储技术,提供高效的数据检索性能和更小的磁盘存储消耗; d 应支持库内计算技术,充分利用数据库自身的计算优势计算分析数据 应支持数据分析所需要的算法库,提供关联分析、聚类分析、分类分析、异常分析、特异群组分 析和演变分析等多种数据挖掘算法,适于解决不同类型的问题; 数据分析结果应满足多种形式的输出,分析结果可导出数据,生成多种格式的报表.可通过门 户发布到web页面、可与现有应用系统无缝集成等; h 数据分析算法应具有良好的可扩展性,通过二次开发接口,可快速集成电子政务数据分析所需 要的其他类型或专业算法模型; 应提供电子政务所特有的基础数据分析服务
GB;/T34079.3一2017 8.2数据展现服务技术要求 本项要求包括: 应提供统一的数据服务门户
a b 应提供数据展现模板功能,模板要求能具备继承和整合的能力
应提供界面展现服务和展现数据接口服务两种形式 c 1)界面展现服务应具备较好的兼容性,能兼容不同的展现工具和数据格式; 展现数据接口服务应具有高效性,保证高效的数据输出,应能输出包括XML,Json在内 的多种数据类型
应具备与服务使用机构的交互能力,包括交互变形交互移动等
d e 应能通过缓冲、内存计算、压缩传输等手段保证展现具有友好的响应速度和服务使用机构 体验
应支持结构数据(包括多维分析数据,半结构数据、非结构数据,GIS数据等不同数据类型的 数据展现服务,具体包括: 结构数据应支持丰富的儿何图展现方式,如仪表盘、饼状图、柱状图,曲线图、曲面图、雷达 图等多种交互式图表; 半结构数据应支持不同类型的展示与解析统计能力,如常用的xls,csv,html.txt等类型 2 33 非结构数据应支持分类与数据浏览功能,如音频,视频等 ！ 支持主流安全可控GIS平台数据展现,包括GIS相关的矢量数据、栅图数据等
应支持良好的可扩展性,通过二次开发接口,可快速实现电子政务数据展现所需要的类型数据 g 和可视化技术
h)应支持以下应用展现形式 1报表展现:支持专业报表、即席报表、企业级复杂报表等多种报表形式 2 数据分析展现;支持假设分析、多维分析等高级应用 数据挖掘展现:提供分类,聚类、预测分析、神经网络、关联规则等多种算法组件和相关可 3 视化展示图表
数据服务技术 g.1数据服务发布管理技术要求 本项要求包括: 应提供基于服务的访问方式，支持多种方式的接口封装形式，如采用web服务或 RESTfulweb服务形式; 应提供多服务使用机构的访问机制,不同服务使用机构可以租用到相互隔离的数据服务 b 实例; 应提供数据服务的编目功能,形成数据服务目录
9.2数据服务访问管理技术要求 本项要求包括 应提供数据服务访问的身份鉴别功能,支持电子政务CA证书和服务使用机构密码二种验证 a 方式,验证结果可以返回身份信息或令牌(Token)信息; b 应提供数据服务访问的权限控制功能,可根据服务使用机构身份,部门、角色等多种手段,分配 数据服务的访问权限;
GB/T34079.3一2017 数据服务的访问权限应包括可发现权限、可使用权限和可控制管理权限三个层次: c d 应提供数据服务的使用管理功能,可接受和记录服务使用机构的服务访问申请信息,设置或修 改服务使用机构的服务访问权限
应提供数据服务使用的查询功能,可以查出某数据服务的 服务使用机构,也可查出某服务使用机构使用的数据服务
9.3数据服务变更管理技术要求 本项要求包括 应提供数据服务变更的管理功能
当服务提供机构进行升级、暂停,废弃服务等操作时,可记 a 录服务变更的原因和变更内容 应提供数据服务注册信息的版本管理功能,可以保留服务注册的不同版本,并可根据服务使用 b 机构需要,恢复到历史版本
可支持不同版本服务的并行 应提供数据服务变更通知机制,当服务变更事件发生时,调用指定的通知机制,通知服务使用 机构,如服务变更事件的发布/订阅,电子邮件通知等 g.4数据服务监控管理技术要求 本项要求包括 应监控数据服务运行的状况,可获取服务运转的关键性能指标及其事件信息,主要内容包括但 a 不限于 1) 获取服务启用状态:服务当前的启用、暂停、注销的状态 2 获取服务运行状态;已启用服务接受服务请求并做出响应的状态,如当前服务中会话请求 的并发数量,服务调用请求的接受、排队、处理、拒绝、出错等信息,某时段内服务吞吐量， 服务响应的最大时间,最小时间及平均时间等; 获取服务事件信息:调用某服务时出现的各种出错、异常、告警等事件信息
3 应提供数据服务的配置功能,可完成对服务的参数配置,启动、停止等操作,主要内容包括但不 b 限于 1 配置度量参数:配置所需捕捉的服务度量参数 配置访问策略;配置服务访问的优先级、并发量控制等策略参数 2 33 启动服务;将服务置于运行状态; ！ 停止服务;将服务置于停止状态; 5 日志管理:提供处理和记录服务的运行状态的日志; 6 事件管理;提供对捕捉事件的处理,通知、存储审计等功能
应提供数据服务的统计功能,生成数据服务访问的统计报告,包括可提供数据服务的访问次 数、访问时间分布、服务响应时间、服务调用的成功/失败比和数据服务吞吐量情况等方面的统 计结果
10 数据管理目录技术 10.1数据管理目录技术要求 本项要求包括 电子政务公共平台提供的目录服务系统应按照多用户的模式,不同服务使用机构可以申请逻 a 辑独立的目录服务; b 应提供自动目录生成功能,目录生成应支持积累式生成和增量式生成等; 应通过元数据的管理自动实现目录的生成与使用
GB;/T34079.3一2017 ) 应支持自动建立数据采集对象目录; 应支持自动建立数据存储目录; ee fD 应支持自动建立数据服务目录; 应提供目录缓存功能,快速响应服务使用机构的使用需求
8 10.2数据管理元数据采集技术要求 本项要求包括: 部署或迁移到电子政务公共平台上的政务应用系统应具有数据属性描述,支持元数据自动采 a 集的功能,便于电子政务公共平台对数据的元数据进行管理维护; b 应提供根据元数据模型或元数据自动识别和自动关联关系的功能,便于元数据的共享重用或 目标数据的自动发现; 元数据采集功能应能以服务的方式提供
0.3数据管理元数据存储技术要求 本项要求包括: 应提供元数据库,用于元数据的持久化存储及维护,元数据库应支持数据库管理系统、文件系 统等不同物理存储方式; 应提供元数据缓存,用于元数据的高效使用;应采取相关同步策略和同步过程确保元数据在缓 存同持久化存储之间的- 一致性; 元数据库应提供存取接口,以获取系统信息、版本信息、以及库中建立的不同服务使用机构的 逻辑存储空间信息; 元数据库应支持逻辑存储空间的隔离能力,以便为不同政务服务使用机构或应用系统划分不 同命名的逻辑存储空间 元数据库应支持逻辑存储空间管理,支持创建和删除逻辑存储空间,支持对多逻辑存储空间的 操作 逻辑存储空间中应支持树状结构元数据的存储,以适应电子政务应用中常见的部门结构、资源 目录的组织形式
10.4数据管理元数据查询技术要求 本项要求包括: 应提供元数据查询,元数据统计,元数据使用情况分析,元数据变更,元数据版本和生命周期变 a 化情况 应支持类sQL查询语言,以便服务使用机构或业务应用系统,采用熟悉的关系型数据库访问 b 方式,以多种方式查询元数据库的各种类型对象及属性 应支持对文本类数据类型的全文检索功能 c 应提供查询结果的对象元组集的过滤、排序等功能; d e 查询结果应至少支持对象视图和表格视图两种报告组织形式,应提供查询结果的支持查询结 果的分页组织功能; 查询功能应受到服务使用机构操作权限限制,如果会话没有对元数据库中某部分内容的操作 权限,那么这部分内容不会被查到
10.5数据管理元数据变更控制技术要求 本项要求包括:
GB;/T34079.3一2017 2数据质量管理技术 2.1数据质量指标管理技术要求 本项要求包括 应提供数据质量指标的定义、升级废除和归档等功能; a b 应提供数据质量可度量性指标,且能够在离散值域范围内量化; 应提供数据认责功能,当数据质量指标证明数据质量不能满足要求时,应通知平台服务的提供 机构,并安排执行适当的纠错任务 应提供对定义数据质量指标符合度的跟踪机制,确保数据质量持续可预测
d 2.2数据质量规则管理技术要求 本项要求包括: 应支持数据质量规则的定义、执行、结果反馈管理 a b 应支持SQL.命令、谓词逻辑、正则规则、字典规则和值域规则等形式 应支持批量导人和交互输人的质量规则形成方式 c d 应支持对规则的语法正确性进行检查和结果反馈,对不正确的规则可以进行更正编辑功能; 应支持数据特征、特征属性及特征关系存在或不存在等属性的数据完整性管理; e 应支持数据在数据结构、数据格式和属性编码正确性、拓扑关系等的数据一致性管理 g 应提供数据唯一性、数据时效性和数据异常值等检查规则管理 12.3数据质量检测技术要求 本项要求包括 应支持根据数据质量规则进行定量检测和分析的功能; a b 应支持多种分析形式,如单列分析(如列值关键特征分析、最大值、最小值、均值分析、跨列分 析(如不同列值之间的关联性分析、依赖分析,跨表分析如不同实体之间的外键关系重合值 分析); 应支持向下钻取实现对数据质量的进一步调查分析; c d 应支持数据质量规则在整个数据集的数据验证、评估频率分布和相应的度量 e 应支持数据质量分析结果形成、图形展现和检测报告; 应支持测量和监控数据项对数据质量规则的符合度评估,并根据数据的服务等级协议(sLA) 的要求,提供纠正数据错误的建议和操作手段 应支持流动式和批量式两种控制方式,实现对数据创建处理时可持续的数据质量检测和对永 g 久存储数据集中数据记录的批量检测
2.4数据质量评估技术要求 本项要求包括 应提供数据质量评估,通过对全部数据进行扫描或抽样检测,测量数据集对数据质量业务规则 a 的满足程度,使用数据质量检测工具提供检测服务,收集并形成评估检测成果 应能通过评审数据质量事件所反映的问题、跟踪错误数据的血缘关系,诊断问题的类型及其起 b 源、确定问题潜在的根源,形成处理数据质量问题的可选方案; 应能定期形成数据质量管理运行过程和执行结果的报告,并具备这些报告的发布机制
1
基于云计算的电子政务公共平台服务规范第3部分：数据管理GB/T34079.3-2017
1. 引言
云计算作为一种新兴的计算模式，具有可扩展性、高可用性、灵活性等优势，被广泛应用于各个领域。在电子政务建设中，云计算也成为了极具潜力的技术手段。
然而，由于电子政务涉及到大量的个人信息和敏感数据，因此对于数据的管理要求非常严格。为了保障电子政务公共平台的安全性和可靠性，国家标准化管理委员会发布了《基于云计算的电子政务公共平台服务规范》（以下简称《规范》），其中第3部分重点规定了公共平台数据管理的要求。
2. 数据管理原则
《规范》第3部分规定，公共平台数据管理应当遵循以下原则：
- 合法性原则：管理和使用数据必须符合法律法规和政策法规的要求。
- 公正性原则：数据管理应该客观、公正，严格遵守数据分类和保密制度。
- 安全保密原则：应该采用多种技术手段确保数据在传输和存储过程中的安全性。
- 便捷性原则：数据管理应该方便用户使用，提供多种数据查询和统计功能。
3. 具体要求
除了上述原则外，《规范》第3部分还对公共平台数据管理的具体要求进行了详细规定，主要包括以下几个方面：
- 数据存储：公共平台应该采用云存储等先进技术来实现数据的集中存储和备份，并按照国家标准对数据进行分类、备份。
- 数据访问：公共平台应该为不同用户提供不同的数据访问权限，并对访问进行记录和审计。
- 数据传输：公共平台应该采用加密传输等技术，确保数据在传输时的安全性。
- 数据备份：公共平台应该定期对数据进行备份，并采用多种备份方式来保障数据可靠性。
4. 数据管理实践
为了更好地落实数据管理要求，《规范》第3部分还提出了具体的管理措施。例如，公共平台应该建立数据管理责任制度和数据访问审核制度，开展数据备份和恢复演练等活动。
同时，公共平台也需要根据具体情况制定相应的技术方案，以确保数据的安全性和可靠性。例如，采用数据加密技术、访问控制技术等手段来防范数据泄露和攻击。
5. 结论
基于云计算的电子政务公共平台服务规范第3部分——数据管理是电子政务建设中必须重视的一个环节。通过遵循《规范》的要求，实现对公共平台数据的合理管理，可以有效提高电子政务公共平台的安全性和可靠性，更好地为人民群众和企事业单位服务。
基于云计算的电子政务公共平台服务规范第3部分：数据管理的相关资料
- 云制造术语GB/T29826-2013解析
- 信息安全技术云计算服务安全能力要求GB/T31168-2014
- GB/T31167-2014云计算服务安全指南
- GB/T31916.5-2015：基于键值的云数据管理应用接口
- 信息技术云计算概览与词汇GB/T32400-2015
- 电子政务标准化指南第5部分：支撑技术GB/T30850.5-2014
- 网络建设GB/T30850.3-2014：电子政务标准化指南第3部分
- 电子政务标准化指南第2部分：工程管理GB/T30850.2-2014
- 电子政务标准化指南第1部分：总则GB/T30850.1-2014
- 基于云计算的电子政务公共平台技术规范第2部分：功能和性能GB/T33780.2-2017
- GB/T29873-2013能源计量数据公共平台数据传输协议解析
- 地理信息公共平台基本规定GB/T30318-2013
- 数字城市地理信息公共平台运行服务质量规范GB/T33448-2016
- 基于云计算的电子政务公共平台技术规范第2部分：功能和性能GB/T33780.2-2017
- 基于云计算的电子政务公共平台技术规范第3部分：系统和数据接口GB/T33780.3-2017
- 主题公园服务规范GB/T26992-2011解读
- 公共图书馆服务规范GB/T28220-2011解读
- 供电服务规范GB/T28583-2012解读
- 军用饮食供应站服务规范GB/T29427-2012
- 优抚医院服务规范GB/T29355-2012解析
- 畜禽遗传资源调查技术规范第1部分：总则GB/T27534.1-2011
- 企业年金基金数据交换规范GB/T29424-2012详解
- GB/T31916.5-2015：基于键值的云数据管理应用接口
- 非结构化数据管理系统技术要求GB/T32630-2016
- 基于云计算的电子政务公共平台服务规范第3部分：数据管理GB/T34079.3-2017
