GB/T36625.3-2021
智慧城市数据融合第3部分：数据采集规范
Smartcity—Datafusion—Part3:Dataacquisitionspecifications
- 中国标准分类号（CCS）L70
- 国际标准分类号（ICS）35.240.01
- 实施日期2021-11-01
- 文件格式PDF
- 文本页数8页
- 文件大小679.76KB
以图片形式预览智慧城市数据融合第3部分：数据采集规范
智慧城市数据融合第3部分：数据采集规范
国家标准 GB/36625.3一2021 智慧城市数据融合 第3部分;数据采集规范 Smarteity一Datafusion一Part3:Dataacquisitionspeeifieations 2021-04-30发布 2021-11-01实施 国家市场监督管理总局 发布 国家标涯花管理委员会国家标准
GB;/T36625.3一2021 目 次 前言 范围 2 规范性引用文件 术语和定义 缩略语 #
# 数据采集过程 数据采集内容 数据采集技术 数据采集技术要求 7.l 7.2数据采集方法 8 数据采集质量控制 8.1数据质量控制原则 8.2数据质量控制方式 8.3数据质量评价方法 数据采集安全控制 9.1数据安全要求 9.2安全控制方法
GB;/T36625.3一2021 前 言 GB/T36625《智慧城市数据融合》分为以下五个部分 第1部分:概念模型; -第2部分:数据编码规范 第3部分:数据采集规范; 第4部分;开放共享要求; 第5部分:市政基础设施数据元素
本部分为GB/T36625的第3部分
本部分按照GB/T1.1一2009给出的规则起草
请注意本文件的某些内容可能涉及专利
本文件的发布机构不承担识别这些专利的责任
本部分由工业和信息化部提出
本部分由全国通信标准化技术委员会(SAC/TC485)归口
本部分起草单位;城市科学研究会、中城智慧(北京)城市规划设计研究院有限公司、中城智慧 ],北京清华同衡规划设计研究院有限公司、上海竹呗信息技术有 科技有限公司、软通智慧科技有限公司 限公司、华为技术有限公司、深圳市华傲数据技术有限公司、电子科技集团公司信息科学研究院.讯 飞智元信息科技有限公司、中兴通讯股份有限公司、中冶京诚工程技术有限公司、广东珠光集团有限公 司、吉林吉大通信设计院股份有限公司、电子技术标准化研究院、信息通信研究院,山东省标准 化研究院、建设综合勘察研究设计院有限公司
本部分主要起草人万碧玉、吴丽丽、马蓉、王飞飞、王圣波、聂明、崔昊、龚健,李资、苏平,朱崇亚、 姜栋,李玲玲、曹余,李宁丽、黎俊茂,毛汉平、刘雅晶、佟敏、刘朝晖,李海龙、单峰、张红卫、方可、臧磊 杜青峰、李公立、刘棠丽、孙郁邮、陈慧文、王建新、于富东、王树东
GB;/T36625.3一2021 智慧城市数据融合 第3部分:数据采集规范 范围 GB/T36625的本部分规定了智慧城市数据融合过程中数据采集过程、数据采集内容,数据采集技 术、数据采集质量控制及数据采集安全控制
本部分适用于智慧城市各系统的规划设计、建设和管理,其他信息化领域的数据采集过程也可参考 使用
规范性引用文件 下列文件对于本文件的应用是必不可少的
凡是注日期的引用文件,仅注日期的版本适用于本文 件
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件
GB/T5271.1信息技术词汇第1部分;基本术语 cBT3239信息安全技术网络安全等级保护基本要求 信息技术云数据存储和管理第1部分总则 GB/T31916.1一2015 GB/T36625.1一2018智慧城市数据融合第1部分;概念模型 术语和定义 GB/T5271.1.GB/36625.1-2018界定的以及下列术语和定义适用于本文件
为了便于使用. 以下重复列出了GB/T36625.12018中的某些术语和定义
3.1 数据融合datafusion 集成多个数据源以产生比任何单独的数据源更有价值信息的过程
[[GB/T36625.1一2018,定义3.1] 3.2 数据采集dataacquisition 从数据源中得到原始数据,通过标准化处理并转化为满足数据共享与利用需求的过程
缩略语 下列缩略语适用于本文件
ccKS,组合诚信密钥系统(CombimedCrediKeysystem) CPK:组合公钥(CombinedPubicKey) FTP:文件传输协议(FileTransferProtocol HTTP;超文本传输协议(HyperTextTransferProtocob) HTTPS;超文本传输安全协议(HyperTextTransferSafeProtocol DBC:Java数据库连接(JavaDataBaseConnectivity)
GB/T36625.3一2021 MQTT消息队列遥测传输(MesgeQueuingTelemetryTransporm) ODBC;开放数据库互连(OpenDatabaseConneectivity) forProcessControl oPc对象连接和嵌人技术在过程控制规范(objestLnkinxandEmledng PKI;公钥基础设施(PublieKeyInfrastructure) PDA;数据采集器(PersonalDigitalAssistant 注:又称掌上电脑 epresentationalStateTransfer REST:表述性状态转移(Rep ransmissionControlProtocol TCP;传输控制协议(Tr8 UDP;用户数据报协议(Use serDatagramProtocol VPN;虚拟专用网络(VirtualPrivateNetwork) 5 数据采集过程 数据采集过程实现对数据的交换与提取、数据汇聚处理、数据安全加密压缩,并提供质量控制、安全 控制等辅助工具,如图1所示
数据源选择 连接 顽讯 采集方式选择 人工 系统 自动 填报/导入 败船红到 青 清洗 转换 分析 贤超 标准化 去重/校骑 有效性 数据存储 目标源连接 数据融合库 图1数据采集过程 数据采集过程包括 数据源选择根据需要采集数据的数据源类型(如;文件、数据库,传感器等),确定数据源连接 通讯的方式,明确采集标准范围及属性
可支持结构化数据和非结构化数据类型;可支持JD Bc.oDBc,OPC,MQTT,Modbus等多种连接方式;可支持TCP,UDP,F:TP,HHrTP等通讯 协议
数据采集方式选择;数据采集分为人工采集和系统采集两种,通过分析相关数据源类型,根据 可操作性、成本导向等原则选定数据采集方式 -数据汇聚:对采集的原始数据进行清洗、转换、分析等处理,确保数据的完整性、准确性和时 效性
数据存储可按照GB/T31916.1一2015的规定进行,处理后的数据存储应满足海量,安全、高 性能、高可靠、易管理
GB;/T36625.3一2021 -数据质量;数据采集周期内,应保证数据的完整性、准确性、一致性、时效性、可访问性、可追 溯性
数据安全;数据采集周期内,应按数据安全及安全控制要求,实现授权访问、可定位溯源、数据 加密,安全审计及监测等
数据采集内容 从智慧城市建设与管理需求及我国智慧城市实践经验角度,智慧城市数据采集内容包括但不限于 基础数据、专题数据、业务专属数据和其他数据四大类 -基础数据,如人口、法人单位、自然资源、地理空间、宏观经济电子证照等数据 专题数据,如房屋、城市部件,网格等与智慧城市相关的公共共享数据 业务专属数据,如涉及公安,公共卫生和医疗,教育,民政,交通、水利、人力资源和社会保障、市 场监管等众多领域的业务数据; -其他数据,如互联网、工业、商业等数据
数据采集技术 7.1数据采集技术要求 数据采集技术应具备复杂网络环境下、不同异构数据源之间高速、稳定、弹性伸缩的数据移动及同 步能力
采集技术包括但不限于 针对结构单一、数据量相对较小的结构化数据,可通过数据库表、文件、网络服务web C Serviee),REST、HTTP/HTTPS,消息订阅/发布等技术进行数据采集; -针对传感器、智能手机、PDA设备、网络等渠道产生的类型丰富、数据量较大的数据,可通过分 布式系统接口、分布式流数据收集、网络爬虫等技术进行数据采集; 针对由麦克风、摄像头等设备产生的海量音视频数据,可通过语音图像识别、编解码等技术转 化后进行数据采集， 针对问卷调查、实地调研、资料分析等产生的数据,可通过在线填报、离线导人等人工转化方式 进行数据采集
7.2数据采集方法 7.2.1人工采集 通过人工填报、人工导人等方式获得数据
7.2.2系统采集 通过系统自动录人等方式获得数据,并应满足下列要求: 支持全量、历史数据采集;应提供数据传输服务、高并发的离线数据上传下载服务,支持TB PB级别的数据导人(全量数据或历史数据的批量导人)及导出 支持实时或定时增量数据采集:宜提供实时同步、定时采集、数据订阅、日志采集等服务; 支持条件过滤;按照指定条件进行指定过滤采集,例如字段内容; 支持采集作业管理和调度:采集作业支持条件触发、并发调度、周期循环调度等模式;支持对作 业启动、停止、暂停,恢复等操作; 支持数据标签;依据数据清洗要求为数据标记数据标签 支持数据建模;提供基于不同业务需求进行数据建模功能
GB/T36625.3一2021 8 数据采集质量控制 8.1数据质量控制原则 对数据的质量控制应贯穿整个采集过程,遵循但不限于以下原则 完整性:应包含数据规则要求的数据的必要元素; a b 准确性:应真实反映数据所描述的实体 --致性;应保证数据与其他特定上下文中使用的数据无矛盾; d 时效性:应保证数据发生变化后及时被更新; 可访问性:应保证数据在需要时能被安全访问 可追溯性;应保证数据能够被跟踪和管理
8.2数据质量控制方式 8.2.1数据清洗 数据清洗过程管理应包括但不限于 数据分析;应对数据源进行分析,及时发现数据源存在的质量问题， a 定义清洗规则包括空值的检查和处理、非法值的检测和处理、不一致数据的检测和处理、相似 b) 重复记录的检测和处理等; 执行数据清洗规则;依据定义的清洗规则,补足残缺/空值,纠正不一致、完成数据拆分、数据合 并或去重、数据脱敏、数据除噪等 d 清洗结果验证;:数据清洗方应对定义的清洗方法的正确性和效率进行验证与评估,对不满足清 洗要求的清洗方法进行调整和改进
数据清洗过程宜多次迭代并进行分析、设计和验证
8.2.2数据转换 应对数据的标准代码、格式,类型等进行转换
必要时,可建立“数据转换规则表” 8.2.3数据分析 应通过数据聚合、数据归类、数据关联等方法,分析采集的数据,形成上下文完整有效的数据
8.3数据质量评价方法 数据质量评价方法可分为定性评价法和定量评价法 定性评价法可根据事先确定的评价指标,对数据的安全性、目的、用途、日志以及用户自定义项 a 目进行评价 定量评价法可采用数据质量检测软件检查数据质量,也可通过辅助工具结合人工识别分析方 b 法进行人工检查
一般可分为全数检查和抽样检查: 针对国家强制要求、特殊要求、其他可能导致严重影响的数据质量项目进行全数检查 1 针对质量比较稳定、数据量较大、检查费用与时间有限的情况进行抽样检查
2 g 数据采集安全控制 g.1数据安全要求 数据采集安全贯穿于数据融合整个过程中,应符合数据所属或主管部门的安全要求,包括但不
GB;/T36625.3一2021 限于 应符合GB/T22239对数据应用安全的相关要求 a b 数据在整个采集、转化、传输过程中应依据授权使用,不被非法冒充、窃取、篡改、抵赖 应对数据采集环境、设施和技术采取必要的安全管控措施 c d)应明确数据采集过程中个人信息和重要数据的知悉范围和安全管控措施,并采取必要的技术 手段和管理措施保证数据不被泄露; e 应能够对采集的数据进行定位溯源; fD 应能够对数据采集过程进行安全审计及监测; g 应采用通过检测认证的密码产品,来保障采集过程中的安全性
9.2安全控制方法 数据采集过程中应全方位防御,避免病毒、攻击、非授权的访问与内部泄密,同时应保障访问记录的 审查和监督
应包括但不限于: 对不同数据进行分类并标识,采用安全技术进行安全维护 a 监控数据使用情况,防止数据在采集过程中被非法访间,.破坏、算改、丢失、,阻止 b 设立访问和使用权限控制机制 c 制定应急响应预案及相应处理措施,并定期进行应急演练,及时发现安全问题并处理， d 定期对数据采集的安全性进行风险评估,并据此制定相应的风险处理计划,及时排查安全漏 洞,加固安全技术; 采用安全技术维护数据安全,包括但不限于对称与非对称密码技术及其硬化技术、VPN技术、 身份认证与鉴别技术.CPK技术.,cCKs技术、PKI技术、完整性验证技术、数字签名技术、秘 密共享技术等; 制定数据采集操作规程,规范数据采集的数据格式、数据质量、,流程和方法等; g h)制定数据采集原则,明确采集数据的目的和用途,确保数据采集的合法性和正当性 建立安全管理规范,避免人为因索导致数据泄露、损坏等安全事故
智慧城市数据融合第3部分：数据采集规范GB/T36625.3-2021
随着智慧城市建设的不断推进，大量的数据被产生和应用。而这些数据需要进行融合，以便更好地支撑城市的管理和决策。而数据采集是数据融合的重要环节之一。 GB/T36625.3-2021《智慧城市数据融合 第3部分：数据采集规范》是由中国国家标准化管理委员会发布的标准文件，该标准规定了智慧城市数据采集的相关要求和规范，包括数据采集的基本原则、分类和定义、标准符号和术语、采集过程控制、采集设备和方案等内容。 在数据采集的基本原则方面，标准提出了“科学性、规范性、可重复性、可验证性”的要求。这意味着采集数据的过程需要科学合理，并符合一定的规范，确保数据的准确性和可靠性。 在分类和定义方面，标准对数据采集进行了详细的分类和定义，包括基础设施数据、公共服务数据、社会经济数据、环境资源数据等四个方面，使得采集工作更加具体化和落地化。 在采集设备和方案方面，标准要求采集设备应当符合国家相关标准和行业标准，并能够满足采集数据的特定要求。同时，标准还明确了采集方案应当包括采集范围、采集方法、采集周期、数据格式等内容，以确保采集数据的完整性和可比性。 总的来说，GB/T36625.3-2021标准为智慧城市数据采集提供了科学、规范的指导，有助于提高数据采集的精度和效率。对于专业人士而言，熟悉和掌握这一标准将有助于更好地完成数据采集工作，从而为智慧城市建设提供更加有力的支持。
