国家标准 GB/38637.2一2020 物联网感知控制设备接入第2部分;数据管理要求 ntermetfthings一Acesofsenstingandeonrolingdeiee- Part2:Datamanageentreguirements 2020-07-21发布 2021-02-01实施国家市场监督管理总局发布国家标涯花管理委员会国家标准
GB;/T38637.2一2020 目次前言范围 2 规范性引用文件术语和定义概述 4.1数据管理功能框架 4.2感知控制设备接人架构数据采集 5.1通用要求 5.2感知数据要求 5.3控制数据要求数据处理 6.1数据预处理 6.2数据存储 .3数据分析 6.4数据呈现数据交换 7.1数据分发规则制定 7.2数据分发数据安全 8 8.1数据完整性 8.2数据加密 8.3数据访问权限控制 8.4数据可审计性参考文献
GB;/T38637.2一2020 前言 GB/T38637《物联网感知控制设备接人》分为以下两个部分: 第1部分:总体要求; 第2部分:数据管理要求本部分为GB/T38637的第2部分本部分按照GB/T1.1一2009给出的规则起草请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别这些专利的责任本部分由全国信息技术标准化技术委员会(SAC/TC28)提出并归口本部分起草单位:电子技术标准化研究院、河南中天高新智能科技股份有限公司深圳赛西信息技术有限公司,无锡物联网创新中心有限公司,国网电子商务有限公司、东北大学、江苏易安联网络技术有限公司、浙江晶日科技股份有限公司、京东方科技集团股份有限公司、厦门瑞德利校准检测技术有限公司本部分主要起草人卓兰、李然、韩丽,杨宏,李骁驰、庄宝森、董接莲、张晖,余晖、王一莽、谢祥颖斯明星、杨正权,沈庆跃,沈杰、杨志伟、杜洪军、浦灵峰、张永东,刘自重,唐少志、牛建强、毕远国、张会欣
GB;/T38637.2一2020 物联网感知控制设备接入第2部分:数据管理要求范围 GB/T38637的本部分规定了物联网感知控制设备接人网关或平台时的数据采集、数据处理、数据交换和数据安全等数据管理要求本部分适用于物联网感知控制设备接人网关或平台时数据管理功能的设计与实现规范性引用文件下列文件对于本文件的应用是必不可少的凡是注日期的引用文件,仅注日期的版本适用于本文件凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件 GB/T32630一2016非结构化数据管理系统技术要求 GB/T33474一2016物联网参考体系结构 GB/T363442018信息技术数据质量评价指标 GB/T37025一2018信息安全技术物联网数据传输安全技术要求术语和定义下列术语和定义适用于本文件 3.1 感知数据sensingdata 通过数据采集获取的原始数据或在此基础上进行加工处理的表征对象信息的数据统称 [GB/T33474一2016,定义3.11] 3.2 控制数据controldata 作用于对象的执行控制操作的数据 [GB/T33474一2016,定义3.12 3.3 结构化数据struetureddata" -种数据表示形式,按此种形式,由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述 [GB/35295一2017,定义2.2.13] 3.4 非结构化数据unstruetureddata 不具有预定义模型或未以预定义方式组织的数据 [GB/T35295一2017,定义2.1.25]
GB/T38637.2一2020 3.5 半结构化数据 Semi-structureddata 不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层的一种数据化结构形式 3.6 脏数据dirtydaan 不在给定的范围内,无实际意义或数据格式非法 3.7 数据分析dataanalysis 为提取有用信息和形成结论而对数据加以详细研究和概括总结的过程 [GB/T337452017,定义2.5.4们概述 4.1数据管理功能框架感知控制设备接人网关或物联网平台时的数据管理包括数据采集,数据处理、数据交换和数据安全,数据管理功能框架如图1所示,具体应用部署时可根据需求进行功能选取数据交换数据分发规则制定数据分发数据存储数据分析数据呈现数据安全数据处理数据预处理数据采集感知数据控制数据图1数据管理功能框架 4.2感知控制设备接入架构根据GB/T33474一2016的物联网概念模型,物联网系统中资源交换域、服务提供域和运维管控域的软硬件设备通常部署在云端或中心服务器,构成物联网平台感知控制设备接人物联网平台的框架如图2所示,感知控制接人设备可通过以下两种方式接人物联网平台间接接人:感知控制设备的通信能力有限时,感知控制设备通过网关接人物联网平台 a b)直接接人:具备直接接人物联网平台功能的感知控制设备可不通过其他逻辑网元,直接与物联网平台之间进行感知数据和控制数据的交互感知控制设备接人网关或物联网平台时可上传感知数据,网关或物联网平台也可向感知控制设备发送控制数据本部分仅规范感知控制设备接人网关或物联网平台时的数据管理功能,网关的数据管理功能主要包括数据存储、数据分析、数据预处理、数据安全,物联网平台的数据管理功能主要包括数据存储、数据分析、数据预处理、数据呈现、数据分发规则制定、数据分发、数据安全
GB;/T38637.2一2020 数据管理单元数据交换数据分发规则制定数据分发物联网平台数据安全数据分析数据存储数据呈现 -=--= 数据处理数据预处理控制数据感知数据数据管理单元控制数据感知数据数据存储数据分析网关 ------ 数据处理数据安全数据预处理感知数掘控制数据感知控制感知控制控制单元感知单元控制单元感知单元设备设备图2物联网感知控制设备接入架构数据采集 5.1通用要求感知控制设备中采集的感知数据和执行的控制数据要求如下应支持对结构化数据、非结构化数据、半结构化数据等类型数据的采集; aa b 应支持多种异构数据源的接人并实现数据格式的转换 5.2感知数据要求感知数据要求可包括: 感知单元生成并输出感知数据,其内容是感知单元从感知对象上获取的表征数据;如温湿度传 a 感器生成并输出空气温度、湿度数据,电子血压计生成并输出血压、脉搏数据等对于智能感知控制设备感知单元,其输出的感知数据是通信协议封装的二进制数字信号形式可使用不同的通信协议封装对于非智能感知控制设备感知单元,其输出的感知数据是模拟量形式,可被网关接收和处理网关输出的感知数据是经过网关对原始感知数据处理后的数据,对各种不同的感知单元通信 d 协议进行解析,使用统一的通信协议封装,并以二进制数字信号形式输出处理后的感知数据 5.3控制数据要求控制数据要求可包括:
GB/T38637.2一2020 控制数据传递到控制单元对被控对象实施控制;如控制发电机启动或停机,调整空调的温度设 a 定值,调整电动机的转速等 b 控制数据由物联网平台生成,直接或经网关发给控制单元对于智能感知控制设备控制单元,接收的控制数据是通信协议封装的二进制数字信号形式 c d 对于非智能感知控制设备控制单元,接收的控制数据是模拟量形式数据处理 6 6.1数据预处理 6.1.1数据异构转换数据异构转换指从不同协议消息格式承载的数据进行结构转换,转换为感知控制设备、网关或平台可识别处理的数据结构,要求如下: 应支持感知控制设备或平台的通信协议; a b)应支持解析指定的感知数据包和控制数据包应支持通过协议转换模块进行数据结构转换,实现感知控制设备与网关或平台之间数据互通 6.1.2数据抽取数据抽取指从数据源中提取数据的过程,要求如下应支持全量抽取、增量抽取、基于日志抽取等抽取模式,可支持地理空间信息数据的抽取 b) 应支持数据抽取格式和流程的自定义配置; 对文本,图像、音频、视频等数据特征抽取应符合GB/T326302016中6.4的要求 c 6.1.3数据清洗数据清洗指利用现有数据挖掘手段和方法将脏数据转化为满足数据质量要求或应用要求的过程要求如下: a 应支持对错误数据、无效数据、重复数据等异常数据的处理; b) 应支持对缺失数据进行填补 c 应支持对数据不一致性进行监测 6.1.4数据质量评估数据质量评估是针对现有的数据质量问题,通过测试和改善数据综合特征来优化数据使用价值的过程数据质量的评估指标及方法见GB/T36344一2018 6.2数据存储 6.2.1通用要求数据存储通用要求如下应支持时序型数据库存储实时性数据,可用于监测、检查设备所采集的实时数据等; a 应支持关系型数据库存储历史性数据,可用于分析优化生产管理过程等; b 数据存储前应对数据进行预处理,包括数据清洗与数据质量评估等
GB;/T38637.2一2020 可提供存储调度、存储监控、存储管理的可视化管理界面 6.2.2存储调度存储调度要求如下应支持制定存储调度计划,尤其是对存储节点的迁移、扩容、复制、更改、删除等操作进行规划 a 和执行; 应支持满足不同使用方的需求动态调度存储服务 b 应支持存储权限的划分,并通过资源排队、时间划分等机制进行存储服务的优化 6.2.3存储监控存储监控要求如下应支持按照需求定制存储监控计划 aa 应支持存储状态监控; b) 应支持监控、追踪各存储服务使用方对存储部位执行的所有操作; c 应支持存储资源信息、文件信息以及历史操作等数据的获取 d 6.2.4存储管理存储管理要求如下应支持存储分级策略,尤其是支持单机级、跨平台级等级分类的划分; aa 应支持数据隔离机制,使不同数据使用方的数据相互独立不可见 b 应支持各类数据模型融合功能 c 应支持本地和远程的数据导人和导出等功能 d 6.2.5存储备份存储备份要求如下应支持备份进程并行的容错机制,备份进程的宕机不影响数据的可用性 a b 应支持数据备份的集中控制,应针对不同使用要求制定数据备份策略应支持镜像备份,冗余备份等方式提高数据存储可靠性 c 应支持备份程序与应用程序的分离 d 应支持对备份数据进行压缩存储 6.3数据分析数据分析指对海量的感知/控制数据进行分析,挖掘数据的使用价值,要求如下应支持基本分布式并行计算处理框架的分布式挖掘分析 a b 应支持内存计算,实现实时分析; 应支持数据分析模型的定义及执行; 应支持数据挖掘模型的定义及执行 d 应支持多种形式的分析结果输出应支持数据挖掘所需要的算法库,可提供多种数据挖掘算法 6.4数据呈现数据呈现要求如下
GB/T38637.2一2020 应支持结构化数据、半结构化数据、非结构化数据等不同类型的数据呈现 a 结构化数据应支持柱状图、曲线图、折线图,饼状图、雷达图等可视化方法 1 半结构化数据应支持常用数据类型的展示和统计 2 33 非结构化数据应支持分类与浏览 b 应能通过缓存、内存计算、,压缩传输等手段保证数据呈现良好的响应速度应支持数据呈现模板功能,并且具备模板整合能力 c 应具备扩展性,尤其是支持二次开发接口,能快速实现所需要的数据呈现方式 d 数据交换 7.1数据分发规则制定数据分发根据预先设置好的规则将物联网平台的数据转发至其他平台上,要求如下规则脚本语言应支持业务规则的定制化 a b) 应确保规则的推理机制及规则的匹配效率,且规则执行效率不应影响主业务逻辑 c 应支持解决规则链的规则冲突; d 应支持规则执行日志的查询操作 7.2数据分发数据分发要求如下: 应支持结构化数据、半结构化数据、非结构化数据等不同类型的数据发送; a 应支持满足数据接收方要求的数据过滤机制,减少无用数据的传输和接收 b c 应保持数据分发过程的实时性和可靠性 8 数据安全 8.1数据完整性数据完整性要求如下 a 数据传输过程中的完整性应满足GB/T37025一2018中6.1和7.1的要求; D)应通过封装签名、测试字验证、引用约束等机制对数据完整性进行检测,保证数据存储过程的完整性,提供非完整数据的解决措施 8.2数据加密数据加密性要求如下 a 对于特定的敏感字段或业务数据应使用加密方式存储 b 应支持国家密码管理主管部门批准使用的密码算法,使用国家密码管理主管部门认证核准的密码产品,遵循相关密码国家标准和行业标准; 应按照国家相关保密部门要求采用合适的加密算法、密钥长度和密钥管理机制 c 数据传输过程中的加密过程应符合GB/T370252018中6.3和7.3的要求 d 8.3数据访问权限控制数据访问权限控制要求如下
GB;/T38637.2一2020 应支持制定安全策略,并根据安全策略启用控制用户对数据的访问 a 应实现业务数据、系统数据和数据库系统等不同级别的用户权限分离管理机制,同时对用户访 b 问应分配最小访问权限; 数据提供给第三方访问时,应严格限制默认账户的访问权限,定期修改账户的口令 8.4数据可审计性数据可审计性要求如下审计范围应覆盖业务数据的用户行为,针对数据的重要性设定不同级别的行为记录 aa 审计记录应包括事件的日期、时间、类型、主体标识、客体标识和结果等; b 应能够根据记录数据进行分析,并生成审计报表 c d 应保护审计记录,避免受到未预期的删除、修改或覆盖等
GB/T38637.2一2020 参考献文 [[1]GB/T38637.1一2020物联网感知控制设备接人第1部分;总体要求 [[2]GB/T33745-2017物联网术语 [3]GB/T35295一2017 信息技术大数据术语

物联网感知控制设备接入第2部分：数据管理要求GB/T38637.2-2020

随着物联网技术的不断发展，越来越多的物联网感知控制设备被应用于各个领域。这些设备通过传感器采集环境信息，并实现对设备的远程控制和管理。然而，在进行数据管理方面，尤其是在统一数据格式、数据存储、数据传输等方面，还存在许多挑战。

为此，GB/T38637.2-2020标准的发布填补了这一空白。该标准规定了物联网感知控制设备接入系统中的数据管理要求，包括数据格式、数据存储、数据传输等方面，旨在保证数据的安全性、可靠性和互操作性。

数据格式要求

在物联网感知控制设备接入系统中，数据格式的要求是非常重要的。GB/T38637.2-2020标准规定了设备必须使用符合ISO/IEC 14496-10标准的视频编码格式、AAC音频格式和H.264视频格式。

此外，该标准还规定了物联网感知控制设备应支持JSON、XML、CSV等多种数据格式，并在数据传输时支持加密传输及数字签名认证。

数据存储要求

数据存储是物联网感知控制设备中不可或缺的一部分。GB/T38637.2-2020标准规定了在设备端进行缓存存储时应使用轻量级数据库管理系统，如SQLite等。而在后台服务器端进行存储时，则应根据数据规模选择适当的数据库管理系统，如MySQL、Oracle等。

另外，标准还规定了对于不同类型的数据应采用不同的数据存储方式，例如：对于时间序列数据，应采用时序数据库进行存储。

数据传输要求

GB/T38637.2-2020标准规定了物联网感知控制设备的数据传输要求，包括：通信协议、网络安全、数据传输效率等方面。

具体而言，设备应支持TCP/IP协议和HTTP/HTTPS通信协议，并在传输数据时支持对称加密、非对称加密等多种加密方式。此外，为了保证数据传输效率，标准还规定了设备应支持压缩算法。

总结

GB/T38637.2-2020标准的发布填补了物联网感知控制设备中数据管理方面的空白，旨在保证数据的安全性、可靠性和互操作性。而在实际的应用中，我们也应根据该标准的要求来进行设备的设计和开发，以提高数据管理方面的能力和水平。