非结构化数据管理系统参考模型

非结构化数据管理系统参考模型

国家标准 GB/T34950一2017 非结构化数据管理系统参考模型 Referencem0delofunstructureddatamanagemenmtsystem 2017-11-01发布 2018-05-01实施 国家质量监督检验检疫总局 发布 国家标准化管理委员会国家标准
GB/34950一2017 目 次 前言 范围 2 规范性引用文件 术语和定义 参考模型 功能模块 5.1数据管理 5.1.1数据导人 5.1.2数据存储与计算 .1.3查询分析 5.1.4访问接口 系统管理 5.2 5,3 数据治理 5.3.1数据安全 数据集成 53.2 数据质量 5.3.3
GB/34950一2017 前 言 本标准按照GB/T1.1一2009给出的规则起草 请注意本文件的某些内容可能涉及专利 本文件的发布机构不承担识别这些专利的责任 本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口 本标准起草单位:人民大学、电子技术标准化研究院、清华大学、北京大学、北京航空航天 大学,浙江大学,北京拓尔思信息技术股份有限公司 本标准主要起草人:杜小勇、刘贤刚、王建民、王腾蛟、马殿富、庄越挺、施水才、陈晋川陆嘉恒、 卫凤林、李莹、王朝坤、高军、郎波、邵健、陈岭、肖诗斌
GB/34950一2017 非结构化数据管理系统参考模型 范围 本标准描述了非结构化数据管理系统的参考模型 本标准适用于指导非结构化数据管理系统产品的体系结构设计 规范性引用文件 下列文件对于本文件的应用是必不可少的 凡是注日期的引用文件,仅注日期的版本适用于本文 件 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件 GB/T32908一2016非结构化数据访问接口规范 GB/T32909一2016非结构化数据表示规范 术语和定义 下列术语和定义适用于本文件 3. 非结构化数据unstructureddata 没有明确结构约束的数据 3.2 非结构化数据管理系统unstructureddatamanagementsystem 对非结构化数据进行管理和操作的大型基础软件 参考模型 非结构化数据管理系统的参考模型包含8项必选功能模块和3项可选功能模块,如图1所示 图 中展示了自下向上的数据流走向
GB/T34950一2017 数据管理 数据治理 访问接口 三元组 关系 数据 安全 查询分析 分析 查询 可视化 系 纷 数据 索引 摘要 管 集成 理 数据存储与计算 图 键-值对 文档 数据 质量 数据导入 非结构化数据导入 元数据导入 元数据 原始数据 说明: 矩形框(实线 -必选功能模块,如“非结构化数据导 人” -可选功能模块,如“元数据导人” 矩形框虚线 圆角矩形框(实线 由多个功能模块组成的集合,其名称在圆角矩形框有右上角,如“数据导人”; -非结构化数据管理系统内部数据,如“文档” 椭圆框(实线 椭圆框虚线 -非结构化数据管理系统外部数据,如“原始数据” 箭头(单线》 数据的流动方向 箭头(空心 -模块之间的功能支撑 图1非结构化数据管理系统参考模型 功能模块 S 5.1数据管理 5.1.1数据导入 5.1.1.1非结构化数据导入 系统应支持:
GB/34950一2017 通过数据采集,提取、特征抽取等方式导人非结构化原始数据的功能; a b)GB/T32909一2016描述的非结构化数据 5.1.1.2元数据导入 系统应提供获取和导人其他系统的元数据的功能 5.1.2数据存储与计算 系统应支持 存储非结构化数据,建立索引和摘要,以及执行查询分析模块的操作原语; aa 键-值对,列、图和文档等多种存储方式 b 传统关系查询引擎,全文检索引擎、映射规约,或基于映射规约的其他计算模型 c 5.1.3查询分析 5.1.3.1 分析 系统应提供以下功能 关系分析基于表结构和关系函数的分析; a b 流分析:基于数据、事件流以及简单的统计分析 复杂分析;基于更复杂的数据结构与方法(如图、矩阵、迭代计算和线性代数)的分析 5.1.3.2查询 系统应支持 结构化查询语言(sQL); aa b)简单协议和资源描述框架查询语言(SPARQL); c 其他针对非结构化数据的查询语言或查询操作 5.1.3.3可视化 系统应提供数据的可视化展示功能 5.1.4访问接口 系统应支持 关系、三元组、图或其他合适的数据模型; b)GB/T32908一2016规定的访问接口 5.2系统管理 系统应提供性能监控、数据迁移备份和日志分析功能 5.3数据治理 5.3.1数据安全 系统应提供用户管理、访问控制以及在线监控功能
GB/T34950一2017 5.3.2数据集成 系统应提供: 将多源的数据集合有效地组织到一起的功能; a b)逻辑上统一的数据服务 5.3.3数据质量 系统应支持 a 通过多种手段提升数据质量的功能 b 在数据采集时就采用适当的标准来约束数据的格式和内容的功能 c 数据清洗功能

非结构化数据管理系统参考模型GB/T34950-2017

非结构化数据是指没有固定格式、难以被传统结构化数据库管理系统处理的数据。这类数据包括文档、图像、视频、音频等多种形式，其数量和种类在互联网时代呈现爆发式增长趋势。如何高效地管理和利用这些海量、多样的非结构化数据成为业界面临的重大挑战之一。

为此，中国国家标准化管理委员会于2017年发布了《非结构化数据管理系统参考模型GB/T34950-2017》标准，旨在规范非结构化数据管理系统的设计、实现和运行。该标准基于大数据、云计算、人工智能等技术，以及非结构化数据的特点和需求，提出了具有代表性的应用场景、服务体系、数据模型、接口规范等方面的要求和建议。

参考模型概述

GB/T34950-2017标准的参考模型包括以下四个方面：

• 应用场景：指非结构化数据管理系统适用的业务领域和具体应用场景，如文档管理、图像视频处理、智能检索等。
• 服务体系：指非结构化数据管理系统的组成部分和功能模块，包括数据采集、存储、处理、分析、展示等方面。
• 数据模型：指非结构化数据的存储方式、元数据定义和查询语法等相关规范。
• 接口规范：指非结构化数据管理系统内部各个模块之间以及与外部系统之间的通信接口要求。

特点和优势

GB/T34950-2017标准的参考模型具有以下特点和优势：

• 适应性强：标准提供了广泛的应用场景和灵活的服务体系，能够满足不同行业和企业的需求。
• 可扩展性高：标准支持非结构化数据的多种存储方式和各种数据类型的处理方式，方便系统升级和功能扩展。
• 安全性好：标准提供了数据安全、隐私保护等方面的规范，可以有效地防范数据泄露和攻击。
• 智能化程度高：标准结合人工智能等新技术，可实现非结构化数据的自动分类、标注、分析等功能，提高数据利用价值。

架构和功能

GB/T34950-2017标准的参考模型的架构和功能如下图所示：

该模型包括了数据采集、存储、处理、分析、展示等核心功能模块，以及数据质量、安全性、可扩展性和智能化等方面的支撑模块。其中，数据采集模块负责从传感器、设备、应用程序等多渠道获取非结构化数据；存储模块提供了多种存储方式，包括分布式文件系统、对象存储、NoSQL数据库等；处理模块实现数据清洗、预处理、转换等操作，以便于后续的分析和展示；分析模块利用机器学习、自然语言处理等技术对数据进行挖掘、分类、聚类、推荐等分析操作；展示模块将处理和分析后的数据以可视化的形式呈现，以便用户更直观地了解数据的特征和趋势。

总之，GB/T34950-2017标准的参考模型为非结构化数据管理系统的设计与实现提供了有益的指导和规范。在日益增长的非结构化数据挑战下，借助该标准，企业可以更高效地管理和利用这些数据，提高商业价值和竞争力。

非结构化数据管理系统参考模型的相关资料

和非结构化数据管理系统参考模型类似的标准