GB/T37722-2019
信息技术大数据存储与处理系统功能要求
Informationtechnology—Technicalrequirementsforbigdatastorageandprocessingsystems
- 中国标准分类号（CCS）L67
- 国际标准分类号（ICS）35.240
- 实施日期2020-03-01
- 文件格式PDF
- 文本页数8页
- 文件大小617.74KB
以图片形式预览信息技术大数据存储与处理系统功能要求
信息技术大数据存储与处理系统功能要求
国家标准 GB/T37722一2019 信息技术 大数据存储与处理系统功能要求 nformationtechnology一 Techmiealrequirementsforbigdatastorageandpressimgsystems 2019-08-30发布 2020-03-01实施 国家市场监督管理总局 发布 币国国家标准化管理委员会国家标准
GB/37722一2019 目 次 前言 范围 2 规范性引用文件 术语和定义 缩略语 概述 大数据存储子系统功能要求 6.1基本要求 6.2分布式文件存储 6.3分布式结构化数据存储 6.4分布式列式数据存储 6.5分布式图数据存储 大数据处理子系统功能要求 7.1基本要求 7.2批处理框架 7.3流处理框架 7.！图计算框架 7.5内存计算框架 7.6批流融合计算框架
GB/37722一2019 前 言 本标准按照GB/T1.1一2009给出的规则起草
请注意本文件的某些内容可能涉及专利
本文件的发布机构不承担识别这些专利的责任
本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口
本标准起草单位:华为技术有限公司、电子技术标准化研究院、浪潮电子信息产业股份有限公 司、上海计算机软件技术开发中心,勤智数码科技股份有限公司、深圳市金蝶天燕中间件股份有限公司、 新华三技术有限公司、中兴通讯股份有限公司、杭州中奥科技有限公司,天津南大通用数据技术股份有 限公司
本标准主要起草人:赵华、符海芳、卫凤林、张群、苏志远、赵江、陈敏刚刘振宇、蔡立志、刘宇峰、 李正、林琳,潘子健、吴文峰、张东涛,朱松,沈贝伦、陆韵,武新、张绍勇,李冰、尹卓、孙嘉阳
GB/37722一2019 信息技术 大数据存储与处理系统功能要求 范围 本标准规定了大数据存储与处理系统的分布式文件存储、分布式结构化数据存储分布式列式数据 存储、分布式图数据存储、批处理框架、流处理框架、图计算框架、内存计算框架和批流融合计算框架等 的功能要求
本标准适用于大数据存储与处理系统的设计、开发和应用部署
规范性引用文件 下列文件对于本文件的应用是必不可少的
凡是注日期的引用文件,仅注日期的版本适用于本文 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件
件
GB/T35295一2017信息技术大数据术语 术语和定义 GB/T35295一2017界定的以及下列术语和定义适用于本文件
3.1 图数据库graphdatabase -种应用图理论存储实体及其之间关系信息的非关系型数据库 注1:图数据库的数据模型由节点及边组成(即节点间关系)
注2图数据库支持图查询,图遍历及图分析等功能,适用于复杂关系的探索与发现
3.2 批处理batehprcessing 将 一个大型作业分解成为多个任务交由多个节点分别处理,再将分解后多个任务处理的结果汇总 起来,得出最终的分析结果的计算框架,具备高可用、高扩展、高并发等能力
3.3 流处理streampressing 能够对具有实时、高速、无边界、瞬时性等特性的流式数据进行实时处理的计算能力
3.4 图计算graphproeessing 以“图论”为基础的对数据的一种“图”结构的抽象表达,以及在这种数据结构上的计算模式 注:在图计算中,基本的数据结构表达包括;节点.边权重等
3.5 内存计算in-memrypressing 优先使用内存对数据进行计算,分析的一种数据处理技术
GB/T37722一2019 3.6 批流融合计算integratedbatchandstreampreesting 能够同时支持批处理和流处理的计算能力
3.7 分散-聚集 ner scattergathe 大数据集的处理形式,其中所需的计算被划分并分布在多个节点上,整体结果由每个节点的结果合 并而成
3.8 租户 tenant 对一组物理和虚拟资源进行共享访问的一个或多个云服务用户
缩略语 下列缩略语适用于本文件
AP应用程序编程接口(Applieaion Pr 'rogramminglnterlace CEP:复杂事件处理(ComplexEventProcessing CPU;中央处理器(CentralProcessingUnit) DAG;有向无环图(DireetedAeyelieGraph PrC Unit GPU图形处理器(Grephies rocessing Pas Interface MPI:消息传递接口Message 1ssIng sQL;结构化查询语言(StructuredQueryLanguage) TCP;传输控制协议(TransmissionControlProtocol 5 概述 大数据存储与处理系统由大数据存储子系统和大数据处理子系统构成.总体框架见图1
其中 大数据存储子系统;提供大数据的分布式存储管理,涵盖多种存储方式,包括分布式文件存储、 a 分布式结构化数据存储、分布式列式数据存储、分布式图数据存储 b 大数据处理子系统;提供结构化、非结构化及半结构化数据的处理,涉及多种计算/处理框架 包括批处理框架、流处理框架、图计算框架、内存计算框架、批流融合计算框架
大数据存储与处理系统 批处理 流处理 图计算 内存计算 批流融合计算 框架 框架 框架 框架 框架 分布式 分布式结构化 分布式列式 分布式图 文件存储 数据存储 数据存储 数据存储 图1大数据存储与处理系统总体框架
GB/37722一2019 大数据存储子系统功能要求 6.1基本要求 大数据存储模块的基本要求如下 应支持数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作; a b 应支持标准,开放的数据访问API对数据进行操作 应提供数据加载工具的功能,满足大数据存储与处理系统和传统关系型数据库、其他文件系统 之间交换数据和文件; 应具备关键节点(部件)高可用性设计与要求 d 宜提供数据自动备份和手动备份的功能 e f 宜支持数据批量更新、删除等数据管理功能 宜支持流式的实时数据人库,支持实时查询
8 6.2分布式文件存储 分布式文件存储要求如下 应提供文件的上传、下载、读写、复制、移动、删除、访问控制等功能 应提供文件的容错机制和系统的高可用机制,包括数据块的备份、系统快速恢复等功能 b 应提供文件数据的校验和同步功能,保证数据的完整性与一致性; c d 应提供分布式的弹性扩展功能,支持动态添加以及删除节点; 应提供存储数据的压缩和加解密功能; e 应提供快速检索功能,支持数据资源的统一检索、编目、增加和删除操作; 应提供文件的搜索、批量操作,回收站、快照等功能; g h 宜提供小文件打包成大文件集中存储的功能 宜提供存储配额功能,能够基于目录的存储空间及文件数量进行配额控制
6.3分布式结构化数据存储 分布式结构化数据存储要求如下 应提供结构化数据的分布式存储机制,实现数据存储的可扩展性 aa b 应提供API接口实现数据的各类查询操作; 应提供多表关联功能; c d应支持数据分布式存储的一致性; 宜支持行列混合存储,支持表按行或列格式组织存储 e f 宜支持行列转换
6.4分布式列式数据存储 分布式列式数据存储要求如下 应提供数据以键值形式进行存储的功能 a b 应提供基于表、列族和列的用户权限管理功能,权限管理操作包括读、写创建等; 应提供按照用户需要对数据库中的数据进行列加密的功能 c 应提供数据备份与恢复功能,包括库级别的备份和恢复、备份恢复进展/历史记录查看等功能 d 宜提供多级索引功能; e f 宜提供将多个具有类似功能或存在关联的业务表合并存储的功能
GB/T37722一2019 6.5分布式图数据存储 分布式图数据存储要求如下 应支持由节点及边组成(即节点间关系)的数据模型 a 应提供图查询、图遍历及图分析功能 b 应支持主流图数据库开发接口; c d 应支持单节点、多节点多层关系的扩线查询; 应支持最短路径,最优路径遍历搜索; 宜支持顶点、属性的继承操作 f) 宜支持长任务异步会话机制
8 大数据处理子系统功能要求 7.1基本要求 大数据处理模块的基本要求如下 应支持CPU,内存,GPU等异构资源调度和配置; a b 应支持计算框架的水平扩展; c 应支持对任务设置优先级,并按任务优先级对资源进行调度; 应支持对全局资源的集中管理， d e 应 支持静态资源分配策略和动态资源分配策略; 应提供匹配组织的层次结构,支持多层次的队列资源管理;队列的资源实现严格的隔离,即不 超过分配给该队列的资源上限; 应支持资源的弹性与抢占,即有空闲资源时,租户可使用超过其配置的资源;系统繁忙时,如其 g 他租户资源未达到原始配置要求,则可抢占本租户超过配置部分的资源; 应支持资源管理、作业调度和数据加载及各种分布式计算框架调度; h 宜支持按照任务间依赖关系自动调度任务,提高处理系统的自动化程度; 宜支持根据作业需求动态分配计算资源,自动管理回收资源 j 宜支持自动完成作业调度,并支持作业内多任务以无回路有向图形式描述的依赖关系 k D 宜支持对复杂任务的调度能力
7.2批处理框架 批处理框架要求如下 应支持多种数据类型的离线分析,包括结构化、非结构化数据; a b 应支持离线计算任务进度与状态的实时上报 应支持多节点离线任务联动执行; c) 应支持分析任务的多种语言开发接口 d 应支持作业调度 e fD 应支持分散-聚集的处理方式 应支持批处理计算框架运行在分布式资源管理之上
g 7.3流处理框架 流处理框架要求如下 应支持从数据源中获得实时消息数据,完成高吞吐、低延迟的实时计算,并将结果输出到消息 a 队列或者进行持久化;
GB/37722一2019 注:流数据的数据源一般为消息队列,TCP连接等 应提供用户级别的访问控制功能,支持对消息处理任务进行创建、浏览,中止、激活、去激活等 b 操作,并对用户级别操作记录审计日志; 应支持采用滑动窗口方式的实时分析任务,其时间窗口大小应可调 c d)应支持容错性,即出现故障情况下,系统具备容错机制对故障进行处理; 宜支持高容错功能,即在消息处理过程中有节点、,进程等出现异常,能够提供重新部署该处理 ee 单元的能力
7.4图计算框架 图计算框架要求如下 应提供内置图数据查询类的AP1,支持同步计算模型或异步计算模型编写迭代算法; a b 应支持明细数据全量导人,增量导人以及自定义导人 应支持提供在线图分析和查询功能 c 应支持基于属性图模型的图数据表达,包含结点/边上的标签和属性类型定义; d 应支持内置常用图指标计算功能,以描述图的拓扑结构特征 e 应支持实现水平扩展的分布式图计算和查询; 应支持图数据的并发查询
g 7.5内存计算框架 内存计算框架要求如下 应支持通过分布式内存计算和DAG执行引擎提供数据处理能力; aa b 应支持实现水平扩展,支持自动负载均衡; 应支持多种数据类型,包括结构化数据、半结构化数据、非结构化数据的数据处理 c d宜提供高度抽象算子,快速构建分布式的数据处理应用 宜支持与非关系型数据库对接,即不迁移数据的前提下读取非关系型数据库中的数据
7.6批流融合计算框架 批流融合计算框架要求如下 应支持批流融合统一查询sQL语言; aa b 应支持多种场景下的流式sQL,如位置信息分析等; 应支持常用时间窗口,包括跳跃窗口、滑动窗口等; 宜支持基于sQL语言的批、流数据的模式识别; d e 宜支持批流融合的计算引擎; 宜支持事件驱动的流处理,降低处理延迟; 宜支持处理乱序事件流、窗口计算,CEP等; g 宜支持对复杂任务的调度,如支持深度学习的训练、MP1任务
h
信息技术大数据存储与处理系统功能要求GB/T37722-2019详解
随着云计算和大数据技术的迅速发展，大数据存储与处理系统成为了企业信息化建设中不可或缺的组成部分。而为了保证大数据存储与处理系统的稳定性和有效性，国家标准化管理委员会于2019年发布了《信息技术大数据存储与处理系统功能要求GB/T37722-2019》标准，明确了大数据存储与处理系统应当具备的相关功能要求。
标准概述
该标准规定了大数据存储与处理系统的功能要求，其中包括系统架构、数据存储、数据处理、安全性能、性能指标等方面。标准适用于大数据存储与处理系统的设计、开发、测试和应用等方面，旨在推动大数据存储与处理系统的规范化发展。
技术要求
1.系统架构：规定了大数据存储与处理系统的整体架构、模块划分、接口定义等方面的要求，保证系统在设计和开发过程中具有良好的可扩展性和可维护性。
2.数据存储：规定了大数据存储的容量、扩展性、备份恢复、数据安全等方面的要求，保证系统能够高效稳定地存储海量数据。
3.数据处理：规定了大数据处理的功能、算法支持、处理速度、任务管理等方面的要求，保证系统能够高效准确地进行数据处理。
4.安全性能：规定了大数据存储与处理系统的身份认证、权限控制、数据加密、安全审计等方面的要求，保证系统可以有效地防止安全威胁。
5.性能指标：规定了大数据存储与处理系统的性能指标，包括吞吐量、延迟、并发性等方面的要求，保证系统能够快速高效地完成数据存储和处理任务。
适用范围
该标准适用于大数据存储与处理系统的设计、开发、测试和应用等方面。对于企业信息化建设中需要使用到大数据存储与处理系统的相关人员，都有着重要的参考价值。
总之，《信息技术大数据存储与处理系统功能要求GB/T37722-2019》的发布，为大数据存储与处理系统的规范化发展提供了指导和保障，将有助于推动大数据技术在企业中的更广泛应用。
