信息技术大数据技术参考模型

信息技术大数据技术参考模型

国家标准 GB/T35589一2017 信息技术大数据技术参考模型 Informationteehnology一Bigdata一Ieechniealrefereneemodel 2017-12-29发布 2018-07-01实施 国家质量监督检验检疫总局 发布 国家标准化管理委员会国家标准
GB/35589一2017 前 言 本标准按照GB/T1.1一2009给出的规则起草 请注意本文件的某些内容可能涉及专利 本文件的发布机构不承担识别这些专利的责任 本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口 本标准起草单位:电子技术标准化研究院、浪潮软件集团有限公司、华为技术有限公司、成都勤 智数码科技股份有限公司、互联网络信息中心、国家信息中心、同方股份有限公司、中标软件有限公 司、清华大学、山东中创软件商用中间件股份有限公司、浪潮电子信息产业股份有限公司、闪联信息技术 工程中心有限公司、华东师范大学、北京世纪互联宽带数据中心有限公司、北京亚信智慧数据科技有限 公司北京大学、人民大学、中兴通讯股份有限公司,北京百分点信息科技有限公司 本标准主要起草人;梅宏,高林.,代红,吴东亚.,杜小勇、车品觉、吴建明,赵阶华,陈海、张群,卫风林 赵俊蜂,黄先芝、王建华、杨莉莉、傅玉生、孔宁、吕欣、吴晨、董军平,吴吉庆、王朝坤、王建民,何忠胜 苏志远、吴楠,赵江.张维华、吴永和,周行健、陈利仓、李冰、,曹吴嘉、王静、徐祥,张展新、李易昂、符海芳 朱松,.刘宇峰、吴志刚,.张安文、王东,胡选来
GB/35589一2017 信息技术大数据技术参考模型 范围 本标准描述了大数据的参考架构,包括角色、活动和功能组件以及它们之间的关系 本标准适用于对大数据复杂操作的理解,可为大数据系列标准的制定提供基础 规范性引用文件 下列文件对于本文件的应用是必不可少的 凡是注日期的引用文件,仅注日期的版本适用于本文 件 凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件 GB/T35295信息技术大数据术语 术语和定义 GB/T35295界定的以及下列术语和定义适用于本文件 3.1 大数据参考架构 bigdatareferencearchitecture -种用作工具以便于对大数据内在的要求、设计结构和运行进行开放性探讨的高层概念模型 注比较普遍认同的大数据参考架构一般包含系统协调者,数据提供者,大数据应用提供者,大数据框架提供者和 数据消费者等5个逻辑功能构件 3.2 系统协调者 systemorchestrator 大数据参考架构中的一种逻辑功能构件,定义所需的数据应用活动并将它们整合到可运行的垂直 系统中 注:系统协调者可以是人,软件或这二者 3.3 数据提供者 dataprovider 大数据参考架构中的一种逻辑功能构件,将新的数据或信息引人大数据系统 3.4 大数据应用提供者higdataapplteatopitder 大数据参考架构中的一种逻辑功能构件,执行数据生命周期操作,以满足系统协调者定义的需求以 及安全和隐私保护需求 3.5 大数据框架提供者hgdalaframewrkprider 大数据参考架构中的一种逻辑功能构件,建立一种计算框架,在此框架中执行转换应用,同时保护 数据完整性和隐私 3.6 数据消费者 datac0nsuer 大数据参考架构中的一种逻辑功能构件,是使用大数据应用提供者提供的应用的末端用户或其他
GB/T35589一2017 系统 3.7 dataseientist 数据科学家 数据科学专业人员;他们具有足够的业务需求管理机制方面的知识、领域知识,分析技能以及用于 管理数据生命周期中每个阶段的端到端数据过程的软件和系统工程知识 缩略语 下列缩略语适用于本文件 BDRA:大数据参考架构(BigDataReferenceArchitecture' POSIX;可移植操作系统接口(PortableOperatingSystemInterlaee) 5 大数据参考架构的目的和目标 本标准中的DRA提供了一个体系架构,用于有效描述大数据角色.活动和功能组件 DRA目的包括 为各种利益相关者提供一种交流大数据技术的通用语言 鼓励大数据实践者遵守通用标准、规范和模式; 为解决相似的问题集提供一致的技术实现方法 BDRA的目的是为了方便对大数据复杂性操作的认识 它不代表一个特定的大数据系统的系统 架构;相反,它是一种工具,使用通用的架构来描述、讨论和开发特定系统的架构 BDRA是一个通用的大数据系统概念模型,对于讨论大数据需求、结构和操作,它是一种有效的工 具 该模型不依赖于任何特定的产品和服务供应商,也不定义规范的解决方案 BDRA支持以下标准化目标 在一个与供应商和技术无关的大数据高层概念模型语境下,增进对大数据构件,处理过程及系 统的理解; 为政府部门、相关机构和其他用户在理解、讨论、分类和比较大数据解决方案的过程中提供技 术参考; 促进对大数据互操作性、可移植性、可重用性和可扩展性的备选标准的分析 大数据参考架构概述 6 本标准定义的BDRA为大数据标准化提供了基本参考点,为大数据系统的基本概念和原理提供了 个总体架构,见图1
GB/T35589一2017 信息价值链 系统协调者 数 大数据应用提供者 据 滑 收集 预处理 分析 可视化 访问 费 大数据框架提供者 处理框架提供计算和分析 批处理 交互 流处理 平台提供数据组织与分布 资 索引存储 源 文件系统 基础设施提供网络、计算、存储 管 报资源 理 物理资源 角色 活动 组件 图1大数据参考架构 BDRA围绕代表大数据价值链的两个维度组织展开:信息价值链(水平轴)和信息技术价值链(垂 直轴) 信息价值链表现大数据作为一种数据科学方法对从数据到知识的处理过程中所实现的信息流 价值 信息价值链的核心价值通过数据收集、预处理分析、可视化和访问等活动实现 信息技术价值 链表现大数据作为一种新兴的数据应用范式对信息技术产生的新需求所带来的价值 信息技术价值链 的枝心价值通过为大数据应用提供存放相运行大数据的网络,基础设施、平台应用工具以及其他信息 技术服务实现 大数据应用提供者位于两个价值链的交叉点上,大数据分析及其实现为两个价值链上 的大数据利益相关者提供特定价值 BDRA提供了一个构件层级分类体系,用于描述BDRA中的逻辑构件以及定义逻辑构件的分类 BDRA中的逻辑构件被划分为3个层级,从高到低依次为角色、活动和组件 最顶层级的逻辑构件是代 表大数据系统中存在的5个角色,包括系统协调者、数据提供者、大数据应用提供者、大数据框架提供 者、.数据消费者5个角色 另外两个非常重要的逻辑构件是安全和隐私以及管理.它们为大数据系统的 5个角色提供服务和功能 第二层级的逻辑构件是每个角色执行的活动 第三层级的逻辑构件是执行 每个活动需要的功能组件 该架构可以用于表示由多个大数据系统组成的堆叠式或链式系统,其中一个系统的数据消费者可 以作为后面一个系统的数据提供者 该架构持各种商业环境包括紧密集成的企业系统和松散耦合的垂直行业,有助于理解大数据系统 如何补充并有别于已有的分析,商业智能、数据库等传统的数据应用系统
GB/T35589一2017 大数据参考架构的组成 7.1系统协调者 系统协调者职责在于规范和集成各类所需的数据应用活动,以构建一个可运行的垂直系统 系统协调者具体功能包括;配置和管理BDRA中其他组件执行一个或多个工作负载,以确保各工 作项能正常运行 负责为其他组件分配对应的物理或虚拟节点并对各组件的运行情况进行监控,并通 过动态调配资源等方式来确保各组件的服务质量水平达到所需要求 系统协调者的功能可由管理员、软件或二者的组合以集中式或分布式的形式实现 7.2数据提供者 数据提供者的职责是将数据和信息引人到大数据系统中,供大数据系统发现、访问和转换 其具体活动包捐 收集,固化数据 创建描述数据源的元数据 发布信息的可用性和访问方法 确保数据传输质量 数据提供者和大数据应用提供者的接口涉及3个阶段;开始、数据传输和终止 7.3大数据应用提供者 7.3.1概述 大数据应用提供者的职责是通过在数据生命周期中执行的一组特定操作,来满足由系统协调者规 定的要求,以及安全性、隐私性要求 大数据应用提供者包括收集、预处理、分析、可视化和访问5个活动 7.3.2收集 负责处理与数据提供者的接口和数据引人 7.3.3预处理 包括数据验证、清洗、标准化、格式化和存储 7.3.4分析 基于数据科学家的需求或垂直应用的需求,确定处理数据的算法来产生新的分析,解决技术目标， 从而实现从数据中提取知识的技术 7.3.5可视化 提供给最终的数据消费者处理中的数据元素和呈现分析功能的输出 7.3.6访问 与可视化和分析功能交互,响应应用程序请求,通过使用处理和平台框架来检索数据,并响应数据 消费者请求
GB/35589一2017 7.4大数据框架提供者 7.4.1概述 大数据框架提供者的职责是为大数据应用提供者在创建具体应用时提供使用的资源和服务 大数据框架提供者包括基础设施、平台、处理框架、信息交互/通信和资源管理5个活动 7.4.2基础设施 为大数据系统中的所有其他要素提供必要的资源,这些资源是由一些物理资源的组合构成,这些物 理资源可以控制/支持相似的虚拟资源 这些资源分为下面几类 网络;从一个资源向另一个资源传输数据的资源 计算;用于执行和保持其他组件的软件的实际处理器和存储器 存储:大数据系统中保存数据的资源 环境;在建立大数据实例的时候必须考虑的物理厂房资源(电力、制冷等). 7.4.3 平台 包含逻辑数据的组织和分布,支持文件系统方式存储和索引存储方法 文件系统;实施某种级别的POsIX标准以获取权限,进行相关的文件操作 索引存储;无需扫描整个数据集,便可以迅速定位数据的具体要素 7.4.4处理框架 提供必要的基础设施软件以支持实现应用程序能够满足数据数量,速度和多样性的处理 包括批 处理、流处理,以及两者的数据交换与数据操作 7.4.5信息交互/通信 包含点对点传输和存储转发两种通信模型 在点对点传输模型中,发送者通过信道直接将所传输 的信息发送给接收者;而在后者中,发送者会将信息先发送给中间实体,然后中间实体再逐条转发给接 收者 点对点传输模型还包括多播这种特殊的通信模式,在多播中,一个发送者可将信息发送给多个而 不是一个接收者 7.4.6资源管理 计算、存储及实现两者互联互通的网络连接管理 主要目标是实现分布式的,弹性的资源调配,具 体包括对存储资源的管理和对计算资源的管理 7.5数据消费者 通过调用大数据应用提供者提供的接口按需访问信息,与其产生可视的,事后可查的交互 7.6安全和隐私 在安全和隐私管理模块,通过不同的技术手段和安全措施,构建大数据平台安全防护体系,实现覆 盖硬件、软件和上层应用的安全保护,从网络安全、主机安全、应用安全、数据安全四个方面来保证大数 据平台的安全性: -网络安全;通过网络安全技术,保证数据处理、存储安全和维护正常运行 主机安全;通过对集群内节点的操作系统安全加固等手段保证节点正常运行
GB/T35589一2017 应用安全;具有身份鉴别和认证、用户和权限管理、数据库加固用户口令管理、审计控制等安 全措施,实施合法用户合理访问资源的安全策略 -数据安全:从集群容灾、备份、数据完整性、数据分角色存储、数据访问控制等方面保证用户数 据的安全 同时应提供一个合理的灾备框架,提升灾备恢复能力,实现数据的实时异地容灾功能,跨数据中心 数据备份 隐私保护主要是在不暴露用户敏感信息的前提下进行有效的数据挖掘;根据需要保护的内容不同， 可分为位置隐私保护、标识符匿名保护和连接关系匿名保护等 7.7管理 提供大规模集群统一的运维管理系统,能够对包括数据中心,基础硬件、平台软件和应用软件进行 集中运维、统一管理,实现安装部署、参数配置、监控、告警、用户管理、权限管理审计,服务管理健康检 查,问题定位,升级和补丁等功能 具有自动化运维的能力,通过对多个数据中心的资源进行统一管理合理的分配和调度业务所需要 的资源,做到自动化按需分配 同时提供对多个数据中心的信息技术基础设施进行集中运维的能力自 动化监控数据中心内各种信息技术设备的事件,告警,性能,实现从业务纬度来进行运维的能力 对主管理系统节点及所有业务组件中心管理节点实现高可靠性的双机机制,采用主备或负荷分扭 配置,避免单点故障场景对系统可靠性的影响

介绍GB/T35589-2017大数据技术参考模型

什么是GB/T35589-2017大数据技术参考模型？

GB/T35589-2017是中国国家标准化管理委员会发布的大数据技术参考模型。它是一种通用的大数据技术框架，旨在帮助企业和组织更好地应对大数据技术的挑战，并实现大数据价值最大化。

为什么需要大数据技术参考模型？

随着大数据应用场景的不断扩展和深入，人们越来越意识到大数据技术的重要性。然而，由于大数据技术的复杂性和多样性，很多企业和组织并不知道如何有效地构建大数据平台，如何合理地采购和使用大数据技术产品，以及如何评估已有的大数据技术方案是否适合自身业务需求。

这时候，大数据技术参考模型就能够发挥作用。它提供了一个通用的框架，帮助企业和组织更好地理解大数据技术相关概念、方法和工具，同时也为他们提供了一种评估大数据解决方案的参考标准。

GB/T35589-2017大数据技术参考模型的组成部分

GB/T35589-2017大数据技术参考模型由四个主要部分组成：

1. 大数据应用场景体系结构
2. 大数据平台架构
3. 大数据管理与治理
4. 大数据安全与隐私保护

下面我们来逐一介绍这四个部分。

大数据应用场景体系结构

大数据应用场景体系结构是GB/T35589-2017大数据技术参考模型的第一部分，也是整个参考模型的基础。这一部分主要定义了大数据应用场景的体系结构，并将其划分为几个层次，包括应用层、服务层、资源层和基础设施层。

应用层是指针对不同行业、领域的大数据应用场景，如智能交通、物联网、医疗健康等。服务层是指为应用层提供支撑的一系列服务，包括数据采集与预处理、数据存储与管理、数据分析与挖掘、数据可视化和展示等。资源层是指为服务层提供支持的基础资源，包括计算资源、存储资源、网络资源等。基础设施层是指为资源层提供支撑的基础设施，例如机房、数据中心、云平台等。

大数据平台架构

大数据平台架构是GB/T35589-2017大数据技术参考模型的第二部分，主要定义了大数据平台的体系结构，并将其划分为几个层次，包括数据采集与预处理层、数据存储与管理层、数据计算和分析层、数据可视化和展示层等。

数据采集与预处理层是指将原始数据从不同来源采集到大数据平台中，并对数据进行清洗、去重、格式转换等预处理操作。数据存储与管理层是指为采集到的海量数据提供存储和管理服务，包括关系型数据库、NoSQL数据库、分布式文件系统等。数据计算和分析层是指利用大数据技术从海量数据中提取有价值的信息，包括数据挖掘、机器学习、深度学习等。数据可视化和展示层是指将分析得到的结果以图表形式展现出来，帮助用户更好地理解数据。

大数据管理与治理

大数据管理与治理是GB/T35589-2017大数据技术参考模型的第三部分，主要定义了大数据管理和治理的体系结构，并介绍了一些相关的标准和规范。这一部分涉及到数据质量管理、元数据管理、数据分类和标准化、数据隐私保护等方面。

数据质量管理是指通过一系列的检查和筛选，保证数据的准确性、可靠性和一致性。元数据管理是指对数据的描述信息进行管理，包括数据来源、数据格式、数据类型等。数据分类和标准化是指将海量数据按照不同维度进行分类和标准化，便于数据分析和挖掘。数据隐私保护是指在保证数据安全的前提下，保护用户的隐私信息。

大数据安全与隐私保护

大数据安全与隐私保护是GB/T35589-2017大数据技术参考模型的第四部分，主要介绍了大数据应用中需要注意的安全和隐私问题，并提供了一些解决方案和标准。

这一部分涉及到数据存储安全、数据传输安全、身份认证和访问控制、数据隐私保护等方面。例如，在数据存储安全方面，可以采用数据加密、数据备份和灾备等措施来保障数据的安全性；在数据隐私保护方面，可以采用数据脱敏、匿名化、权限控制等手段来保护用户的隐私信息。

结论

GB/T35589-2017大数据技术参考模型为企业和组织提供了一个通用的大数据技术框架，能够帮助他们更好地应对大数据技术的挑战，并实现大数据价值最大化。同时，这个标准也提供了一种评估大数据解决方案的参考标准，为企业和组织在大数据领域的发展提供了重要指导。

信息技术大数据技术参考模型的相关资料

和信息技术大数据技术参考模型类似的标准

GB/T35589-2017

信息技术大数据技术参考模型

2022/8/25 10:43:10 现行