GB/T38675-2020
信息技术大数据计算系统通用要求
Informationtechnology—Generalrequirementsforbigdatacomputingsystems
- 中国标准分类号（CCS）L67
- 国际标准分类号（ICS）35.240
- 实施日期2020-11-01
- 文件格式PDF
- 文本页数8页
- 文件大小506.05KB
以图片形式预览信息技术大数据计算系统通用要求
信息技术大数据计算系统通用要求
国家标准 GB/T38675一2020 信息技术大数据计算系统通用要求 Informationtechnology一Generalrequirementsforbigdatacomputingsystems 2020-04-28发布 2020-11-01实施 国家市场监督管理总局 发布 国家标涯花警理委员会国家标准
GB/38675一2020 目 次 前言 范围 2 规范性引用文件 术语和定义 缩略语 硬件要求 5.1硬件组成 5.2计算单元 计算加速单元 5,3 5.4存储单元 5.5高速互联单元 管理监控单元 5.6 5.7供电单元 5.8结构及散热单元 软件要求 6.1软件组成 6.2操作系统 6.3虚拟化软件 6.！资源管理软件 6.5通信管理软件 网络要求 安全要求 8
GB/38675一2020 前 言 本标准按照GB/T1.1一2009给出的规则起草
请注意本文件的某些内容可能涉及专利
本文件的发布机构不承担识别这些专利的责任
本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口
本标准起草单位:浪潮电子信息产业股份有限公司、电子技术标准化研究院、北京华胜天成科 技股份有限公司浪潮软件集团有限公司、上海计算机软件技术开发中心、勤智数码科技股份有限公司、 平安科技(深圳)有限公司、内蒙古大学、铁道科学研究院集团有限公司、浙江蚂蚁小微金融服务集 团股份有限公司、北京百分点信息科技有限公司
本标准主要起草人;赵江、苏志远、卫凤林,张群,李瑛,梁钢、黄先芝、李国涛,陈敏刚陈文捷,李正、 韩梅、李华、马小宁、吴艳华,赵正阳,李克鹏、孙伟
GB/38675一2020 信息技术大数据计算系统通用要求 范围 本标准规定了大数据计算系统的硬件、软件、,网络及安全要求
本标准适用于大数据计算系统的开发、设计和运维
规范性引用文件 下列文件对于本文件的应用是必不可少的
凡是注日期的引用文件,仅注日期的版本适用于本文 件
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件
GB/T21028信息安全技术服务器安全技术要求 GB/T35295一2017信息技术大数据术语 术语和定义 GB/T352952017界定的以及下列术语和定义适用于本文件
3.1 大数据计算系统bigdata commputingsystems 为大数据系统的存储处理、分析应用提供基础计算支撑的软硬件系统
缩略语 下列缩略语适用于本文件
API;应用程序接口(ApplicationProgramminglnterface) lntcegratedCireuin) ASIC;专用集成电路(ApplicationSpecifie CPU:中央处理器CentralProcessingUnit DDR;双倍数据速率(DoubleDataRate) FC;卡套式连接器(FerruleConnector) FPGA;现场可编程门阵列(FieldProgrammableGateArray GPU;图形处理器(Gre aphiesProcessingUnib) ra HDD:硬盘驱动器HardDiskDrive IPoIB:infiniband上的网络协议(InternetProtocoloverlnfiniBand isCSI;小型计算机系统间网络接口(InternetSmalComputerSystemslInterface) NAs;网络附属存储(NetworkAttached 4storage NFS;网络文件系统(NetworkFileSystem PB:拍字节(PetaByte) PCIe:高速串行计算机扩展总线标准(PeripheralComponentInterconnectexpress) Qos;服务质量QualityofServiee RDMA;远程数据存取(RemoteDirect tMemory Access REST;表述性状态转移(RepresentationalStateTransfer)
GB/T38675一2020 SAS;小型计算机系统串行连接接口(SerialAttachedsCSI) sATA串行高技术配置接(SerialAdvancedTehnologyAtachmen) sCSI;小型计算机系统接口(SmalcomputersystemInterfacey sSD;固态硬盘(SoldStateDrives) TCP传输控制协议(TransmissionControlProtocol ransmissionControlProtocol/InternetProtocol TCP/IP:互联网协议(Tra 5 硬件要求 5.1硬件组成 大数据计算系统硬件部分包括计算单元、计算加速单元、存储单元、高速互联单元、管理监控单元、 供电单元和结构及散热单元
5.2计算单元 计算单元要求如下 应有相应措施保证可用性; a 应支持多处理器; b 应支持硬件状态监控管理、远程管理; d 应支持系统内部部件扩展; 应支持多种虚拟化方式; 应 支持在停止运行情况下,配置虚拟机的内存数量; 应 支持在停止运行情况下,配置扩展内存数量; 每节点内存应不低于8GB; h 应支持扩展DDR3,DDR4或以上内存版本标准; 宜支持内存查错/纠错; k 宜支持内存镜像/热备; 宜支持PB以上的读写能力; 宜支持系统外部节点扩展; m 宜支持在正常运行的情况下横向及纵向在线扩展; n 宜支持混合内存架构
o 5.3计算加速单元 计算加速单元要求如下: 应提供专用计算资源,协助计算单元进行运算处理; a 应提供大数据应用加速的专用计算资源,专用计算资源应支持通过高速互联单元与计算单元 b) 连接 示例:GPU加速单元、FPGA加速单元、ASIC加速单元等
应具备多线程并发、流水线等模式的计算处理能力; c 应具备独立内存控制器,提供用于加速计算任务的独立内存空间; d e 应具备高速总线接口与主处理器互连 运行在计算模块上的主程序应能够配置,使用、管理计算加速单元上的硬件计算资源 运行在计算模块上的主程序与计算加速单元之间应具有高效的数据交换协议,包括与主CPU g 内存地址之间的映射关系; h 应支持加速单元扩展,接口类型如PCIe等;
GB/38675一2020 宜支持提供批量部署工具,实现固件升级、生效、证书管理等功能
5.4存储单元 存储单元要求如下 应提供对象、文件、块等多种存储服务方式的一种或多种; a b 应支持REST,NFs,Samba,iSCcSI、定制AP1等存储访问协议或接口的一种或多种， 应支持存储半结构化数据、结构化数据、非结构化数据等数据类型的一种或多种; e d 应提供用户数据冗余存储功能 宜支持分层或分级存储方式; 宜支持压缩,重制稍、级存加迷.配额.Qs等高级特性 应支持存储节点级动态扩展伸缩及存储数据再均衡 g 应支持在线扩展SATA、SAs,PCIe接口SsD,HDD等,支持热插拔 h 宜支持扩展连接FC,iSCSI,NAs等协议的存储系统; 应支持在停止运行情况下,扩展内存的数量; j k 宜支持在线升级; 宜支持PB以上的读写能力 m可用性应有相应措施保证 应配置企业级硬盘,以保证可靠性; n o 应支持故障硬盘的数据重构
5.5高速互联单元 高速互联单元要求如下: 应提供计算单元、存储单元与计算加速单元之间的互联， aa 应提供本地计算加速单元中不同加速卡之间的互联 b 应支持TCP/IP等网络协议实现节点之间的互联 c d 宜支持IPolB,RDMA等协议实现节点之间的高速互联 应支持节点之间至少百兆网络的连接; e 应支持在停止运行情况下,扩展的计算单元、存储单元、计算加速单元之间实现互联 支持1Gbps以上带宽 g h)支持基于网络芯片硬件的数据传输或交换加速功能" 网络端口聚合功能,满足系统对网络带宽的需求,同时可以提高系统可用性
5.6管理监控单元 管理监控单元要求如下 应提供对硬件部分部件运行状态部分参数的监控功能,如cPU温度、电源电压、风扇转速等; a b 应提供计算单元和计算加速单元使用率的监控功能; 应提供存储单元总容量与使用率的监控功能 d 应提供网络流量,网络读写速率的监控功能; 应支持远程登录控制台,监控系统运行状态; 应具备精确放障警告; 应具备硬件使用超过闵值的警告功能 g 应支持远程外设挂载与程序安装功能 h 应支持系统的日志记录与日志查询 应支持系统远程日常维护
j
GB/T38675一2020 5.7供电单元 供电单元要求如下 应具备电源冗余控制功能,具备在局部故障时提供电源的能力 a b) 电源模块设计支持热插拔，热更换 应具备故障报警,并将运行状态提供给监控系统; c d 应具备加电时序控制功能; 应具备电源负载动态调整技术 应支持机柜级别集中供电 f) 应支持N+N或N+M电源冗余模式
8 5.8结构及散热单元 结构及散热单元要求如下 散热方式应支持风冷方式,宜支持液冷及传导散热方式 a 散热效率应由传感器监控,在管理监控单元中可见; b c 应采用模块化设计; d 应采用集中散热技术; 风扇应支持免工具热插拔; e fD 应支持前进风、后出风 6 软件要求 6.1软件组成 大数据计算系统软件部分包括操作系统,虚拟化软件,资源管理软件和通信管理软件
6.2操作系统 操作系统要求如下: 应支持主流的操作系统类型和主要版本; a 应提供操作系统自动化批量部署能力; b c 应提供人机操作界面 d 应支持计算加速单元及驱动程序,提供标准化的编程接口; 应提供系统和设备运行日志及监控信息" e 应提供大数据系统各种组件所需的运行环境; f 宜具备处理器故障隔离支持功能
8 6.3虚拟化软件 虚拟化软件要求如下: 应支持对计算、存储、网络等物理设备资源的虚拟化,能够以虚拟机形式为大数据系统部署和 a 运行提供资源 b 宜支持基于策略的虚拟机动态调度 c 宜支持能够根据虚拟机和物理服务器的资源利用率实现虚拟机的动态迁移; d 宜支持多个虚拟机批量操作的能力 宜支持将虚拟存储卷从虚拟机上卸载,并在保证安全的情况下正常删除虚拟存储卷 e fD 宜支持虚拟化高可用,保证在物理服务器宕机后,虚拟机可迁移到其他物理机上;
GB/38675一2020 宜支持虚拟机模板,以加快大数据各组件的部署 g h) 宜支持虚拟机的CPU内存,磁盘的扩容或缩容; 宜支持虚拟机网卡、磁盘的Qos 宜支持虚拟化资源的超售比配置,以最大化利用物理资源支撑大数据业务的运行 宜支持存储虚拟化多副本策略
k 6.4资源管理软件 资源管理软件要求如下 应支持对虚拟机资源的监控管理 a b 应支持对虚拟机资源的安全管理,包括但不限于权限管理、访问控制等; 应支持根据工作负载进行动态资源调配,为大数据系统的任务类型和调度队列提供资源分配 能力; 应提供部署和监控代理软件,按照标准接口向大数据系统提供资源运行状况的相关信息以及 执行各种监控任务; 宜提供支持多种资源模式的自动部署工具,用于自动向基础设施添加新的物理或虚拟资源 示例，裸机,虚拟机,云服务
f 宜支持多种资源的统一管理及池化. 6.5通信管理软件 通信管理软件要求如下 应提供标准化的消息和通信接口,支持可靠的数据队列、传送和接收数据; aa b)应支持点对点和存储转发模型 应支持通过发布/订阅模式对基础设施各类资源的运行数据进行收集和传输; c d 应支持不同通信协议用于不同类型数据的传送; 示例:TCP用于结构化数据、non-TCP用于视频、图像等大文件
e 应支持对传输数据的加密和解密
网络要求 网络要求如下 网络应具备高可用能力,包括路径多样性、具备故障转移能力; a b 应能够应对网络拥塞,网络设计避免拥塞点以应对高流量的要求 c 网络应具备较高的一致性,保障大数据系统并行处理要求 网络应具备可伸缩性,应能够平稳地扩展支持未来的部署规模 d 网络应具备隔离性,保证不同大数据业务集群流量互不影响
e 8 安全要求 大数据计算系统安全应符合GB/T21028的要求,计算系统宜不低于第3级要求
信息技术大数据计算系统通用要求GB/T38675-2020
GB/T38675-2020《信息技术大数据计算系统通用要求》是国家标准化管理委员会发布的一项重要标准，旨在规范大数据计算系统的技术标准、安全保障、应用管理等方面，并为各类大数据计算系统提供统一的通用要求。本标准适用于各类信息技术大数据计算系统的开发、测试、部署和维护过程中所需遵循的技术规范。
该标准主要包括以下内容：
- 技术标准
- 安全保障
- 应用管理
其中，技术标准部分强调了对大数据计算系统技术标准的规范要求，明确了系统架构、性能指标、接口规范等内容。安全保障部分要求大数据计算系统具备完善的安全保障措施，包括数据加密、访问控制、风险评估等。应用管理部分则强调了对大数据计算系统应用过程中的管理要求，包括用户管理、应用监管、日志审计等。
总之，GB/T38675-2020《信息技术大数据计算系统通用要求》的发布为信息技术大数据计算系统的开发和使用提供了更加规范和严格的标准，有助于提高大数据计算系统的性能、安全性和可靠性。各类从事信息技术大数据计算系统开发和应用的专业人士，应该认真学习和贯彻执行本标准，共同推动我国信息技术领域的进一步发展。
