国家标准 GB/T36345一2018 信息技术通用数据导入接口 Informationteehnology一Generaldataimportinterfaee 2018-06-07发布 2019-01-01实施国家市场监督管理总局发布国家标准化管理委员会国家标准
GB/36345一2018 目次前言范围 2 规范性引用文件术语和定义 . 接口要求 4.1总则接口实现要求附录A资料性附录接口操作说明
GB/36345一2018 前言本标准按照GB/T1.1一2009给出的规则起草本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口本标准起草单位:中兴通讯股份有限公司、华为技术有限公司成都勤智数码科技股份有限公司、浪潮软件集团有限公司、北京软件和信息服务交易所有限公司浪潮电子信息产业股份有限公司、上海天叽科技股份有限公司,天津南大通用数据技术股份有限公司、电子技术标准化研究院本标准主要起草人;黄峥、牛家浩、王源、张强、汪绍飞、刘宇峰、吴志刚、张安文,赵江、苏志远、王静
GB/36345一2018 信息技术通用数据导入接口范围本标准规定了通用数据导人接口,包括数据源与大数据系统间应提供的主流通用的数据导人接口，及接口要求本标准适用于大数据系统的数据导人接口的研制和测试规范性引用文件下列文件对于本文件的应用是必不可少的凡是注日期的引用文件,仅注日期的版本适用于本文件凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件 GB/T35295一2017信息技术大数据术语术语和定义 GB/T35295一2017界定的术语和定义适用于本文件为了便于使用，以下重复列出了 GB/T35295-2017中的某些术语和定义 3.1 大数据bigdata 具有数据量大、数据速度高、数据种类多样和(或)数据可变性高等主要特征,要求运用可扩展技术进行有效存储、操作、管理和分析的大规模数据集注1:大数据通常以不同的方式被使用,例如,可作为处理大数据大规模数据集的可扩展技术的代名词注2;大数据通常是一个或多个问题的集合 a 数据种类;不规则或异构数据的导航、查询和输人问题; b) 数据量:;处理大数据集时需要的并行计算、存储和管理问题; 数据有效性/真实性;描述性数据和关于实时决策对象的自我查询问题 c 数据速度;数据的到达速率问题; d 数据可视化;数据集的呈现和聚集问题 [GB/T35295一2017,定义2.1.1] 3.2 datainmotion 动态数据处于活动状态,其典型特征表现为大数据的速度和多变性特征的数据注，它们在网络上传输或暂时驻留于计算机内存中供读取或更新对它们以实时或近实时方式进行处理和分析 [GB/T35295一2017,定义2.1.36 3.3 静态数据 dataatrest 处于静止状态,其典型特征表现为大数据的体量和多样性特征的数据注，它们通常是存储于物理媒体中的数据 [GB/T35295一2017,定义2.1.37]
GB/T36345一2018 接口要求 4.1总则根据数据的产生方式、存储状态、数据应用方法,实时性等,可以将数据源分为两大类数据:静态数据和动态数据静态数据与动态数据都可以包含结构化、半结构化、非结构化类型的数据静态数据一般以文件方式存储;动态数据包括消息数据、流式数据等,由数据源以实时或准实时方式动态产生动态数据通常通过消息中间件导人到大数据系统,消息中间件可以支持各种数据类型传输并满足实时性要求本标准规定以下两类主流通用的接口,即静态数据的文件导人接口和动态数据的消息导人接口静态数据的文件导人接口:实现将文件类的静态数据从数据源导人到大数据系统,简称文件 a 接口 b 动态数据的消息导人接口:实现将消息数据,流式数据等动态数据从数据源导人到大数据系统,简称消息接口大数据系统的数据导人接口在大数据系统中所处的位置以及与其他部分的接口关系,如图1所示大数据系统数据接口层数据导入接口接口类型1 接口类型2 静态数据动态数据结构化结化/非结糊化串结构化数狐数据源图1数据导入接口关系图 4.2接口实现要求 4.2.1概述接口实现应遵循以下基本原则: 接口应能够适配不同的大数据系统版本; a b接口应能够保证数据传输过程的安全性、可靠性、稳定性和完整性接口操作描述参见附录A 4.2.2静态数据的文件导入接口静态数据的文件导人接口,适用于客户端与服务器端进行批量文件传输,具有分布式、高吞吐等特性文件导人接口提供两种接口操作模式 a 操作模式一是数据源作为客户端,大数据系统作为服务器端,客户端与服务端之间采用FTP 协议交互,客户端首先显式登录到服务器端,再进行文件上传和下载操作,如图2所示
GB/36345一2018 1 登录 2)获取文件目录服务器端客户燃大数据系统) 3)上传文件数据源 )下载文件 5)登出图2文件导入接口操作模式一接口流程如下: 客户端登录服务器端; l" 22 客户端获取服务器端文件存储位置; 33 客户端上传单个文件到服务器端指定文件存储位置; ！客户端从服务器端指定存储位置下载服务器单个文件; 5 客户端登出服务器 b 操作模式二是客户端与服务器端之间通过大数据系统的数据传输协议进行文件传输操作,该模式不同于模式一,不需要显式登录服务端该模式支持扫描满足规则的数据文件及并发传输多个文件如图3所示客户端服务器端文件传输数据源大数据系绕) 图3文件导入接口操作模式二在操作模式二中,客户端先建立与服务器的连接,然后按规则扫描满足条件的本地文件,并通过大数据系统的数据传输协议将文件上传到大数据系统,传输完成后关闭连接接口流程如下: 1) 客户端隐式登录服务器,建立连接; 客户端按照规则从源路径扫描本地文件; 2 33 客户端通过大数据系统的数据传输协议,将扫描得到的文件数据批量上传到服务器的指定路径; 数据传输完成后,客户端关闭与服务器的连接 4" 4.2.3动态数据的消息导入接口动态数据一般通过消息中间件,将结构化/半结构化/非结构化的数据实时或准实时地导人大数据
GB/T36345一2018 系统;可进行持久化操作,将消息持久化到磁盘,具有高吞吐、分布式、实时等特性,可用于批量消费以及实时应用消息中间件应用中包含生产者角色、代理角色和消费者角色数据源是生产者,大数据系统是消费者,消息中间件是代理消息中间件接口关系,如图4所示大数据系统消费者消费者消费者代理代理消息中间件生产者生产者生产者数据源图4消息中间件接口关系图接口处理方式建立生产者与消费者后,由生产者和代理建立消息并发送数据消费者通过代理接收并消费生产者发送的消息数据生产者、消费者使用完成后,需要关闭并释放资源如图5所示创建生产者 2)创建消费者生产者(数据说消费者 3)生产数据 4)消费数据客户端数据源代理大数据系统) 5)关闭生产者 6)关闭消费者图5接口处理方式接口流程如下 l在发送消息前,数据源通过接口创建生产者,生产者向代理建立消息会话; 在消费数据之前,大数据系统通过接口创建消费者,消费者建立向代理的消息会话 2 生产者向代理发送数据; 3 消费者从代理接收数据; ！销毁生产者,生产者终止向代理的消息发送会话,并释放相关资源， 5 销毁消费者,消费者关闭消息接收会话,并释放相关资源 6
GB/36345一2018 附录 A 资料性附录接口操作说明静态数据的文件导入接口 A.1 A.1.1操作模式 A.1.1.1登录操作名:Loginm 描述;登录参数:见表A.1 表A.1Loginm 参数名描述类型可选性 UserName 用户名 String 必选密码必选 Password String U 目标地址必选 String Port 端口必选 String 返回值 RetCode 返回结果 Boolean 必选 A.1.1.2获取文件列表操作名;GetFileList 描述:列举服务器端指定目录下的文件名列表参数:见表A.2 表A.2GetFileList 参数名描述类型可选性 FilePath 路径 String 必选 Recursive 是否包含子目录 Boolean 可选排序规则 Comparator String 可选 FileNameFilter 文件名过滤器可选 String 返回值 RetCode 返回结果 Boolean 必选 FileList 文件列表 ListGB/T36345一2018 A.1.1.3下载文件操作名:DownL.oadFile 描述;下载单个文件参数见表A.3 表A.3DownL.0adFile 参数名描述类型可选性 FilePathAndName 待下载文件路径及名称 String 必选 Calback 回调接口 String 可选超时时间单位秒(s) Timeout nt 可选返回值 RetCode 返回结果 Boolean 必选 A.1.1.4 上传文件操作名:UpL.oadlFile 描述上传单个文件参数:见表A.4 表A.4UpL.oadrile 类型参数名描述可选性 SourcefilePathAndName 待上传源文件路径及名称 String 必选 TargetfilePath 文件上传目的路径 String 必选是否以文件创建时间建立目标目录 FileRegion Boolean 可选是杏压缩可选 CompressionEnable Boolean 2 上传压缩方式可选 Compression rype String EneodeType 上传文件的编码方式 String 可选 BackupEnable 上传后是否备份 Boolean 可选 CheckEnable 是否开启校验 Boolean 可选 CheckClass 校验模式 String 可选回调接口可选 Calback String 超时时间单位秒(s nt 可选 Timeout 返回值 RetCode 返回结果 Boolean 必选 A.1.1.5登出操作名:L LOgout 描述:登出
GB/36345一2018 参数:无返回值;无返回值 A.1.2操作模式二 A.1.2.1文件传送操作名;SendFile 描述:向服务器传输单个/多个文件参数见表A.5和表A.6 表A.5SendFile 参数名描述类型可选性 UserName 用户名 String 必选密码必选 Password String Ur 目标地址必选 String Port 端口 String 必选 FilePathAndFilterRuler 文件路径及传输规则 List 必选返回值: RetCode 返回结果 Boolean 必选其中,文件传输规则FilePathAndFilterRuler支持的类型和参数见表A.6 表A.6FilePathAndFilterRuler 参数名描述类型可选性 lePat山文件传输路径(包括源路径,目的路径) String 必选 FileNane 文件名(含过滤规则必选 String Boolean FHIRwonm 是否以文件创建时间建立目标目录可选 CompressionEnable 是否压缩 Boolean 可选 CompressionType 上传压缩方式 String 可选 EncodeType 上传编码方式 String 可选上传后是否备份 BackupEnable Boolean 可选是否开启校验可选 CheckEnable Boolean CheckClass 校验模式可选 String ScantimeEnable 是否设置扫描时间可选 Boolean ScanTime 扫描时间间隔单位秒(s 可选 nt A.2动态数据的消息导入接口 A.2.1创建生产者操作名:CreateProducer
GB/T36345一2018 描述;在发送消息前,需要首先创建生产者和消费者生产者向代理建立消息发送会话参数:见表A.7 表A.7CreateProducer 可选性参数名描述类型 Brokerlist Broker连接配置 List 可选消息的Topic名称 Topie String 必选 Compressioncodee 消息编解码方法 lnt 可选返回值: RetCode 返回结果 Boolean 必选 producer实例 Producer Producer 必选 A.2.2消息发送操作名:SendMe essage 描述:生产者向代理(数据接口层)发送数据参数见表A.8. 表A.8senaNMesuge 参数名描述类型可选性消息的Topic名称必选 To String 要发送的消息流 Byte[ 必选 Message 返回值 RetCode 返回结果 Boolean 必选 A.2.3销毁生产者操作名;DestoryProducer 描述:销毁生产者生产者终止向代理的消息发送会话,并释放相关资源参数;无返回值:无 A.2.4创建消费者操作名:CreateConsumer 描述;创建消费者消费者建立向代理的消息会话参数;见表A.9
GB/36345一2018 CreateCosuer 表A.9 参数名描述类型可选性代理的连接信息 Bootstrapserver ListString 必选配置属性文件可选 ConsumerConfig String 配置项 List

GB/T36345-2018：信息技术通用数据导入接口

随着信息技术的高速发展，各行各业都离不开数据的应用和管理。数据导入是数据管理的重要环节之一，而通用数据导入接口则可以为各种应用提供便捷的数据导入方式。GB/T36345-2018即为中国国家标准化管理委员会制定的信息技术通用数据导入接口标准，以下将介绍其基本概念、分类和应用场景。

基本概念

通用数据导入接口是指在不同应用系统之间实现数据传输的一种中间件技术。它通过规范化数据交换格式和接口标准，实现了不同应用系统之间的数据互通。通用数据导入接口有助于提高数据导入效率、降低数据转换成本、提高数据质量，从而提升数据应用价值。

应用场景

通用数据导入接口广泛应用于各个领域，如金融、医疗、物流、电商等。以下是一些常见的应用场景：

企业内部数据管理：不同部门的应用系统之间需要进行数据共享和交换。
多个企业之间的数据交换：例如供应链管理中不同企业之间的数据交互。
数据集成和转换：在数据仓库中对不同来源的数据进行集成和转换。
与第三方系统进行数据交互：例如在线支付系统需要与银行进行数据交互。

总结

随着信息化程度的提高以及数据价值的不断释放，通用数据导入接口将会越来越受到重视和应用。GB/T36345-2018作为国家标准，为通用数据导入接口的实现提供了重要的依据和规范，有助于推动我国信息化建设和数字化转型。