国家标准 GB/T40768一2021 视频流与时空信息融合编码规范 Speeifieationsftorvideostreamandspatial-emporalinformationfstoneneding 2021-10-11发布 2021-10-11实施国家市场监督管理总局发布国家标涯花管理委员会国家标准
GB/40768一2021 目次前言引言范围 2 术语和定义基本规定 3.1时间系统 3.2空间基准融合编码 4.l融合编码内容 4.2融合编码要求融合编码方式 4.3 融合编码成果 4,4 附录A(资料性附录融合编码外部映射文件样例附录B(资料性附录)视频流与时空信息融合编码样例附录c(资料性附录)视频流与时空信息封装融合编码样例参考文献
GB/40768一2021 前言本标准按照GB/T1.1一2009给出的规则起草请注意本文件的某些内容可涉及专利本文件的发布机构不承担识别这些专利的责任本标准由自然资源部提出本标准由全国地理信息标准化技术委员会(SAC/TC230)归口本标准起草单位;中测新图(北京)遥感技术有限责任公司、浙江中测新图地理信息技术有限公司、中测新图北京)低空数码测绘技术有限公司、自然资源部测绘标准化研究所、南京师范大学,杭州海康威视数字技术股份有限公司本标准主要起草人;李英成薛艳丽、孙新博、王风、任亚锋、间国年朱祥娥、周良辰、马聪丽、刘沛、廖明、叶冬梅、谢明强
GB/T40768一2021 引言视频在军事侦查、公共场所监视、交通违章监控等方面的应用相对成熟,但受空间定位、时间同步远程传输等技术的限制,视频数据多用于目标的动态监视,无法实现基于视频数据的目标空间定位与量测随着导航定位、智能识别以及高速通信技术的发展,视频数据获取的时效性、准确性都得到了空前发展,人们逐渐由基于视频图像的侦查、监视应用,向基于视频的空间量测方向发展将空间信息与视频数据通过时间关联对应,实现视频空间量测的方法较为普遍,但存在视频与时空信息编码内容不确定、编码方式不统一,编码产品输出不规范等问题,为此,特制定本文件 IN
GB/40768一2021 视频流与时空信息融合编码规范范围本标准规定了视频流与时空信息融合编码的数据内容、融合编码要求、融合编码方式以及融合编码产品分级本标准适用于机载、地面移动与静止状态下获取的视频流与时空信息融合编码术语和定义下列术语和定义适用于本文件 2. 视频流videostream 由时间序列的静态图像形成的连续数据流 2.2 视频时空信息spatiotemporalinformationofvideo 视频帧获取时刻的时间、位置、姿态信息和传感器参数 2.3 时间戳tmestamp 量测和记录某一对象状态时的时间值 [[GB/T27918一2011,定义4.53 2.4 融合编码fusionencoding 输人的图像样本流与时空信息合并成一个数据实体,并产生压缩位流的过程 2.5 封装encapsulate 从未受保护的帧构造为受保护的帧注1;本文件特指将已经编码后的视频流与时空信息按照一定的格式要求形成一个文件的过程注2改写Iso/IEc/1EEE8802-11;2018,定义3.1.68. 3 基本规定 3.1时间系统在机载地面移动状态下获取的视频流宜选择协调世界时(CoordinatedUniversalTime,UTC)时间系统;在地面静止状态下获取的视频流可选择协调世界时,亦可选择北京时间 3.2空间基准空间基准包括坐标系统、高程基准和姿态信息,并应符合下列要求坐标系统宜采用2000国家大地坐标系; a b 高程基准宜采用1985国家高程基准
GB/T40768一2021 融合编码 4.1融合编码内容融合编码内容应包括视频流和时空信息,其中视频流是由时间序列的静态图像组成,时空信息包括基本要素信息和变化信息,具体构成如下: 基本要素信息;包含时间系统、空间基准、视频传感器参数等内容,可根据应用需求选择基本要 a 素信息种类,具体见表1; b)变化信息:包含帧号可选、日期、时间、经纬度、高度、横滚角、俯仰角、旋偏角,具体见表2 注:松合编码方式包含号,紧合编码方式可包含号表1基本要素表序号基本要素说明时间系统 CHAR型,用于描述采用的时间系统,样例如协调世界时,表示为UTC CHAR型,用于描述采用的空间基准,样例如国家大地坐标系,1985国家高程基准、 12000 空间基准表示为CGCS2000,HIVD1985 N型,图像宽度,单位像素,样例如1920像素,表示为1920 imagewidth geHeaae NT型,图像高度,单位像素,样例如1080像素,表示为 080 imagel oUBLE型,水平方向单个像素的物理尺寸,单位微米,样例如2.59m,表示为2.59 dx D(OUBLE型,垂直方向单个像索的物理尺寸,单位微米,样例如2.594m,表示为2.59 dy DOUBLE型,像主点X坐标,单位毫米,样例如0.0523mm,表示为0.0523 cx DOUBLE型,像主点Y坐标,单位毫米,样例如一0.00518mm,表示为一0.00518 cy DOUBLE型,水平方向焦距,单位毫米,样例如34.8248mmm,表示为34.8248 oUBLE型,垂直方向焦距,单位毫米,样例如34.8248mm,表示为34.8248 10 f D(OUBLE型,用于表示视频传感器径向畸变、切向畸变、水平和垂直平移畸变,水平和垂直畸变参数梯形畸变,样例如切向畸变(3阶)、径向畸变(2阶),表示为一4.6058Ae006,1.000548e007、 11 6.151le-007,6.151156e-007,1.50119e-005 其他预留信息,用于添加其他基本要素表2变化信息表序号变化信息说明 NT型,该糊数据所处视频的糊序糊号大小从1至视频的最后-糊,该项为可选项顿号 CHAR型,表示视频起始拍摄日期,表达方式为YYYMMD,样例如2019年7月 24日日期表示为20190724 CHAR型,表示视频帧获取时刻的时间,表达方式为hhmmss8ss,样例如5点15分24.556 时间秒 051524556 ,表示为 D(OUBLE型,表达方式为dd.ddddd,单位度前导位数不足则补0),样例如39.98214",表纬度示为39,98214 DoUBHLE型,表达方式为ddd.ddddd,单位度'前导位数不足则补0),样例如116.3254”" 经度表示为l16,32541
GB/40768一2021 表2(续序号变化信息说明 DoUBLE型,海拔高度,单位米,样例如430.5m,表示为430.5 高度横滚角 FLOAT型,单位度,样例如一1.2",表示为一1.2 FLOAT型,单位度,样例如一5.3",表示为一5.3 俯仰角旋偏角 FlOAT型,单位度,样例如一179.7",表示为一179.7 4.2融合编码要求视频流与时空信息融合编码应符合下列要求 a 在融合编码过程中视频流关键顿与空间信息应保持同步 b)在保持原有编码标准(如MPEG4,H.264、H.265等)或封装格式(如AVI,MP4等)基础上开展融合编码; 应最大限度地保持时空信息原始观测精度; c d)每一帧图像或一定间隔图像都应融合编码时空信息，视频流中应融合编码一个基本要素信息和一系列变化信息 e 4.3融合编码方式视频流与时空信息的融合编码宜采用下列方式松耦合融合编码视频流与时空信息分别存储,通过时间截戳建立视频流与时空信息的外部映射 a 关系,实现视频流数据逐帧或分段时空信息映射的融合编码方式,成果样例参见附录A b)紧耦合融合编码;紧合融合编码方式有下列两种参照视频编码标准(如MPEG-4、H.264、,H.265等)进行,在编码过程中将获取的时空信息实时写人视频流,形成带有时空信息的视频流码流成果样例参见附录B 参照视频封装格式(如AVI、MP！等)进行,在封装过程中将获取的时空信息实时写人视 2 频流,形成带有时空信息的视频流文件成果样例参见附录 c 4.4融合编码成果 4.4.1融合编码成果包含基本要素和融合了时空信息的视频流两类信息 4.4.2按选用的融合编码方式,以及视频流中融合编码的定位定姿数据精度,将视频流时空信息融合编码成果分为一级、二级以及通用型三个等级,见表3 表3融合编码成果分级表融合编码方式级别描述视频流融合有高精度的空间位置,姿态信息和畸变差参数,空间信息的定位精级紧合融合编码度优于lm 视频流融合有较高精度的空间位置,姿态信息和畸变差参数,空间信息的定位二级紧合融合编码精度优于10m 松耦合融合编侧通用型视频流融合有较低精度的空间位置、姿态信息,空间信息的定位精度低于10m 紧棚合融合编码
GB/T40768一2021 附录 A 资料性附录) 融合编码外部映射文件样例 A.1视频流与时空信息分别存储,通过时间戳建立视频流与时空信息的外部映射关系,实现视频流数据逐帧或分段时空信息映射的融合编码方式 A.2外部映射文件主要包括基本要素信息和变化信息,用于描述视频帧所对应的时空信息格式描述如下第一行;基本要素信息第二二行;基本要素信息ID,之间采用逗号隔开第三行;基本要素信息具体数值第四行;变化信息第五行;变化信息名称第六行;变化信息具体数值 A.3 外部映射文件具体样例如下: 基本要素信息:1,2. 1,5,6,7,8,9,10,1l,12,13,14,15 ,3,4 UTC,CGCS2000HVD1985,1920,l080,2.59,2.59,0.0523,-0.00518,34.8248,34.8248 一4.6058te006,l.000548c007,6.151le10,1.50119e005,3.3728te005 b 视频流时空信息融合编码帧号,日期,时间,经度,纬度,高度,横滚角,俯仰角,旋偏角 1,20190724,051524556,116.32541l,39.98214,43.5,一1.2,-5.3,一179.7 2,20190724,051524556,1l6.32541,39.98214,43.5,一1.0,一6.0,一179.9
GB/40768一2021 附录B 资料性附录视频流与时空信息融合编码样例 B.1常用的视频编码标准主要包括MPEG-4、H.264、H.265,AVs等以H.264编码标准为例进行说明 H.264的功能分为两层;视频编码层(VCL,VideoCodinglayer)和网络提取层(NAL,Network AbstractionlLayer),H.264码流结构示意图见图B.1 NalUni RTPPacket Startcode 时空信息型ID为6，SE NALU主体 NALUHHcader SliceHleadler SlieeDada 图B.1H.264码流结构示意图 B.2网络提取层单元又包括多种类型,类型标签存储在网络提取层单元头文件中,用于识别网络提取层单元不同类型,网络提取层单元类型描述见表B.1 表B.1网络提取层单元类型描述网络提取层类型标签网络提取层类型未使用不分区,非首帜关键赖图像的片 2.3.4 片分区A 片分区B 片分区c 首顿关键顿图像中的片 2,3 补充增强信息单元 6 (SEI 序列参数集图像参数集分界符注:6,网络提取层类型ID为6,表示网络提取层类型为补充增强信息单元(SupplementalEnhancementInfor mation,SE),H.26x中sEI结构允许用户添加自定义信息
GB/T40768一202 B.3为避免时空信息的冗余,在第一个SE1结构中写人基本要素信息,在其余的NAL单元序列的SEI 结构中只写人视频对应的时空信息第一个SEI结构信息样例如下 a 1UTC,2CGCS2000HVD1985,31920,41080,52.59,62.59,70,0523,8一0.00518 934.8248,1034.8248,11一4.60584e-006,121.000548e-007,136.151le-010,141.50119e-005 153.37284e-005 b 其余SE1结构写人时空信息 20190724,051524556,116.32541,39.98214,43.5,一1.2,一5.3,一179.7; 20190724,051524558,116.32541,39.98214,43.5,一1.0,一6.0,179.9; ##
GB/40768一2021 附录 C 资料性附录视频流与时空信息封装融合编码样例 c.1常见的视频封装格式有AVI,MP4,MKV,ASF,RMVB等,以AVI视频封装格式为例 c.2AVI数据格式包括三部分,信息块、数据块和索引块 c.3AVI文件采用RIFF(ResoureelnterechangeFileFormat,资源互换文件格式),RIFF块包含一系列子块,其中常用的子块ID为“L1ST” AV1三个子块的表述如下信息块;ID为“hdrl”的“LIST”块,主要用来定义AVI文件的格式信息; a b) 数据块:ID为“movi”的“LIST”块,主要用于存储音视频流数据" 索引块;ID为“dxI!”的子块,主要用于定义“LIST_movi”块的索引数据,是可选块 C.4在LIST_hdrl信息块中扩展LIST_strl子块,其中strh结构主要用于描述时空数据流属性信息用于表示与视频流的对应关系,其结构定义见图C.1 RIFF_AVI 信息块 LISThdnl avih LISTstrl -stth -strf LISTstrl sth Strt LISTstrl -strh 基本要素信息 strf -UNK LISTmo 数据块扩展信息及定义 -00dl -00wb -00st 时空数据流 dxl 索引块图c.1AVI视频融合编码文件格式示意图 C.5LIST_strl子块下的结构包含基本要素信息,示例如下: 1UTC,2CGCS2000HVD1985,31920,41080,52.59,62.59,70.0523,8一0.00518,934.8248 034.8248,l1一4.60584c006,121.000548ec-007,136.151lc010,l41.50119e-005,153.37284e005 C.6在LIST_moi数据块中扩展时空数据,融合编码时空数据样例为: 20190724,051524556,1l6.32541,39.98214,43.5,一1.2,一5.3,一179.7; 20190724,051524558,116.32541,39.98214,43.5,一1.0,一6.0,179.9;
GB/T40768一2021 参考文献 [1]GB/T740s一2005数据元相交换格式信息交换目期和时间表示法 [2]GB/T20090.2一2013信息技术先进音视频编码第2部分视频 [3 GB/T27918一2011地理信息基于位置服务参考模型 [打 GB/T29842一2013卫星导航定位系统的时间系统 [5]GB/T30288一2013 卫星导航定位坐标系统 [们 ISO/IEC/IEEE8802-11:2005 Information tehnology-Telecommunieationsandinforma tionexchan betweensystems ILocalandmetropolitanareanetworks Specificreguirements Part1l ange WirelessLANmediumaccesscontrolMACandphysicallayerPHHY speeifications ISO/IEC14496-15:2017Informationtechnology CodingofaudiovisualobjectsPart15: Cariageofnetworkabstraeionlayer(NAL)unitstrueturedvideointheIsObasemedliaflelorma [8ISO/TS19129:2009Geographicinformation Imagery,griddedandcoveragedataframe work [9]ISO/IEC14496-10:2010lnformationtechnologyCodingofaudiovisualobjectsPart10: Advancedvideocoding [10]ITUH.265;2014Higheffieeneyvideocoding

视频流与时空信息融合编码规范GB/T40768-2021解读

随着5G技术的不断发展和普及，视频流数据传输成为了互联网应用领域中的重要一环。而视频流中所包含的时空信息也越来越受到广泛关注。为了更好地实现视频流与时空信息的融合，国家标准化管理委员会发布了最新的编码规范——GB/T40768-2021。

该规范的主要目的是建立统一的视频流与时空信息融合编码标准，以支撑多种应用场景下的高效传输。其中，涉及到的技术包括视频编码、时空信息采集、处理和传输等方面。

具体来说，该规范提出了以下几个方面的要求：

视频流编码要求

该规范要求视频流必须使用H.264和H.265两种编码格式之一，并规定了相关参数和配置要求。此外，还明确了对于不同分辨率和帧率的视频流，应采用不同的编码策略。

时空信息采集和处理要求

为了更好地实现视频流与时空信息的融合，该规范还对时空信息的采集和处理提出了严格要求。其中，时空信息包括GPS位置信息、惯性传感器数据、云台转角等多个方面。规范明确提出了各项指标的要求，以保证采集和处理的准确性和稳定性。

传输要求

为了确保视频流数据在传输过程中的可靠性和安全性，该规范规定了传输环节中所需的技术要求和安全要求。其中，涉及到的技术包括传输协议、加密算法等方面。

总之，GB/T40768-2021对于视频流与时空信息融合编码提出了详细的要求和标准，旨在实现高效、准确、安全的视频流数据传输。作为专业人士，我们需要深入了解该规范的内容和应用价值，以更好地为实际应用提供支撑和指导。