GB/T38665.2-2020
信息技术手势交互系统第2部分：系统外部接口
Informationtechnology—Gestureinteractionsystem—Part2:Systemexternalinterface
- 中国标准分类号（CCS）L60
- 国际标准分类号（ICS）35.240
- 实施日期2020-11-01
- 文件格式PDF
- 文本页数15页
- 文件大小1.11M
以图片形式预览信息技术手势交互系统第2部分：系统外部接口
信息技术手势交互系统第2部分：系统外部接口
国家标准 GB/38665.2一2020 信息技术手势交互系统 2部分:系统外部接口 第 Informmationtechnology一Gestureinteraetionsystem- Part2:Systemexternalinterface 2020-04-28发布 2020-11-01实施 国家市场监督管理总局 发布 国家标涯花管理委员会国家标准
GB;/T38665.2一2020 目 次 前言 范围 2 规范性引用文件 术语和定义 总则 接口定义 5.1接口编号格式 接口定义形式 5,2 5.3系统输人接口 系统输出接口 5,4 5.5 系统服务接口 接口参数定义 6.I接口参数定义形式 6.2手势识别算法种类 6.3手势数据 6.!识别算法 6,.5手势集 6.6手势模板 6.7手势标识 6.8手势控制指令集 6.9手势控制指令标识 6.10返回值 手势交互系统手势识别接口调用流程示例 10 7.1离散型手势识别接口调用流程示例 l0 7.2连续型手势识别接口调用流程示例
GB;/T38665.2一2020 前 言 GB/T38665《信息技术手势交互系统》拟分为l0个部分 第1部分:通用技术要求; 第2部分:系统外部接口; 第3部分:通用测试方法; 第4部分:手势交互界面设计工具; 第5部分:桌面手势交互设计准则; 第6部分;笔手势交互设计准则; 第7部分;触控手势交互设计准则 第8部分;空中手势交互设计准则 第9部分 ;双手手势交互设计准则" 第10部分:身体姿态交互设计准则 本部分为GB/T38665的第2部分 本部分按照GB/T1.l2009给出的规则起草
请注意本文件的某些内容可能涉及专利
本文件的发布机构不承担识别这些专利的责任
本部分由全国信息技术标准化技术委员会(SAC/Tc28)提出并归口
本部分起草单位;科学院软件研究所、电子技术标准化研究院、北京理工大学、浙江大学 科学院自动化研究所、科学院计算技术研究所、北京科技大学华南理工大学、科学院心理 研究所、杭州师范大学、济南大学,深圳市鸿合创新信息技术有限责任公司、北京诺亦腾科技有限公司、 华为终端有限公司、北京电影学院
本部分主要起草人;田丰,戴国忠,王涌天、王聪、刘越、周昆、陶建华、陈益强、班晓娟、金连文、刘烨、 潘志庚、冯志全、骆国程,刘昊扬、潘秋菱,黄进、范向民、马珊珊、宋维涛
GB;/T38665.2一2020 信息技术手势交互系统 第2部分:系统外部接口 范围 GB/T38665的本部分规定了手势交互系统的外部接口
本部分适用于与设备、平台、方法无关的手势交互系统的研发、应用和维护 规范性引用文件 下列文件对于本文件的应用是必不可少的
凡是注日期的引用文件,仅注日期的版本适用于本文 件
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件
GB/T18793信息技术可扩展置标语言(XML)1.0 GB/T38665.1一2020 信息技术手势交互系统第1部分;通用技术要求 术语和定义 GB/T38665.12020界定的以及下列术语和定义适用于本文件
3. 手势识别算法gestureregni nitionalgorithm 将用户的手势信号转化为手势识别结果过程中使用到的计算机程序
3.2 离散型手势识别算法diseretegesturereeogntionalgorithmm 识别模块一次对一段手势数据进行识别,得到对应的识别结果的一类手势识别算法
示例;对于配备手柄的手势交互系统,用户按下手柄按钮开始执行一个手势,松开按钮结束该手势,识别模块对按下 手柄按钮开始到松开按钮过程中用户手部(手柄)运动轨迹进行手势识别
3.3 连续型手势识别算法contimuousgestureregnitonalgorithm 识别模块连续不断地对输人的手势数据流进行识别,一旦成功识别则返回识别结果的一类手势识 别算法
示例:用户在深度摄像机前任意执行任何手势,识别模块在该过程中对用户的手势进行连续识别,无需提供显式的 起始或结束指令
总则 -2020第4章中的手势交互系统框架对手势交互系统与输人设备,输出设备和应用 GB/T38665.1一 之间的接口进行了描述
其中,GB/T38665.1一2020图1中的2,9、l1、4、7和8是手势交互系统与输 人设备等的外部接口,3,5和6是手势交互系统的内部接口,l和10是用户与输人和输出设备的接口 本部分只定义手势交互系统的外部接口,即GB/T38665.1一2020图1中的接口2,9,l1、4、7和8.
GB/T38665.2一2020 5 接口定义 5.1接口编号格式 接口的编号格式为X-Y,其中: -X;接口种类; Y;同一种类的接口序号
5.2接口定义形式 接口定义由编号描述,功能、主要实现过程、输人和输出参数六部分组成,其中除主要实现过程外 的其余五个部分是每个接口定义必备的
本部分接口描述遵循GB/T18793所规定的语法规则
接口定义中使用的原语的含义见表1
表1接口定义中使用的接口名称及含义 义 接口名称 含 colleetGestureData 数据采集 on(GestureStarted 手势起始 on(GiestureFinished 手势结束 on(Gesture(Canceled 手势取消 系统执行状态反饮 showSysStatFeedback sowSvsResultFeedack 系统执行结果反饿 系统功能提示 showSvsGestureCommand 创建手势集 createGestureSet deleteGestureSet 删除手势集 aaddGesture 添加手势 removeGesture 移除手势 初始化手势识别 initGestureRecognizer 退出手势识别 destoryGestureRecognizer 设置识别算法 setRecogEmitonANlgeorithm 设置手势集 set(GestureSet regContiGestureStart 开启连续手势识别 regContiGestureEnd 停止连续手势识别 onCommandDecisionSend 发送手势控制指令决策 绑定手势与手势控制指令 bindGresture 应用执行结果 onShowSysResultFeedback 应用功能提示 onShowSsGestureCommand
GB;/T38665.2一2020 5.3系统输入接口 5.3.1数据采集 编号:2-1 c 描述:colleetGestureData(inges tureDataG restureData);int colleetGestureData(ingestureDataList;List
GB/T38665.2一2020 件实现
输人参数;不做定义
输出参数:不做定义
5.4系统输出接口 5.4.1系统执行状态反馈 编号;9-1 描述;showSysStatFeedback(ingestureData;GestureData);int howSysStatFeedback(ingestureDataList;List
GB;/T38665.2一2020 描述;rreatcGetursSset(outgesturesttGeturse)int 功能;创建一个空手势集
输人参数:不做定义
输出参数:gestureSet,创建的手势集,见6.5;返回值等,见6.10 5.5.2删除手势集 编号:11-2 reSet;GestureSet);int 描述.;daeGcestureser(im(estuc 功能;删除指定的手势集
输人参数:gestureSet,指定的手势集,见6.5
输出参数;返回值等,见6.10.
5.5.3添加手势 编号:11-3 esture(in 描述:addGee Set:GestureSet,ingestureTemplate:GestureTemplate):int gestureS 功能:为手势集添加一个可被识别的手势,使手势交互系统能够对此手势进行识别,直到此手势从 识别系统中移除为止
主要实现过程;若要实现该接口,应用程序需根据手势识别算法准备好可以处理的手势模板,本接 口将手势识别模板存人手势集中,以便识别算法使用对手势数据进行识别和匹配
示例;对于一个典型的基于单点手势轨迹匹配的手势识别算法,输人一个单点手势轨迹作为手势模板存人手势 集中 输人参数:gestureSet,手势集,见6.5;gestureTemplate,手势模板,见6.6 输出参数;返回值等,见6.10.
5.5.4移除手势 编号:11-4 ein 描述:removeGesture ingestureSet:GestureSet,ingestureldint);int 功能:从手势集中移除已有手势,调用此接口后被移除的手势将无法识别
输人参数;gestureSet,手势集,见6.5;gestureld,移除的手势标识,见6.7
输出参数;返回值等,见6.10. 5.5.5初始化手势识别 编号:4-1l 入 描述;initGe restureRecognizer(inrecognition Iype;int):int 功能;本接口用于初始化手势识别模块,指定识别类型,导人手势识别模块资源等
本接口应和退 出手势识别接口(见5.5.6)配对使用
可自定义设置识别模块参数,参数有效范围为初始化手势识别模 块起至退出手势识别模块结束
输人参数:;recognitionType,识别算法种类标识,见6.2. 输出参数;返回值等,见6.10. 5.5.6退出手势识别 编号;4-2 描述;destoryGestureRee scognizer(void)int
GB/T38665.2一2020 功能;本接口用于关闭当前运行的手势识别模块,释放所有系统资源、手势集,待处理手势数据等 本接口应和初始化手势识别接口(见5.5.5)配对调用
退出手势识别模块后,如需重新开始手势识别处 理,则应再次调用初始化手势识别模块、设置手势集
输人参数:不做定义
输出参数:返回值等,见6.10.
5.5.7设置识别算法 编号:4-3 描述;setReeognitionAlgorithm(in ritionAlgorithm;RecognitionAlgorithm)int recognml 功能:设置当前识别模块的识别算法
输人参数;recognitionAlgorithm,识别算法实例,见6.4
输出参数;返回值等,见6.10. 5.5.8设置手势集 编号;4-4 描述:setGestureSet(ingestureSet:GestureSet);int 功能;设置当前识别模块的手势集
输人参数;gestureSet,手势集,见6.5 输出参数;返回值等,见6.10. 5.5.9开启连续手势识别 编号;4-5 描述;regContiGestureStart(void);int 功能;开启连续手势识别处理流程
本接口仅在识别算法为连续型手势识别算法(见3.3)时使用 且和停止连续手势识别接口(见5.5.10)配对使用
主要实现过程使用指定的连续型手势识别算法对不断写人的手势数据流进行识别计算,并将识别 结果存于一个列表中以便调用
输人参数:不做定义
输出参数;返回值等,见6.10.
5.5.10停止连续手势识别 编号;4-6 描述;regContiGestureEnd(void):int 功能;停止手势数据的连续识别进程,清除连续识别过程中的识别结果列表
与开启手势识别处理 成对调用
本接口仅在识别算法种类为连续型手势识别算法(见3.3)时使用,且和开启连续手势识别接 口(参见5.5.9)配对使用
输人参数:不做定义
输出参数;返回值等,见6.10.
5.5.11发送手势控制指令决策 编号;7-1 nndDisionse nd(incommand 描述:onCommann ndldint)int 功能:当交互决策模块做出控制指令决策后,通过本接口通知应用,以便应用执行自定义控制指令
GB;/T38665.2一2020 主要实现过程;本接口以回调函数的形式存在
每当交互决策模块将手势识别模块输出的手势识 别结果与应用定义的控制指令匹配后,调用此回调函数
输人参数:commandld,手势控制指令标识,见6.9
输出参数;返回值等,见6.10. 5.5.12绑定手势与手势控制指令 编号;7-2 描述:bindGesture(ingestureSet:GestureSet,ingestureldint,incommandld.int)int 功能;将手势集中的手势与应用手势控制指令进行绑定,当某个手势被手势交互系统成功识别后， 将执行绑定的应用手势控制指令
输人参数:gestureSet,手势集,见6.5;gestureld,手势标识,见6.7;commandld,手势控制指令标识 见6.9
输出参数;返回值等,见6.10
5.5.13应用执行结果 编号:8-1 描述:onShowSysResultFeedback(ingestureld;int):int 功能:当手势交互系统输出识别结果时,通过本接口通知应用,以便应用下达自定义的反馈指令
主要实现过程:本接口以回调函数的形式存在
可在结果反馈模块实施系统结果反馈时调用此回 调丽数
输人参数;gestureld,手势标识,见6.7
输出参数;返回值等,见6.10
5.5.14应用功能提示 编号:8-2 c 描述:onShowSys estureCommand(GingestureSet:GestureSet,incommandSet:CommandSet);voi 功能:当手势交互系统输出功能提示时,通过本接口通知应用.以便应用下达自定义的功能提示
主要实现过程;本接口以回调函数的形式存在
可在结果反馈模块实施识系统功能提示时调用此 回调丽数
输人参数;gestureSet,手势集,见6.5;commandSet,应用手势控制指令集,见6.8. 输出参数;返回值等,见6.10.
接口参数定义 6.1接口参数定义形式 接口参数定义由参数名、取值、说明和使用接口四部分组成
接口参数定义中使用的原语的含义见表2
GB/T38665.2一2020 表2接口参数定义中使用的参数名称及其含义 参数名称 含义 recognitionType 手势识别算法种类 手势数掘 gestureData 识别算法 recognitionAlgorithm 手势集 gestureSet gestureTemplate 手势模板 gestureld 手势标识 ommandSet 手势控制指令集 commandld 手势控制指令标识 6.2手势识别算法种类 参数名;recognittionType 取值;整数,0代表离散型手势识别算法,1代表连续型手势识别算法
说明:用于标识识别算法的种类
使用接口:4-1 6.3手势数据 参数名:gestureData 取值:对象,用于表示手势信息的任意类型数据的一个数据单元 说明:表示手势信息的图像,深度、骨骼或其他任意类型的数据,可由如表3示例中的任意一种或多 种手势数据类型组成,也可自定义其他数据类型
示例1;在一个利用用户隔空手势操作电影播放的交互系统中,对于“快进”命令,系统采集用户上肢的一段图像数 据以及一段肌电数据作为手势信号流经手势识别模块识别后执行该命令 个手势数据是指以下数据类型的一个数据单元，一段手势数据是指以下数据类型的若干个数据 单元的序列
,(Red 示例2;一个图像数据为(Red，Green，Blue e)wexw，一段图像数据为(Red，Grenn，Hue))e.m. Greeng，Blueg2)00xI1980,(Red，Greeni，Bluen)o0x1980,其中1080×1920表示分辨率为1080×1920的图像
表示手 势信息的数据类型示例见表3
表3表示手势信息的数据类型示例 名称 说明 图像数据 包含一赖图像中,以RGB取值的颜色信息 深度图像数据 包含一帆图像中,以距离为单位的景深信息 骨骼数据 包含一帧图像中,以三维坐标表示的所有人体的骨骼的位置以及角度信息 肌电数据 包含一个时刻,以肌肉电位为单位的肌电生理信号数据 包含一个时刻,以皮肤电位为单位的皮肤电生理信号数据 皮肤电数据 压力数据 包含一个时刻,以压力大小为单位的压力数据 包含一个时刻,以距离为单位的物体与传感其的接近程度数据 接近传感器数据
GB;/T38665.2一2020 使用接口;2-1、9-1
6.4识别算法 参数名:recognittion.Algorith 1m 取值;对象,任意一个手势识别算法 说明:识别算法以手势数据流为输人,相应手势集中的最佳匹配的手势作为输出,一般通过程序或 者库类实现
使用接口:4-3
6.5手势集 参数名:gestureSet 取值;对象,任意一个手势集
说明:手势集包括一系列手势模板,见6.6 使用接口:ll-1、11-2、l1-3、l1-4、4-4、7-2 6.6手势模板 参数名:gestureTemplate 取值;对象,任意一个手势模板
说明一般为一个规范的手势数据(见6.3)样本,或者为由若干个规范手势数据组成的样本簇
使用接口:ll-3.
6.7手势标识 参数名;gestureld 包含N个手势的手势集中手势 取值:整数,取值主要为:一1 没有成功匹配任何手势,l-N 的索引
说明识别模块对输人的手势数据进行识别后在手势集匹配的手势的标识 使用接口:9-2、11-4、7-2、8-1
6.8手势控制指令集 参数名:commandSet 取值;对象,任意一个控制指令集合 说明;应用根据具体业务逻辑自定义的手势控制指令的集合,见6.9
使用接口;9-3、8-2
6.9手势控制指令标识 参数名commandld 取值;整数,应用根据具体业务逻辑自定义取值
说明唯一标识应用中的某个控制指令
示例;文本编辑类应用中的复制,粘贴等控制指令的标识,用于在手势交互决策模块中将手势与控制指令进行绑定
使用接口:7-1、7-2 6.10返回值 参数名:returnValue
GB/T38665.2一2020 取值;整数,取值为0,-1到一5
说明;用于表示接口的执行结果或执行异常原因,取值及对应的原因见表4
表4返回值意义 返回催 原因 说明 执行成功 接口调用成功 执行失败 -般性接口执行失败 参数错误 因接口的参数错误而导致的执行失败 为 资源不足 因接口在执行过程中计算资源不足而导致的执行失败 执行超时 因接口执行时间过长而返回的执行失败 执行挂起 接口在执行异步操作时被挂起,等待再次执行 使用接口;:2-1、9-1、9-2、11-2、11-3、11-4、4-1、4-2、4-3、4-4、4-5、4-6、7-1、7-2,8-1、8-2
手势交互系统手势识别接口调用流程示例 7.1离散型手势识别接口调用流程示例 离散型手势识别一般流程见图1,其中包含了接口2-1,2-2,23、7-1,8-1.8-2.9-1、9-2,9-3和11个 标有“关”号的内部接口(本部分不给予定义 该识别流程中,各个模块为执行相应功能调用的接口如下
各项描述的前后顺序显示流程各项活 动的时序 首先,应用调用接口8-2通知反馈模块执行应用功能提示 a 反馈模块调用接口9-3通知输出设备执行系统功能提示; b 输人设备调用接口2-2通知手势识别模块手势起始 手势识别模块调用内部接口通知反馈模块手势起始消息; 反馈模块调用内部接口执行反馈信息整合; 1通知手势识别模块数帮采集; 输人设备调用接口2-1 手势识别模块调用内部接口通知反馈模块手势执行状态 g 输人设备调用接口2-3通知手势识别模块手势结束; 手势识别模块调用内部接口通知反馈模块手势结束消息 通知输出设备系统执行状态; 手势识别模块调用内部接口识别命令手势; 手势集模块调用内部接口向手势识别模块提供手势模板 m手势识别模块调用内部接口通知反馈模块手势识别结果 n 反馈模块调用内部接口执行反馈信息整合; 手势识别模块调用内部接口通知交互决策模块手势识别结果， o 交互决策模块调用内部接口匹配控制指令,并调用接口7-1通知应用手势控制指令决策; p 应用调用内部接口执行应用业务逻辑 g 应用调用接口8-1通知反馈模块应用执行结果 反馈模块调用接口9-2通知输出设备系统执行结果 s 重复执行a)到s),直到手势交互系统退出
10
GB;/T38665.2一2020 输入设备 手势集模块 手势识别模块 交互决策模块 应用 反馈模块 输出设备 G -应用功能提示8-2 Ig0an] 系统功能提示9-3 反饿信息整合 手劳起始消息* -手势起始2-2 手势执行状态米 数据采集2-1 稀赞状态 手势结束消息 手势结束2-3 识别命令手势！ -手势模板*一 反饿信息整合 手势识别结果* 手势识别结果 匹配控制指令 应用业务逻辑 发送手势控制 指令决策7-1 技行结果 应用执行结果8-- 反惯9-2 图1离散型手势识别接口调用流程图 7.2连续型手势识别接口调用流程示例 连续型手势识别一般流程见图2
其中包含了接口2-1、4-5、4-6、7-1、8-1、8-2、9-1、9-2、9-3和11个标有“关”号的内部接口(本部分不 给予定义. 该识别流程中,各个模块为执行相应功能调用的接口如下
各项描述的前后顺序显示流程各项活 动的时序 首先,应用调用接口4-5通知手势识别模块开启连续手势识别; a 应用调用接口8-2通知反馈模块执行应用功能提示; b 反馈模块调用接口9-3通知输出设备执行系统功能提示; c 输人设备调用接口2-1通知手势识别模块数据采集; d 系统进人识别连续手势的循环,手势识别模块调用内部接口识别连续手势; 手势集模块调用内部接口向手势识别模块提供手势模板， 手势识别模块调用内部接口通知反馈模块手势起始消息， g h 反馈模块调用内部接口执行反馈信息整合; 手势识别模块调用内部接口通知反馈模块手势执行状态; 调用内部接口 模块手势结束消息 I通知反惯不 反馈模块调用接口 通知输出设备系统执行状态 k 1通知反馈模块手势识别结果时,系统跳出识别连续手势的循环 当手势识别模块调用内 部花口 m反馈模块接收到手势识别结果后,调用内部接口执行反馈信息整合; 手势识别模块调用内部接口 1交互决策模块手势识别结果; 用知 交互决策模块调用内部接口匹配控制指令 T 交互决策模块调用接口7-1通知应用手势控制指令决策; P 应用调用内部接口执行应用业务逻辑; Q 应用调用接口8-1通知反馈模块应用执行结果; 反馈模块调用接口g-2通知输出设备系统执行结果; 11
GB/T38665.2一2020 重复执行a)到s); u 应用调用接口4-6通知手势识别模块停止连续手势识别
输入设备 手势集模块 手势识别模块 交互决策模块 应用 反馈模块 输出设备 开启连续手势识别4-5 -应用功能提示8-2-系统功能提示9-3- 数据采集2-1 识别连铁手务 On LrcOgnized 反馈信息整合* 手势起始消息 手势模板本 -手势状态信息* 系赞热年状右 -手势结束消息 手粉识别果" -手势识别结果来" 匹配控制指令 反馈信息整合 应用业务逻辑* -天 系售热行结果 应用执行结果-l 反馈9-2 停止连续教识别4 图2连续型手势识别接口调用流程图 12
信息技术手势交互系统第2部分：系统外部接口GB/T38665.2-2020
信息技术手势交互系统是一种新型的人机交互方式，通过手势识别技术实现与计算机的交互。其中，系统外部接口是系统与其他设备或软件进行数据交换和通信的重要组成部分。GB/T38665.2-2020是我国针对手势交互系统制定的标准之一，规定了系统外部接口的相关要求。 该标准首先定义了手势交互系统中使用的接口类型，包括传感器接口、控制器接口、应用程序接口等。其中，传感器接口用于连接手势识别传感器和处理器，控制器接口用于连接用户界面和处理器，应用程序接口则用于连接系统和软件应用程序。 在具体的接口设计方面，该标准规定了接口的物理特性、电气特性、协议特性和软件特性。其中，物理特性主要包括接口形状、连接方式和引脚定义等；电气特性则包括信号电平、传输速率和功耗等；协议特性则规定了数据传输协议和控制协议；软件特性则包括应用程序接口的数据格式和调用方式等。 此外，GB/T38665.2-2020还规定了系统外部接口的测试方法和要求。测试方法主要涉及到接口的功能测试、可靠性测试和兼容性测试等方面；而测试要求则包括接口的稳定性、可靠性和安全性等方面。 总之，GB/T38665.2-2020为手势交互系统的系统外部接口设计提供了详细的指导和要求，对于保证系统的稳定性和兼容性具有重要意义。在实际应用中，设计师们应该根据标准要求进行接口设计和测试，以确保系统的正常运行。
