3.技术方案 鉴于上述内容中以智能手表为代表的智能穿戴设备对三轴重力加速和气压计信号进行深度学习运动场景识别时的功耗较大和精度不高的问题,提出一种能够实现克服以智能手表为代表的智能穿戴设备用三轴重力加速和气压计信号进行深度学习运动场景识别运算量大,设备续航时间短的问题;同时采用对CAM-TCN-net的深度学习模型,旨在通过自适应对三轴重力加速度影响运动场景识别分类的轴向进行加权,同时TCN网络对三轴重力加速度信号中蕴含的时空特征进行提取,进一步提升使用三轴重力加速度进行运动场景识别的精度问题。 公开一种基于三轴重力加速和气压计信号进行深度学习运动场景识别的方法与系统,包含窗口滑动原理、通道注意力机制原理、空时特征提取原理和气压变化识别海拔高度变化原理。 窗口滑动原理,在处理输入信号的时候包括两个窗口,一个是处理三轴重力加速度信号的窗口,记为第一窗口,窗口长度为2秒钟,即大小为2*3*25;另一个是气压计信号处理窗口,记为第二窗口,窗口长度为4秒钟,即大小为4*1*5。 通道注意力机制原理,分为压缩和激励两个部分,压缩部分是采样平均池化层将输入H*W*C(对应1*50*3)压缩为1*1*C(即1*1*3);激励部分是指将压缩部分得到的1*1*C经过等维度的全连接处理后与输入H*W*C中的C加权,具体过程如图所示: 空时特征提取原理,将输入的三轴重力加速数据经过一层卷积层,用于将序列数据从原始的时间维度转换为空时维度,然后采用多个卷积层进行堆叠,每个卷积层都包含一维卷积操作和非线性激活函数,并且引入池化技术、残差连接技术和丢弃技术,进一步提升模型的精度和泛化能力,其中模型的结构如图所示: 气压变化识别海拔高度变化原理,通过对缓冲的前4秒气压计数据窗口进行处理,包括偶-偶窗口(即4秒数据减去对应的第2秒数据,累计求和)和奇-奇窗口(即3秒数据减去对应的第1秒数据,累计求和)对气压计处理窗口数据进行差分处理,根据处理结果跟一正数阈值进行比较,判断气压计的所处的状态类别,当大于该阈值时判为下降,小于该阈值额相反数时判为上升,否则为其他状态。 为了达到上述目的,采用下面的技术方案予以实现: 一种三轴重力加速和气压计信号进行深度学习运动场景识别的方法与系统,基于以下定义: 定义:选取智能手表采集的固定长度的三轴重力加速信号作为样本数据和对应的走路、跑步、骑行、开车、椭圆机和其他的六个类别作为样本标签。具体包括如下步骤: - 步骤S1:通过长度2秒,步长为1秒的三轴重力加速度处理窗口;
- 步骤S2:使用融合通道注意力和时间卷积网络的深度学习模型CAM-TCN-net进行场景识别分类;
- 步骤S3:通过长度4秒,步长为1秒的气压计处理窗口;
- 步骤S4:使用偶-偶窗口(即4秒数据减去对应的第2秒数据,累计求和)和奇-奇窗口(即3秒数据减去对应的第1秒数据,累计求和)对气压计处理窗口数据进行差分处理,根据处理结果跟阈值进行比较,判断气压计的所处的状态类别;
- 步骤S5:根据第四步得到的结果,如果气压计状态类别为上升或下降时,并且第二步得到的运动场景为走路或跑步或其他,进一步进行场景识别,包括:气压计上升状态,三轴重力加速识别走路状态,即为走下楼梯;气压计上升状态,三轴重力加速识别跑步状态,即为跑下楼梯;气压计下降状态,三轴重力加速识别走路状态,即为走上楼梯;气压计下降状态,三轴重力加速识别跑步状态,即为跑上楼梯;气压计下降状态,三轴重力加速识别其他状态,即为电梯上楼;气压计上升状态,三轴重力加速识别其他状态,即为电梯下楼。
三轴重力加速度预处理单元、气压计预处理单元、运动场景识别单元,上下楼识别单元,以及结果输出单元,模型如图: 4.技术关键点 本文提出的技术方法体现在: - (1)提出使用不同采样率进行多传感器数据融合处理方法,可以克服以智能手表为代表的智能穿戴设备用三轴重力加速和气压计信号进行深度学习运动场景识别运算量大,设备续航时间短的问题,同时克服单传感器识别运动场景类别少的问题;
- (2)提出融合通道注意力和时间卷积网络的深度学习模型CAM-TCN-net对三轴加速度信号进行场景识别分类,通过通道注意力机制加权关注影响场景识别分类结果的通道,并且充分提取三轴重力加速度信号蕴含的时空信息,进一步提升场景分类识别模型的精度和泛化性能。
5.技术效果 提出用于实时运动场景识别的CAM-TCN-net模型,佩戴出门问问旗下产品TicWatch Pro5作为三轴重力加速度和气压计信号的采集设备,通过标注样本数据进行验证,其中三轴重力加速度信号对应走路、跑步、骑行、开车、椭圆机和其他的六个类别样本标签,气压计信号对应上升、下降和其他三个类别样本标签,使用准确性能指标:准确率、召回率、特异性和马太相关系数。 其中TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性的实例。对马太相关系数MCC的取值范围从-1到1中,MCC为-1表示最坏的可能预测,而值为1表示最好的可能预测方案。此外,MCC为0表示随机预测。将采集标注的10000个基于三轴重力加速度样本点按照8:2的比例划分为训练集和测试集,其中训练集、测试集的样本点数为8000个和2000个,其中训练后的CAB-TCN-net模型相比较单独的TCN和相似结构的CAB-CNN和单独的CNN模型对测试集的分类结果用性能指标表示如表1所示。可以看出相较于TCN、CAB-CNN和CNN模型,提出的CAB-TCN-net对用于运动场景实时识别时的测试集具有明显的性能提升。如表所示: 将采集标注的6000个基于气压计的样本,包括1218个上楼样本、1321下楼样本和3461个其他样本,直接使用提出的上下楼识别单元进行识别,其中各性能指标都达到99%以上,说明上下楼识别单元性能良好,识别分类结果用性能指标表示如表所示:
本文已申请发明专利:
|