一种基于智能手表融合三轴重力加速度和气压的深度学习运动场景识别方法

kycx19866711050

1.背景

      当前基于智能手表进行运动场景识别方法输入信号形式主要包括三个方面：

• 一是仅输入三轴重力加速；
• 二是同时输入三轴重力加速于陀螺仪的六轴惯导信号；
• 三是输入三轴重力加速和气压计信号。
  

       在使用的运动场景识别这三类信号输入形式中，只输入三轴重力加速信号的方式简单，易于操作，但难以区分更多类别的运动场景；同时输入三轴重力加速于陀螺仪的六轴惯导信号，可以识别运动场景类别多，但是算法处理的数据量更大，并且开启陀螺仪通常功耗是三轴重力加速计的数倍，导致设备续航时间降低；同时输入三轴重力加速和气压计信号可以识别相对仅输入三轴加速度更多类别的运动场景，同时相对输入六轴惯导信号所需要的资源少，功耗低。因此，选择三轴重力加速和气压计信号作为基于智能手表进行运动场景识别方法的输入。

• 使用三轴重力加速和气压计信号的作为智能手表进行运动场景识别方法主也要包括三个方面：
• 一是基于传统信号处理的方法，如时频特征的双门限法 、自相关函数法等，然后根据计算的阈值作为模式识别的判决条件；
• 二是基于机器学习方法，如支持向量机法、人工神经网络方法等；
• 三是基于深度学习的方法，如卷积神经网络、长短时记忆网络等。
  

      在使用的三轴重力加速和气压计信号的作为智能手表进行运动场景识别这三类方法中，传统信号处理的方法设计简单，容易实现，但是在低信噪比情况下分离不同类别的运动场景效果并不理想；机器学习方法通常能够得到比较高的准确率，但是存在依赖先验知识、操作复杂和计算量大等缺点；深度学习是目前智能手表进行运动场景识别的常用方法，它具有自动的特征工程，不需要依赖太多的先验知识，可以通过数据驱动的方法实现较高识别精度的算法。

      通常使用深度学习对智能手表进行运动场景识别的方法，第一步是使用滑动窗口法对传感器信号序列截取输入，因此在使用三轴重力加速和气压计信号作为智能手表进行运动场景识别的输入，要求三轴重力加速和气压计信号具有相同的采样率。但是，人运动步频上限是4Hz，工程上应用通常采样率设置为最大频率的5-10倍，另外根据常用加速度的采样频率设置档位，一般选择25Hz作为三轴重力加速采样频率。如果设置气压计的采样频率为25Hz，也能满足需求，但为进一步降低智能手表的功耗，可将气压计的采样频率设置为5Hz。此时，气压计的采样频率为1Hz也可以满足识别上下楼梯和乘坐电梯的运动场景区分。

      因此，为进一步降低使用三轴重力加速和气压计信号进行运动场景识别的智能手表的计算量和功耗，提出一种基于三轴重力加速和气压计信号进行深度学习运动场景识别的低功耗方法与系统，对于以智能手表为代表的智能穿戴设备实现实时运动场景识别具有实际意义。

2.技术解决问题

      提出一种基于三轴重力加速和气压计信号进行深度学习运动场景识别的低功耗方法与系统，旨在解决以智能手表为代表的智能穿戴设备实现实时运动场景识别时需要同时对采集的三轴重力加速和气压计信号进行处理，导致运算的占空比大，设备续航时间短的问题。另外采用融合通道注意力机制和时间卷积网络的深度学习模型可以进一步提升运动场景识别分类的精度问题，快速实现较高准确性的运动场景识别模型。

因此，对于手表采集到的三轴重力加速和气压计信号，步骤如下：

• 第一步，通过长度2秒，步长为1秒的三轴重力加速度处理窗口；
• 第二步，使用融合通道注意力和时间卷积网络的深度学习模型CAM-TCN-net进行场景识别分类，包括走路、跑步、骑行、开车、椭圆机和其他的六个类别；
• 第三步，通过长度4秒，步长为1秒的气压计处理窗口；
• 第四步，使用偶-偶窗口（即4秒数据减去对应的第2秒数据，累计求和）和奇-奇窗口（即3秒数据减去对应的第1秒数据，累计求和）对气压计处理窗口数据进行差分处理，根据处理结果跟阈值进行比较，判断气压计的所处的状态类别，包括上升、下降和其他三个状态类别；
• 第五步，根据第四步得到的结果，如果气压计状态类别为上升或下降时，并且第二步得到的运动场景为走路或跑步或其他，进一步进行场景识别，包括：气压计上升状态，三轴重力加速识别走路状态，即为走下楼梯；气压计上升状态，三轴重力加速识别跑步状态，即为跑下楼梯；气压计下降状态，三轴重力加速识别走路状态，即为走上楼梯；气压计下降状态，三轴重力加速识别跑步状态，即为跑上楼梯；气压计下降状态，三轴重力加速识别其他状态，即为电梯上楼；气压计上升状态，三轴重力加速识别其他状态，即为电梯下楼。
  

kycx19866711050

3.技术方案

      鉴于上述内容中以智能手表为代表的智能穿戴设备对三轴重力加速和气压计信号进行深度学习运动场景识别时的功耗较大和精度不高的问题，提出一种能够实现克服以智能手表为代表的智能穿戴设备用三轴重力加速和气压计信号进行深度学习运动场景识别运算量大，设备续航时间短的问题；同时采用对CAM-TCN-net的深度学习模型，旨在通过自适应对三轴重力加速度影响运动场景识别分类的轴向进行加权，同时TCN网络对三轴重力加速度信号中蕴含的时空特征进行提取，进一步提升使用三轴重力加速度进行运动场景识别的精度问题。

公开一种基于三轴重力加速和气压计信号进行深度学习运动场景识别的方法与系统，包含窗口滑动原理、通道注意力机制原理、空时特征提取原理和气压变化识别海拔高度变化原理。

      窗口滑动原理，在处理输入信号的时候包括两个窗口，一个是处理三轴重力加速度信号的窗口，记为第一窗口，窗口长度为2秒钟，即大小为2*3*25；另一个是气压计信号处理窗口，记为第二窗口，窗口长度为4秒钟，即大小为4*1*5。

通道注意力机制原理，分为压缩和激励两个部分，压缩部分是采样平均池化层将输入H*W*C（对应1*50*3）压缩为1*1*C（即1*1*3）；激励部分是指将压缩部分得到的1*1*C经过等维度的全连接处理后与输入H*W*C中的C加权，具体过程如图所示:

空时特征提取原理，将输入的三轴重力加速数据经过一层卷积层，用于将序列数据从原始的时间维度转换为空时维度，然后采用多个卷积层进行堆叠，每个卷积层都包含一维卷积操作和非线性激活函数，并且引入池化技术、残差连接技术和丢弃技术，进一步提升模型的精度和泛化能力，其中模型的结构如图所示：

      气压变化识别海拔高度变化原理，通过对缓冲的前4秒气压计数据窗口进行处理，包括偶-偶窗口（即4秒数据减去对应的第2秒数据，累计求和）和奇-奇窗口（即3秒数据减去对应的第1秒数据，累计求和）对气压计处理窗口数据进行差分处理，根据处理结果跟一正数阈值进行比较，判断气压计的所处的状态类别，当大于该阈值时判为下降，小于该阈值额相反数时判为上升，否则为其他状态。

      为了达到上述目的，采用下面的技术方案予以实现：

      一种三轴重力加速和气压计信号进行深度学习运动场景识别的方法与系统，基于以下定义：

      定义：选取智能手表采集的固定长度的三轴重力加速信号作为样本数据和对应的走路、跑步、骑行、开车、椭圆机和其他的六个类别作为样本标签。具体包括如下步骤：

• 步骤S1：通过长度2秒，步长为1秒的三轴重力加速度处理窗口；
• 步骤S2：使用融合通道注意力和时间卷积网络的深度学习模型CAM-TCN-net进行场景识别分类；
• 步骤S3：通过长度4秒，步长为1秒的气压计处理窗口；
• 步骤S4：使用偶-偶窗口（即4秒数据减去对应的第2秒数据，累计求和）和奇-奇窗口（即3秒数据减去对应的第1秒数据，累计求和）对气压计处理窗口数据进行差分处理，根据处理结果跟阈值进行比较，判断气压计的所处的状态类别；
• 步骤S5：根据第四步得到的结果，如果气压计状态类别为上升或下降时，并且第二步得到的运动场景为走路或跑步或其他，进一步进行场景识别，包括：气压计上升状态，三轴重力加速识别走路状态，即为走下楼梯；气压计上升状态，三轴重力加速识别跑步状态，即为跑下楼梯；气压计下降状态，三轴重力加速识别走路状态，即为走上楼梯；气压计下降状态，三轴重力加速识别跑步状态，即为跑上楼梯；气压计下降状态，三轴重力加速识别其他状态，即为电梯上楼；气压计上升状态，三轴重力加速识别其他状态，即为电梯下楼。
  

三轴重力加速度预处理单元、气压计预处理单元、运动场景识别单元，上下楼识别单元，以及结果输出单元，模型如图：

4.技术关键点

      本文提出的技术方法体现在：

• （1）提出使用不同采样率进行多传感器数据融合处理方法，可以克服以智能手表为代表的智能穿戴设备用三轴重力加速和气压计信号进行深度学习运动场景识别运算量大，设备续航时间短的问题，同时克服单传感器识别运动场景类别少的问题；
• （2）提出融合通道注意力和时间卷积网络的深度学习模型CAM-TCN-net对三轴加速度信号进行场景识别分类，通过通道注意力机制加权关注影响场景识别分类结果的通道，并且充分提取三轴重力加速度信号蕴含的时空信息，进一步提升场景分类识别模型的精度和泛化性能。
  

5.技术效果

      提出用于实时运动场景识别的CAM-TCN-net模型，佩戴出门问问旗下产品TicWatch Pro5作为三轴重力加速度和气压计信号的采集设备，通过标注样本数据进行验证，其中三轴重力加速度信号对应走路、跑步、骑行、开车、椭圆机和其他的六个类别样本标签，气压计信号对应上升、下降和其他三个类别样本标签，使用准确性能指标：准确率、召回率、特异性和马太相关系数。

      其中TP、TN、FP和FN分别表示真阳性、真阴性、假阳性和假阴性的实例。对马太相关系数MCC的取值范围从-1到1中，MCC为-1表示最坏的可能预测，而值为1表示最好的可能预测方案。此外，MCC为0表示随机预测。将采集标注的10000个基于三轴重力加速度样本点按照8:2的比例划分为训练集和测试集，其中训练集、测试集的样本点数为8000个和2000个，其中训练后的CAB-TCN-net模型相比较单独的TCN和相似结构的CAB-CNN和单独的CNN模型对测试集的分类结果用性能指标表示如表1所示。可以看出相较于TCN、CAB-CNN和CNN模型，提出的CAB-TCN-net对用于运动场景实时识别时的测试集具有明显的性能提升。如表所示：

      将采集标注的6000个基于气压计的样本，包括1218个上楼样本、1321下楼样本和3461个其他样本，直接使用提出的上下楼识别单元进行识别，其中各性能指标都达到99%以上，说明上下楼识别单元性能良好，识别分类结果用性能指标表示如表所示：

本文已申请发明专利：

[1]李小勇,余友,张博. 运动场景识别方法、装置和电子设备：202311036081.6[P] 2023-11-03