首页 > 分享 > 宠物行为识别方法及电子设备

宠物行为识别方法及电子设备

萌宠菠菠乐园
2024-08-17 01:01

宠物行为识别方法及电子设备

本申请涉及计算机视觉，具体涉及一种宠物行为识别方法及电子设备。

背景技术：

1、宠物行为识别有助于主人更好地了解宠物的需求和情感状态，从而更好地照顾和关爱宠物，提升宠物的生活质量，同时也有助于保障家庭的安全和谐。相关技术中基于宠物图像数据进行宠物行为识别的方法，通常只是基于宠物的身体姿态进行简单分类，使用宠物行为识别模型的模型结构也较为简单，因此宠物行为识别的准确率较低。

技术实现思路

1、鉴于以上内容，有必要提出一种宠物行为识别方法及电子设备，能够解决相关技术中使用的分类依据与模型结构的局限性导致的宠物行为识别的准确率较低的问题。

2、本申请的实施例提供一种宠物行为识别方法，所述方法包括：将宠物数据输入预先训练的宠物行为识别模型；利用所述宠物行为识别模型的特征处理模块对所述宠物数据进行特征提取，获得所述宠物数据对应的宠物特征；利用所述宠物行为识别模型的物种分类模块对所述宠物特征进行物种分类，得到所述宠物数据对应的宠物类别；基于所述宠物类别，利用所述宠物行为识别模型的面部检测和情绪识别模块对所述宠物特征进行情绪识别，获得所述宠物数据对应的情绪类别；利用所述宠物行为识别模型的姿态估计模块对所述宠物特征进行姿态估计，得到所述宠物数据对应的每个特征点的坐标信息；基于所述宠物类别、所述情绪类别、所述每个特征点的坐标信息，利用所述宠物行为识别模型的综合行为分析模块确定所述宠物数据对应的行为类别，将所述行为类别作为所述宠物行为识别结果。

3、在一个实施例中，所述宠物数据包括宠物图像和/或宠物视频。

4、在一个实施例中，在将宠物数据输入预先训练的宠物行为识别模型之前，所述方法还包括对所述宠物数据进行预处理，所述预处理包括：若所述宠物数据为所述宠物视频，对所述宠物视频进行视频帧提取，将提取得到的视频帧作为宠物图像；对所述宠物图像进行如下的一种或多种处理：去噪处理、亮度提升处理、对比度提升处理、旋转校正处理、频域转换及高频信息增强处理。

5、在一个实施例中，所述宠物行为识别模型的训练方法包括有监督预训练方法与有监督优化方法。

6、在一个实施例中，所述特征处理模块包括至少一组子模块，其中，每组子模块包括下采样子模块与联合处理子模块，所述联合处理子模块包括位置编码单元与多头处理单元，其中：所述位置编码单元模块对输入数据中的每个特征点进行动态位置编码，得到所述每个特征点的位置编码信息，其中，所述输入数据包括所述宠物数据；所述多头处理单元基于每个特征点的位置编码信息，通过前馈神经网络对所有特征点进行全局相对位置编码。

7、在一个实施例中，所述物种分类模块包括多层感知机。

8、在一个实施例中，所述面部检测和情绪识别模块包括目标检测网络、并联卷积网络、融合模块、分类函数，其中：所述目标检测网络对所述宠物特征进行面部检测，确定所述宠物特征中的面部区域；基于通道注意力、空间注意力与dropblock算法，所述并联卷积网络对所述面部区域进行卷积处理，得到两个一维特征向量；所述融合模块利用双线性差值算法对所述两个一维特征向量进行融合，获得融合后的向量；所述分类函数对所述融合后的向量进行情绪分类，获得所述情绪类别。

9、在一个实施例中，所述姿态估计模块对所述宠物特征进行预设的两个方向的解耦，得到所述宠物特征中每个特征点对应的一组向量；所述姿态估计模块中的多头热力图子模块根据所述每个特征点对应的一组向量，确定每个特征点的坐标信息。

10、在一个实施例中，所述方法还包括展示所述宠物行为识别结果，包括：若所述宠物数据为宠物图像，在所述宠物图像中展示所述宠物行为识别结果与所述宠物特征中宠物的特征点；或者，若所述宠物数据为历史宠物视频，在所述历史宠物视频中的每个视频帧中展示所述宠物行为识别结果与所述宠物的特征点；或者，若所述宠物数据为实时宠物视频，在当前显示的视频帧中展示所述宠物行为识别结果与所述宠物的特征点。

11、本申请的实施例提供一种宠物行为识别装置，所述装置包括：输入模块，用于将宠物数据输入预先训练的宠物行为识别模型；特征处理模块，用于利用所述宠物行为识别模型的特征处理模块对所述宠物数据进行特征提取，获得所述宠物数据对应的宠物特征；物种分类模块，用于利用所述宠物行为识别模型的物种分类模块对所述宠物特征进行物种分类，得到所述宠物数据对应的宠物类别；情绪识别模块，用于基于所述宠物类别，利用所述宠物行为识别模型的面部检测和情绪识别模块对所述宠物特征进行情绪识别，获得所述宠物数据对应的情绪类别；姿态估计模块，用于利用所述宠物行为识别模型的姿态估计模块对所述宠物特征进行姿态估计，得到所述宠物数据对应的每个特征点的坐标信息；综合行为分析模块，用于基于所述宠物类别、所述情绪类别、所述每个特征点的坐标信息，利用所述宠物行为识别模型的综合行为分析模块确定所述宠物数据对应的行为类别，将所述行为类别作为所述宠物行为识别结果。

12、本申请的实施例提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述宠物行为识别方法。

13、本申请的实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述宠物行为识别方法。

14、综上所述，本申请所述的宠物行为识别方法，通过结合卷积和transform结构的优点，能够同时兼顾图像的整体和局部特征，提高基于图像进行动物行为识别的分析准确率，同时降低了网络推理计算量。此外，通过将宠物的面部情绪识别加入，结合宠物的情绪特征，能够更好地对宠物行为做出分析。并且无需传感器佩戴，无需购入额外的配件，且不会对宠物本身的生活习性造成影响。

技术特征：

1.一种宠物行为识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的宠物行为识别方法，其特征在于，所述宠物数据包括宠物图像和/或宠物视频。

3.根据权利要求2所述的宠物行为识别方法，其特征在于，在将宠物数据输入预先训练的宠物行为识别模型之前，所述方法还包括对所述宠物数据进行预处理，所述预处理包括：

4.根据权利要求1所述的宠物行为识别方法，其特征在于，所述宠物行为识别模型的训练方法包括有监督预训练方法与有监督优化方法。

5.根据权利要求1所述的宠物行为识别方法，其特征在于，所述特征处理模块包括至少一组子模块，其中，每组子模块包括下采样子模块与联合处理子模块，所述联合处理子模块包括位置编码单元与多头处理单元，其中：

6.根据权利要求1所述的宠物行为识别方法，其特征在于，所述物种分类模块包括多层感知机。

7.根据权利要求1所述的宠物行为识别方法，其特征在于，所述面部检测和情绪识别模块包括目标检测网络、并联卷积网络、融合模块、分类函数，其中：

8.根据权利要求1所述的宠物行为识别方法，其特征在于，所述姿态估计模块对所述宠物特征进行预设的两个方向的解耦，得到所述宠物特征中每个特征点对应的一组向量；

9.根据权利要求2所述的宠物行为识别方法，其特征在于，所述方法还包括展示所述宠物行为识别结果，包括：

10.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至9中任意一项所述的宠物行为识别方法。

技术总结
本申请涉及计算机视觉技术领域，提供一种宠物行为识别方法及电子设备，所述方法将宠物数据输入预先训练的宠物行为识别模型；利用特征处理模块对宠物数据进行特征提取获得宠物数据对应的宠物特征；利用物种分类模块对宠物特征进行物种分类得到宠物数据对应的宠物类别；基于宠物类别，利用面部检测和情绪识别模块对宠物特征进行情绪识别，获得宠物数据对应的情绪类别；利用姿态估计模块对宠物特征进行姿态估计，得到宠物数据对应的每个特征点的坐标信息；基于宠物类别、情绪类别、每个特征点的坐标信息，利用综合行为分析模块确定宠物数据对应的行为类别作为宠物行为识别结果。利用上述方法能够提高宠物行为识别的准确率。

技术研发人员：李雅岚,邹浩,谢耀钦
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2024/5/29