首页 > 分享 > 基于双流特征提取的哺乳动物行为识别方法及模型

基于双流特征提取的哺乳动物行为识别方法及模型

萌宠菠菠乐园
2024-09-30 13:20

本发明涉及动物行为识别领域，具体涉及一种基于双流特征提取的哺乳动物行为识别方法及模型。

背景技术：

1、动物行为研究有助于了解不同种类的动物的需求和行为模式，从而了解动物潜在的健康问题以及活动习惯。比如牧场管理人员通过动物行为表现制定更有效的饲养计划、疾病预防策略，从而提高动物福祉和生产效率。

2、目前，有在动物身上安装传感器(如加速度计、陀螺仪和gps)，传感器直接与动物身体接触，通过分析收集到的信息，可以识别和分类动物的行为。但给每只哺乳动物安装传感器的过程比较麻烦，传感器在一定程度上也会造成动物的异常行为，从而对行为产生误判。

3、因此，亟需设计一种采用计算机视觉、人工智能的哺乳动物行为识别方法及模型。

技术实现思路

1、本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于双流特征提取的哺乳动物行为识别方法，它可以方便、准确地识别哺乳动物行为。

2、为了解决上述技术问题，本发明的技术方案是：一种基于双流特征提取的哺乳动物行为识别方法，包括：

3、采用关键帧提取算法提取关于哺乳动物行为的视频序列中的关键帧；

4、分别利用目标特征提取流和时序信息处理流提取关键帧中的特征信息；

5、将提取的特征信息融合；

6、基于融合后的特征信息分类识别动物行为。

7、进一步，所述关键帧提取算法具体为：

8、计算视频序列中每一帧图像的图像熵，将所有图像熵映射到以帧序列为横轴以图像熵为纵轴的二维坐标系中，在二维坐标系中并找出局部极值点；

9、对局部极值点进行密度聚类，以密度聚类中的核心点和噪音点所对应的帧作为关键帧。

10、进一步，所述局部极值点包括局部最大值点和局部最小值点；其中，

11、局部最大值点pmax的计算公式为：

12、

13、局部最小值点pmin的计算公式为：

14、

15、e(fi)表示第i帧图像的图像熵。

16、进一步，利用目标特征提取流提取关键帧中的特征信息，具体为：

17、采用mask r-cnn模型从关键帧中提取目标动物信息；

18、采用轻量化vgg网络从目标动物信息中提取目标信息特征。

19、进一步，mask r-cnn模型采用resnet101作为特征提取网络。

20、进一步，利用时序信息处理流提取关键帧中的特征信息，具体为：

21、采用slowfast网络提取关键帧中的运动信息特征。

22、进一步，slowfast网络的慢速路径和快速路径均使用resnet3d 50作为骨干网络。

23、本发明还提供了一种基于双流特征提取的哺乳动物行为识别模型，包括：

24、关键帧提取模块，用于采用关键帧提取算法提取关于哺乳动物行为的视频序列中的关键帧；

25、特性信息提取模块，用于分别利用目标特征提取流和时序信息处理流提取关键帧中的特征信息；

26、特征信息融合模块，用于将提取的特征信息融合；

27、动物行为识别模块，用于基于融合后的特征信息分类识别动物行为。

28、采用上述技术方案后，本发明采用关键帧提取算法提取关键帧，在一定程度上去除了视频序列的一些冗余信息并提高了识别效率和总体模型的鲁棒性，并利用目标特征提取流和时序信息处理流分别注重复杂背景干扰下的目标特征提取和时序信息的处理，充分获得了空间特征和时间特征，并作出有效融合，从而对哺乳动物的日常行为达到不错的识别效果，实验结果表明，本发明对哺乳动物的七种基本运动行为平均识别准确率为79.17％，其中top-1准确率为81.37％，top-5准确率为98.04％。

技术特征：

1.一种基于双流特征提取的哺乳动物行为识别方法，其特征在于，

2.根据权利要求1所述的基于双流特征提取的哺乳动物行为识别方法，其特征在于，

3.根据权利要求2所述的基于双流特征提取的哺乳动物行为识别方法，其特征在于，

4.根据权利要求1所述的基于双流特征提取的哺乳动物行为识别方法，其特征在于，

5.根据权利要求1所述的基于双流特征提取的哺乳动物行为识别方法，其特征在于，

6.根据权利要求1所述的基于双流特征提取的哺乳动物行为识别方法，其特征在于，

7.根据权利要求6所述的基于双流特征提取的哺乳动物行为识别方法，其特征在于，

8.一种基于双流特征提取的哺乳动物行为识别模型，其特征在于，

技术总结
本发明涉及动物行为识别领域，具体涉及一种基于双流特征提取的哺乳动物行为识别方法及模型。方法，包括：采用关键帧提取算法提取关于哺乳动物行为的视频序列中的关键帧；分别利用目标特征提取流和时序信息处理流提取关键帧中的特征信息；将提取的特征信息融合；基于融合后的特征信息分类识别动物行为。本发明可以方便、准确地识别哺乳动物行为。

技术研发人员：侯振杰,许奥,耿宏博,杜瑶,王艺锦
受保护的技术使用者：常州大学
技术研发日：
技术公布日：2024/4/29