首页 > 分享 > 一种鼠类行为分析方法及装置与流程

一种鼠类行为分析方法及装置与流程

一种鼠类行为分析方法及装置与流程

本申请涉及动物行为分析技术领域,尤其涉及一种鼠类行为分析方法及装置。

背景技术:

动物行为学的主要研究内容是外界环境如何影响动物行为以及动物是如何用行为适应环境的。动物行为的研究主要分为以下四个步骤:1、仔细观察;2、提出假设;3、验证假设;4、对动物可能的行为进行预测。然而,到目前为止,动物行为学的研究大多建立在人为观察的基础上,只能够对动物的行为进行定性的假设,然后进行对比试验来验证假设。

以鼠类为例,为了能够对动物进行识别和追踪,现有技术通常采取用无线传感网络和rfid芯片来对实验动物进行识别和定位。但是,引入无线传感器的方法存在价格高,传感器存在脱落风险等缺陷。同时,采取佩戴时传感器的方式来对实验动物进行追踪的办法还存在鲁棒性低,无线传感器传输距离短,使用成本高等缺点。

因此,如何提出一种鼠类行为分析方法及装置,使其成本低、鲁棒性强、能实时监测、能源消耗低,从而帮助从事动物行为实验人员更好的理解实验动物行为的目的,是本领域技术人员亟待解决的技术问题。

技术实现要素:

本申请实施例提供了一种鼠类行为分析方法及装置,解决采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低,无线传感器传输距离短,使用成本高的问题。

有鉴于此,本申请第一方面提供了一种鼠类行为分析方法,所述方法包括步骤:

s1,采集用于训练的训练视频片段;

s2,获取所述训练视频片段视频中鼠类的活动区域的边界框,并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;

s3,采集用于分析的鼠类视频片段;

s4,采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测;

s5,在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息,并将所述边界框内的区域定义为感兴趣区域;

s6,获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对所述瞬时速度进行积分,得到鼠类的实时运动总里程;

s7,根据所述实时运动总里程获得鼠类的运动状态。

优选的,所述步骤s1之后,还包括:

获取视频中鼠类的头部、背部和尾巴根部三个关键点,得到关键点坐标和关键点类别,将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息,并对所述第二人工卷积神经网络进行训练;

所述步骤s4之后,还包括:

采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测;

根据所述关键点检测结果得到鼠类的骨骼链路;

根据所述鼠类视频片段的画面帧中所述骨骼链路的形态,获得鼠类的姿势状态。

优选的,采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测之前,还包括:

根据训练后的第一人工卷积神经网络的目标检测结果,将所述鼠类视频片段中未检测到鼠类的视频帧剔除。

优选的,所述采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测具体为:

采用训练后的第二人工卷积神经网络对所述鼠类视频片段的所述感兴趣区域进行关键点检测。

优选的,所述步骤s4之前,还包括:

采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。

本申请第二方面提供一种鼠类行为分析装置,包括:

图像获取装置,用于采集用于训练的训练视频片段和采集用于分析的鼠类视频片段;

样本采集装置,具体包括:

目标采集单元,用于获取所述训练视频片段视频中鼠类的活动区域的边界框,并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;

小鼠行为分析装置,具体包括:

目标检测单元,用于采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测;

区域标记单元,用于在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息,并将所述边界框内的区域定义为感兴趣区域;

运动计算单元,用于获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对所述瞬时速度进行积分,得到鼠类的实时运动总里程;

行为获取单元,用于根据所述实时运动总里程获得鼠类的运动状态。

优选的,所述样本采集装置还包括:

关键点采集单元,用于获取视频中鼠类的头部、背部和尾巴根部三个关键点进行,得到关键点坐标和关键点类别,将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;

所述小鼠行为分析装置还包括:

关键点检测单元,用于采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测;

骨骼获取单元,用于根据所述关键点检测结果得到鼠类的骨骼链路;

所述行为获取单元还用于,根据所述鼠类视频片段的画面帧中所述骨骼链路的形态,获得鼠类的姿势状态。

优选的,所述小鼠行为分析装置还包括:

无效帧剔除单元,用于将所述鼠类视频片段中未检测到鼠类的视频帧剔除。

优选的,还包括:

图像增强模块,用于采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。

优选的,还包括:活动箱;

所述活动箱包括采用可移动隔板分开的运动区和休息区;

所述图像获取装置设置于所述运动区前方。

从以上技术方案可以看出,本申请实施例具有以下优点:

本申请实施例中,提供了一种鼠类行为分析方法和装置,其中方法包括:采集用于训练的训练视频片段;获取所述训练视频片段视频中鼠类的活动区域的边界框,并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;采集用于分析的鼠类视频片段;采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测;在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息,并将所述边界框内的区域定义为感兴趣区域;获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对所述瞬时速度进行积分,得到鼠类的实时运动总里程;根据所述实时运动总里程获得鼠类的运动状态。本申请所提供鼠类行为分析方法通过对鼠类视频片段进行获取和分析,可以有效对小鼠的行为信息进行量化和分析,为动物行为研究提供可靠的研究信息,有利于增加动物实验的可靠性和信服力,解决了采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低,无线传感器传输距离短,使用成本高的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。

图1为本申请第一实施例中鼠类行为分析方法的方法流程图;

图2为本申请第二实施例中鼠类行为分析方法的方法流程图;

图3为本申请第三实施例中鼠类行为分析装置的结构示意图;

图4为本申请应用例中鼠类行为分析装置的结构示意图;

图5为本申请应用例中鼠类行为分析装置的装配图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请设计了一种鼠类行为分析方法及装置,由于现有技术中引入无线传感器的方法存在价格高,传感器存在脱落风险等缺陷,因此本申请通过建立计算机模型来追踪动物姿态,从而为从事动物行为实验的人员提供可量化的实验数据,运用基于计算机视觉的动物识别和定位方法具有成本低,鲁棒性强,实时监测,能源消耗低等优势。

本申请第一方面提供了一种鼠类行为分析方法,请参阅图1,图1为本申请第一实施例中鼠类行为分析方法的方法流程图,包括:

步骤s1,采集用于训练的训练视频片段。

可以理解的是,由于本申请是基于计算机模型对视频片段中的鼠类行为进行分析和追踪,因此,首先需要对模型进行训练,而训练信息则通过采集用于训练的训练视频片段获取。

步骤s2,获取训练视频片段视频中鼠类的活动区域的边界框,并将边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对第一人工卷积神经网络进行训练。

需要说明的是,要对鼠类进行行为分析和追踪,那么首先需要对鼠类的位置进行检测,可以预先建立目标检测模型,即将视频中鼠类的活动区域进行标记。需要说明的是,由于此步骤目的是对目标检测模型进行训练,因此活动区域可以通过人工划定,计算机负责记录此边界框范围和边界框内鼠类的信息,另外,鼠类信息包括其品种和年龄等。

步骤s3,采集用于分析的鼠类视频片段。

可以理解的是,当模型训练好之后,则可以开始进行检测步骤,因此采集用于分析的鼠类视频片段,以便于将该片段放入模型中进行检测。

步骤s4,采用训练后的第一人工卷积神经网络对鼠类视频片段进行目标检测。

可以理解的是,在采集了鼠类视频片段之后,则采用训练后的第一人工卷积神经网络对鼠类视频片段进行目标检测。

步骤s5,在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息,并将边界框内的区域定义为感兴趣区域。

需要说明的是,在进行目标检测后,标记出预设大小的边界框,鼠类位于边界框内,以便于以边界框为基础,分析鼠类的运动行为。同时,在边界框附近标记处鼠类的信息,以便于对不同品种、年龄的鼠类进行区分。

步骤s6,获取鼠类视频片段的连续两帧中感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对瞬时速度进行积分,得到鼠类的实时运动总里程。

可以理解的是,根据上述目标检测结果,感兴趣区域的中心坐标即为鼠类的位置,因此根据连续两帧中感兴趣区域的中心坐标的位移,再结合两帧之间的时间差,即可得到鼠类的瞬时速度。对瞬时速度进行积分,得到鼠类的实时运动总里程。步骤s7,根据实时运动总里程获得鼠类的运动状态。

可以理解的是,根据实时运动总里程可以获得鼠类的运动状态。运动状态包括但不限于:静止、跑动、慢步等。

本申请实施例所提供的鼠类行为分析方法,通过对鼠类视频片段进行获取和分析,可以有效对小鼠的行为信息进行量化和分析,为动物行为研究提供可靠的研究信息,有利于增加动物实验的可靠性和信服力,解决了采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低,无线传感器传输距离短,使用成本高的问题。

进一步的,在上述第一实施例的基础下,本申请第二实施例提供了一种鼠类行为分析方法,请参阅图2,图2为本申请第二实施例中鼠类行为分析方法的方法流程图,包括:

步骤201,采集用于训练的训练视频片段。

该步骤与上述第一实施例的步骤s1一致,此处不再进行赘述。

步骤202,获取训练视频片段视频中鼠类的活动区域的边界框,并将边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对第一人工卷积神经网络进行训练。

该步骤与上述第一实施例的步骤s2一致,此处不再进行赘述。

步骤203,获取视频中鼠类的头部、背部和尾巴根部三个关键点,得到关键点坐标和关键点类别,将关键点坐标和关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息,并对第二人工卷积神经网络进行训练。

需要说明的是,为了进一步的对鼠类的姿势状态进行分析,那么首先可以通过对鼠类的关键部位进行标记,通过关键部位的位移变化来实现鼠类在计算机中的建模。本实施例通过获取视频中鼠类的头部、背部和尾巴根部三个关键点,得到关键点坐标和关键点类别。需要说明的是,由于此步骤目的是对模型进行训练,因此关键点可以通过人工点击标记,计算机负责记录其坐标和类别。当记录了关键点坐标和关键点类别后,将关键点坐标和关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息,并对第二人工卷积神经网络进行训练。

步骤204,采集用于分析的鼠类视频片段。

该步骤与上述第一实施例的步骤s3一致,此处不再进行赘述。

步骤205,采用限制对比度自适应直方图均衡化算法对鼠类视频片段进行图像增强。

可以理解的是,通过引入限制对比度直方图均衡化算法来对鼠类视频片段逐帧进行图像增强,提升了较暗环境下鼠类定位的准确度。

步骤206,采用训练后的第一人工卷积神经网络对鼠类视频片段进行目标检测。

该步骤与上述第一实施例的步骤s4一致,此处不再进行赘述。

步骤207,根据训练后的第一人工卷积神经网络的目标检测结果,将鼠类视频片段中未检测到鼠类的视频帧剔除。

可以理解的是,经过训练后的第一人工卷积神经网络可以对视频中鼠类进行目标检测,那么若鼠类视频片段中的某一帧未检测到鼠类,则可以将此帧剔除,以便于提高后续其他检测的分析效率。

步骤208,在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息,并将边界框内的区域定义为感兴趣区域。

步骤209,获取鼠类视频片段的连续两帧中感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对瞬时速度进行积分,得到鼠类的实时运动总里程。

步骤210,根据实时运动总里程获得鼠类的运动状态。

由于步骤208、步骤209和步骤210与上述第一实施例中的步骤s5、步骤s6和步骤s7一致,此处不再进行赘述。

步骤211,采用训练后的第二人工卷积神经网络对鼠类视频片段进行关键点检测。

可以理解的是,要进行姿态检测,那么在采集了鼠类视频片段之后,则可以采用训练后的第一人工卷积神经网络对鼠类视频片段进行关键点检测。

优选的,上述步骤208除已经进行描述过的有益效果以外,由于本实施例还增加了姿态状态的检测步骤,因此在划定感兴趣区域后,后续姿态检测可以只需要检测感兴趣区域内的内容,大大提升了检测效率,即,本步骤具体为可以为:采用训练后的第二人工卷积神经网络对鼠类视频片段的感兴趣区域进行关键点检测。

步骤212,根据关键点检测结果得到鼠类的骨骼链路。

需要说明的是,在检测到鼠类的关键点之后(即头部、背部和尾巴根部三个关键点),则可以根据关键点建立鼠类的骨骼链路。

步骤213,根据鼠类视频片段的画面帧中骨骼链路的形态,获得鼠类的姿势状态。

可以理解的是,根据鼠类视频片段的画面帧中骨骼链路的形态,可以对鼠类的姿态进行建模,从而获得鼠类在该时间下的姿势状态。姿势状态包括但不限于:站立、趴伏、侧卧、蜷缩等。

本申请实施例在上述第一实施例的基础下,还建立了用于进行鼠类关键点检测的第二人工卷积神经网络模型,在进行运动状态分析的同时还可进行姿势状态的分析,有利于进行综合的鼠类行为分析。且目标检测结果还提高了后续关键点检测的准确性和效率。同时,本申请实施例还通过引入限制对比度直方图均衡化算法来对视频片段逐帧进行图像增强,提升了较暗环境下鼠类定位的准确度。

本申请第二方面提供了一种鼠类行为分析装置,请参阅图3,图3为本申请第三实施例中鼠类行为分析装置的结构示意图,包括:

图像获取装置301,用于采集用于训练的训练视频片段和采集用于分析的鼠类视频片段;

样本采集装置302,具体包括:

目标采集单元3021,用于用于获取训练视频片段视频中鼠类的活动区域的边界框,并将边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对第一人工卷积神经网络进行训练;

小鼠行为分析装置303,具体包括:

目标检测单元3032,用于用于在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息,并将边界框内的区域定义为感兴趣区域;

区域标记单元3033,用于在检测到鼠类的视频帧中标记出预设大小的边界框和鼠类的信息,并将边界框内的区域定义为感兴趣区域;

运动计算单元3034,用于获取鼠类视频片段的连续两帧中感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对瞬时速度进行积分,得到鼠类的实时运动总里程;

行为获取单元3035,用于根据实时运动总里程获得鼠类的运动状态。

进一步地,样本采集装置302还包括:

关键点采集单元3022,用于获取视频中鼠类的头部、背部和尾巴根部三个关键点进行,得到关键点坐标和关键点类别,将关键点坐标和关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息,并对第一人工卷积神经网络进行训练;

小鼠行为分析装置303还包括:

关键点检测单元3036,用于采用训练后的第二人工卷积神经网络对鼠类视频片段进行关键点检测;

骨骼获取单元3037,用于根据关键点检测结果得到鼠类的骨骼链路;

进一步的,行为获取单元3035还用于,根据鼠类视频片段的画面帧中骨骼链路的形态,获得鼠类的姿势状态。

进一步的,小鼠行为分析装置303还包括:

无效帧剔除单元3031,用于将鼠类视频片段中未检测到鼠类的视频帧剔除。

进一步的,关键点检测单元3031具体用于采用训练后的第二人工卷积神经网络对鼠类视频片段的感兴趣区域进行关键点检测。

进一步的,还包括:

图像增强模块304,用于采用限制对比度自适应直方图均衡化算法对鼠类视频片段进行图像增强。

请参阅图4和图5。

本申请实施例做提供的鼠类行为分析装置还包括:活动箱;

活动箱包括采用可移动隔板分开的运动区和休息区;

图像获取装置设置于运动区前方。

基于上述实施例,本申请还提供了一种鼠类行为分析方法及装置的应用例,请参阅图4和图5,图4为本申请应用例中鼠类行为分析装置的结构示意图;图5为本申请应用例中鼠类行为分析装置的装配图,图4包括活动箱1;运动区10;休息区11;摄像头2;数据传输线21;摄像头支架3;分区隔板4;数据处理装置5。图5包括;运动箱左挡板a;运动箱运动区域与休息区域格挡板b;运动箱右挡板c;运动箱前挡板d;运动箱后挡板e;运动箱底座f;摄像头g。

包括供小鼠进行活动的活动箱1和摄像头2,以及用处理视频信息和数据信息的数据处理装置5;

其中摄像头2用于获取小鼠在活动箱1中的运动视频信息。

1.首先使用摄像头2采集活动箱内1的小鼠运动视频,并通过数据传输线21将视频数据传输至数据处理装置5,数据处理装置每隔一秒采集一帧图像,并将该帧图像储存进硬盘空间中,随后,人工对储存于硬盘空间中的样本进行标注,标注主要包括包含小鼠的边界框和小鼠类别;随后将人工标注的边框和类别信息和小鼠图像样本送进的小鼠目标检测的神经网络模型进行训练,最后得到能够特定地检测小鼠并输出小鼠坐标的神经网络模型;

2.首先使用摄像头2采集活动箱内1的小鼠运动视频,并通过数据传输线21将视频数据传输至数据处理装置5,数据处理装置每隔一秒采集一帧图像,并将该帧图像储存进硬盘空间中,随后,人工对储存于硬盘空间中的样本进行标注,标注主要包括小鼠头部、背部和尾部根部的坐标和类别;随后将人工标注的关键点坐标和类别信息以及小鼠图像样本送进的小鼠关键点检测的神经网络模型进行训练,最后得到能够特定地检测小鼠关键点并输出小鼠头部、背部和尾巴根部的坐标以及关键点类别信息的神经网络模型;

3.首先将的小鼠目标检测的神经网络模型和小鼠关键点检测的神经网络模型加载进数据处理装置5的图形处理单元,并通过摄像头2采集位于活动箱1内的小鼠视频信息,每间隔一秒将视频流中的一帧图像转成数据处理装置5的图形处理单元能够读取的格式后,送进的小鼠目标检测的神经网络模型,如果该模型检测出该帧图像存在小鼠,就输出小鼠周围的边界框,如果没有检测出小鼠,则丢弃该图像。

4.如果该帧图像通过的小鼠目标检测的神经网络模型后输出该小鼠的边界框和类别之后,将该边界框范围内的图像设置为感兴趣区域,随后将该感兴趣区域送进的小鼠关键点检测的神经网络模型中,鼠关键点检测的神经网络模型负责输出该感兴趣区域内小鼠的头部、背部和尾巴根部的坐标信息和类别,用户可根据上述三个关键点的相互关系判断出小鼠的姿态和动作。

5.通过的小鼠目标检测的神经网络模型输出的小鼠位置坐标和摄像头2的帧率信息,求出小鼠的实时运动速度和实时运动总里程。

本申请应用例将基于智能视频分析的小鼠追踪及行为识别技术应用在分析小鼠的活跃度和行为上,为广大进行小鼠实验或药物实验的人员提供了一种可以量化小鼠活跃度的方法和系统,增加了小鼠行为实验或药物实验的可靠性。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文全称:read-onlymemory,英文缩写:rom)、随机存取存储器(英文全称:randomaccessmemory,英文缩写:ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

 

技术特征:

1.一种鼠类行为分析方法,其特征在于,包括步骤:

s1,采集用于训练的训练视频片段;

s2,获取所述训练视频片段视频中鼠类的活动区域的边界框,并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;

s3,采集用于分析的鼠类视频片段;

s4,采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测;

s5,在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息,并将所述边界框内的区域定义为感兴趣区域;

s6,获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对所述瞬时速度进行积分,得到鼠类的实时运动总里程;

s7,根据所述实时运动总里程获得鼠类的运动状态。

2.根据权利要求1所述的鼠类行为分析方法,其特征在于,所述步骤s1之后,还包括:

获取视频中鼠类的头部、背部和尾巴根部三个关键点,得到关键点坐标和关键点类别,将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第二人工卷积神经网络的第二监督信息,并对所述第二人工卷积神经网络进行训练;

所述步骤s4之后,还包括:

采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测;

根据所述关键点检测结果得到鼠类的骨骼链路;

根据所述鼠类视频片段的画面帧中所述骨骼链路的形态,获得鼠类的姿势状态。

3.根据权利要求2所述的鼠类行为分析方法,其特征在于,采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测之前,还包括:

根据训练后的第一人工卷积神经网络的目标检测结果,将所述鼠类视频片段中未检测到鼠类的视频帧剔除。

4.根据权利要求3所述的鼠类行为分析方法,其特征在于,所述采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测具体为:

采用训练后的第二人工卷积神经网络对所述鼠类视频片段的所述感兴趣区域进行关键点检测。

5.根据权利要求1至4任一项所述的鼠类行为分析方法,其特征在于,所述步骤s4之前,还包括:

采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。

6.一种鼠类行为分析装置,其特征在于,包括:

图像获取装置,用于采集用于训练的训练视频片段和采集用于分析的鼠类视频片段;

样本采集装置,具体包括:

目标采集单元,用于获取所述训练视频片段视频中鼠类的活动区域的边界框,并将所述边界框和鼠类的信息作为鼠类目标检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;

小鼠行为分析装置,具体包括:

目标检测单元,用于采用训练后的第一人工卷积神经网络对所述鼠类视频片段进行目标检测;

区域标记单元,用于在检测到鼠类的视频帧中标记出预设大小的边界框和所述鼠类的信息,并将所述边界框内的区域定义为感兴趣区域;

运动计算单元,用于获取所述鼠类视频片段的连续两帧中所述感兴趣区域的中心坐标的位移和时间差,得到鼠类的瞬时速度,对所述瞬时速度进行积分,得到鼠类的实时运动总里程;

行为获取单元,用于根据所述实时运动总里程获得鼠类的运动状态。

7.根据权利要求6所述的鼠类行为分析装置,其特征在于,所述样本采集装置还包括:

关键点采集单元,用于获取视频中鼠类的头部、背部和尾巴根部三个关键点进行,得到关键点坐标和关键点类别,将所述关键点坐标和所述关键点类别作为鼠类关键点检测的第一人工卷积神经网络的第一监督信息,并对所述第一人工卷积神经网络进行训练;

所述小鼠行为分析装置还包括:

关键点检测单元,用于采用训练后的第二人工卷积神经网络对所述鼠类视频片段进行关键点检测;

骨骼获取单元,用于根据所述关键点检测结果得到鼠类的骨骼链路;

所述行为获取单元还用于,根据所述鼠类视频片段的画面帧中所述骨骼链路的形态,获得鼠类的姿势状态。

8.根据权利要求7所述的鼠类行为分析装置,其特征在于,所述小鼠行为分析装置还包括:

无效帧剔除单元,用于将所述鼠类视频片段中未检测到鼠类的视频帧剔除。

9.根据权利要求6至8任一项所述的鼠类行为分析装置,其特征在于,还包括:

图像增强模块,用于采用限制对比度自适应直方图均衡化算法对所述鼠类视频片段进行图像增强。

10.根据权利要求6所述的一种鼠类行为分析装置,其特征在于,还包括:活动箱;

所述活动箱包括采用可移动隔板分开的运动区和休息区;

所述图像获取装置设置于所述运动区前方。

技术总结
本申请实施例公开了一种鼠类行为分析方法和装置,其中方法包括:采集用于训练的训练视频片段;获取视频中活动区域的边界框,将边界框和鼠类的信息作为鼠类目标检测的神经网络的的监督信息,并对人工卷积神经网络进行训练;采用训练后的人工卷积神经网络对鼠类视频片段进行目标检测,得到预设大小的感兴趣区域;根据连续两帧中感兴趣区域中心坐标的位移和时间差,得到实时运动总里程,从而获得鼠类的运动状态。本申请所提供鼠类行为分析方法可以有效对小鼠的行为信息进行量化和分析,为动物行为研究提供可靠的研究信息,解决了采取佩戴时传感器的方式来对实验动物进行追踪的办法存在的鲁棒性低,无线传感器传输距离短,使用成本高的问题。

技术研发人员:谢曦;徐嘉荣;黎洪波;胡宁;陈惠琄;李柏鸣;钟成锦;李仁杰;何根;杭天
受保护的技术使用者:中山大学
技术研发日:2020.12.23
技术公布日:2021.03.30

相关知识

动物行为分析装置及动物行为分析方法
一种宠物入场验证方法及相关装置与流程
一种宠物降噪装置及方法与流程
宠物行为的纠正方法及装置与流程
一种车内宠物的交互方法、装置、汽车及存储介质与流程
用于预测宠物行为的方法及装置、家电设备与流程
一种宠物视频拍摄装置、视频生成方法、装置系统与流程
一种多轮对话方法及装置与流程
宠物状态监测方法、装置及设备与流程
一种宠物交友控制方法、装置及系统与流程

网址: 一种鼠类行为分析方法及装置与流程 https://m.mcbbbk.com/newsview416962.html

所属分类:萌宠日常
上一篇: 2020生肖鼠票都有AR技术吗?
下一篇: 仓鼠怀孕的特征行为,大家不妨来了