1.本发明涉及智能宠物教育领域,尤其涉及一种基于多媒体信息技术的宠物行为调整和人宠互动方法及装置。
背景技术:
2.随着生活水平不断提高、生活压力不断增加,越来越多的人开始饲养宠物,但工作的需求使得主人无法实时陪伴在宠物身边,由此催生出了种类繁多的智能宠物互动技术及装置,包含自动喂食器、远程监控设备、电动玩具。尽管自动喂食器可以实现宠物喂养功能,远程监控设备可以通过建立视频通话了解宠物状态,电动玩具可以陪伴宠物玩耍,但以上三种智能宠物互动技术及装置难以让主人实时,特别在网络离线状态下了解宠物健康状态及宠物需求,存在健康监测不足、宠物需求缺乏判断的问题。
技术实现要素:
3.本发明提供一种基于多媒体信息技术的宠物行为调整和人宠互动方法、装置及计算机可读存储介质,其主要目的在于解决主人对于宠物健康监测不足、需求缺乏判断的问题。
4.为实现上述目的,本发明提供的一种基于多媒体信息技术的宠物行为调整和人宠互动方法,包括:
5.接收app远程终端发送的宠物行为监测指令,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器;
6.利用所述心率传感器测试宠物心率,并获取所述温度传感器的宠物温度值;
7.判断所述宠物心率、宠物温度值是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元;
8.获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频;
9.对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数;基于所述特征参数,将所述分帧加窗音频归类入预构建的存档宠物声音集,根据归类结果,判断得到所述分帧加窗音频反映出的宠物需求;
10.将所述监控设备获取的宠物视频影像同步至所述app远程终端,并接收所述app远程终端发送的奖惩指令,基于所述奖惩指令,采取对应的奖惩手段,实现宠物行为调整和人宠互动。
11.可选地,所述利用所述心率传感器测试宠物心率,包括:
12.启动所述心率传感器,其中所述心率传感器包含光发射二极管、光电二极管、光敏传感器、ad转换器四个元件;
13.利用所述光发射二极管向宠物皮肤发射光波,让所述光波照进宠物皮肤内部;
14.通过所述光电二极管接收被宠物皮肤反射回的剩余光波,并利用所述光敏传感器将剩余光波转换为电信号;
15.基于所述ad转换器将所述电信号转换为数字信号,获得所述宠物心率。
16.可选地,所述获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频,包括:
17.构建预加重处理函数,其中所述预加重处理函数如下:
18.y(n)=x(n)-αx(n-1)
19.其中,y(n)代表n时刻预加重处理后得到的宠物加重音频,α代表预加重系数,取值0.98,x(n)代表n时刻所述声音采集单元获取的宠物初始音频;
20.利用所述预加重处理函数处理初始音频,得到所述加重音频;
21.分帧加窗处理所述加重音频,得到分帧加窗音频。
22.可选地,所述分帧加窗处理所述加重音频,得到分帧加窗音频,包括:
23.设置所述宠物加重音频分帧的帧长数值;
24.基于python对所述加重音频执行分帧操作,得到宠物分帧音频;
25.构建加窗函数对所述宠物分帧音频执行加窗操作,得到所述分帧加窗音频,其中,所述加窗函数如下:
[0026][0027]
其中,w(b)为所述加窗函数,b为所述宠物加重音频分帧的帧长数值所对应的窗口长度,具体取值为b,n为所述宠物分帧音频的时刻。
[0028]
可选地,所述对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数,包括:
[0029]
构建短时能量函数计算所述分帧加窗音频短时能量,其中所述短时能量函数如下:
[0030][0031]
其中,en代表宠物分帧加窗音频每一帧的短时能量,k为所述宠物加重音频分帧的帧长数值,x
t
代表第t帧所述宠物分帧加窗音频;
[0032]
基于预设的短时能量门限值,过滤所述分帧加窗音频中的静音部分,得到宠物能量音频;
[0033]
计算所述宠物能量音频的短时过零率,进一步过滤所述宠物能量音频中的静音段,得到宠物端点音频;
[0034]
利用特征提取函数提取所述宠物端点音频的特征参数。
[0035]
可选地,所述计算所述宠物能量音频的短时过零率,进一步过滤所述宠物能量音频中的静音段,得到宠物端点音频,包括:
[0036]
构建如下函数计算所述宠物能量音频的短时过零率:
[0037][0038]
其中,zn为所述宠物能量音频的短时过零率,x
t
代表第t帧所述宠物分帧加窗音频,k为所述宠物加重音频分帧的帧长数值,sgn(x
t
)为x
t
的阶跃函数;
[0039]
设置静音段过零率门限值;
[0040]
过滤掉所述短时过零率在静音段过零率门限值范围外的宠物能量音频,得到所述宠物端点音频。
[0041]
可选地,所述利用特征提取函数提取所述宠物端点音频的特征参数,包括:
[0042]
基于python对所述宠物端点音频进行快速傅里叶变换,得到宠物能量频谱;
[0043]
利用m个三角滤波器对所述宠物能量频谱进行平滑并消除谐波操作,得到宠物平滑能量频谱;
[0044]
计算m个三角滤波器输出的所述宠物平滑能量频谱的对数能量;
[0045]
对所述对数能量进行离散余弦变换,得到标准mfcc参数;
[0046]
计算所述标准mfcc参数的一阶差分和二阶差分,得到动态mfcc参数;
[0047]
汇总标准mfcc参数与动态mfcc参数,生成所述宠物端点音频的n维mfcc特征参数。
[0048]
可选地,所述利用特征提取函数提取所述宠物端点音频的特征参数,包括:
[0049]
基于python对所述宠物端点音频进行快速傅里叶变换,得到宠物能量频谱;
[0050]
利用m个三角滤波器对所述宠物能量频谱进行平滑并消除谐波操作,得到宠物平滑能量频谱;
[0051]
计算m个三角滤波器输出的所述宠物平滑能量频谱的对数能量;
[0052]
对所述对数能量进行离散余弦变换,得到标准mfcc参数;
[0053]
计算所述标准mfcc参数的一阶差分和二阶差分,得到动态mfcc参数;
[0054]
汇总标准mfcc参数与动态mfcc参数,生成所述宠物端点音频的n维mfcc特征参数。
[0055]
可选地,所述对所述对数能量进行离散余弦变换,得到标准mfcc参数,包括:
[0056]
构建如下模型对所述对数能量进行离散余弦变换:
[0057][0058]
其中,c(b)为mfcc参数,s(m)为所述宠物平滑能量频谱的对数能量,b为所述宠物加重音频分帧的帧长数值所对应的窗口长度,具体取值为b,m为三角滤波器的个数,具体取值为m,l为mfcc参数;
[0059]
将上式l的值设为1,计算得到所述标准mfcc参数。
[0060]
为了解决上述问题,本发明还提供一种基于多媒体信息技术的宠物行为调整和人宠互动装置,所述装置包括:
[0061]
监测指令接收模块,用于接收app远程终端发送的宠物行为监测指令,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器;
[0062]
心率温度获取模块,用于利用所述心率传感器测试宠物心率,并获取所述温度传
感器的宠物温度值;
[0063]
健康状态判断模块,用于判断所述宠物心率、宠物温度值是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元;
[0064]
音频处理模块,用于获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频;
[0065]
宠物需求判断模块,用于对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数;基于所述特征参数,将所述分帧加窗音频归类入预构建的存档宠物声音集,根据归类结果,判断得到所述分帧加窗音频反映出的宠物需求;
[0066]
人宠互动模块,用于将所述监控设备获取的宠物视频影像同步至所述app远程终端,并接收所述app远程终端发送的奖惩指令,基于所述奖惩指令,采取对应的奖惩手段,实现宠物行为调整和人宠互动。
[0067]
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
[0068]
存储器,存储至少一个指令;及
[0069]
处理器,执行所述存储器中存储的指令以实现上述所述的基于多媒体信息技术的宠物行为调整和人宠互动方法。
[0070]
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于多媒体信息技术的宠物行为调整和人宠互动方法。
[0071]
本发明实施例为解决背景技术所述问题,在接收app远程终端发送的宠物行为监测指令后,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器,实时判断所述心率传感器测试的宠物心率、所述温度传感器获取的宠物温度是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,解决当前智能互动技术及装置对于宠物健康监测不足的问题。若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元获取宠物初始音频,通过预加重、分帧加窗、端点检测处理后,得到所述宠物端点音频,并基于从所述宠物端点音频中提取的特征参数,将所述宠物端点音频归类入预构建的存档宠物声音集,根据归类结果,判断所述宠物端点音频反映出的宠物需求,若反映出宠物就医需求,发送就医警示信息至app远程终端,提醒宠物主人携带宠物及时就医,若反映出宠物陪伴需求,接收app远程终端发送的人宠互动指令,开启所述宠物项圈内的扬声器,构建所述app远程终端及宠物接收端的语音会话连接,实现宠物行为调整和人宠互动,从而有效解决当前智能互动技术及装置对于宠物需求缺乏判断的问题。
附图说明
[0072]
图1为本发明一实施例提供的基于多媒体信息技术的宠物行为调整和人宠互动方法的流程示意图;
[0073]
图2为图1中其中一个步骤的详细实施流程示意图;
[0074]
图3为图1中另一个步骤的详细实施流程示意图;
[0075]
图4为本发明一实施例提供的基于多媒体信息技术的宠物行为调整和人宠互动装
置的功能模块图;
[0076]
图5为本发明一实施例提供的实现所述基于多媒体信息技术的宠物行为调整和人宠互动方法的电子设备的结构示意图。
[0077]
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
[0078]
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0079]
本技术实施例提供一种基于多媒体信息技术的宠物行为调整和人宠互动方法。所述基于多媒体信息技术的宠物行为调整和人宠互动方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述基于多媒体信息技术的宠物行为调整和人宠互动方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
[0080]
参照图1所示,为本发明一实施例提供的基于多媒体信息技术的宠物行为调整和人宠互动方法的流程示意图。在本实施例中,所述基于多媒体信息技术的宠物行为调整和人宠互动方法包括:
[0081]
s1、接收app远程终端发送的宠物行为监测指令,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器。
[0082]
可解释的是,app远程终端可以是宠物主人的移动手机、台式电脑、智能手表等一切可以安装本发明实施例所述基于多媒体信息技术的宠物行为调整和人宠互动装置的终端。
[0083]
需理解的是,宠物主人通过app远程终端发送宠物行为监测指令,主要包含宠物健康状态监测和依据宠物音频进行的宠物需求判断,其中所述宠物健康状态监测基于心率传感器传感器获取的宠物心率、温度传感器宠物温度值进行判断,所述依据宠物音频进行的宠物需求判断通过声音采集单元获取的音频判断。
[0084]
s2、利用所述心率传感器测试宠物心率,并获取所述温度传感器的宠物温度值。
[0085]
详细地,参阅图2所示,所述利用所述心率传感器测试宠物心率,包括:
[0086]
s21、启动所述心率传感器,其中所述心率传感器包含光发射二极管、光电二极管、光敏传感器、ad转换器四个元件;
[0087]
s22、利用所述光发射二极管向宠物皮肤发射光波,让所述光波照进宠物皮肤内部;
[0088]
s23、通过所述光电二极管接收被宠物皮肤反射回的剩余光波,并利用所述光敏传感器将剩余光波转换为电信号;
[0089]
s24、基于所述ad转换器将所述电信号转换为数字信号,获得所述宠物心率。
[0090]
可清楚的是,所述光发射二极管向宠物皮肤发射的光波为每秒闪动数百次的绿光,使用绿光的原因在于宠物血液是红色的,会反射红光,但会吸收绿光。在宠物心脏跳动的瞬间,宠物脖颈处流通的血液量增加,吸收的绿光更多,而在宠物心跳间隙,吸收的绿光就会少一些,通过判断宠物血液对绿光的吸收情况,进一步判断所述宠物的心率。
[0091]
需要解释的是,所述绿光在穿过宠物脖颈皮肤后,会先后被宠物肌肉、骨骼以及血液吸收,为了确保宠物心率测量的准确性,需要排除所述绿光被宠物肌肉、骨骼吸收的部分。对于特定某一只宠物讲,它的肌肉、骨骼吸收的绿光是固定不变的,只有血液吸收的绿光是变化的。所以,本发明实施例在利用所述光电二极管接收被宠物皮肤反射回的剩余绿光后,进一步利用所述光敏传感器将剩余绿光转换为电信号,所述光敏传感器转换出的电信号分为两种,直流dc信号和交流ac信号,其中所述直流dc信号反映了所述宠物肌肉、骨骼吸收的绿光情况,交流ac信号则反映了所述宠物血液吸收的绿光情况。
[0092]
进一步地,排除直流dc信号的影响,利用所述ad转换器将交流ac信号转换为数字信号,即为所述宠物心率。
[0093]
s3、判断所述宠物心率、宠物温度值是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元。
[0094]
示例性的,成年宠物猫的健康心率值范围应为每分钟一百二十次至一百八十次,若所述心率传感器计算的成年宠物猫心率在健康范围,则继续监测所述成年宠物猫的心率,若所述心率传感器计算的成年宠物猫心率不在健康范围,则启动所述宠物项圈内的声音采集单元。同样的,成年宠物猫的健康温度范围应为38度至39度,若通过所述温度传感器获取的成年宠物猫温度在健康范围,则继续监测所述成年宠物猫的温度,若所述温度传感器计算的成年宠物猫温度不在健康范围,则启动所述宠物项圈内的声音采集单元。
[0095]
s4、获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频。
[0096]
详细地,参阅图3所示,所述获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频,包括:
[0097]
s41、构建预加重处理函数,其中所述预加重处理函数如下:
[0098]
y(n)=x(n)-αx(n-1)
[0099]
其中,y(n)代表n时刻预加重处理后得到的宠物加重音频,α代表预加重系数,取值0.98,x(n)代表n时刻所述声音采集单元获取的宠物初始音频;
[0100]
s42、利用所述预加重处理函数处理初始音频,得到所述加重音频;
[0101]
s43、分帧加窗处理所述加重音频,得到分帧加窗音频。
[0102]
进一步地,所述分帧加窗处理所述加重音频,得到分帧加窗音频,包括:
[0103]
设置所述宠物加重音频分帧的帧长数值;
[0104]
基于python对所述加重音频执行分帧操作,得到宠物分帧音频;
[0105]
构建加窗函数对所述宠物分帧音频执行加窗操作,得到所述分帧加窗音频,其中,所述加窗函数如下:
[0106][0107]
其中,w(b)为所述加窗函数,b为所述宠物加重音频分帧的帧长数值所对应的窗口长度,具体取值为b,n为所述宠物分帧音频的时刻。
[0108]
需要解释的是,设置的所述帧长数值通常取256或512,对应的所述宠物加重音频每一帧音频的时间长度为20~30ms,示例性的,若所述帧长数值设置为256,所述宠物加重
音频的频率为8khz,则每一帧所述宠物加重音频对应的时间长度为256/8000*1000=32ms。本发明实施例设置的帧长数值为256,由此得到的所述宠物分帧音频的每一帧时间长度为32ms。
[0109]
可清楚的是,在后续对所述宠物端点音频进行快速傅里叶变换时,存在一定的假设条件,即所述宠物端点音频的信号是周期信号,若所述宠物端点音频的信号不是周期信号,则在对所述物端点音频进行快速傅里叶变换时会得到失真的频谱,发生频谱泄露效应,所以要对所述分帧音频进行加窗操作,使得所述分帧音频成为具有周期性信号的分帧加窗音频。
[0110]
需了解的是,所述加窗操作是让所述分帧音频乘以所述加窗函数,其中,b为所述帧长数值对应的窗口长度,本发明实施例设置的帧长数值为256,则窗口长度b的取值为240。
[0111]
s5、对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数;基于所述特征参数,将所述分帧加窗音频归类入预构建的存档宠物声音集,根据归类结果,判断得到所述分帧加窗音频反映出的宠物需求。
[0112]
详细地,所述对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数,包括:
[0113]
构建短时能量函数计算所述分帧加窗音频短时能量,其中所述短时能量函数如下:
[0114][0115]
其中,en代表宠物分帧加窗音频每一帧的短时能量,k为所述宠物加重音频分帧的帧长数值,x
t
代表第t帧所述宠物分帧加窗音频;
[0116]
基于预设的短时能量门限值,过滤所述分帧加窗音频中的静音部分,得到宠物能量音频;
[0117]
计算所述宠物能量音频的短时过零率,进一步过滤所述宠物能量音频中的静音段,得到宠物端点音频;
[0118]
利用特征提取函数提取所述宠物端点音频的特征参数。
[0119]
其中,所述计算所述宠物能量音频的短时过零率,进一步过滤所述宠物能量音频中的静音段,得到宠物端点音频,包括:
[0120]
构建如下函数计算所述宠物能量音频的短时过零率:
[0121][0122]
其中,zn为所述宠物能量音频的短时过零率,x
t
代表第t帧所述宠物分帧加窗音频,k为所述宠物加重音频分帧的帧长数值,sgn(x
t
)为x
t
的阶跃函数;
[0123]
设置静音段过零率门限值;
[0124]
过滤掉所述短时过零率在静音段过零率门限值范围外的宠物能量音频,得到所述宠物端点音频。
[0125]
进一步地,所述利用特征提取函数提取所述宠物端点音频的特征参数,包括:
[0126]
基于python对所述宠物端点音频进行快速傅里叶变换,得到宠物能量频谱;
[0127]
利用m个三角滤波器对所述宠物能量频谱进行平滑并消除谐波操作,得到宠物平滑能量频谱;
[0128]
计算m个三角滤波器输出的所述宠物平滑能量频谱的对数能量;
[0129]
对所述对数能量进行离散余弦变换,得到标准mfcc参数;
[0130]
计算所述标准mfcc参数的一阶差分和二阶差分,得到动态mfcc参数;
[0131]
汇总标准mfcc参数与动态mfcc参数,生成所述宠物端点音频的n维mfcc特征参数。
[0132]
此外,所述计算m个三角滤波器输出的所述宠物平滑能量频谱的对数能量,包括:
[0133]
构建如下模型计算所述宠物平滑能量频谱的对数能量:
[0134][0135]
其中,s(m)为所述宠物平滑能量频谱的对数能量,x
t
代表第t帧所述宠物分帧加窗音频,k为所述宠物加重音频分帧的帧长数值,m为三角滤波器的个数,具体取值为m,h(m)为所述m个三角滤波器的频率。
[0136]
深入地,所述对所述对数能量进行离散余弦变换,得到标准mfcc参数,包括:
[0137]
构建如下模型对所述对数能量进行离散余弦变换:
[0138][0139]
其中,c(b)为mfcc参数,s(m)为所述宠物平滑能量频谱的对数能量,b为所述宠物加重音频分帧的帧长数值所对应的窗口长度,具体取值为b,m为三角滤波器的个数,具体取值为m,l为mfcc参数;
[0140]
将上式l的值设为1,计算得到所述标准mfcc参数。
[0141]
需要解释的是,对所述分帧加窗音频进行端点检测,需要删除所述分帧加窗音频中没有宠物音频的静音部分,本发明实施例通过两个步骤删除所述静音部分。第一个步骤是基于所述短时能量函数计算宠物分帧加窗音频的短时能量,本发明实施例预设的短时能量门限值为120-140,所述分帧加窗音频的短时能量不在预设的短时能量门限值范围内的,被视为静音部分,需做删除处理。第二个步骤是基于短时过零率函数计算所述宠物能量音频的短时过零率(在每帧音频中,语音信号从正变为负或从负变为正的次数,即语音信号通过零点的次数),设置静音段的过零率门限值为5-10,过滤掉所述短时过零率在静音段过零率门限值范围外的宠物能量音频,得到包含非静音宠物音频的所述宠物端点音频。
[0142]
可理解的是,语音信号在时间维度上变化通常很难看出信号的特征,需要将其转换为频域上的能量分布,可通过python构建傅里叶变换命令,讲所述宠物端点音频转换为频谱上的宠物能量频谱。其中,傅里叶变化命令中需要设定傅里叶变换点数,对应每一帧音频的采样次数,本发明实施例中设定的所述傅里叶变换点数为128,即在每一帧所述宠物端点音频中做了128次采样。
[0143]
应知道的是,宠物能量频谱中存在音调较其他音调高出数倍的谐波,所述谐波无法准确测量mfcc参数,需要进行平滑处理,本发明实施例利用m个三角滤波器组成的三角形
滤器组对所述宠物能量频谱进行平滑,消除所述谐波。其中,m的取值为26。
[0144]
可解释的是,预构建的存档宠物声音集通过事先搜集的宠物不同类型音频,经过预加重、分帧加窗、端点检测操作后,提取所述宠物不同类型音频特征参数,并请专业宠物医生判断所述不同类型音频反应的宠物需求。在本发明实施例计算得到分帧加窗音频的特征参数后,按照特征参数相同相近原则,将所述分帧加窗音频匹配归类入预构建的存档宠物声音集,根据归类的结果,就可以判断所述分帧加窗音频反映出的宠物需求。
[0145]
需清楚的是,若所述宠物需求为就医需求,发送就医警示信息至app远程终端,提醒宠物主人携带宠物及时就医,若所述宠物需求为陪伴需求,接收app远程终端发送的人宠互动指令,开启所述宠物项圈内的扬声器,构建所述app远程终端及宠物接收端的语音会话连接。
[0146]
s6、将所述监控设备获取的宠物视频影像同步至所述app远程终端,并接收所述app远程终端发送的奖惩指令,基于所述奖惩指令,采取对应的奖惩手段,实现宠物行为调整和人宠互动。
[0147]
需要说明的是,所述监控设备安装在宠物可以到达的房间,示例性的,若宠物可以到达卧室和客厅,则在卧室和客厅均需要安装所述监控设备。在接收到所述宠物行为监测指令后,所述监控设备开始拍摄宠物的视频影像,并将所述视频影像实时同步到所述app远程终端。宠物主人通过所述app远程终端查看宠物的视频影像,并发送奖惩指令,示例性的,若所述视频影像是宠物狗在拆家,则宠物狗主人通过所述app远程终端发送惩罚指令,此时,所述宠物项圈开始震动,纠正宠物狗的拆家错误行为,若所述视频影像是宠物狗在乖乖等待主人回家,则宠物狗主人可以通过所述app远程终端发送奖励指令,此时,所述宠物项圈内预先装好的狗骨头零食就会自动弹出,从而实现宠物行为调整和人宠互动。
[0148]
本发明实施例为解决背景技术所述问题,在接收app远程终端发送的宠物行为监测指令后,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器,实时判断所述心率传感器测试的宠物心率、所述温度传感器获取的宠物温度是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,解决当前智能互动技术及装置对于宠物健康监测不足的问题。若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元获取宠物初始音频,通过预加重、分帧加窗、端点检测处理后,得到所述宠物端点音频,并基于从所述宠物端点音频中提取的特征参数,将所述宠物端点音频归类入预构建的存档宠物声音集,根据归类结果,判断所述宠物端点音频反映出的宠物需求,若反映出宠物就医需求,发送就医警示信息至app远程终端,提醒宠物主人携带宠物及时就医,若反映出宠物陪伴需求,接收app远程终端发送的人宠互动指令,开启所述宠物项圈内的扬声器,构建所述app远程终端及宠物接收端的语音会话连接,实现宠物行为调整和人宠互动,从而有效解决当前智能互动技术及装置对于宠物需求缺乏判断的问题。
[0149]
如图4所示,是本发明一实施例提供的基于多媒体信息技术的宠物行为调整和人宠互动装置的功能模块图。
[0150]
本发明所述基于多媒体信息技术的宠物行为调整和人宠互动装置100可以安装于电子设备中。根据实现的功能,所述基于多媒体信息技术的宠物行为调整和人宠互动装置100可以包括监测指令接收模块101、心率温度获取模块102、健康状态判断模块103、音频处
理模块104、宠物需求判断模块105及人宠互动模块106。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
[0151]
所述监测指令接收模块101,用于接收app远程终端发送的宠物行为监测指令,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器;
[0152]
所述心率温度获取模块102,用于利用所述心率传感器测试宠物心率,并获取所述温度传感器的宠物温度值;
[0153]
所述健康状态判断模块103,用于判断所述宠物心率、宠物温度值是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元;
[0154]
所述音频处理模块104,用于获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频;
[0155]
所述宠物需求判断模块105,用于对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数;基于所述特征参数,将所述分帧加窗音频归类入预构建的存档宠物声音集,根据归类结果,判断得到所述分帧加窗音频反映出的宠物需求;
[0156]
所述人宠互动模块106,用于将所述监控设备获取的宠物视频影像同步至所述app远程终端,并接收所述app远程终端发送的奖惩指令,基于所述奖惩指令,采取对应的奖惩手段,实现宠物行为调整和人宠互动。
[0157]
详细地,本发明实施例中所述基于多媒体信息技术的宠物行为调整和人宠互动装置100中的所述各模块的使用具体实施方式与实施例1相同,在此不再赘述。
[0158]
如图5所示,是本发明一实施例提供的实现基于多媒体信息技术的宠物行为调整和人宠互动方法的电子设备的结构示意图。
[0159]
所述电子设备1可以包括处理器10、存储器11和总线12,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于多媒体信息技术的宠物行为调整和人宠互动方法程序。
[0160]
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card,smc)、安全数字(secure digital,sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于多媒体信息技术的宠物行为调整和人宠互动方法程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0161]
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利
用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于多媒体信息技术的宠物行为调整和人宠互动方法程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
[0162]
所述总线12可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线12可以分为地址总线、数据总线、控制总线等。所述总线12被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0163]
图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0164]
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等,在此不再赘述。
[0165]
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0166]
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0167]
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0168]
所述电子设备1中的所述存储器11存储的基于多媒体信息技术的宠物行为调整和人宠互动方法程序是多个指令的组合,在所述处理器10中运行时,可以实现:
[0169]
接收app远程终端发送的宠物行为监测指令,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器;
[0170]
利用所述心率传感器测试宠物心率,并获取所述温度传感器的宠物温度值;
[0171]
判断所述宠物心率、宠物温度值是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元;
[0172]
获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频;
[0173]
对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数;基于所述特征参数,将所述分帧加窗音频归类入预构建的存档宠物声音集,根据归类结果,判断
得到所述分帧加窗音频反映出的宠物需求;
[0174]
将所述监控设备获取的宠物视频影像同步至所述app远程终端,并接收所述app远程终端发送的奖惩指令,基于所述奖惩指令,采取对应的奖惩手段,实现宠物行为调整和人宠互动。
[0175]
具体地,所述处理器10对上述指令的具体实现方法可参考图1至图5对应实施例中相关步骤的描述,在此不赘述。
[0176]
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)。
[0177]
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
[0178]
接收app远程终端发送的宠物行为监测指令,根据所述宠物行为监测指令启动宠物项圈中的声音采集单元和传感器单元,其中所述传感器单元包括心率传感器和温度传感器;
[0179]
利用所述心率传感器测试宠物心率,并获取所述温度传感器的宠物温度值;
[0180]
判断所述宠物心率、宠物温度值是否满足健康条件,若所述宠物心率、宠物温度值满足健康条件,继续执行所述宠物行为监测指令,若所述宠物心率、宠物温度值不满足健康条件,启动所述声音采集单元;
[0181]
获取所述声音采集单元的初始音频,通过预加重、分帧加窗处理,得到分帧加窗音频;
[0182]
对所述分帧加窗音频进行端点监测,并提取所述分帧加窗音频的特征参数;基于所述特征参数,将所述分帧加窗音频归类入预构建的存档宠物声音集,根据归类结果,判断得到所述分帧加窗音频反映出的宠物需求;
[0183]
将所述监控设备获取的宠物视频影像同步至所述app远程终端,并接收所述app远程终端发送的奖惩指令,基于所述奖惩指令,采取对应的奖惩手段,实现宠物行为调整和人宠互动。
[0184]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0185]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0186]
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0187]
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在
不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0188]
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0189]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
[0190]
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
相关知识
基于多媒体信息技术的宠物行为调整和人宠互动方法及装置
基于多媒体信息技术的宠物行为调整和人宠互动方法及装置与流程
宠物和设备的交互方法、装置和电子设备与流程
基于摄像装置的宠物行为纠正方法及宠物行为纠正系统与流程
基于AR眼镜的宠物互动方法、装置、存储介质及电子设备与流程
宠物行为的纠正方法及装置与流程
宠物状态监测方法和装置与流程
一种宠物监控方法及装置与流程
英语 简易多媒体环境下小学英语与信息技术深度融合
宠物的路线规划方法及装置与流程
网址: 基于多媒体信息技术的宠物行为调整和人宠互动方法及装置与流程 https://m.mcbbbk.com/newsview1198380.html
上一篇: 对市十六届人大三次会议第0685 |
下一篇: 【饲养员谈关于狗狗攻... |