首页 > 分享 > 一种宠物情绪识别方法及系统与流程

一种宠物情绪识别方法及系统与流程

萌宠菠菠乐园
2024-08-17 01:59

一种宠物情绪识别方法及系统与流程

本发明涉及宠物情绪识别技术领域，尤其涉及一种基于语音的宠物情绪识别方法及系统。

背景技术：

社会的进步，人们物质生活水平也不断提升，越来越多的家庭开始饲养宠物。宠物确实能够给人们带来身心的愉悦，提升人们关爱弱势群体的主观能动性。然而，宠物也具有自身的情绪，一方面，有时宠物需要在主人离家的情况下独处在家，可能面对孤独、饥饿等情况导致的情绪不稳定；另一方面，宠物有时需要到室外活动，不可避免地与正在行走的生人产生接触。当宠物独处在家感到孤独时，可能需要安抚或投喂；当宠物在户外活动时，习性和行为往往不能够完全被主人控制，尤其是一些大型犬种，当宠物处于激动状态或者受到外界刺激时，人们不能够第一时间察觉，也就无法及时做出应对措施，因此经常出现宠物咬伤路人的情况。经验丰富的宠物主人可以通过宠物声音的音调、音量、频次等，准确地判断宠物的情绪，从而给出有效的安抚方式，而这种能力不是每个宠物主人都拥有的。因而如何准确掌握宠物的情绪，以便更好的安抚和互动成为宠物主人想要解决的问题。

技术实现要素：

针对现有技术的缺陷，本发明提出一种基于语音的宠物情绪识别方法及系统，通过选取基音频率、短时能量和共振峰三个反映宠物情绪状态的特征值，并对这三类特征参数进行统计分析和标注分类，基于机器学习算法，建立svm模型，然后用标注分类好的数据样本对算法模型进行训练和测试，并基于该模型算法，对宠物的语音情绪信号进行识别，从而判断宠物是处于愤怒、高兴、饥饿或是平静状态，方便随时检测自己宠物的情绪状态并进行安抚。

根据本发明的一个方面，本发明提供了一种宠物情绪识别方法，所述方法包括以下步骤：

s1、建立基于语音的宠物情绪识别模型；

s2、采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果；

s3、呈现所述宠物情绪识别结果；

s4、根据所述宠物情绪识别结果控制宠物辅助设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。

优选地，所述步骤s1包括：从宠物语音信号中提取特征参数，对所述特征参数进行统计分析和标注分类，基于机器学习算法，建立支持向量机svm模型。

优选地，所述步骤4后，将所述宠物情绪识别结果/所述响应的实时情况发送至指定接收端。

优选地，所述步骤s1包括：采集宠物语音信号，对语音信号进行预处理，所述预处理包括信号预加重、语音信号降噪、端点检测。

优选地，所述步骤s2包括：把不同情绪的特征参数进行归一化、降维处理后，进行训练，分别形成各自的模板库，将待识别情绪的特征参数与模板库中存在的模型进行匹配，得到所述宠物情绪识别结果。

优选地，所述步骤s3中呈现所述宠物情绪识别结果包括：将所述宠物情绪识别结果以文字/灯光/闪烁形式显示或语音形式播放。

优选地，所述步骤s4中的所述响应包括：根据所述宠物情绪识别结果控制相关设备向宠物播放与所述情绪识别结果对应的主人语音，或者向所述宠物投送玩具或食物，或者在播放与所述情绪识别结果对应的主人语音预设次数后，再投送玩具和/或食物。

根据本发明的另一个方面，本发明还提供了一种宠物情绪识别系统，所述系统包括：

模型建立模块，用于建立基于语音的宠物情绪识别模型；

情绪识别模块，用于采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果；

结果呈现模块，用于呈现所述宠物情绪识别结果；

控制模块，用于根据所述宠物情绪识别结果控制宠物辅助设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。

优选地，所述系统还包括通信模块，用于将所述宠物情绪识别结果/所述响应的实时情况发送至指定接收端。

优选地，所述情绪识别模块还用于：把不同情绪的特征参数进行归一化、降维处理后，进行训练，分别形成各自的模板库，将待识别情绪的特征参数与模板库中存在的模型进行匹配，得到所述宠物情绪识别结果；

所述结果呈现模块还用于：将所述宠物情绪识别结果以文字/灯光/闪烁形式显示或语音形式播放。

本发明的有益效果：通过选取基音频率、短时能量和共振峰三个反映宠物情绪状态的特征值，并对这三类特征参数进行统计分析和标注分类，基于机器学习算法，建立svm模型，然后用标注分类好的数据样本对算法模型进行训练和测试，并基于该模型算法，对宠物的语音情绪信号进行识别，从而判断宠物是处于愤怒、高兴、或是平静状态，方便宠物主人随时检测自己宠物的情绪状态。

通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。

附图说明

图1是本发明的基于语音的宠物情绪识别方法流程示意图；

图2是本发明的降噪前后信号波形对比图；

图3是本发明的语音端点检测过程示意图；

图4是本发明的提取基音频率过程示意图；

图5是本发明的二叉树svm多分类示意图；

图6是本发明的基于语音的宠物情绪识别系统示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如图1，本发明提出了一种基于语音的宠物情绪识别方法，所述方法包括以下步骤：

s1、建立基于语音的宠物情绪识别模型；

优选地，所述步骤s1包括：采集宠物语音信号，对语音信号进行预处理，所述预处理包括信号预加重、语音信号降噪、端点检测。

具体地，原始的语音信号不仅包含语音信息，还会有噪音掺杂在其中，而且，不同语音信号的声音质量有好有差，这给信号的识别和特征提取带来很大的麻烦。为了改善语音信号的质量、提高信号的识别度、获得统一的信号格式，必须对已有的语音信号进行预处理，这是获得便于进行语音信号特征提取和后续情绪状态识别的前提与基础。

本发明的基于语音的宠物情绪识别预处理方法主要的处理过程包括预加重、降噪、端点检测等。

1、信号预加重

声音信号的频率越高，则该信号对应的平均功率谱成分就会越小，通常情况下，低频部分相对于高频部分来说更容易求得，这是由于声门激励和口鼻辐射带来的影响。因此，为了消除声门激励和口鼻辐射对声音信号处理带来的不良影响，使用预加重将声音信号的频谱变得更加平坦，这样其高频部分的分辨率就能够显著提高，声音信号的特征提取就会更加的便利。

2、语音信号降噪

语音信号在采集传输时往往会伴随加噪声，这样不仅影响了语音的质量，严重时更有可能还会干扰语音的正常接收，所以，在语音信号分析过程中解决语音信号的噪声，降噪过程是必不可少的。

本发明中采用基于小波变换的语音信号降噪方法，在去掉高频噪声同时也保留了信号的高频有效成分，解决了傅里叶变换方法中时域瞬间变化无法及时完全反映在频域的问题，降噪时小波法比傅里叶变换法更有效。

通常来讲，一维信号降噪过程可以具体分为如下三个步骤：

(1)对语音信号进行小波分解。选择一个小波并确定分解层数及层次，然后进行分解计算。

(2)对小波分解的高频系数进行阙值量化。每个分解尺度下的高频系数相应选择一个阙值，然后进行软阙值量化处理。

(3)重构一维小波。在小波分解时，会在底层产生低频系数，在各层产生高频系数。应用这些系数重构一维小波。

图2示出了本发明的降噪前后信号波形对比图。由图2可见，降噪后的语音信号不仅去除了掺杂在原始信号中的噪声，还保留了原始信号中的突变部分，因此非常接近原始信号，因此小波降噪效果十分明显。

3、端点检测

当环境背景噪声和系统内部结构的噪声很小很小时，要区分开语音只需计算出输入信号的短时能量就可以要区分开语音有效段和噪音段。但是，在真实环境背景下应用时难以保证高信噪比，因此不能仅凭借短时能量单一特征来判断语音的起止点；或者语音段的开始和结束部分都是重鼻音、弱的摩擦音或弱爆破音时，短时能量的数值很小，与噪声的数字电平几乎接近。在此种情况下，如果仅凭借能量特征可能会漏掉开始和末尾的音节，所以还需利用短时平均过零率对端点进行判断，本发明采用基于短时能量和过零率特征的两级三门限判决端点的检测方法，语音端点检测过程如图3所示。

端点检测具体操作如下：

(1)对语音信号进行预加重和分帧加窗处理，加重语音信号的高频部分，可以提升高频段的分辨率。

(2)计算出每帧语音信号的短时能量和短时过零率。

(3)参考语音信号的平均能量可以判断语音信号的开始，设置较高的门限t1；接着参考背景环境噪声的平均能量确定第一级中的语音终点，设置稍微低一点的门限t2。完成第一级的判决后，然后参考背景环境噪声的平均过零率来设定第三个门限t3，最终可以判断出语音信号的准确起始终点。

优选地，所述步骤s1包括：从宠物语音信号中提取特征参数，对所述特征参数进行统计分析和标注分类，基于机器学习算法，建立支持向量机svm模型。所述特征参数包括基音频率、短时能量和共振峰。

1、基音频率

在语音信号中得到的基音频率特征通常和人类发出浊音时声带振动的频率相符，所以可以选取基音频率特征判断语音是浊音或是清音。在本发明中利用自相关算法提取基音频率。

图4示出了提取基音频率的过程。操作步骤如下：

(1)输入情绪数据库中待测语音。

(2)对输入的情绪数据进行加窗分帧及端点检测等预处理。

(3)对完成预处理后的帧语音段进行削波处理。

(4)计算峰值所在位置。

(5)根据峰值所在位置计算基音频率。

2、短时能量

语音信号的能量特征与语音的振幅强度息息相关，同时也与各类情绪都有密切的关联，在日常生活中会体会到，当人们愤怒或高兴时，声音的响度变大，当人们悲伤或者忧郁时，声音的响度会变小。所以，可以利用这一规律，选择振幅构造特征来度量情绪，同时振幅构造特性可由短时能量来体现。在能量方面，考虑到音量的绝对大小并不应该成为表达情绪的主要参数，所以本发明主要研究了能量变化率等相对变化的特征参数。其中重音特征能够把情绪区分为“愤怒、高兴”组成的激动类情绪和“平静”组成的平缓类情绪。

3、共振峰

共振峰频率体现了声道的谐振特性，当说话者在不同情绪背景下发音时，会造成不同程度的声道形变，因而影响了共振峰频率，所以共振峰频率特征与语音情绪状态的识别有紧密的联系。本发明采用了线性预测方法来获得每帧情绪语音信号的共振峰特征参数。

图5示出了本发明的二叉树svm多分类示意图。

基于语音的宠物情绪识别应用是典型的模式识别分类问题。通过对已知的训练样本进行学习实现分类，将样本的特征向量与所属类别建立映射，通过该映射可以精确地对新样本进行分类识别。根据应用的实际环境与具体情况，解决分类问题关键在于构建恰当的分类模型。

基于二叉树的多分类svm识别方法首先将所有的类别分成两个大分类，接着将子类别进一步精细划分，而得到两个次级子类，按照此方法循环进行下去，最终直到所有节点中都只含有一个单独的类别即可，此种方法是将起始的多分类问题逐步分解成了树杈型的两分类问题，其中每两个子类间的分类函数仍然采用svm。传统方法对不可分情况的处理有限，而二叉树方法可以有效规避使用传统方法时的不可分情况，只需要k-1个svm分类器就可以实现多分类。

s2、采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果。

优选地，本发明的语音情绪识别算法实现具体过程包括：

(1)对情绪语音信号进行预处理。本文预处理主要包括信号的预加重、降噪和端点检测等；

(2)提取情绪特征参数并做出统计,本文提取了基音频率、短时能量、共振峰等特征参数；

(3)把不同情绪的特征参数进行归一化、降维处理后，进行训练，分别形成各自的模板库，最后将待识别情绪的特征参数与模板库中存在的模型进行匹配，继而输出识别结果。

模板训练算法是读取用于训练实验的语音情绪信号，再进行端点检测和语音

情绪特征参数的计算，然后保存文件、起始端点及特征参数，最终得到训练模板。

模板识别算法也是读取用于测试实验的语音情绪信号，再进行端点检测和语音情绪特征参数的计算，最后利用基于二叉树svm，将待测试语音段信号提取的特征参数与模板中已经提取获得的特征参数进行匹配识别，输出结果是与模板匹配度好的参数特征所对应的情绪状态。

s3、呈现所述宠物情绪识别结果；

本步骤中，可以将所述宠物情绪识别结果以文字/灯光/闪烁显示或语音形式播放。

s4、根据所述宠物情绪识别结果控制宠物辅助设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。

本步骤中，宠物辅助设备可以通过控制相关设备来进行宠物玩具和食物的投送，所述相关设备可以是所述宠物辅助设备本身，也可以是集成在所述宠物辅助设备中的一部分，还可以是与所属宠物辅助设备分离的机械/电子或机电一体化设备，例如可以是具备语音录入/播放的设备和/或具备玩具/食物投送功能的其他设备。当宠物情绪识别系统识别出宠物的情绪为高兴时，可由宠物辅助设备发送控制信号，控制相关设备向宠物投送玩具，如橡皮球等。当宠物情绪识别系统识别出宠物的情绪为愤怒或饥饿时，可由宠物辅助设备发送控制信号，控制相关设备向宠物投送食物；宠物辅助设备还可以控制一个音频播放设备播放特定的音频信号，该音频播放设备可以播放预先存储的音频数据，例如宠物主人预先录制的主人录音，例如“宝贝别急，妈妈就来”或者“亲爱的，饭饭马上做好”等，通过录音对宠物进行安抚。宠物辅助设备还可以对播放的特定录音进行播放计数，在该录音播放一定次数后，控制相关设备进行食物或玩具的投送。例如在首次识别出宠物饥饿时，控制音频播放设备首次播放“亲爱的，饭饭马上做好”，此时对这条录音的播放开始计数，再次识别出宠物饥饿时，再次播放这条录音……直至达到预定的次数，说明宠物已经饥饿难耐，此时通过控制信号控制相关设备进行食物投送，同时播放“亲爱的，饭饭来啦”，然后对于“亲爱的，饭饭马上做好”这条语音播放次数进行清零。

为了方便主人及时掌握宠物情绪状态及安抚状态，可以将上述的识别结果和安抚、投送等情况通过无线通信方式实时发送给指定的接收端，该接收端可以由主人携带，接收到识别结果和安抚、投送等情况时，该接收端可以显示识别的结果、安抚的方式及次数、是否投喂食物或玩具等，例如，在识别出宠物饥饿已语音安抚两次尚未投喂食物时将这些信息发送至接收端，由接收端显示“狗狗饿了，已经哄了两次，还没喂食”相关的信息；在识别出宠物饥饿已语音安抚四次并启动投喂食物时将这些信息发送至接收端，由接收端显示“狗狗饿了，已经哄了四次，食也喂了”相关的信息。具体的显示方式由本领域技术人员根据实际需要进行设置，此处不作赘述。

如图6，本发明提供了一种基于语音的宠物情绪识别系统。所述系统包括：

模型建立模块，用于建立基于语音的宠物情绪识别模型；

情绪识别模块，用于采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果；

结果呈现模块，用于呈现所述宠物情绪识别结果；所述呈现可以是文字/灯光/闪烁显示或语音形式播放，相应的，所述显示模块可以包括用于显示文字的显示屏，用于显示灯光或闪烁的彩色灯，用于播放语音的扬声器，所述显示屏和彩色灯的种类不限。

控制模块，用于根据所述宠物情绪识别结果控制相关设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。所述相关设备(未示出)可以是所述宠物辅助设备本身，也可以是集成在所述宠物辅助设备中的一部分，还可以是与所属宠物辅助设备分离的机械/电子或机电一体化设备，例如可以是具备语音录入/播放的设备和/或具备玩具/食物投送功能的其他设备。

优选地，所述模型建立模块还用于：采集宠物语音信号，对语音信号进行预处理，所述预处理包括信号预加重、语音信号降噪、端点检测；以及从宠物语音信号中提取特征参数，对所述特征参数进行统计分析和标注分类，基于机器学习算法，建立支持向量机svm模型；其中，所述特征参数包括基音频率、短时能量和共振峰。

优选地，所述响应包括：根据所述宠物情绪识别结果控制相关设备向宠物播放与所述情绪识别结果对应的主人语音，或者向所述宠物投送玩具或食物，或者在播放与所述情绪识别结果对应的主人语音预设次数后，再投送玩具和/或食物。

为了方便主人及时掌握宠物情绪状态及安抚状态，所述系统配置有通信模块，该通信模块可以将上述的识别结果和安抚、投送等情况通过无线通信方式实时发送给指定的接收端，该接收端可以由主人携带，接收到识别结果和安抚、投送等情况时，该接收端可以显示识别的结果、安抚的方式及次数、是否投喂食物或玩具等。例如，在识别出宠物饥饿已语音安抚两次尚未投喂食物时所述通信模块将这些信息发送至接收端，由接收端显示“狗狗饿了，已经哄了两次，还没喂食”相关的信息；在识别出宠物饥饿已语音安抚四次并启动投喂食物时将这些信息发送至接收端，由接收端显示“狗狗饿了，已经哄了四次，食也喂了”相关的信息。具体的显示方式由本领域技术人员根据实际需要进行设置，此处不作赘述。

上述基于语音的宠物情绪识别系统中各个模块所实现的具体过程可以参考方法实施例中各个步骤的具体实现过程，在此不再赘述。

本发明的基于语音的宠物情绪识别方法和系统，通过选取基音频率、短时能量和共振峰三个反映宠物情绪状态的特征值，并对这三类特征参数进行统计分析和标注分类，基于机器学习算法，建立svm模型，然后用标注分类好的数据样本对算法模型进行训练和测试，并基于该模型算法，对宠物的语音情绪信号进行识别，从而判断宠物是处于愤怒、高兴、或是平静状态，方便宠物主人随时检测自己宠物的情绪状态，还可以基于识别出的宠物情绪进行自动安抚和/或食物/玩具投送。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

技术特征：

1.一种宠物情绪识别方法，其特征在于，所述方法包括以下步骤：

s1、建立宠物语音情绪识别模型；

s2、采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果；

s3、呈现所述宠物情绪识别结果；

s4、根据所述宠物情绪识别结果控制相关设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。

2.根据权利要求1所述的方法，其特征在于，所述步骤s1包括：从宠物语音信号中提取特征参数，对所述特征参数进行统计分析和标注分类，基于机器学习算法，建立支持向量机svm模型。

3.根据权利要求2所述的方法，其特征在于，所述步骤4后还包括，将所述宠物情绪识别结果/所述响应实时情况发送至指定接收端。

4.根据权利要求1所述的方法，其特征在于，所述步骤s1包括：采集宠物语音信号，对语音信号进行预处理，所述预处理包括信号预加重、语音信号降噪、端点检测。

5.根据权利要求1所述的方法，其特征在于，所述步骤s2包括：把不同情绪的特征参数进行归一化、降维处理后，进行训练，分别形成各自的模板库，将待识别情绪的特征参数与模板库中存在的模型进行匹配，得到所述宠物情绪识别结果。

6.根据权利要求1或3所述的方法，其特征在于，所述步骤s4包括：根据所述宠物情绪识别结果控制相关设备向宠物播放与所述情绪识别结果对应的主人语音，或者向所述宠物投送玩具或食物，或者在播放与所述情绪识别结果对应的主人语音预设次数后，再投送玩具和/或食物。

7.根据权利要求1或3所述的方法，其特征在于，所述步骤s3中呈现所述宠物情绪识别结果包括：将所述宠物情绪识别结果以文字/灯光/闪烁形式显示或语音形式播放。

8.一种宠物情绪识别系统，其特征在于，所述系统包括：

模型建立模块，用于建立宠物语音情绪识别模型；

情绪识别模块，用于采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果；

结果呈现模块，用于呈现所述宠物情绪识别结果；

控制模块，用于根据所述宠物情绪识别结果控制相关设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括通信模块，用于将所述宠物情绪识别结果/所述响应实时发送至指定接收端。

10.根据权利要求8或9所述的系统，其特征在于，所述响应包括：根据所述宠物情绪识别结果控制相关设备向宠物播放与所述情绪识别结果对应的主人语音，或者向所述宠物投送玩具或食物，或者在播放与所述情绪识别结果对应的主人语音预设次数后，再投送玩具和/或食物。

技术总结
一种宠物情绪识别方法和系统，所述方法包括以下步骤：S1、建立宠物语音情绪识别模型；S2、采集宠物的语音，根据所述识别模型判断宠物的情绪，得到宠物情绪识别结果；S3、呈现所述宠物情绪识别结果；S4、根据所述宠物情绪识别结果控制宠物辅助设备对所述宠物作出与所述宠物情绪识别结果相对应的响应。本发明基于语音对宠物的情绪进行识别，从而方便判断宠物情绪状态并进行安抚。

技术研发人员：万不知;张颖;陈凌;陈不为;万能
受保护的技术使用者：万不知
技术研发日：2020.03.20
技术公布日：2020.05.19