首页 > 分享 > 基于宠物情绪识别的陪护方法、装置、服务器及存储介质.pdf

基于宠物情绪识别的陪护方法、装置、服务器及存储介质.pdf

萌宠菠菠乐园
2024-10-11 05:45

《基于宠物情绪识别的陪护方法、装置、服务器及存储介质.pdf》由会员分享，可在线阅读，更多相关《基于宠物情绪识别的陪护方法、装置、服务器及存储介质.pdf（22页完成版）》请在专利查询网上搜索。

1、(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 202010647467.0 (22)申请日 2020.07.07 (71)申请人深圳市丹芽科技有限公司地址 518000 广东省深圳市龙华区民治街道民乐社区星河WORLD二期E栋705 (72)发明人林镇清何鹏 (74)专利代理机构北京品源专利代理有限公司 11332 代理人潘登 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) G05D 1/12(2006.01) (54)发明名称基于宠物情绪识别的陪护方法、装。

2、置、服务器及存储介质 (57)摘要本发明实施例公开了一种基于宠物情绪识别的陪护方法、装置、服务器及存储介质，所述方法包括：通过声音采集设备获取宠物的声音信息；根据声音信息确定宠物的第一位置；根据第一位置和预设栅格地图确定机器人的移动路径；基于移动路径移动机器人接近宠物以拍摄宠物的图像数据；根据图像数据和声音信息确定宠物的情绪状态；根据情绪状态确定宠物的陪护任务。本发明通过对宠物的图像数据进行分析以确定宠物的情绪，针对不同的宠物情绪采取不同的陪护措施，解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪，甚至生病抑郁的技。

3、术问题，实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。权利要求书2页说明书12页附图7页 CN 111814665 A 2020.10.23 CN 111814665 A 1.一种基于宠物情绪识别的陪护方法，其特征在于，包括：通过声音采集设备获取宠物的声音信息；根据所述声音信息确定所述宠物的第一位置；根据所述第一位置和预设栅格地图确定机器人的移动路径；基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据；根据所述图像数据和所述声音信息确定所述宠物的情绪状态；根据所述情绪状态确定所述宠物的陪护任务。 2.根据权利要求1所述的基于。

4、宠物情绪识别的陪护方法，其特征在于，所述通过声音采集设备获取宠物的声音信息之前包括：根据所述机器人的历史移动路径建立所述预设栅格地图，所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。 3.根据权利要求2所述的基于宠物情绪识别的陪护方法，其特征在于，所述通过声音采集设备获取宠物的声音信息包括：通过图像采集设备获取所述图像采集设备的第一当前视野图像；根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内；若所述宠物在所述图像采集设备的视野范围内，则通过所述声音采集设备获取所述宠物的声音信息；若所述宠物不在所述图像采集设备的视野范围内，则。

5、根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动，并通过所述图像采集设备以预设频率抓拍第二当前视野图像，直至所述宠物在所述图像采集设备的视野范围内。 4.根据权利要求1所述的基于宠物情绪识别的陪护方法，其特征在于，所述根据所述第一位置和预设栅格地图确定机器人的移动路径包括：获取所述机器人的当前位置；根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径；根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。 5.根据权利要求4所述基于宠物情绪识别的陪护方法，其特征在于，所述基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像。

6、数据包括：基于所述最短移动路径移动所述机器人以接近所述宠物；通过图像采集设备以预设频率拍摄所述宠物，以获取所述宠物的至少一个参考图像；提取所述参考图像，以获取每个所述参考图像的参考图像特征；根据所述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心；若所述宠物位于所述视觉中心，则将所述参考图像特征对应的参考图像作为所述宠物的图像数据；若所述宠物偏离所述视觉中心，则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度；基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。 6.根据权利要求5所述的基于宠物情绪识别的陪护方法，其特征在于，所。

7、述根据所述图像数据和所述声音信息确定所述宠物的情绪状态包括：提取所述图像数据和所述声音信息，以获取所述图像数据的图像特征和所述声音信息权利要求书 1/2 页 2 CN 111814665 A 2 的声音特征；将所述图像特征和声音特征输入至预设神经网络模型进行分析，以获取分析结果；根据所述分析结果确定所述宠物的情绪状态。 7.根据权利要求1所述的基于宠物情绪识别的陪护方法，其特征在于，所述根据所述情绪状态确定所述宠物的陪护任务包括：根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。 8.一种基于宠物情绪识别的陪护装置，其特征在于，包括：声音。

8、获取模块，用于通过声音采集设备获取宠物的声音信息；位置确定模块，用于根据所述声音信息确定所述宠物的第一位置；移动路径确定模块，用于根据所述第一位置和预设栅格地图确定机器人的移动路径；图像获取模块，用于基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据；情绪确定模块，用于根据所述图像数据和所述声音信息确定所述宠物的情绪状态；陪护任务确定模块，用于根据所述情绪状态确定所述宠物的陪护任务。 9.一种服务器，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器。

9、实现如权利要求1-7中任一项所述的基于宠物情绪识别的陪护方法。 10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于宠物情绪识别的陪护方法。权利要求书 2/2 页 3 CN 111814665 A 3 基于宠物情绪识别的陪护方法、装置、服务器及存储介质技术领域 0001 本发明实施例涉及电子技术领域，尤其涉及一种基于宠物情绪识别的陪护方法、装置、服务器及存储介质。背景技术 0002 随着中国生育率的下降，越来越多人开始饲养宠物；他们认为宠物与孩子一样都是重要家庭成员，如何更好的对宠物进行陪护。

10、成为了当下亟需解决的问题。 0003 目前，由于宠物主人存在上班、逛街、出差和旅游等需要长时间外出的事情，宠物主人不能长时间守在宠物的身边，而如果宠物主人把宠物送去寄养，又担心宠物不能得到很好的照顾。研究表明部分宠物由于长时间无人陪伴，容易产生负面情绪，甚至生病抑郁，而主人由于没时间遛宠物和陪伴宠物，也容易带来内心的愧疚，甚至抑郁。发明内容 0004 本发明提供一种基于宠物情绪识别的陪护方法、装置、服务器及存储介质，以实现智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康。 0005 第一方面，本发明实施例提供了一种基于宠物情绪识别的陪护方法，包括。

11、： 0006 通过声音采集设备获取宠物的声音信息； 0007 根据所述声音信息确定所述宠物的第一位置； 0008 根据所述第一位置和预设栅格地图确定机器人的移动路径； 0009 基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据； 0010 根据所述图像数据和所述声音信息确定所述宠物的情绪状态； 0011 根据所述情绪状态确定所述宠物的陪护任务。 0012 进一步的，所述通过声音采集设备获取宠物的声音信息之前包括： 0013 根据所述机器人的历史移动路径建立所述预设栅格地图，所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。 0014 进一步的，所述通过声音。

12、采集设备获取宠物的声音信息包括： 0015 通过图像采集设备获取所述图像采集设备的第一当前视野图像； 0016 根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内； 0017 若所述宠物在所述图像采集设备的视野范围内，则通过所述声音采集设备获取所述宠物的声音信息； 0018 若所述宠物不在所述图像采集设备的视野范围内，则根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动，并通过所述图像采集设备以预设频率抓拍第二当前视野图像，直至所述宠物在所述图像采集设备的视野范围内。 0019 进一步的，所述根据所述第一位置和预设栅格地图确定机器人的移动路径包括：。

13、0020 获取所述机器人的当前位置；说明书 1/12 页 4 CN 111814665 A 4 0021 根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径； 0022 根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。 0023 进一步的，所述基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据包括： 0024 基于所述最短移动路径移动所述机器人以接近所述宠物； 0025 通过图像采集设备以预设频率拍摄所述宠物，以获取所述宠物的至少一个参考图像； 0026 提取所述参考图像，以获取每个所述参考图像的参考图像特征； 0027 根据所。

14、述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心； 0028 若所述宠物位于所述视觉中心，则将所述参考图像特征对应的参考图像作为所述宠物的图像数据； 0029 若所述宠物偏离所述视觉中心，则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度； 0030 基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。 0031 进一步的，所述根据所述图像数据和所述声音信息确定所述宠物的情绪状态包括： 0032 提取所述图像数据和所述声音信息，以获取所述图像数据的图像特征和所述声音信息的声音特征； 0033 将所述图像特征和声音特征输入至预设神经网络模型进。

15、行分析，以获取分析结果； 0034 根据所述分析结果确定所述宠物的情绪状态。 0035 进一步的，所述根据所述情绪状态确定所述宠物的陪护任务包括： 0036 根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。 0037 第二方面，本发明实施例还提供了一种基于宠物情绪识别的陪护装置，包括： 0038 声音获取模块，用于通过声音采集设备获取宠物的声音信息； 0039 位置确定模块，用于根据所述声音信息确定所述宠物的第一位置； 0040 移动路径确定模块，用于根据所述第一位置和预设栅格地图确定机器人的移动路径； 0041 图像获取模块，用于基于所述移动。

16、路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据； 0042 情绪确定模块，用于根据所述图像数据和所述声音信息确定所述宠物的情绪状态； 0043 陪护任务确定模块，用于根据所述情绪状态确定所述宠物的陪护任务。 0044 第三方面，本发明实施例还提供了一种服务器，包括： 0045 一个或多个处理器； 0046 存储装置，用于存储一个或多个程序， 0047 当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理说明书 2/12 页 5 CN 111814665 A 5 器实现上述实施例中任一项所述的基于宠物情绪识别的陪护方法。 0048 第四方面，本发明实。

17、施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中任一项所述的基于宠物情绪识别的陪护方法。 0049 本发明通过对宠物的图像数据进行分析以确定宠物的情绪，针对不同的宠物情绪采取不同的陪护措施，解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪，甚至生病抑郁的技术问题，实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。附图说明 0050 图1为本发明实施例一提供的基于宠物情绪识别的陪护方法的流程图； 0051 图2为本发明实施例一提供的宠物的第一位置的示意图； 0052 图3为本发明。

18、实施例一提供的一种宠物图像的位置示意图； 0053 图4为本发明实施例二提供的基于宠物情绪识别的陪护方法的流程图； 0054 图5为本发明实施例二提供的一种宠物的第一位置的示意图； 0055 图6为本发明实施例二提供的机器人的移动路径的示意图； 0056 图7为本发明实施例二的替代实施例提供的基于宠物情绪识别的陪护方法的流程图； 0057 图8为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图； 0058 图9为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图； 0059 图10为本发明实施例三提供的基于宠物情绪识别的陪护装置的结构示意图； 0。

19、060 图11为本发明实施例四提供的一种服务器的结构示意图。具体实施方式 0061 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。 0062 更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可。

20、以对应于方法、函数、规程、子例程、子程序等等。 0063 此外，术语 “第一” 、“第二” 等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。术语 “第一” 、“第二” 等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有 “第一” 、“第二” 的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个” 、“批量” 说明书 3/12 页 6 CN 111814665 A 6 的含。

21、义是至少两个，例如两个，三个等，除非另有明确具体的限定。 0064 实施例一 0065 图1为本发明实施例一提供的基于宠物情绪识别的陪护方法的流程图，本实施例可适用于宠物主人不方便照看宠物情况，该方法可以由处理器或终端来执行，具体包括如下步骤： 0066 步骤S110、通过声音采集设备获取宠物的声音信息。 0067 具体的，声音采集设备在本实施例中可以包括麦克风设备，麦克风设备可以是单个麦克风，也可以是麦克风矩阵。当宠物发出声音时，陪护机器人的处理器就可以通过安装在该陪护机器人上的声音采集设备或声音采集部件获取宠物的声音信息，从而通过分析宠物的声音信息和声音。

22、来源方向确定出宠物的位置。 0068 步骤S120、根据所述声音信息确定所述宠物的第一位置。 0069 具体的，这里的第一位置是指宠物发出叫声时的当前位置。在通过步骤S110获取到该宠物的声音信息后，陪护机器人的处理器就可以将该声音信息输入至预设的声音分析模型中进行分析(比如先对该声音信息进行特征提取，然后再根据预设声音分析模型中的预设特征库对该声音信息的特征进行匹配)，得到对应的分析结果，然后根据分析结果确定宠物的第一位置。 0070 在本实施例中，由于宠物可能待在如床底、沙发底下或其他不易查找的地方，若陪护机器人在根据宠物的声音信息确定宠物的第一位置并沿移动路。

23、径靠近宠物后，陪护机器人的摄像头仍没有捕捉到宠物的图像时，陪护机器人的处理器还可以生成一个播放音频的指令，以播放提前录制好的宠物主人用于呼唤宠物的音频，吸引宠物从类似床底或沙发底的地方出来，直到陪护机器人的摄像头能捕捉到宠物的图像。 0071 步骤S130、根据所述第一位置和预设栅格地图确定机器人的移动路径。 0072 具体的，预设栅格地图是指该宠物主人家的栅格地图或宠物所在房子的栅格地图。这里的栅格地图可以通过陪护装置或陪护机器人沿墙或障碍物遍历整个房子，采用即时点位与地图构建算法(Simultaneous Localization And Mapping， SL。

24、AM)和雷达数据建立起来。在预设栅格地图建立好后，机器人就可以根据宠物的第一位置和预设栅格地图规划出从机器人的当前位置到宠物的第一位置的移动路径。 0073 图2为本发明实施例一提供的宠物的第一位置的示意图。如图2所示， A点为陪护机器人的当前位置， B点为宠物的第一位置，这时就可以根据预设栅格地图A1、陪护机器人的当前位置A点以及宠物的第一位置B点，通过预设路径规划算法得到对应的移动路径w1。 0074 步骤S140、基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据。 0075 具体的，在确定了机器人的移动路径后，陪护机器人的处理器会生成一个驱动。

25、信号，然后根据该驱动信号驱动机器人沿移动路径靠近该宠物以拍摄该宠物的图像数据。举例来说，如图2所示，当确定了机器人的移动路径w1后，机器人就会沿移动路径w1从A点移动到B点以接近宠物。在本实施例中，在对宠物进行拍摄时，还可以实时判断宠物的图像是否在摄像头的视觉中心位置，这里的视觉中心位置是指摄像头的视野中心，如果宠物的图像不在摄像头的视觉中心位置时，可以通过转动摄像头(没有到达摄像头的转动极限角度时就能使宠物的图像位于视觉中心位置时)或移动机器人(到达摄像头的转动极限角度后仍说明书 4/12 页 7 CN 111814665 A 7 不能使宠物的图像位于视觉。

26、中心位置时)的位置使得宠物的图像能保持在视觉中心位置处。举例来说，图3为本发明实施例一提供的一种宠物图像的位置示意图。如图3所示，在陪护机器人移动到宠物的第一位置处时，抓取到的宠物的图像是宠物图像A，从图3能看出宠物图像A并未在摄像头的视觉中心位置，这时就可以通过转动摄像头或移动陪护机器人的位置使得宠物的图像从宠物图像A对应的位置移动到宠物图像B对应的位置，即使得宠物图像位于视觉中心位置。 0076 步骤S150、根据所述图像数据和所述声音信息确定所述宠物的情绪状态。 0077 具体的，在陪护机器人通过图像采集设备(如摄像头)拍摄得到宠物的图像数据后，陪护机器。

27、人就可以将宠物的图像数据和对应的声音信息输入预设的数据分析模型或预设神经网络模型中进行宠物情绪的识别，最终通过分析结果确定宠物的情绪状态。这里的情绪状态可以包括高兴、悲伤和抑郁等。 0078 步骤S160、根据所述情绪状态确定所述宠物的陪护任务。 0079 具体的，在陪护机器人的处理器通过步骤S150确定了宠物的情绪状态后，还可以根据该情绪状态生成并执行对应的陪护任务。举例来说，当宠物的情绪状态确认为抑郁时，说明宠物需要进行一些能让它兴奋或开心的事项，这时陪护机器人就可以通过播放主人预先录制好的鼓励视频或音频来排解该宠物的抑郁情绪；再如当宠物额情绪状态确认为无聊。

28、时，说明宠物需要有人陪它玩游戏或做一些有趣的事项，那么陪护机器人就可以通过抛出预先存储在存储仓中的小球来陪宠物玩耍，还可以在玩耍一定时长后给宠物存储仓中的食物以示奖励等. 0080 在本实施例中，宠物主人还可以通过预先与陪护机器人关联的APP实时查看宠物的情绪状态和图像数据，对宠物的行为和踪迹进行实时监控，还可以通过该APP控制陪护机器人执行不同的陪护任务，如当宠物主人发现宠物在破坏家具或拆家时，宠物主人就可以通过控制陪护机器人，让陪护机器人播放用于训斥宠物的音频或视频等。 0081 在本实施例中，陪护机器人在得到宠物的图像数据、声音信息以及通过图像数据和声音。

29、信息确认的宠物的情绪状态信息时，还可以将这些数据和信息存储到云端(即一种软件和操作系统的中间载体)，通过云端将这些数据和信息实时同步到APP中，这样宠物主人就能更方便的查看宠物的当前状态(如宠物的当前行为和当前情绪状态等)。 0082 本发明实施例一的有益效果在于通过宠物的声音定位宠物的位置，并移动陪护机器人到对应位置后获取宠物的图像数据，对图像数据进行分析以确定宠物的情绪，针对不同的宠物情绪采取不同的陪护措施，并通过APP将宠物的当前状态展示给主人以方便主人对宠物进行陪护，解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪，甚至生病抑郁的。

30、技术问题，实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。 0083 实施例二 0084 本发明实施例二是在实施例一的基础上做的进一步改进。图4为本发明实施例二提供的基于宠物情绪识别的陪护方法的流程图。如图4所示，本实施例的基于宠物情绪识别的陪护方法，包括： 0085 步骤S201、根据所述机器人的历史移动路径建立所述预设栅格地图，所述历史移动路径为所述机器人移动遍历所述宠物所在的房子时生成。说明书 5/12 页 8 CN 111814665 A 8 0086 具体的，历史移动路径是指陪护机器人沿房子的墙或障碍物遍历一次房子的所有移动路径。。

31、在本实施例中，用户可以预先将与所述陪护机器人关联的终端APP启动，当陪护机器人沿墙壁或障碍物遍历房子的每个角落后，陪护机器人的处理器就会将历史移动路径和传感器数据(或雷达数据)输入预设计算模型中，生成对应的栅格地图，并将该栅格地图同步到该APP中以显示给用户，这样用户就能实时查看陪护机器人的当前位置。 0087 步骤S202、通过图像采集设备获取所述图像采集设备的第一当前视野图像。 0088 具体的，图像采集设备可以包括摄像头、摄像机、相机、扫描仪和其他带有拍照功能的设备，本实施例以摄像头为例。第一当前视野图像是指陪护机器人的摄像头在当前位置拍摄到的在视野范。

32、围内的所有物体构成的图像。在陪护机器人建立好预设栅格地图后，陪护机器人就可以通过设置陪护机器人上的摄像头进行拍照，以获取第一当前视野图像。 0089 步骤S203、根据所述第一当前视野图像判断所述宠物是否在所述图像采集设备的视野范围内。 0090 具体的，陪护机器人的处理器在获取了第一当前视野图像后，就可以根据分析第一当前视野图像，提取第一当前视野图像的图像特征，并根据预设数据库中用于宠物识别的预设图像特征对当前视野图像的图像特征进行匹配，当匹配度大于等于匹配度阈值时，就说明当前视野图像的图像特征与预设图像特征的一致性较高，那么陪护机器人的处理器就可以确定宠物在图。

33、像采集设备的视野范围内。而当匹配度小于匹配度阈值时，就说明当前视野图像的图像特征与预设图像特征的差异较大，那么陪护机器人的处理器就可以确定宠物不在图像采集设备的视野范围内。 0091 步骤S204、若所述宠物在所述图像采集设备的视野范围内，则通过所述声音采集设备获取所述宠物的声音信息。 0092 具体的，声音采集设备在本实施例中可以包括麦克风设备，麦克风设备可以是单个麦克风，也可以是麦克风矩阵。若宠物在图像采集设备的视野范围内，当宠物发出声音时，陪护机器人的处理器就可以通过安装在该陪护机器人上的声音采集设备或声音采集部件获取宠物的声音信息，从而通过分析宠物的。

34、声音信息和声音来源方向确定出宠物的位置。 0093 步骤S205、若所述宠物不在所述图像采集设备的视野范围内，则根据所述预设栅格地图驱动所述机器人沿所述历史移动路径移动，并通过所述图像采集设备以预设频率抓拍第二当前视野图像，直至所述宠物在所述图像采集设备的视野范围内。 0094 具体的，第二当前视野图像在本实施例中是指陪护机器人在沿历史移动路径移动时拍下的对应位置的在视野范围内的所有物体的图像。当陪护机器人通过摄像头拍下了第一当前视野图像，并分析确定宠物不在第一当前视野图像对应的视野范围内时，陪护机器人的处理器会生成一个抓拍指令，并根据该抓拍指令通过摄像头抓拍陪护。

35、机器人沿历史移动路径移动时的第二当前视野图像，这个抓拍指令可以包括抓拍的预设频率(如每三秒拍一次等)。在拍摄第二当前视野图像的时候，还可以每获取一次第二当前视野图像，就将该第二当前视野图像输入到预设数据分析模型中或预设神经网络中进行图像识别和特征提取，当分析结果为宠物在第二当前视野图像对应的视野范围内时(即宠物出现在陪护机器人的摄像头的视野范围内)，陪护机器人就会停止执行根据预设栅格地图驱动机器人沿历史移动路径移动，并通过图像采集设备以预设频率抓拍第二当前视野图像的步骤。说明书 6/12 页 9 CN 111814665 A 9 0095 步骤S206、根据所述声。

36、音信息确定所述宠物的第一位置。 0096 具体的，这里的第一位置是指宠物发出叫声时的当前位置。在通过步骤S204获取到该宠物的声音信息后，陪护机器人的处理器就可以将该声音信息输入至预设的声音分析模型中进行分析(比如先对该声音信息进行特征提取，然后再根据预设声音分析模型中的预设特征库对该声音信息的特征进行匹配)，得到对应的分析结果，然后根据分析结果确定宠物的第一位置。 0097 步骤S207、获取所述机器人的当前位置。 0098 步骤S208、根据所述第一位置、所述当前位置和所述预设栅格地图确定至少一条所述移动路径。 0099 具体的，在确定了宠物的第一位置后，陪。

37、护机器人的处理器还需要获取自己的当前位置，并通过当前位置、宠物的第一位置以及宠物所在房子的预设栅格地图确定出陪护机器人从当前位置移动到第一位置的至少一条移动路径。举例来说，图5为本发明实施例二提供的一种宠物的第一位置的示意图，如图5所示， A点为陪护机器人的当前位置， B点为宠物的第一位置， w1和w2为两条陪护机器人的移动路径，也就是说，陪护机器人要从A点到B点可以沿移动路径w1或移动路径w2来移动。 0100 步骤S209、根据每条所述移动路径的移动距离确定所述机器人的最短移动路径。 0101 具体的，在确定出至少一条移动路径后，陪护机器人的处理器还需要确认每。

38、条移动路径的移动距离，并选择移动路径最小的那条移动路径作为陪护机器人的最短移动路径。举例来说，图6为本发明实施例二提供的机器人的移动路径的示意图。如图6所示， A点为陪护机器人的当前位置， B点为宠物的第一位置，陪护机器人从A点到B点的移动路径有两条，分别为w1和w2，从图6可知， w2的移动距离比w1要长，那么陪护机器人就可以选择w1作为最短移动路径。 0102 步骤S210、基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据。 0103 具体的，在确定了机器人的移动路径后，陪护机器人的处理器会生成一个驱动信号，然后根据该驱动信号驱动机器。

39、人沿最短移动路径靠近该宠物以拍摄该宠物的图像数据。 0104 在本实施例中，当主人家有多只宠物时，还可以根据目标检测算法(Single Shot MultiBox Detector， SSD)或另一目标检测算法(You Only Look Once， YOLO)识别宠物。举例来说，当主人家有两只猫A和B，陪护机器人需要识别拍摄到的是哪只猫的图像数据时，就可以根据细粒度分类算法或子类别图像分类算法对采集到的猫咪的图像数据进行分析，从而判断出拍摄的是猫咪A还是猫咪B的图像数据。 0105 步骤S211、根据所述图像数据和所述声音信息确定所述宠物的情绪状态。 0106 具体的。

40、，在陪护机器人通过图像采集设备(如摄像头)拍摄得到宠物的图像数据后，陪护机器人就可以将宠物的图像数据和对应的声音信息输入预设的数据分析模型或预设神经网络模型中进行宠物情绪的识别，最终通过分析结果确定宠物的情绪状态。这里的情绪状态可以包括高兴、悲伤和抑郁等。 0107 步骤S212、根据所述情绪状态确定所述宠物的陪护任务。 0108 具体的，在陪护机器人的处理器通过步骤S211确定了宠物的情绪状态后，还可以说明书 7/12 页 10 CN 111814665 A 10 根据该情绪状态生成并执行对应的陪护任务。举例来说，当宠物的情绪状态确认为抑郁时，说明宠物需要进行一。

41、些能让它兴奋或开心的事项，这时陪护机器人就可以通过播放主人预先录制好的鼓励视频或音频来排解该宠物的抑郁情绪；再如当宠物额情绪状态确认为无聊时，说明宠物需要有人陪它玩游戏或做一些有趣的事项，那么陪护机器人就可以通过抛出预先存储在存储仓中的小球来陪宠物玩耍，还可以在玩耍一定时长后给宠物存储仓中的食物以示奖励等。 0109 图7为本发明实施例二的替代实施例提供的基于宠物情绪识别的陪护方法的流程图，在本实施例中，如图7所示，步骤S210可以包括以下步骤： 0110 步骤S301、基于所述最短移动路径移动所述机器人以接近所述宠物。 0111 步骤S302、通过图像采集设备以。

42、预设频率拍摄所述宠物，以获取所述宠物的至少一个参考图像。 0112 具体的，陪护机器人还可以沿最短移动路径移动到宠物的第一位置处，并拍摄宠物的至少一个参考图像。在本实施例中，还可以根据预设频率拍摄宠物多组参考图像，以通过多组参考图像更为准确的确定宠物的情绪状态。 0113 步骤S303、提取所述参考图像，以获取每个所述参考图像的参考图像特征。 0114 步骤S304、根据所述参考图像特征判断所述宠物是否位于所述图像采集设备的视觉中心。 0115 步骤S305、若所述宠物位于所述视觉中心，则将所述参考图像特征对应的参考图像作为所述宠物的图像数据。 0116 具体的。

43、，当陪护机器人的处理器获取了宠物的参考图像后，处理器还需要提取每个参考图像的参考图像特征，并根据这些图像特征判断宠物是否位于图像采集设备的视觉中心，这里的视觉中心位置是指摄像头的视野中心，当宠物的图像在摄像头的视觉中心位置，即宠物位于所述视觉中心时，就可以把拍摄到的宠物的参考图像作为宠物的图像数据。 0117 步骤S306、若所述宠物偏离所述视觉中心，则根据预设偏差算法和所述参考图像特征确定所述图像采集设备的偏差角度。 0118 步骤S307、基于所述偏差角度转动所述图像采集设备以使宠物位于所述视觉中心。 0119 具体的，如果宠物的图像不在摄像头的视觉中心位置。

44、时，可以通过转动摄像头(没有到达摄像头的转动极限角度时就能使宠物的图像位于视觉中心位置时)或移动机器人 (到达摄像头的转动极限角度后仍不能使宠物的图像位于视觉中心位置时)的位置使得宠物的图像能保持在视觉中心位置处。在本实施例中，可以通过预设偏差算法和参考图像特征计算宠物的图像数据与视觉中心位置的偏差距离，并根据该偏差距离确定图像采集设备 (如摄像头和相机等)的偏差角度，这里的偏差角度是指将宠物的参考图像从偏离视觉中心位置变为宠物的参考图像位于视觉中心位置，陪护机器人的图像采集设备如摄像头需要偏转的角度。在确定了偏差角度后，陪护机器人就可以根据该偏差角度转动位于陪护机器。

45、人上的图像采集设备(如摄像头和相机等)以使宠物能位于视觉中心处。 0120 图8为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图，在本实施例中，如图8所示，步骤S212可以包括以下步骤： 0121 步骤S401、提取所述图像数据和所述声音信息，以获取所述图像数据的图像特征说明书 8/12 页 11 CN 111814665 A 11 和所述声音信息的声音特征。 0122 步骤S402、将所述图像特征和声音特征输入至预设神经网络模型进行分析，以获取分析结果。 0123 具体的，在陪护机器人的处理器获取到宠物的图像数据后，还需要提取图像数据和声音。

46、信息的图像特征和声音特征，并将该宠物的图像特征和声音特征输入到预设数据分析模型或预设神经网络模型中进行分析，将图像特征和声音特征与预设特征匹配库中的预设特征进行匹配，最终得到分析结果。 0124 步骤S403、根据所述分析结果确定所述宠物的情绪状态。 0125 具体的，在陪护机器人的处理器获取到分析结果后，还可以根据分析结果确定宠物的情绪状态。这里的情绪状态可以包括高兴、悲伤和抑郁等，举例来说，当分析结果为宠物A的图像特征识别为宠物A在笑，宠物A的声音特征的匹配结果为宠物A的声音频率处在宠物A在开心时能发出的预设声音频率范围内，那么就可以确定宠物A的情绪状态为。

47、开心。 0126 在本实施例中，陪护机器人还可以通过宠物的图像特征查询对应的图片数据库，这里的图片数据库可以包括宠物的一般图片和宠物较为有趣的图片的图像特征，当宠物的图像特征与图片数据库中的较为有趣的图片的图像特征的匹配度大于等于匹配度阈值时，陪护机器人的处理器还可以将该图片数据通过预先建立好关联的APP传输给该宠物的主人。图片数据库的图像特征可以通过python网络爬虫(即基于python语言的将需要的代码爬取到本地)在各个论坛或社交平台上抓取含有大量评论或点赞的有趣的宠物图片，同时抓取普通的宠物图片(如评论较少或点赞较少的图片)，并将有趣的宠物图片和普通的宠物图片输。

48、入至预设神经网络模型中获取。 0127 图9为本发明实施例二的另一替代实施例提供的基于宠物情绪识别的陪护方法的流程图，在本实施例中，如图9所示，步骤S212可以包括以下步骤： 0128 步骤S501、根据所述情绪状态和预设数据库中的预设情绪-任务匹配表确定所述宠物的陪护任务。 0129 具体的，在本实施例中，预设情绪-任务匹配表是指一种将情绪状态和陪护任务信息关联在一起的列表，即表中的每个情绪状态都对应一个陪护任务。在陪护机器人的处理器根据分析结果确定了宠物的情绪状态后，陪护机器人的处理器就可以根据该宠物的情绪状态生成并执行对应的陪护任务。 0130 本发明实施例二。

49、的有益效果在于通过宠物的声音定位宠物的位置，并移动陪护机器人到对应位置后获取宠物的图像数据，将图像数据与预设图片库进行对比，当宠物出现有趣的图像时还可以通过APP推送给主人，对图像数据进行分析以确定宠物的情绪，针对不同的宠物情绪采取不同的陪护措施，主人还可以通过APP控制陪护机器人执行不同的陪护任务，解决了现有技术中宠物主人不能长时间守在宠物的身边导致的宠物容易产生负面情绪，甚至生病抑郁的技术问题，实现了智能化针对宠物的情绪采取对应陪护措施和保证宠物身心健康的技术效果。 0131 实施例三 0132 图10为本发明实施例三提供的一种基于宠物情绪识别的陪护装置的结构。

50、示意图。如图10所示，本实施例的基于宠物情绪识别的陪护装置300，包括： 0133 声音获取模块310，用于通过声音采集设备获取宠物的声音信息；说明书 9/12 页 12 CN 111814665 A 12 0134 位置确定模块320，用于根据所述声音信息确定所述宠物的第一位置； 0135 移动路径确定模块330，用于根据所述第一位置和预设栅格地图确定机器人的移动路径； 0136 图像获取模块340，用于基于所述移动路径移动所述机器人接近所述宠物以拍摄所述宠物的图像数据； 0137 情绪确定模块350，用于根据所述图像数据和所述声音信息确定所述宠物的情绪状态； 013。