首页 > 分享 > 一种基于语义分析的宠物牵引绳入梯检测方法与流程

一种基于语义分析的宠物牵引绳入梯检测方法与流程

萌宠菠菠乐园
2024-11-20 14:09

本发明涉及牵引绳检测领域，尤其涉及一种基于语义分析的宠物牵引绳入梯检测方法。

背景技术：

1、传统电梯安全系统在识别和防范细长、柔性物体（如宠物牵引绳）方面存在不足，传统的电梯光幕由于技术限制，可能无法有效识别这类物体，从而导致电梯门在关闭时可能会夹住牵引绳，进而造成宠物被吊起等严重安全隐患。

2、随着计算机视觉和人工智能技术的进步，本发明通过结合深度学习算法和语义分析技术，建立电梯摄像头图像与物体类别之间的精确映射模型，从而实现了在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别。

技术实现思路

1、为了实现在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别，本发明提出了一种基于语义分析的宠物牵引绳入梯检测方法，包括：

2、获取宠物入梯图像集，基于宠物牵引绳入梯事件的要素对宠物入梯图像集中的宠物入梯图像进行物体标注与事件标注，得到标注后的图像集，对标注后的图像集进行预处理得到宠物入梯数据集；

3、构建深度学习网络模型，并通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型；

4、通过轿厢摄像头获取轿厢内外的实时画面，并实时输入目标网络模型，预测当前实时画面是否属于宠物牵引绳入梯事件，并保存预测结果至时序逻辑缓存器内；

5、若当前实时画面属于宠物牵引绳入梯事件，则判断时序逻辑缓存器内是否存在预设百分比的画面对应的预测结果均属于宠物牵引绳入梯事件，若是，则输出报警信号；所述时序逻辑缓存器中保存有预设帧最新轿厢内外连续画面对应的预测结果。

6、进一步地，所述宠物牵引绳入梯事件的要素包含：宠物牵引绳、宠物、电梯门开启状态、入梯状态；

7、所述物体标注表示对物体的类别进行标注；所述物体的类别标注包含：宠物牵引绳标注、宠物标注、牵引者标注、电梯门标注与电梯门开启状态标注。

8、进一步地，所述事件标注包括：入梯状态标注与时间戳标注；所述时间戳标注用于标注宠物入梯图像集中的连续帧图像；所述入梯状态标注表示采用多类标注对入梯的状态进行标注；所述多类标注包含：进梯中、出梯中与静止状态。

9、进一步地，获取宠物入梯图像集，具体包括：

10、在不同的电梯轿厢真实环境下获取宠物进出电梯时的真实图像，并对图像进行预处理；构建电梯轿厢仿真环境，并在该环境下创建宠物牵引绳入梯事件，获取该事件发生时的仿真画面即牵引宠物进出电梯时的图像；通过仿真画面与预处理后的真实图像构建宠物入梯图像集。

11、进一步地，对标注后的图像集进行预处理，包括：

12、将图像集中的图像进行缩放并统一为预设像素大小，对缩放后的图像进行数据清洗与增强操作。

13、进一步地，通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型，具体包括：

14、通过宠物入梯数据集与损失函数训练并测试深度学习网络模型，得到初始网络模型；

15、通过量化初始网络模型中的权重参数得到各权重参数对应的权重值，并去除权重值小于预设值的权重参数，得到目标网络模型。

16、进一步地，所述目标网络模型包括：

17、输入层，用于输入待预测图像；

18、下采样层，用于对待预测图像进行下采样，得到第一特征图；

19、第一分支模块与第二分支模块，其中：

20、所述第一分支模块包括第一高分辨率模块与多个依次连接的空间特征提取模块；所述第二分支模块包括第一低分辨率模块、特征金字塔模块与多个依次连接的语义特征提取模块；

21、所述第一高分辨率模块用于提取第一特征图的空间信息并输入空间特征提取模块；所述第一低分辨率模块用于提取第一特征图的语义信息并输入语义信息提取模块；

22、所述空间特征提取模块用于通过第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义特征提取模块的输出提取空间特征得到空间特征图像；

23、所述语义信息提取模块用于通过第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义信息提取模块的输出提取语义特征得到语义特征图像；所述空间特征提取模块与语义特征提取模块一一对应；所述特征金字塔模块用于对最后一个语义信息提取模块提取的语义特征图像进行蛇形卷积处理得到多个卷积特征图像；

24、融合模块，用于对多个卷积特征图像与最后一个空间特征提取模块提取的空间特征图像进行融合得到融合特征图像；

25、分割头，用于对融合特征图像生成像素级别的类别标注，得到标注图像；

26、上采样层，用于对标注图像进行上采样；

27、分割图像层，用于分割上采样后的标注图像得到分割图像并输出；所述分割图像中的每个像素均分配有对应的类别标注。

28、进一步地，所述空间特征提取模块包括：

29、第一自注意力模块、第二高分辨率模块与第一残差模块；

30、所述第一自注意力模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义特征提取模块的输出进行增强，得到自注意力特征图像；

31、所述第一残差模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出进行残差计算得到残差特征；

32、所述第二高分辨率模块用于通过自注意力特征图像与残差特征提取空间特征得到空间特征图像。

33、进一步地，所述语义信息提取模块包括：

34、第二自注意力模块、第二低分辨率模块与第二残差模块；

35、所述第二自注意力模块用于对第一高分辨率模块提取的空间信息或上一空间特征提取模块的输出，与第一低分辨率模块提取的语义信息或上一语义特征提取模块的输出进行增强，得到自注意力特征图像；

36、所述第二残差模块用于对第一低分辨模块提取的空间信息或上一语义特征提取模块的输出进行残差计算得到残差特征；

37、所述第二低分辨率模块用于通过自注意力特征图像与残差特征提取语义特征得到语义特征图像。

38、进一步地，所述特征金字塔模块包括：

39、第一动态蛇形卷积，用于对语义特征图像进行蛇形卷积处理得到第一卷积特征图像；

40、第二动态蛇形卷积，用于对语义特征图像进行蛇形卷积处理得到第二卷积特征图像；

41、动态可分离卷积，用于对语义特征图像进行分离卷积得到第三卷积特征图像。

42、与现有技术相比，本发明至少含有以下有益效果：

43、（1）本发明基于宠物牵引绳入梯事件的要素对宠物入梯图像集中的宠物入梯图像进行物体标注与事件标注，并进行预处理得到宠物入梯数据集；并通过宠物入梯数据集训练并测试深度学习网络模型得到目标网络模型；通过目标网络模型预测当前实时画面是否属于宠物牵引绳入梯事件，并保存预测结果；若当前实时画面属于宠物牵引绳入梯事件，则判断时序逻辑缓存器内是否存在预设百分比的画面对应的预测结果均属于宠物牵引绳入梯事件，若是，则输出报警信号；即本发明通过结合深度学习算法和语义分析技术，建立电梯摄像头图像与物体类别之间的精确映射模型，从而实现了在电梯运行过程中对宠物牵引绳等细长柔性物体的准确识别；

44、（2）本发明通过对标注后的图像集进行预处理，包括：将图像集中的图像进行缩放并统一为预设像素大小，对缩放后的图像进行数据清洗与增强操作（翻转、遮挡、旋转、颜色扰动、以及整体对比度与亮度的调节），提高了宠物入梯数据集的质量，增强了模型的泛化能力和对不同光照、视角等条件的适应性；

45、（3）本发明使用第一分支模块与第二分支模块，两条双通路对经过下采样后的低分辨率图像进行双向推理，旨在使不同通路捕获不同的图像特征，并通过特征融合的方法后经过自注意力机制达到信息共享，提高了模型的识别精度，同时，本发明在第二分支模块中通过往特征金字塔模块中加入动态蛇形卷积，加强了模型对柔性物体检测识别的能力；

46、（4）本发明通过对宠物入梯图像集中的连续帧图像进行时间戳标注，提升了模型理解和学习牵引绳入梯这一动态过程的时序特征，进而提高了模型的预测精度。