首页 > 分享 > 基于图生文模型的宠物脑机文字翻译方法、装置与流程

基于图生文模型的宠物脑机文字翻译方法、装置与流程

萌宠菠菠乐园
2025-05-03 00:19

本发明涉及涉及通信技术、人工智能领域，具体涉及一种基于图生文模型的宠物脑机文字翻译方法、装置。

背景技术：

1、近年来，脑机接口（brain-computer interface, bci）技术在动物研究中的应用受到了广泛关注。bci通过记录和解读动物大脑的电生理信号，提供了一种直接了解其认知和行为的新途径。例如，在最新的研究中，miiamaaria v. kujala通过宠物脑机接口实时收集狗的eeg信号，利用机器学习算法实现了对狗的情绪状态的准确识别。在cn202010045533.7的发明专利中，提出一种脑机宠物语言翻译的装置及使用方法。该宠物脑机装置能够对宠物高兴、兴奋、恐惧、饥饿常见信号进行学习与识别。因此，通过宠物bci收集宠物的脑电信号，可以帮助解读和翻译宠物行为模式。

2、上述专利方案采用bci装置收集宠物脑电信号，并使用计算机系统进行相应功能的实现。然而对于其中具体涉及的硬件设施，具有较强的未解释性。此外，对于过程中采用的翻译方法并未明确，仅概括性提及深度学习与大数据分析。

3、然而，尽管宠物bci为人类理解宠物行为模式提供了一种全新的方法，但是用于收集和存储宠物脑电信息的装置在全面性、准确性和实用性上仍无法满足需要。特别是在结合脑电信号与视觉信息进行实时翻译的领域，缺乏一种能够同步采集和处理脑电信息与视觉数据，并用直观的文字形式进行表达的装置。

4、近年来随着图生文模型的飞速发展，该技术已被熟练用于处理图像字幕生成、图文检索以及视觉问答等多种任务。例如，在cn202311641472.0的发明专利中，公开了一种基于ai视觉的智能视频监控系统。该装置借助了ai图生文能力，在后端对监控视频进行实时分析，通过生成的自然语言指令触发相关警告规则。因此，bci装置有望借助先进的图生文字模型，整合脑电信号、视觉数据、文本数据三者，挖掘宠物脑电信号翻译为文字的可行性。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种基于图生文模型的宠物脑机文字翻译方法、装置。

2、为实现上述目的，本发明提供了如下技术方案：

3、一种基于图生文模型的宠物脑机文字翻译方法，其包括以下步骤：

4、s1、实时采集宠物的生物学信号，所述生物学信号包括脑电信号、心率信号及基于宠物视觉的图像信息；

5、s2、对采集到的宠物的生物学信号进行预处理；

6、s3、基于图生文模型transblip对采集到的图像信息进行文字转换，

7、s3-1、通过编码器transformer，从序列到序列预测的角度建立自注意力机制，提取图像信息中的图像特征；

8、s3-2、通过语言模型bert从输入文本中提取文本特征；

9、s3-3、利用跨模态交互层实现图像特征和文本特征之间的交互；

10、s3-4、根据s3-1中提取的图像特征生成相应的文本；

11、s4、采用了双流网络架构对收集到的宠物脑电信号与s3中生成的文字进行映射，

12、所述双流架构包括两个独立流，其中一个用于eeg信号处理，另一个用于文本数据处理，且最终在共享嵌入空间实现跨模态对齐，完成宠物eeg信号与s3中生成的文本之间的映射。

13、用于eeg信号处理的独立流包括：

14、第一输入层，用于输入预处理后的eeg信号；

15、时频特征提取层，通过短时傅里叶变化将时域eeg信号转为为时频域的表示，生成时间和频率特征图；

16、第一特征学习层，对时间和频率特征图进行处理，捕捉eeg信号的局部和全局特征；

17、第一投射层，将eeg信号的局部和全局特征投射到固定长度的向量表示。

18、用于文本数据处理的独立流包括：

19、第二输入层，用于输入预处理后的文本数据；

20、文本嵌入层，将s3中生成的文本转换为文本嵌入；

21、第二特征学习层，通过编码器transformer的自注意力机制对文本嵌入进行处理，进一步提取文本特征，并确保捕捉到语义和时间同步信息；

22、第二投射层，将提取的文本特征投射到固定长度的向量表示。

23、将连续的eeg信号按时间窗口分段，每段信号与生成的文字同步处理。

24、根据前期的图像生成和行为描述，采集与eeg信号对应的文本数据，对文本进行分词、去除停用词和句法分析，确保文本语义的准确表达。

25、两个独立流提取的特征被投射到同一个共享嵌入空间，并通过对比学习或联合嵌入策略，对齐两个独立流中的特征。

26、s2中对eeg信号进行预处理步骤如下：

27、s2-1对于脑电信号矩阵进行标准化,其中是每个通道的均值向量；

28、

29、s2-2计算标准化后的脑电信号的协方差矩阵c，其中n是时间点的数量：

30、

31、s2-3求解协方差矩阵c的特征值和特征向量，其中λ是特征值，ν是对应的特征向量：

32、

33、s2-4根据特征值的大小，选择前k个特征值对应的特征向量，构成特征矩阵w，而后将原始脑电数据投影到新的主成分空间，其中y是降维后的脑电信号矩：

34、。

35、一种宠物翻译装置，其为一体化的bci收集装置，该一体化的bci收集装置包括：

36、宠物头盔，所述宠物头盔上方设有用于获取宠物视觉的图像信息的摄像装置，所述宠物头盔内侧设有用于收集宠物不同功能皮层区域的脑电信号的八通路皮层电极；

37、宠物项圈，设有用于实时获取宠物心率的心率传感器；

38、控制器，分别获取宠物头盔及宠物项圈收集的宠物的生物学信号，并基于上述基于图生文模型的宠物脑机文字翻译方法实现实现宠物脑电信号与文本的互相转化。

39、所述宠物头盔内还设有用于八通路皮层电极采集信号降噪处理的降噪模块。

40、所述降噪模块包括：

41、50hz馅波器，用于去除宠物脑电信号的工频干扰；

42、仪表放大器，用于放大微弱的宠物脑电信号；

43、右腿驱动电路，用于减少共模信号干扰，增强信号的信噪比；

44、低通滤波器，用于移除频率范围之外的噪声信号。

45、本发明的有益效果：基于二阶段深度学习算法的宠物脑电信息翻译技术。第一阶段通过图生文模型transblip将收集到的视觉信息转化为人类自然语言，第二阶段通过双流网络架构可以实现自然语言与脑电信息的互相转化。即以视觉信息为媒介将宠物的脑电信息以文本形式翻译出来，可为脑机接口中的宠物行为解读提供技术支持，通过翻译宠物脑电信号为人类可理解的语言文字，有助于宠物主人准确判断宠物的情绪、意图和需求，改善人与宠物的沟通体验。

技术特征：

1.一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：用于eeg信号处理的独立流包括：

3.根据权利要求1所述的一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：用于文本数据处理的独立流包括：

4.根据权利要求2所述的一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：将连续的eeg信号按时间窗口分段，每段信号与生成的文字同步处理。

5.根据权利要求3所述的一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：根据前期的图像生成和行为描述，采集与eeg信号对应的文本数据，对文本进行分词、去除停用词和句法分析，确保文本语义的准确表达。

6.根据权利要求1至5任意一项所述的一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：两个独立流提取的特征被投射到同一个共享嵌入空间，并通过对比学习或联合嵌入策略，对齐两个独立流中的特征。

7.根据权利要求1所述的一种基于图生文模型的宠物脑机文字翻译方法，其特征在于：s2中对eeg信号进行预处理步骤如下：

8.一种宠物翻译装置，其特征在于：其为一体化的bci收集装置，该一体化的bci收集装置包括：

9.根据权利要求8所述的一种宠物翻译装置，其特征在于：所述宠物头盔内还设有用于八通路皮层电极采集信号降噪处理的降噪模块。

10.根据权利要求9所述的一种宠物翻译装置，其特征在于：所述降噪模块包括：

技术总结
一种基于图生文模型的宠物脑机文字翻译方法、装置，其包括以下步骤：S1、实时采集宠物的生物学信号，所述生物学信号包括脑电信号、心率信号及基于宠物视觉的图像信息；S2、对采集到的宠物的生物学信号进行预处理；S3、基于图生文模型TransBLIP对采集到的图像信息进行文字转换，S3‑1、通过编码器Transformer，从序列到序列预测的角度建立自注意力机制，提取图像信息中的图像特征；S3‑2、通过语言模型BERT从输入文本中提取文本特征；S3‑3、利用跨模态交互层实现图像特征和文本特征之间的交互；S3‑4、根据S3‑1中提取的图像特征生成相应的文本；S4、采用了双流网络架构对收集到的宠物脑电信号与S3中生成的文字进行映射。即以视觉信息为媒介将宠物的脑电信息以文本形式翻译出来，可为脑机接口中的宠物行为解读提供技术支持，通过翻译宠物脑电信号为人类可理解的语言文字，有助于宠物主人准确判断宠物的情绪、意图和需求，改善人与宠物的沟通体验。

技术研发人员：帅建伟,陈浩满,陈钒萱
受保护的技术使用者：国科温州研究院（温州生物材料与工程研究所）
技术研发日：
技术公布日：2025/4/14