首页 > 分享 > Nat Mach Intell: 蔚鹏飞团队提出自由社交行为的人工智能精细化分析方法

Nat Mach Intell: 蔚鹏飞团队提出自由社交行为的人工智能精细化分析方法

萌宠菠菠乐园
2024-10-31 00:37

　　社交行为是高等哺乳动物重要的本能行为，社交障碍是自闭症、抑郁症以及社交焦虑症等疾病的高度共有病征，社交行为的读取与解析是研究社交障碍神经环路机制关键技术之一。

　　1月8日，中国科学院深圳先进技术研究院脑所/深港脑科学创新研究院蔚鹏飞研究员团队在人工智能领域国际顶级期刊《自然·机器智能》(Nature Machine Intelligence) 期刊发表了题为 “Multi-animal 3D social pose estimation, identification, and behavior embedding with a few-shot learning framework”的论文，发布了神经环路研究领域一项突破性应用技术：针对社交行为研究的小样本学习计算框架模型Social Behavior Atlas（以下简称“SBeA”）。

　　该技术实现了自由社交动物模型的无标签、高精度三维姿态估计、零样本身份识别和精细化社交行为分类，能精确检测动物社交行为。该工作为科技创新2030-“脑科学与类脑研究”重大项目“社交障碍的神经环路机制与干预研究”的实施，提供了重要的精细行为数据分析支撑。

　　近年来，深度学习技术在传统行为学研究领域的广泛应用，促进了计算神经行为学（computational neuroethology）这一新兴学科的蓬勃发展，DeepLabCut、SLEAP、MoSeq等AI动物行为追踪技术正在成为神经科学家的重要研究工具。但是在多目标、自由社交行为的研究领域，尽管上述技术都相继推出了自己社交行为分析版本，但是在海量数据标注问题、连续追踪的身份准确性等问题上的技术不成熟，使得目前研究人员仍没有真正可用的有效工具，社交行为的研究大部分仍停留在传统三厢行为实验阶段。

　　上述现有欧美技术的性能首先受制于人工标注数据集的数据量。在社交行为实验中，无法避免地需要在多种行为实验范式中使用不同的模式动物，深度学习模型精准与否取决于实验人员标注的视频的数量，每一个数据集的准备都需要花费实验人员数周的时间，极大地降低了实验效率，限制了上述工具的应用场景。SBeA在自由社交动物的姿态估计、身份识别和行为分类的三个阶段，分别针对性地提出了小样本的数据生成算法、零样本双向迁移学习方法和自然结构启发的无监督社交行为分解聚类策略，有效降低了每个阶段的数据标注量。

　　SBeA的姿态估计小样本数据生成算法和身份识别零样本双向迁移学习方法的设计均受到大脑的工作机制的启发（图1）。人类在识别交互的动物时，能 “脑补”动物可能存在的遮挡关系，这一过程为大脑提供大量的新数据。据此所提出的连续遮挡复制粘贴数据算法可以有效合成大量新数据（图1a），能够训练精度更高的模型，获得更加准确的3D社交姿态估计结果。在非社交场景中，人类能够通过外表区分每一只动物的身份，也能“脑补”到多动物社交场景，识别每一只动物的身份。受到启发，SBeA的多动物社交身份识别通过共享不同网络的知识实现双向迁移学习（图1b），借助模型之间的“脑补”，消除了标注数据的过程，并实现了高精度的外表相似动物的身份识别。

图1 小样本连续遮挡复制粘贴数据生成算法

　　(a)和零样本双向迁移学习方法 (b)示意图

　　多动物社交行为分析最大的难点在于同时区分外观非常相似的动物。两只小鼠在自由社交时，区分它们的身份是研究特定疾病造模个体的基础，然而即使是专业的实验人员也很难区分每一只的身份。零样本双向迁移学习借助人工智能超越人类精度的图像特征分辨能力，实现了大于90%的自由社交动物身份识别准确率（图2），推动社交行为研究进入不需要约束动物的自然行为时代，革新社交实验范式。

图2 外观相似动物的身份识别准确率>90%

　　动物行为具有类比人类语言的“字母-单词-语句”结构，社交行为则包含动物与动物之间行为语言结构的交互。根据社交行为的自然结构，将社交行为类比语言进行并行、动态的分解，综合考量多种社交行为特征进行社交行为的自适应无监督聚类，获得百余种精细社交行为模块（图3）。SBeA不需要提前定义社交行为类别，有利于发现新的、未定义的社交行为差异。SBeA能够鉴定三箱社交、分区域社交等经典社交实验范式难以获得的自由社交行为表型。使用SBeA，鉴定得到孤独症小鼠模型和正常小鼠两两之间社交的精细行为差异（图4），孤独症小鼠模型缺少的相互理毛、同伴嗅探和增加的原地不动、刻板的同步行为显示出自然状态下孤独症小鼠模型亲社会样行为的缺失、社交新颖性和运动能力的降低。仅通过社交行为的差异即可分类孤独症小鼠社交组和正常小鼠社交组，证明了SBeA具有通过社交行为来识别异常小鼠的能力。

图3 自然行为结构启发的社交行为动态分解和聚类流程图

图4 SBeA鉴定孤独症小鼠多种异常的精细社交行为模块

　　除了小鼠外，SBeA也适用于计算鸟类和家犬的精准的3D社交姿态、身份和精细社交模块，具有跨物种应用的潜力（图5）。家犬部分的工作与中国科学院昆明动物研究所张亚平院士和王国栋研究员团队、公安部昆明警犬基地李静团队合作，在科技创新2030“脑科学与类脑研究”重大项目支持下共同完成。

图5 SBeA量化鸟类和家犬的精细社交行为

　　深圳先进院脑所蔚鹏飞研究员为论文的通讯作者。论文第一作者是深圳先进院脑所在读博士生韩亚宁，共同第一作者包括硕士生陈可（现就职芯动科技）和助理研究员王云珂（现就职微创医疗）。研究的开展要大力感谢深圳先进院脑所王立平研究员的关怀与指导，同时感谢已毕业博士黄康（现就职深圳一湾生命科技）的积极支持。感谢科技部科技创新2030“脑科学与类脑研究”重大项目、国家自然科学基金委员会、中国科学院青年创新促进会、国家重点研发计划、中国科学院脑联结解析与调控重点实验室和广东省脑连接图谱重点实验室的资助与支持。

　　专家点评

　　张亚平院士

　　中国科学院副院长

　　以孤独症为代表的社交障碍疾病已成为世界公认的重大公共卫生问题。家犬作为社交障碍疾病极佳的大动物模型能够有效模拟与人类相似的核心行为表征。蔚鹏飞研究员课题组所开发的基于人工智能的多动物三维姿态估计、身份识别和行为分类算法有效实现了家犬行为的精确分析，为我们所共同参与的国际脑计划重大项目“社交障碍的神经环路机制与干预研究”中提供了重要的精细行为数据的支撑，有效提升了后续的神经环路机制和疾病干预措施研究的精确度。

　　该技术不仅适用于家犬等大动物，也能够兼容实验中常见的例如小鼠、非人灵长类等模式动物的行为的精确观测。其算法除了比国外其他同类算法精度更高之外，还实现了社交行为研究中最重要也最困难的一个环节——外表相似动物的身份识别，即使是熟练的实验人员也很难区分亲密社交状态下的不同的动物的身份。还能全自动地全程跟踪识别外表非常相似的动物，解决了长期困扰这个领域的技术难题。

　　罗敏敏教授

　　北京脑科学与类脑研究中心联合主任、清华大学教授

　　蔚鹏飞研究员领导的团队开发的Social Behavior Atlas，是一个应用机器学习技术分析动物行为的重要工具。这项技术在分析动物社交行为等复杂模式方面，提供了一种前所未有的精确方法。这不仅对理解行为背后的基因和神经环路调控机制具有重要价值，而且在蔚鹏飞团队最新的研究中，已成功应用于孤独症小鼠模型，揭示了一些新的异常社交行为模式。这些发现提示，这些异常行为可能受到更复杂神经环路的调控。因此，Social Behavior Atlas可以视为行为研究领域的一个“放大镜”，它能帮助我们更精细地观察和理解动物间复杂的社交互动、行为模式和其神经基础。

　　近年来，国际上出现了多种行为学研究工具，如DLC、DANNCE等，它们都采用深度学习技术研究动物行为，这一趋势正在逐渐成形。蔚鹏飞研究员在国内神经调控和行为学新技术研发领域是一位颇具代表性的年轻学者。他的Social Behavior Atlas技术在性能上已经显示出相比国际同行的领先优势。这不仅让我们对年轻一代的神经科学工作者充满信心，也期待他能与国内其他团队更加密切合作，共同在行为的神经机制研究方面取得更多令人振奋的成果。

特别声明：以上文章内容仅代表作者本人观点，不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。