首页 > 分享 > 人类新宠物：脑机接口控制机器狗，让脑瘫ALS脑疾病患者探囊取物，未来用在娱乐、生产等领域

人类新宠物：脑机接口控制机器狗，让脑瘫ALS脑疾病患者探囊取物，未来用在娱乐、生产等领域

萌宠菠菠乐园
2024-12-26 00:35

封面：DALL-E3

CyberDaily：

帮助瘫患者代理取物

在过去15年里，消费级的非侵入式脑机接口设备已经在市场出现，它们一定程度上帮助有需要的人控制移动物体和健康恢复。随机器人、AI及软硬件的互联互通，人、脑机接口、机器人、物体之间的联动变得更加顺畅和应用性。这个来自MIT研究团队的研究，让人通过脑机接口与无线眼镜，控制波士顿动力的机器狗，实现瘫患者的交流、执行任务。虽然是去年的一项研究，今天，随大模型多模态能力的推进，以及人们对脑机接口应用的渴望，依然值得分享，那么我们继续：由Nataliya Kos’myna领导的麻省理工学院（MIT）的研究团队，在去年发布了一篇关于他们的Ddog项目的论文。目标是通过升级波士顿动力公司（Boston Dynamics）开发的四足机器人Spot，使其成为一种基本的交际工具，帮助身体受到ALS（肌萎缩侧索硬化症）、脑瘫，以及脊髓损伤等挑战的人士进行交流。

其中Ddog项目使用的系统包括了一种名为AttentivU的脑-电脑交互（BCI）系统。AttentivU表现为一副嵌入感应器的无线眼镜，这些感应器可以测量人的脑电图（EEG）——即大脑活动，以及眼动电图——即眼球运动。这项研究源于该大学的脑-电脑开关（Brain Switch）项目，该项目是一种实时闭环脑-电脑交互系统，使用户能够以非言语、实时方式与照顾者交流。

Thumbplayer Poster Plugin Image

不过，我们了解到，几乎在同一时间，来自新英格兰大学的研究人员也用非侵入式脑机接口准确控制机器狗。具体而言，这是一种新型的支持 AI 的脑机接口 (BMI)，该接口采用非侵入式生物传感器纳米技术和增强现实技术，让人类能够使用意念高度准确地控制机器人。该脑机接口 (BMI或BCI) 设备是免提和无语音命令的通信系统，允许个人通过脑电波操作外部设备，在未来的机器人技术（包括人形机器人）、仿生假肢、神经游戏、电子产品和自动驾驶汽车方面具有巨大的潜力。回过来看，这只机器狗可以做什么？可以帮患者“远程”取物据了解目前，在美国有3万人受到ALS的困扰，每年约有5000例新的诊断病例，这是美国罕见疾病国家组织(National Organization for Rare Disorders)的统计数据。另外，根据美国脑瘫指南(Cerebral Palsy Guide)，约有100万美国人生活在脑瘫之中。这些人或早或晚会失去走路、自我穿衣、口语表达、写作甚至呼吸的能力。虽然已有许多辅助通讯设备，但大多是以眼球追踪技术为基础，使用户可以通过电脑进行交流，可以与外界进行互动的系统却不多见。

Ddog的最大优势在于其流动性，Spot完全能自主行走。这意味着只要给出简单的指示，Spot就可以不需干预地执行下去。Spot的流动性十分出色，凭借它的四只脚，几乎可以去任何人类可以到达的地方，包括上下坡道和楼梯。机器人的手臂附件使得它能完成如送货、移动椅子，或者把书或玩具交给用户等任务。MIT的这套系统只需要两部iPhone和一副眼镜就能运作。并不需要任何粘性电极或背包，比其他的辅助设备更加方便日常使用，团队如此描述。 来看看Ddog如何运作？ Spot在新环境和新用户面前要首先做的是创设一个3D全景的工作环境地图。接下来，第一部iPhone将提示用户下一步要做什么，用户只需心中想象自己的需求即可。第二部iPhone则负责运行本地导航地图、控制Spot的手臂，并以iPhone的激光雷达数据加强Spot的激光雷达功能。这两部手机通过相互通信跟踪Spot完成任务的程度。MIT团队设计的系统可以在完全离线或在线的状态下运行。在线版本拥有更多先进的机器学习模型和更好的调校过的模型。

具体而言，通过这9个步骤实现脑控机器狗执行任务：步骤 1：数据收集机器人使用 LiDAR 和 RGBD 传感器自主收集环境的数据。这些数据用于构建语义地图，该地图描述了环境中的对象和区域。步骤 2：地图构建iPhone B 使用 Segment Anything 衍生的算法 (SAM3D + MobileSAM) 来构建语义地图。这些算法使用 LiDAR 和 RGBD 数据来识别环境中的对象和区域。步骤 3：用户指令iPhone B 询问用户他们想要下一步做什么。用户可以使用 BCI 提供回答。步骤 4：命令执行iPhone D 执行用户的命令。它使用语义地图来导航机器人，并使用 LiDAR 和 RGBD 数据来避免障碍物。步骤 5：用户反馈iPhone D 将用户的反馈报告给 iPhone B。iPhone B 使用这些反馈来调整机器人的行为。步骤 6：自主任务如果用户没有提供任何命令，机器人将继续执行自主任务。这些任务包括构建地图、监视环境以及避免障碍物。步骤 7：持续自治机器人的自主任务将一直运行，直到用户中断它们。步骤 8：两次循环用户命令循环和自主任务循环独立运行。但是，由于它们需要大量 GPU 和功率，计算会被委派到云端，只要有可能。步骤 9：数据备份数据备份用于训练深度学习模型：导航模型和 BCI 模型。这些模型使用来自每个环境和用户状态的特定数据进行训练。 结合AI大模型会怎样？尽管该研究中未提及AI的应用，但最近的一项研究显示脑机接口+AI读取大脑活动的可行性。来自澳大利亚悉尼科技大学的研究人员在阅读文本段落的同时佩戴了一个可以通过头皮记录电脑活动的头盔，接着使用一个叫做DeWave的人工智能模型转化为文本，实现脑机接口—大脑活动——AI——显示文字在屏幕上的效果。虽然目前准确率大约是40%，但未来可以帮助失语者脑瘫者实现更准确地交流。同理该BCI结合AI大模型，它可以帮助患者或有需要的人更准确地分析脑电数据，从而更好地理解人类的思维和行为，以及增强学习的能力，帮助患者灵活、聪敏地控制Ddog执行任务，甚至可以规避Ddog的行为风险，实现智能代理对机器的控制，这样让那些患者或作业人员可以相对轻松地获得目标。当然，机器狗Ddog也可接入AI，则可以实现多模态的能力，可能不只是辅助行动、拿物体，也可以投影视频观影、语言对话交流（注：来自机器学习工程师Santiago Valdarrama和他的同事开发，已经成功将ChatGPT集成到Spot机器狗中实现实时对话）、视频通话，甚至可以基于脑机接口和AI读取大脑思维，可以生成一些梦境图像（注：Meta AI 去年10月的一篇论文，通过AI可根据大脑活动重建大脑在每个瞬间感知和处理的图像），然后通过机器狗投影显示出来（装个显示屏也可）。未来，可用在工业生产、娱乐等领域得益于该研究的可行性、AI大模型的多模态推进，未来这项研究将用于帮助残障人士或无法使用传统控制方式的人控制机器人。例如，它可以用于帮助瘫痪的人控制轮椅或机械臂。在娱乐方面，可以用于创造新的游戏和娱乐体验。可以让玩家随意控制设备，意念玩游戏等等，而有了AI大模型加入，则可以帮助玩家更好地理解这些虚拟世界，并获得更身临其境的体验。而在工业则会大大提高生产效率和安全性。比如可以脑控制机械臂或其他工业机器人，进行作业等等。总的来讲，这项研究带来想象力十足的人机交互关系，未来会出现在许多人们常见的地方，无论娱乐还是工厂作业，或者居家康复，脑机接口和机器人、机器狗，甚至其它设备的控制，人机融合或人类增强让人变得更强大。这是我们精选加入的返佣广告，意味着，如果你点击购买了，我们可以获得一点佣金，若你不需要可以自动忽略，继续阅读以下相关内容。相关阅读
01.FDA终于批准了，Neuralink将给中风、ALS等患者人体试验 | CyberDaily02.神经系统疾病患者又一福音，这家脑机接口公司完成首次人体试验 | CyberDaily
03.Synchron完成脑机接口COMMAND试验的患者招募 |CyberDaily
04.Synchron脑机接口在盖茨血管研究所招募患者进行BCI试验，未来几年内完成 |CyberDaily05.12个月后，Synchron 宣布其脑机接口人体实验结果：安全有效 | CyberDaily06.Neuralink又一竞争对手通过了FDA，预计明年可脑机接口人体试验 | CyberDaily07.神经系统疾病患者又一福音，这家脑机接口公司完成首次人体试验 | CyberDaily
08.这种脊柱植入物，可以恢复帕金森病患者的活动能力 |CyberDaily
09.他头戴脑机接口意念控制机械臂，重获自由，这是中风患者康复的福音 | CyberDaily
10.植入这个脑机接口后，患有ALS的他随时意念打开电视看比赛，与家人交流| CyberDaily11.这个个性化的植入式脑机接口抑制了强迫症，让患者重获美好生活 |CyberDaily12.新突破：超声波脑机接口，能够用思维控制电脑 |CyberDaily13.这个比Neuralink等脑机接口设备还要软1000倍的新大脑植入物，已经人体试验可用 | CyberDaily14.头戴脑机接口读取大脑电波，AI实现从思维到文字转换 |CyberDaily

合作、转载、联系，请后台联系加V

参考引用资料

[1]https://www.media.mit.edu/projects/ddog/overview/
[2]https://www.youtube.com/watch?v=uBcdnOlYJw8

[3]https://mp.weixin.qq.com/s?__biz=MzAwMjI5MTIyOQ==&mid=2460000311&idx=2&sn=07ab40c2ac53fdbab3770e854a41bc1f&chksm=8d98a345baef2a53840709ae66c1719f812d6ebfa49837280a7c94571a016ec665d7b4a4784c&scene=21#wechat_redirect

[4]https://mp.weixin.qq.com/s?__biz=MzAwMjI5MTIyOQ==&mid=2459994093&idx=1&sn=edbbd3d862bc3bced150aea1e6c8293b&chksm=8d98849fbaef0d897958e1dfca40eeb11e232a8e58bee3877cab156d273ee76db693b7d8ec31&token=244666114&lang=zh_CN#rd

[5]https://mp.weixin.qq.com/s?__biz=MzAwMjI5MTIyOQ==&mid=2459995062&idx=2&sn=b717a0eefaaf7a302cf3631db1e790dc&chksm=8d9888c4baef01d2f761fdc9bdb47f369bdd76ab51413f2e51c2c41cd69bb26f99049d724034&token=244666114&lang=zh_CN#rd

[6]https://ai.meta.com/blog/brain-ai-image-decoding-meg-magnetoencephalography/

脑机接口·仿生科技·机器人·未来交通·赛博格·人工智能·元宇宙、超人主义、未来主义请关注CyberDaily-未来已来，只是分布不均匀-