Transcript 猴子控制机械臂视频
念力 机械臂 读心术 灵魂出窍 意念控制 读心术 大脑控制 的机械臂 灵魂出窍 BCI脑机接口技术 脑机接口——定义 • 脑机接口（brain-computer interface，BCI）：它是 在人或动物脑（或者脑细胞的培养物）与外部设 备间建立的直接连接通路。在该定义中， • “脑”一词意指有机生命形式的脑或神经系统， 而并非仅仅是“mind”。 • “机”意指任何处理或计算的设备，其形式可以 从简单电路到硅芯片。 脑机接口——关键技术 • 信号的表征：EEG、EMG、fMRI • 信号的采集：侵入式、半侵入式、脑外 • 信号处理、分析及特征提取： 去噪滤波 P300信号分析小波分析+奇异 值分解、STFT+Fisher距离、 • 模式识别：SVM、BP网络 脑机接口——信号的表征EEG • 要求：反映大脑思维、实时且快速的收集、 明确的分类 • EEG（electroencephalograph）信号类型： 自发脑电信号：在不同的意识状态下，人们脑电中的不同 节律呈现出各异的活动状态。 1924年德国医生汉斯·贝格尔（Hans Berger）第一次从颅 骨受损的病人头部测到了极为微弱的电流。在经过近五年 的漫长实验后，他终于确认了这种神秘的电流的确来自于 脑部活动。 脑机接口——信号的表征EEG • EEG（electroencephalograph）信号类型： 自发脑电信号： α：醒并闭眼时的脑电波定义为阿尔法 β：睁开眼睛时的脑电波定义为贝塔 δ：熟睡时的德尔塔 θ：困倦、冥想或被催眠时的西塔 γ：进行复杂的思想活动或者情绪波动时的伽玛 μ：只能在掌管运动的区域探知的缪 上述自发的脑电波频率或区域不同 脑机接口——信号的表征EEG • EEG（electroencephalograph）信号类型： 视觉诱发电位（VEP）：视觉器官受到光或图形刺激后， 在大脑特定部位所记录的EEG 电位变化。 P300：是一种内源性的与认知功能相关的特殊诱发电位 , 主要与心理因素相关。 受刺激后，诱发的脑电波图像的第三个正波峰P3一般出现 在刺激后300ms，故称之我P300。 不需要训练，多用于简单应用中。 脑机接口——信号的表征EEG • EEG（electroencephalograph）信号类型： 事件相关同步（ERS）或去同步电位（ERD）：单边的肢体 运动或想象运动，对侧脑区产生事件相关去同步电位，同 侧脑区产生事件相关同步电位。 皮层慢电位：皮层慢电位（SCP）是皮层电位的变化，持 续时间几百毫秒到几秒，实验者通过反馈训练学习，可以 自主控制SCP 幅度产生正向或负向偏移。 以上两种型号需要经过一定的训练才能达到预期的效果， 并且还需要考虑个体的差异性，所以这两种信号暂时用得 不多。 脑机接口——信号的采集 • 侵入式：用于重建特殊感觉（例如视觉）以及瘫痪病人的 运动功能。此类脑机接口通常直接植入到大脑的灰质。 1978年，Dobelle在一位男性盲人Jerry的视觉皮层植入了 68个电极的阵列，并成功制造了光幻视（Phosphene）。 脑机接口——信号的采集 • 部分侵入式：部分侵入式 脑机接口一般植入到颅腔 内，但是位于灰质外。 • 非侵入式：非侵入式的装 置方便佩戴于人体，但由 于颅骨对信号的衰减作用 和对神经元发出的电磁波 的分散和模糊效应，记录 到信号的分辨率并不高。 实际应用中多为非侵入式 脑机接口——信号预处理、分析及特征提取 • 信号预处理：包括信号的放大（一般1000倍）、滤波去噪 （如工频干扰）、A/D转换等。 • 信号分析及特征提取： P300分析法：意念控制电话呼叫视频 脑机接口——信号预处理、分析及特征提取 • 信号分析及特征提取： STFT+Fisher距离： STFT表示short-time Fourier transform即短时傅里叶变化， 是一种局部的傅里叶变化，与小波分析有相同之处。 原始的时域信号能量分散，通过STFT转换为频域信号能量 集中体现，因而更能反映出信号的特征。 Fisher距离表示了不同频率段数据对特征分类的贡献度。 脑机接口——信号预处理、分析及特征提取 • 信号分析及特征提取： 小波分析+奇异值分解： 小波分解将经过预处理的EEG信号进行5级分解，最终获取 5个有用的频带部分，为：0～4Hz，4～8Hz，8～16Hz， 16~32Hz和32～64Hz；它们正好分别近似对应EEG信号的δ 波、 θ波、 α波、 β波和γ波的频带。将这5个频带的数据组 成一个5行 1024列的特征向量矩阵，然后对这个矩阵进行 奇异值分解，将计算到的特征值构成一个5维的特征向量, 以作为模式识别的特征。 脑机接口——模式识别 • SVM：低维度的非线性划分变为高维度线性划分 脑机接口——模式识别 • BP神经网络：近似任意非线性函数、自适应学习 脑机接口——重大事件及应用 • 1999年，哈佛大学的Garrett Stanley试图解码猫的丘脑外侧 膝状体内的神经元放电信息来重建视觉图像。他们记录了 177个神经元的脉冲列，用滤波的方法重建了向猫播放的 八段视频，从重建结果中看到可辨认的物体和场景。 • Nicolelis在1990年代完成对老鼠运动脑电波的初步研究后 ，在夜猴内实现了能够提取皮层运动神经元的信号来控制 机器人手臂的实验。 • 到2000年后，Donoghue小组的主要工作是实现恒河猴对计 算机屏幕上的光标的运动控制来追踪视觉目标。其中猴子 不需要运动肢体 猴子控制机械臂视频 脑机接口——重大事件及应用 • 游戏中的脑机接口应用： NeuroSky的MindSet意念耳机 Emotive Epoc的意念控制器 脑机接口——重大事件及应用 • 游戏中的脑机接口应用： Mattal的Mindflex意念控制游戏，视频欣赏 脑机接口——重大事件及应用 • 日常生活中的应用： 意念控制上google、Twit、收发email、打电话视频 • 控制机械臂、机器人： 人意念控制机械臂喝水 日本意念控制机器人 清华大学意念控制机器狗的移动 • 测谎仪 脑机接口——问题 • 理论研究及应用： 信息量过低20bit/min 反应过于缓慢 精确建立不同脑电波 与思维的对应 个体差异性 • 伦理道德问题： “动机犯罪” 何谓“人”？