hello，这里是行上行下，我是喵君姐姐~

本期带大家了解什么是EEG-fMRI融合，并介绍三种融合方式，以及如何运用NIT软件。

1. 什么是EEG-fMRI融合？

大脑内部运作机制研究是21世纪的一大挑战，功能神经成像在了解大脑功能和障碍方面有着极好的应用前景，现已经成为神经科学研究和临床应用的重要工具。

无创高时间、高空间分辨率成像是大脑研究所期待的工具。借助它有利于了解人类注意、执行、记忆等机制，有利于揭示如癫痫活动的起源和传播等机制。

目前，主要的人脑无创技术有磁共振成像(Magnetic Resonance Image, MRI)、脑电图(electroencephalogram, EEG)和脑磁图(magnetoencephalogram, MEG)等。它们在时空分辨率方面有着各自的优劣势。

结合不同神经成像模式（多模态成像，特别是脑电-磁共振成像融合）不仅可能实现优势互补提高时空分辨率(图1)，而且还有助于我们对单一模态中神经活动的理解(Biessmann et al., 2011; Huster et al., 2012)，从而，推进我们对神经和精神疾病的病理生理学理解。

多模态成像主要是整合神经活动的不同测量模式。其中，EEG作为一种无创记录大脑活动电生理信号的方式，具有很高的时间分辨率（毫秒级），但空间分辨率较低；而另一种目前常用的无创技术，fMRI则正好相反。

显然，这两种无创记录方式的结合有可能产生高时空分辨率的综合神经成像技术。其优越的时空分辨率将有利于研究认知相关的大脑功能运作机制以及神经和精神类疾病。

目前，目前针对EEG-fMRI有多种不同的融合方法(Biessmannet al., 2011; Huster et al., 2012)。其主要融合形式可分为以下三类(图2)：1、空间信息融合(fMRI-informed EEG analysis)，2、时间信息融合 (EEG-informed fMRI analysis)，3、时空信息的模型/对称融合。

图1：融合的动机：各模态实现优势互补

图2：融合的三种思路：1，空间信息的融合，2，时间信息的融合3，时-空信息的对称融合。

1.1  空间信息融合 (fMRI-informed EEG analysis)

EEG-fMRI空间整合的一种常用方法是利用功能磁共振成像激活图作为EEG源位置的先验信息。已有的方法包括功能磁共振成像约束的偶极子定位方法和fMRI-约束/加权的分布源成像方法。

由于增加了fMRI空间约束条件，EEG逆问题的不适定性可在一定程度上得到缓解。因为，不同的功能网络反应了不同脑区之间的相互作用，将功能脑网络作为先验信息有助于脑电源位置的精确定位。

基于以上思想，我们发展了基于网络的源成像(NEtwork-based SOurce Imaging, NESOI) 方法 (Lei et al., 2011)。该成像结果有效的整合EEG的高时间，fMRI高空间分辨率信息。

1.2  时间信息融合 (EEG-informed fMRI analysis)

时域上的整合是利用在时域或频域的EEG动态信号特征为功能磁共振成像提供时间信息。这些特征信息通常来自于特定时间段或特定频段的数据，例如癫痫放电时间，事件相关电位(event related potential, ERP) 幅度，特定频段的能量等等。

通常是将此电磁记录获得的变量与常规的血流动力学响应函数(hemodynamic response function, HRF) 卷积，然后与基于体素的BOLD信号作线性回归(general liner model, GLM)，以确定相应感兴趣电磁信号特征的fMRI统计激活图。

一个典型的例子是，将脑电获得的癫痫病人放电时间信息作为特征，在fMRI中研究癫痫放电相关的BOLD信号变化，以探讨癫痫病灶以及传播机制，为癫痫病人的临床治疗与决策提供有用的信息(Gotmanand Pittau, 2011; Murta et al., 2014)。

而在EEG-fMRI的时间融合中(特别是在癫痫研究中)，主要面临的问题是1) HRF的个体以及脑区差异, 2) fMRI较低的信噪比。针对这些问题，我们新近发展了一种新的EEG-fMRI时间融合方法：局部多模态串行分析(local multimodal serial analysis, LMSA) (Dong et al.,2015a)。

1.3 时空信息的模型/对称融合(Spatiotemporal model driven/symmetric fusion)

上述两种信息融合方法，分别从空间或者时间信息角度去整合多模信息，以弥补单一模态的不足。除此之外，人们也十分关注多模态数据时-空间信息的整合，以同时回答脑功能关于“何时”、“何处”与“如何”的问题。

目前人们多从模型驱动与非模型驱动两个方面去整合多模数据时-空间信息。

模型驱动融合是利用产生模型(generative model) 驱动的融合方法。产生模型驱动的典型例子是动态因果模型(dynamiccausal model，DCM) (Kiebelet al., 2007)。

在DCM中，EEG信号被认为是锥体细胞电活动的瞬时记录，它通过头部容积导体向头表传播。而fMRI信号则模拟为突触后神经活动，经由代谢过程，在时间上产生平滑后的血氧动力学活动。

该模型不仅考虑了EEG与fMRI各自的时间信号过程，也兼顾了各自模态所能提供的空间位置信息。模型驱动的融合通常建立在神经生理学基础之上，因此这些模型的反演将有助于我们理解神经活动起源及相应调节机制。

但是，代谢和血氧动力学模型的复杂性和较为繁琐的计算，限制了该模型驱动融合方法的应用范围。

同时，人们期望利用独立成分分析、典型相关分析等数据驱动方法，去分析融合多模数据。例如，Moosmann等利用联合独立成分分析(joint independentcomponent analysis，joint ICA) 对同步EEG-fMRI数据进行联合时空分解，得到事件相关响应的时空激活图谱(Moosmann et al., 2008)。

考虑到在融合分析中，平等对待多模数据的时间信息可以避免潜在的偏差，以及针对多模态融合过程中的非线性问题，近年我们也提出了一种基于特征空间最大信息系数的典型相关分析方法(eigenspace maximal information canonical correlation analysis, emiCCA) (Dong et al.,2015b)。

进一步，考虑到EEG与fMRI在时空分辨率上的互补关系，人们相继发展出多种EEG-fMRI互惠的时空融合框架方法 (Dong et al., 2014)。这些融合方法从一定程度上打破了模型驱动与数据驱动方法的壁垒，但是也面临着一些问题。

例如，一方面，需要在融合过程中注意EEG与fMRI的共同生理基础；另一方面，要尽可能排除融合过程中的不确定因素。

2. EEG-fMRI融合软件：NIT

在开源的多模态融合分析软件方面，目前已有许多工具包实现对EEG、fMRI等多模数据的融合分析。这里我们将简单介绍一个基于MATLAB的开源工具，神经科学信息工具箱(Neuroscience InformationToolbox，NIT) (Dong et al., 2018)，用于同步EEG-fMRI多模式融合分析。

NIT由三个模块组成：(1) fMRI模块，具有批量fMRI预处理、回归干扰信号、带通滤波和静息态指标的计算等；(2) EEG模块，包括去除伪迹，提取EEG特征(事件发生时间，功率和振幅)，标记感兴趣事件等;  (3) 融合模块，其中包括融合fMRI的EEG分析和融合EEG的fMRI分析。

NIT旨在为研究人员提供方便易用的同步EEG与fMRI分析工具，特别是对于新手用户。

NIT工具、使用手册、示例数据及结果等均可在http://www.neuro.uestc.edu.cn/NIT.html 免费下载使用（图3）。

图3：NIT软件主界面（http://www.neuro.uestc.edu.cn/NIT.html）

2.1  NIT主要功能

本软件适用于神经成像领域中脑电、功能磁共振数据的分析和处理。其主要特点在于：

采用图形用户界面来配置计算参数；

基于SPM12实现fMRI数据的批量预处理。

实现对fMRI数据预处理中诸如头动，白质，脑脊液，线性漂移等干扰信号的批量去除。

并行计算功能连接密度(functional connectivity density) 以及动态FCD指标(滑动窗)；

计算动态序列分析指标(变异系数等) 。

并行计算局部神经活动四维一致性指标(FOur dimensional (spatio-temporal) Consistency of local neuralActivities，FOCA) ；

EEG数据的读取、ICA分析以及特征（主要包括事件起始时间、能量谱以及幅度值）提取。

显示EEG数据，以及标注癫痫放电事件。

同步EEG-fMRI多模态融合，其主要包括1) 基于fMRI功能网络的脑电源定位分析 (fMRI-informed EEG analysis); 2) 基于EEG时间信息的fMRI融合分析 (EEG informed fMRI analysis).

实现对原始MRI数据(DICOM) 进行识别分类；

查看统计T-map阈值。

图4：NIT主要功能模块

2.2  软件安装使用要求

测试MATLAB版本为2013a/2015a，测试操作系统为64位Win 7/10操作系统/Linux操作系统。建议MATLAB版本为 2010至2015。

解压NIT工具包(目前最新版本为v1.3) , 将NIT所在目录 *\NIT_toolbox 添加至MATLAB路径当中。

fMRI预处理功能需要先添加SPM12工具包后方可使用。即将SPM12所在目录添加至MATLAB路径当中。

2.3  相关网络资源

NIT 下载地址：

http://www.neuro.uestc.edu.cn/NIT.html

神经信息教育部重点实验室网站：

http://www.neuro.uestc.edu.cn/index.html

神经信息教育部重点实验室下载资源：

http://www.neuro.uestc.edu.cn/neuro/html/achievements/achievements.html

基于web的云脑信息平台WeBrain

http://webrain.uestc.edu.cn/

SPM网站主页：

http://www.fil.ion.ucl.ac.uk/spm/

EEGLAB主页地址：

http://sccn.ucsd.edu/eeglab/index.html

参考文献

1. Biessmann,F., et al., 2011. Analysis of multimodal neuroimaging data. IEEE Rev BiomedEng. 4, 26-58.

2. Dong, L., et al., 2014. Simultaneous EEG-fMRI:Trial level spatio-temporal fusion for hierarchically reliable informationdiscovery. Neuroimage. 99, 28-41.

3. Dong, L., et al., 2015a. Local MultimodalSerial Analysis for Fusing EEG-fMRI: A New Method to Study Familial CorticalMyoclonic Tremor and Epilepsy. Autonomous Mental Development, IEEE Transactionson. PP, 1-1.

4. Dong, L., et al., 2015b. Characterizingnonlinear relationships in functional imaging data using eigenspace maximalinformation canonical correlation analysis (emiCCA). Neuroimage. 109, 388-401.

5. Dong, L., et al., 2018. NeuroscienceInformation Toolbox: An Open Source Toolbox for EEG-fMRI Multimodal FusionAnalysis. Frontiers in Neuroinformatics. 12.

6. Gotman, J., Pittau, F., 2011. Combining EEGand fMRI in the study of epileptic discharges. Epilepsia. 52 Suppl 4, 38-42.

7. Huster, R.J., et al., 2012. Methods forSimultaneous EEG-fMRI: An Introductory Review. J Neurosci. 32, 6053-60.

8. Kiebel, S.J., Garrido, M.I., Friston, K.J.,2007. Dynamic causal modelling of evoked responses: the role of intrinsicconnections. Neuroimage. 36, 332-45.

9. Lei, X., et al., 2011. fMRI functionalnetworks for EEG source imaging. Hum Brain Mapp. 32, 1141-60.

10. Moosmann, M., et al., 2008. Joint independentcomponent analysis for simultaneous EEG-fMRI: principle and simulation. Int JPsychophysiol. 67, 212-21.

11. Murta, T., et al., 2014. Electrophysiologicalcorrelates of the BOLD signal for EEG-informed fMRI. Hum Brain Mapp.

文章来源于微信公众号：神农造大脑

作者：董立

排版：华华