1. 立题依据

1.1 研究背景与意义

随着人口老龄化进程的加快、生活竞争压力的增加及环境因素的变化，神经系统退行性疾病、药物难治性癫痫（Drug Resistant Epilepsy, DRE）、疼痛及精神疾病等脑功能性疾病患者人数剧增，全球数亿人口受累。根据《中国神经科学数字化创新白皮书（2022年）》，截止到2022年，全球已有1/4人口罹患精神或神经类疾病，治疗相关疾病带来的社会负担占全部疾病的19%。脑功能性疾病已成为全球主要的致残和致死原因之一，不仅给个人、家庭、社会带来了沉重的负担，其治疗和机制研究也是巨大的科学难题。

在脑功能性疾病给全球带来严重负担的背景下，借助于神经科学和生物医学工程技术的进步，神经调控成为当前医学发展最快的领域之一，其种类激增，适应症不断拓展，全球已有数十万脑功能性疾病患者从中获益。

受限于疾病机制本身的复杂性及既往缺乏有效的研究手段，神经调控的作用机制至今仍处于探索阶段。再者，目前尚缺乏可靠的神经调控疗效的预测因素。想要实现精准有效的脑神经调控，首先需要对大脑的自发活动以及刺激下的脑活动响应进行数学建模。然而大脑由数百亿个神经元相互连接，构成庞大的脑网络，且大脑对外部环境的感知和行动的响应是动态且快速的，如何构建精准且高效的脑网络模型仍是一个难题。

1.2 国内外研究现状

1.2.1 神经调控技术

神经调控技术是指通过电或化学的作用方式，对大脑中枢、周围和自主神经系统的神经元或神经网络的信号传递兴奋或抑制或调节的作用，主要分为侵入式神经调控技术和非侵入式神经调控技术。相比于侵入式调控技术，非侵入式的脑调控手段由于其无创性、低成本、易携带特点使得其更易于大规模推广、甚至有望实现居家应用，更多处于早期的轻症阶段的人群也能收益。以失眠症为例，闭环声学刺激技术可以可靠地增强非快速眼动睡眠期间的慢波活动[1]，已有厂商基于闭环声学刺激开发出用于改善睡眠的家用头贴设备。

本课题研究非侵入式的脑调控技术，主要是经颅电刺激（Transcranial Electrical Stimulation，tES）。tES主要用于神经精神疾病的研究，涉及抑郁症、焦虑症、痴呆、疼痛等。根据电流形式分为经颅直流电刺激、经颅交流电刺激和经颅随机噪声刺激。临床应用最多的是经颅直流电刺激，其作用原理为微弱直流电透过颅骨在大脑皮质诱发电活动，短期刺激可直接改变神经元膜电位极性以改变神经元兴奋性、长期刺激则通过类似长时程增强或长时程抑制原理调节突触可塑性。

1.2.2 主要存在的问题

受限于疾病机制本身的复杂性及既往缺乏有效的研究手段，神经调控的作用机制至今仍处于探索阶段。再者，目前尚缺乏可靠的神经调控疗效的预测因素，缺乏可用的脑活动解析算法，无法对调控效果、参数进行实时监测、调整。以迷走神经刺激治疗DRE为例，尚无公认的疗效预测指标，当前治疗的方式主要是依据经验，以不断“试错”的方式进行，患者需反复就诊进行治疗，极其耗时耗力。此外，神经反馈通常涉及多个大脑区域，如何预测持续刺激下全脑网络状态的演变仍然是一个难题。

临床上主要通过神经成像技术实现脑功能区的准确定位，包括功能核磁、功能性近红外光谱成像、脑电图、脑磁图等。虽然在各种神经影像上已经观察到神经调控下的脑活动反馈，然而目前针对神经影像的分析大多基于传统的分析方法，一些新的数据分析技术并没有受到广泛的认可，随着计算机技术和人工智能的发展，在对神经影像数据的分析上，我们需要新的范式。

1.2.3 神经信息的分析方法

神经信息的编、解码在语言、运动控制上较为成熟，而在精神疾病上仍处于探索阶段，结合机器学习算法的神经科学分析手段仍是目前最有效的手段。在监督学习的情况下，机器学习可以基于输入数据构建模型，“学习”数据和目标结果之间的关系。然后模型将学习输入数据和目标变量之间的映射，Yan等利用注意力机制设计一个癫痫发作预测模型，在波士顿儿童医院和麻省理工学院数据库上学习癫痫放电（输入）特征，并输出癫痫预测，验证了模型预测癫痫的可行性[2]。利用机器学习及人工智能技术，还可以建立刺激-响应关系的学习自适应神经调控模型，实时监测脑功能状态，为闭环刺激提供反馈信号，进而实现神经调控智能化[3]。

从简单的线性回归到复杂的神经网络模型，每种模型都有自己的模型假设、数据建模方式，各有不同的优缺点。如统计学习理论驱动的支持向量机，支持向量机是一种高维有效、记忆高效且性能良好的分类和回归方法；或不基于统计学的非线性模型回归树，回归树提供了隐式生成新特征的分割策略，可用于多模态嵌入，例如通过将增强的决策树输出作为输入添加到线性分类器[4]。

基于深度学习架构的模型构建不需要先验知识，可以提取隐式特征。深度学习方法允许自动提取时空特征，从而形成端到端架构[5]。深度学习和传统机器学习方法的结合常被用在非神经生物学的数据集上，然而在神经生物学上查阅到相关的研究还较少。

脑网络调控的计算建模研究主要基于生物物理模型，如针对帕金森病和癫痫的数值模拟驱动的开环刺激模式[6]。生物物理模型基于特定疾病相关脑区功能组织的先验知识，且难以实现个性化治疗。数据驱动的建模可以解决上述问题[7]，然而数据驱动模型的高延时性以及可解释性仍是一个问题。本课题将综合考虑这两种模式，探索最优的建模方法，

1.3 支撑本课题的研究基础

我目前所在的脑机接口平台专注于非侵入式脑调控的研究，包括中科院与临港实验室的非人灵长类闭环睡眠调控（包括皮层电刺激、脑深部电刺激），与瑞金医院、上海精神卫生总院合作的失眠症患者的个性化睡眠调控、精神类疾病患者的干预治疗、脑卒中患者的运动康复，以及小鼠卒中模型上经颅直流电刺激对运动学习的影响[8]等。科研项目中的动物实验（特别是非人灵长类）为脑调控模型的验证提供了珍贵的实验数据，临床项目中采集的大量神经影像数据为各种建模方法的探索提供了数据支持，如我目前在投的阴极经颅直流电刺激改善睡眠的研究，即验证了非侵调控中个性化刺激的必要性。

我在研究生期间参与了多项人工智能的应用研究，熟悉深度学习模型应用到具体场景的全生命周期过程，在知识图谱和智能问答相关场景完成了图网络模型的搭建，在神经科学这个交叉学科中可以利用自己的专业知识和经验，快速复现前沿的算法技术，不断尝试更优的脑网络建模方法。

2. 研究内容

2.1 研究目标与具体内容

我的研究目标是实现非侵入式的脑调控，要实现这个目标，必须要构建从脑状态表征到脑调控的脑网络模型，具体分为以下几个阶段的目标。

（1）对脑网络进行建模，以最基础的睡眠节律为分析目标，通过分析睡眠-清醒过程中的脑状态变化，探索睡眠调控机理，建立脑状态预测模型；

（2）设计非侵入式的脑状态调控方法，在灵长类动物上探索脑网络的刺激-响应模式，以实现节律的干预和睡眠调控；

（3）将脑网络的建模、分析、调控的方法扩展到临床，以及其他的神经疾病上；

2.1.1 神经调控下的脑网络建模

我们都知道大脑由数百亿个神经元相互连接，构成了庞大的脑网络，以目前的计算机算力和最优化方法，我们显然无法在构脑网络时考虑所有的神经元状态。而且大脑是一个动态的非线性系统，大脑对外部环境的感知和行动的响应是动态且快速的，这给我们对脑网络的建模带来很大的困难。

好在大脑的结构连接是相对静态的，我们可以通过弥散张量成像检测神经元的纤维束连接，也可以通过解剖学或者神经影像学对脑进行结构或功能分区。这为我们用网络的方法来研究脑网络提供了可能，但同时也提出了挑战：如何构建高效且精准的脑网络模型来表征大脑灵活的动态响应。如果网络模型构建的太复杂，则难以预测调控，太简单则不能反正真实的脑状态。

神经调控最终改变行为应是通过改变了编码特定行为细胞集群的可塑性连接[9]。尽管从定义上神经调控是一个发生在微观层面的过程，然而在大脑皮层等稳定的系统中，微小的变化可能会累积为神经元核团和环路的变化，从而打破兴奋/抑制和大规模活动的平衡 。单个神经元活动“投票”输出来自树突传入的输入，神经系统的这一集体特征使计算建模方法成为可能，在这种方法中，群体水平上的神经活动可以被关键节点的统计信息所描述[11]。

神经调控包括多种机制，可能发生在细胞体远端或近端的树突部位，并包括许多不同的过程，突触间隙上神经递质受体密度的改变、钙离子储存的释放以及电压门控离子通道的控制。以电压门控离子通道为例，如图2.1，可以通过整流电压门控通道的上调，从而改变不应期；或者改变整流电压门控通道的阈值，从而影响动作电位的传导。

图2.1 两种神经调控机制

在脑网络模型中，我们可以控制网络的超参数、网络状态的转移矩阵系数，或通过激活函数控制节点间信息的传递，来模拟神经调控的过程，这些机制不仅对于脑网络的建模都具有参考意义，而且可以用来观察和验证建模的效果。

2.1.2 在非人灵长类动物上的脑调控实验

本课题将使用猕猴模型上的实验数据对脑网络进行建模，建立脑状态预测模型，并设计基于脑网络模型的调控方案；动物实验主要由实验室李普哲协助完成，在本课题的研究计划中，以睡眠障碍作为切入点进行研究。

猕猴研究会面临疾病模型的构建较为困难。但睡眠障碍则有一些优势。首先睡眠障碍的症状容易测量，有睡眠脑电可以作为客观指标。睡眠的生物学调控机制以及在啮齿类动物中研究比较清楚，并且睡眠作为一个本能行为被认为在进化中较为保守，可以推定猕猴的睡眠网络的基本成分与啮齿类类似，这有利于从环路理论出发构建状态动力学，已有研究也证明了tES在临床上治疗失眠症的有效性[12]。

为了观察猕猴模型上非侵入式脑调控的短期刺激-响应，李普哲搭建一个实验系统，包括实验猴、刺激系统、记录系统、控制台等。在猕猴的颅骨上植入了18通道的电极，模仿人的双极tES，然后用外部的刺激器给电流，使用了无线设备记录脑电数据。为了记录猕猴局部场电位，利用立体定位手术机器人植入了SEEG电极。

实验设计了多种刺激范式，包括不同的频率、刺激时长、刺激强度等。在灵长类动物上记录的头皮脑电或局部场电位与人类具有相似的光谱特征[13]，因此可以通过分析猕猴的睡眠脑电来观察脑调控对昼夜节律的长期效应。

2.2 拟解决的关键问题和创新之处

机器学习的最新进展为医疗保健不同领域的算法解决方案开发开辟了新的领域，为适应个体患者需求的神经技术疗法铺平了道路，各种机器学习模型已经成功应用于有创神经调控的背景下。然而使用机器学习技术的的脑功能分析与调控并没有获得大范围的临床应用，一是由于脑网络的复杂性给建模带来的困难，另外一个重要因素即神经调控的实验数据太少。

具体来说，本课题涉及的主要问题有：

（1）如何构建高效且精准的脑网络模型来表征大脑灵活的动态响应？

（2）如何验证脑网络模型对脑状态及大脑对外部环境的响应的描述？

（3）如何把脑网络模型应用到临床上的非侵入式脑调控治疗上？

针对上述问题，本课题的解决方案有以下两个创新点：

（1）使用数据驱动的深度神经网络构建脑网络模型，模型可以表征脑状态和刺激-响应特性，基于图网络的模型在神经调控机制和神经可塑性原理上具有一定的可解释性；

（2）基于脑网络模型在猕猴上实现节律的干预和睡眠调控，验证脑调控模型的有效性；

回顾人工智能的发展的几个重要时刻，都离不开大数据的支持，2022年11月，OpenAI发布ChatGPT[14]，被专家评价为“真正迈向通用人工智能的第一步”，其背后拥有1750亿参数的GPT3.5模型就是在45TB海量文本语料上训练的。随着神经影像学的发展，越来越多的高质量数据集被公开，包括HCP[15]、TUH-EEG[16]、Chinese HCP[17]等等。此外，实验室与瑞金医院、中山医院、上海市精神卫生总院等临床合作也创造了许多有价值的数据集，将脑网络的建模、分析、调控的方法拓展到这些数据集上，相信能推动神经调控在临床上的应用。

3. 拟采取的研究方法、技术路线

非侵入式神经调控下的脑网络模型结构如图3.1所示。

图3.1 脑网络模型结构图

首先在记录到的数据上构建脑网络，使用多种刺激范式对猕猴施加头皮电刺激，使用电场仿真计算各个脑区实际接收到的能量。记录各种刺激后的脑电数据，观察猕猴模型的刺激-响应特性，并以此构建脑调控模型，调控模型可以反映脑网络的刺激-响应特性。对于不同调控目标下的脑状态，使用数据驱动的控制模型构建个性化的脑调控方案。

3.1 基于图的脑网络建模

把大脑在t时刻的状态描述为X(t)。假设没有任何外界能量输入，且大脑是一个线性时不变系统，那么我们可以用一个简单的方程来描述大脑的状态，如图3.2。

X(t+1)=A*X(t)

目前大多有关神经调控的研究基于传统的控制理论与生物物理模型。随着人工智能与深度学习的发展，图神经网络（Graph Neural Network, GNN）越来越受到关注，近年来引入图神经网络的神经科学研究，大多旨在使用图网络表征网络属性从而进行疾病检测[18]，包括使用图本身的概念（如度、复杂度、最小生成树、小世界网络等）以及图编码向量的隐式属性。虽然在神经调控方面的工作多数仍在模拟阶段，但动态的多层图网络模型的应用对于理解大脑网络的结构、发展和进化至关重[18]。

图3.2脑状态                        图3.3 图神经网络的基本结构

如果我们用GNN来表示脑状态，如图3.3，那么我们可以将图的节点定义为一个神经元（或者是一个脑区），边E则可以表示神经元之间的连接，因为在机器学习中我们以向量来表征特征，所以我们可以用这个连接来表示纤维束连接、功能连接等属性。此外，如果在这个图上把所有的点和边进行加权，我们还可以得到一个表征当前脑状态的行为评分，如情绪评分。

我们可以用多层图神经网络来表征脑网络，如图3.4。在每两层GNN上，使用映射函数f（如MLP）建立边E、节点V、全局向量U之间的关系。

图3.4 多层堆叠的图神经网络

图3.5 边、节点之间的信息传递

在这个过程中，节点之间的的数学运算完成了信息的传递。如图3.5，节点汇聚了相邻节点和边的信息流，这个过程即模拟了神经元之间的信息传递。在映射函数f中，我们还可以加入激活函数项，来模拟电压门控离子通道等特性，在汇聚了节点信息流后，我们就可以用图网络的向量来进行行为评分的训练与预测。

图神经网络是众多网络建模方法的一种，随着计算机技术与人工智能的发展，本课题也将结合前沿的计算机科学与神经生物学理论，探索构建更精准、高效的脑网络模型。

3.2 非侵入式的神经调控

3.2.1 非侵入式的个性化脑调控

神经调控的目标是在有输入u(t)的情况下，将脑状态调整到指定状态，即

X(t+1)=A*X(t)+B*u(t)

非侵入式的脑调控由于其无创性，可以设置多个调控通道，以tES为例，可以选择多通道的脑电帽，在全脑的多个位点给予电刺激。这是非侵入式的脑调控最大的优点，但同时这也带来了最大的约束，即我们无法精确得到施加电场后每个神经元接收到了多少能量，由于个体的差异，同样的调控方案对于不同的患者也有不同的治疗效果，所以我们需要个性化的脑调控措施。

为了得到在调控方案下每个个体精确的输入u(t)，我们需要对大脑的电场分布进行仿真。目前我参与的上海精神卫生总院的临床实验，在一项随机、双盲和假对照研究中，我们在38名受试者的前额叶上应用了阴极经颅直流电刺激两周，并在两周干预前后记录了结构核磁、功能核磁及脑电图。然后，我们应用个性化电场（Electric Field, EF）建模和核磁数据分析来探索对tES对睡眠的干预效果。

电场仿真证实了在相同的刺激参数和电极摆放位点施加的电场强度在不同患者间存在空间分布差异。对所有患者来说，最大的EF出现在额叶区域，其大小可能是后脑区域的10倍。并且同一区域的平均EF强度在不同的患者中也有差异的，例如，背外侧前额叶皮层（dorsolateral

prefrontal cortex，dlPFC）的场强最小为0.05

V/m，而最大到0.18 V/m。

图3.6 临床睡眠实验的核磁分析结果

我们进一步验证了特定脑区的场强大小是否能影响睡眠评分。如图3.6，线性回归分析显示，dlPFC的ALFF（ALFF是核磁分析的一种方法，表示0.01-0.08Hz的能量，能够反应大脑的自发活动）的改变率和该脑区的场强呈现正相关，同时和匹兹堡睡眠质量指数（PSQI）的降分率呈现正相关。不同场强下的睡眠改善进一步证明了个性化脑调控的重要性。

3.2.2 脑调控模型

神经调控分为短时效应和长时效应，从神经生物学角度来说，短时效应通过施加电场改变膜电位，影响神经元细胞的去极化和超极化过程，从而改变神经元的放电过程及神经元之间的信息传递。在某个神经环路激活时对其进行增强，就可以实现短期内的神经环路增强效果。

在脑网络模型中，这个过程通过对节点状态的调节来表征。如图3.7，某些节点状态在外界的输入能量u(t)下改变，这些节点状态的变化通过边传导到相关的其他节点，通过映射函数f更新节点的状态，从而完成对整个图网络的调节。

图3.7 基于图网络的神经调控模型

神经调控的长时效应反应在神经细胞的蛋白表达上，长期的神经调控改变了相关神经环路的可塑性连接，在不施加外界能量u(t)时，脑网络本身的状态与动态特征都与调控前发生了改变。

可塑性连接可以视为图网络中的超参数、转移矩阵系数、激活函数，或直接理解为节点之间的动态连接，在图网络的训练过程中，我们可以通过反向传播修改这些参数，来拟合大脑的状态。

脑调控模型的建模数据均来自于李普哲在猕猴模型上动物实验。

3.2.3 数据驱动的个性化脑调控方案

我们知道不同的个体、不同的神经元有着不一样的刺激-响应特性，那么如何对脑网络施加u(t)，将不同状态下的脑网络调控到指定状态呢？数据驱动的控制模型不需要特定疾病相关脑区功能组织的先验知识，更有利于实现个性化调控，本课题将首先尝试数据驱动的控制模型。

研究表明哺乳动物中脑多巴胺神经元的放电与强化学习算法之间存在对应关系[20]，考虑到强化学习已成功应用到连续控制系统中[21]，如自动驾驶等。在获得脑网络模型的刺激-响应特性后，我们可以使用强化学习来拟合脑网络的调控过程。如图3.1所示，我们把大脑视为强化学习中的环境，Agent即tES系统，根据在脑网络模型上观测到的脑状态，Agent的action定义为tES系统对网络施加的电刺激u(t)。根据脑网络模型的刺激-响应特性，环境产生相应的变化，根据脑网络的状态表征（正常或异常状态、不同的行为评分等）对Agent给出反馈。如果环境达到了我们期望的神经调控后的脑状态，Agent将得到对应的奖励。训练完成后，Agent对不同状态下给出的action序列，就是对应调控目标下的个性化调控方案。