情感是人们感受、思想和行为的结合体，在人们的理性决策、感知和交流中起着至关重要的作用。情感识别是情感计算中最重要的一环，是计算机科学、心理学、神经科学和认知科学的交叉学科领域。人类的情感可以通过面部表情、口头语言、非语言行为或生理信号来进行识别[1-3]，然而，前3种情感识别方法容易受被试的主观影响，即被试可以通过外在的表现故意掩饰自己的真实情感。生理信号是人体自发产生的一种生理现象，通过生理信号进行情感识别更加可靠、客观[4]。脑电信号由中枢神经系统产生，对情感变化的反应比其他外周神经信号更为迅速，而且脑电信号已被证明能够提供与情感状态相对应的特征来进行情感识别[4-5]。本文将5种特征降维方法与原始特征的分类效果进行了比较，5种特征降维算法分别是核谱回归(KSR)、局部保留投影(LPP)、主成分分析(PCA)、最大相关最小冗余算法(mRMR)以及相关特征选择算法(Relieff)。此外，比较了4种分类器在情感识别中的效果，包括K-最近邻(KNN)、朴素贝叶斯(NB)、支持向量机(SVM)和随机森林(RF)。最后基于mRMR算法和Relieff算法，对每个电极的脑电特征根据重要度由大到小进行排序，从而在大大减少电极数目的情况下依然可以得到较高的情感分类准确度。
本文的创新点主要体现在以下3个方面：
(1) 关于脑电信号情感识别的研究，许多研究者在对脑电信号进行预处理后直接提取脑电特征[3-4,6-8]，没有考虑基线数据(没有情感素材刺激时的脑电信号)的作用。本文并没有直接用被试观看情感素材时的脑电信号去提取特征，而是首先对被试没有观看情感素材时的基线数据提取特征，然后提取被试观看情感素材时的脑电特征，将后者减去前者形成最终的特征进行建模。与不使用基线特征时的效果进行了对比，结果表明，当使用基线数据的特征时，可以有效提高被试的情感分类准确度。
(2) 许多关于DEAP脑电情感识别的研究中，其目标情感类别仅仅通过阈值划分的方式得到[6-7]，所以情感的种类也常局限于积极和消极两个方面。为了更客观地得到被试的目标情感类别，对被试的主观评分数据进行聚类得到被试的情感标签。
(3) 在得到较好的特征提取算法、特征降维算法和分类算法的组合之后，对每个脑区的情感分类准确度进行了分析。最终仅使用来自额叶皮层的12个电极的脑电特征也得到了90%的分类准确度，这对将来脑电情感识别的实用化提供了一些参考。
1 情感模型
情感是对某些人际关系或其他事件的反应而产生的一组心理和生理状态。情感对于自我激励和决策有着重要的作用。一般来说，描述情感主要用两种模型：一种是离散情感模型，这种模型的观点认为存在一些基本的情感，其他类型的情感是由基本情感组合而成。Weiner[9]认为开心和悲伤是两种最基本的情感；Kemper[10]认为恐惧、愤怒、沮丧和满足是最基本的情感；基于达尔文进化论，Ekman[11]提出了6种基本情感，但目前关于基本情感的类型仍然存在较大的争议。另一种情感模型是维度情感模型，可以基于二维空间中的位置来确定每一种情感。维度模型通过连续尺度上的几个独立维度来表示情感。如图1所示，唤醒度用于描述从平静到兴奋的程度，效价度用于描述情感是正面还是负面的。本文采用维度情感模型来确定情感目标类别。
图1 二维情感平面
Fig.1 A 2D emotional model
情感识别的一个主要问题是不同被试可能对同一刺激素材具有不同的主观情感体验， 因此，情感识别研究中情感类别的数量通常相对较少，许多研究集中在两分类上，即积极和消极的情感[3-4,6-7]。 许多关于DEAP情感识别的研究中，其目标情感类别是以阈值划分的方式得到的[12]，这种确定情感标签的方法过于简单，而且有很大的主观性。为了更加客观地确定被试的情感类别，本文对被试的自我评估数据的唤醒度和效价度在二维情感平面中进行了K均值聚类，最终的聚类结果如图2所示。
2 数据的获取和预处理
2.1 DEAP情感数据集与预处理
在DEAP情感数据集中， Koelstra等[8]基于二维情感模型选择了 40 段音乐视频作为情感刺激材料，让32名被试观看40段音乐视频，同时记录下32名被试的生理信号和面部视频。生理信号电极有40个，其中脑电信号32个，外围生理信号8个，本文仅使用脑电信号进行情感分类。实验中，以512 Hz的频率采集脑电信号，然后在预处理时下采样至128 Hz，同时用 4.0～45.0 Hz的带通滤波器移除EOG伪迹。预处理后的脑电数据包含60 s观看视频时的脑电数据和未观看视频时的3 s基线数据。对以下两种情况进行讨论：(1)只提取60 s被试观看音乐视频时的脑电数据的特征。(2)分别从3 s的基线数据和60 s的脑电数据中提取特征，但是最终得到的特征是从60 s脑电特征中减去3 s基线特征。脑电数据情感识别的流程图如图3所示。
图2 K均值聚类结果
Fig.2 K-means clustering results
图3 基于脑电的情感识别流程图
Fig.3 Flowchart of EEG-based emotion recognition algorithm
2.2 特征提取
特征提取的主要目的是从原始脑电信号中提取可以显著反映情感状态的特征。本文使用两种特征提取方法：小波特征和非线性动力学特征。对于每个通道的脑电信号，首先用小波变换对原始脑电信号进行5级分解得到不同频带的小波系数，用每个子频带的小波系数构造出3种特征: 小波能量、小波能量比和小波熵。如表1所示，经过5级小波分解得到的子频带频段与EEG信号的节律大体一致。
脑电信号是复杂的非线性信号。近年来，非线性分析方法被广泛应用于脑电信号分析中[13-15]。 近似熵(ApEn)和样本熵(SampEn)是量化时间序列复杂度和研究时间序列属性的重要工具，本文使用这两种非线性动力学方法提取脑电信号特征。
2.3 核谱回归判别分析
表1 脑电信号的小波分解结果
Table1 Results of wavelet decomposition of EEG signals
在对脑电信号的维数约简中，通常的PCA、LDA以及SR等降维方法不能发现信号中的非线性成分。文献[16]利用核技巧提出了核谱回归判别分析(KSR)，即用下列形式的正则核最小二乘法来求解正则最小二乘问题,找到c-1个向量α1,α2,…,αc-1∈Rn，αk(k=1,2,…,c-1)是方程(1)的解：
(K+alphaI)αk=yk
(1)
其中:alpha为正则化参数；I为单位矩阵；yk表示y中的第k个向量；K是m×m卡莱姆矩阵,Kij=K(xi,xj)，K(xi,xj)是RHKS 空间Hk，所以函数
是正则核最小二乘法的解：
(2)
其中
是 向量αk的第i个元素。设Θ=[α1,…,αc-1],Θ是m×(c-1)的转换矩阵, 样本基于以下形式嵌入到c-1维子空间中:
x→z=ΘTK(:,x)
(3)
其中K(:,x)=[K(x1,x),…,K(xm,x)]T。
3 数据分析结果与讨论
3.1 不同特征提取方法和降维算法的对比
为了探究基线特征对最终分类结果的影响，分别在不使用基线特征(Case 1)和使用基线特征(Case 2)的情形下提取小波特征和非线性动力学特征。 为了使最终分类准确度更加可靠，采用5折交叉验证得到每个被试的平均分类准确度。首先将60 s的脑电数据分割成15段无重叠的片段，每段包含4 s的数据，所以每个被试的样本总数为40×15=600。训练集样本数为480，测试集样本数为120。小波分解后得到每个子频带的特征维数为32×3=96，所有子频带的总特征维数为96×5=480。近似熵和样本熵特征维数分别为32。由于RF分类器比KNN和NB的准确度更高，并且比SVM更有效率，所以本文使用RF分类器，最终分类结果见表2、表3,其中NDR表示没有进行特征降维的情况。每种降维方法的参数设置如下：(1) KSR与LPP中使用高斯核函数。(2) KSR中正则化方式采用L2范数，正则化参数设置为 0.01。(3) LPP最近邻设置为5，距离采用欧氏距离。(4) 特征选择方法mRMR和Relieff的维数分别设置为20。(5) PCA的特征贡献度设置为 0.98。
由表2可知，当使用Gamma子频带特征时，可以得到最佳分类准确度，其次是Beta子频带特征。这表明与情感联系最密切的脑电信号主要分布在Gamma、Beta子频带上，这与现有文献中的结论一致[17-18]。其次，在Case 2中，即当使用基线特征时，任何子频带中的分类准确度都得到了较大提升。同样由表3可以看出，在Case 2中的情感分类准确度也得到了极大提升，表明用实验时的脑电特征减去基线特征可以更好地反应被试的情感状态。
在Case 1中，无论使用小波特征还是非线性动力学特征，分类准确度都很低。在Case 2中，当使用Gamma子频带特征时，LPP获得最高准确度，32位被试的平均分类准确度达到 82.0%，其次是KSR，平均分类准确度为 76.0%。然而，使用KSR时每个被试的模型训练和测试时间仅需要 0.614 s，而LPP需要 1.256 s。类似地，在Case 2中，当使用近似熵和样本熵时，KSR效果最好， 32名被试的平均分类准确度为 92.8%，其次是LPP，为86.3%。在单个被试的情况下，分别使用KSR和LPP维数约简方法时，模型训练和测试时间分别为 0.388 s 和 1.552 s。
表2 在Case 1和Case 2下提取小波特征得到的最终分类结果
Table2 Classification results of using wavelet transform extracted features in case 1 and case 2
表3 在Case 1和Case 2下提取近似熵和样本熵特征的最终分类结果
Table3 Classification results of using ApEn and SampEn features in case 1 and case 2
表4 在Case 2中不同特征下SVM与RF的分类结果
Table4 Classification results of SVM and RF using different features in case 2
3.2 4种分类器在情感识别中的比较
结合上述结论，研究4种分类器在使用基线特征(Case 2)情形下的有效性。特征降维方法仍然采用前述的5种降维方法以及不降维。图4示出了使用小波变换提取Gamma子频带特征得到的结果，图5示出了基于非线性动力学特征得到的结果。KNN分类器的近邻参数设置为6。 SVM分类器使用径向基核函数，对于核函数中的参数，使用网格搜索算法选出最佳参数组合:C∈{2-8,2-7,…,27,28}和γ∈{2-8,2-7,…,27,28}。随机森林分类器设置决策树：ntree=500，属性其中m是属性的总数。由图可知，SVM和RF的平均分类准确度要高于KNN和NB的平均分类准确度。当降维方法为KSR时，分类器的准确度最高。由于SVM参数的优化过程相对较慢，使用RF的经验参数便可以获得与SVM几乎相同的分类准确度。表4示出了不同特征提取和特征降维方法组合下SVM和RF的分类结果，表中a表示使用Gamma子频带小波特征，b表示使用近似熵和样本熵特征。可以发现非线性动力学特征和KSR组合时SVM的分类准确度为 92.8%，RF的分类准确度为 92.7%，对于每个被试者来说，SVM的平均训练时间为 15.49 s，RF的平均训练时间为 1.94 s。前者大约是后者的8倍。
图4 在Case 2中提取小波特征的分类结果
Fig.4 Classification results of using wavelet features and 4 classifiers in case 2
图5 在Case 2中提取近似熵和样本熵特征的分类结果
Fig.5 Classification results of using ApEn and SampEn features and 4 classifiers in case 2
3.3 与情感最为相关的脑区
为了研究与情感最为相关的脑区，首先基于脑区对电极进行分组。人类的大脑皮层主要分为4个皮层区域：额叶皮层(Frontal)、顶叶皮层(Parietal)、枕叶皮层(Occipital)、颞叶皮层(Temporal)。这里将额叶和顶叶的交界区作为一个独立的区域：中心区域(Central)。如图6所示，红色代表位于额叶皮层的电极，绿色代表位于顶叶皮层的电极，蓝色代表枕叶皮层的电极，黄色代表位于颞叶皮层的电极，中间的矩形代表中心区域的电极。表5列出了脑区的名称以及它所包含的电极。
图6 不同的脑区对应的电极名称以及电极位置
Fig.6 Locations of the EEG electrodes based on the lobes of the Human brain
表5 每个脑区包含的电极以及电极数目
Table5 Each brain area contains the name and number of electrodes
分别在每个脑区提取脑电特征进行情感分类。基于先前的结论，使用Case 2下的非线性动力学特征，特征降维方式选用KSR降维，分类器使用RF模型，最终通过5折交叉验证得到32个被试的平均分类准确度如图7和图8所示。可以发现，使用额叶皮层的特征时得到了最高的分类准确度，使用颞叶皮层的特征时分类准确度最低，但这不足以证明额叶皮层比颞叶皮层与情感联系更为密切。因为实验条件的限制， 在不同的脑区分布有不同的电极数量，在颞叶皮层的电极只有两个，所以该区域的分类准确度低也可能是因为电极数目过少的原因。同时，提取每个脑区Gamma子频带的小波特征，也可以得出相同的结论。
图7 使用非线性动力学特征时32个被试的平均分类准确度
Fig.7 Average classification accuracy of 32 subjects by using nonlinear dynamic features
图8 使用小波特征时32个被试的平均分类准确度
Fig.8 Average classification accuracy of 32 subjects by using wavelet features
为了进一步研究脑区与情感状态之间的联系，基于mRMR和Relieff算法，根据特征的重要程度从大到小对电极进行排序，然后依次增加电极数，同时使用KSR进行特征降维，使用随机森林分类器进行分类。不同被试的电极经过排序后得到的顺序并非完全一致，但总体上具有相似性。图9示出了被试1的分类结果。图9(a)示出了使用mRMR算法对每个电极的非线性动力学特征进行排序的结果，记为mRMR+非线性动态特征；同理，图9(b)示出了使用Relieff+非线性动力学特征进行排序的结果，图9(c)示出了使用mRMR+小波特征进行排序的结果，图9(d)示出了使用Relieff+小波特征进行排序的结果。可以发现，当电极增加到一定数量时，准确度增长的趋势趋于平缓。图9(a)中，当电极数为12时，分类准确度达到90%，当电极数为27时，分类准确度达到最大值，为97.33%。图9(b)中，当电极数为13时，分类准确度达到 90.67%，当电极数为26时，分类准确度达到最大值为98%。图9(c)中，当电极数为23时，分类准确度达到80%，当电极数为32时，分类准确度达到最大值为 85.33%。图9(d)中，当电极数为21时，分类准确度达到 81.83%，当电极数为32时，分类准确度达到最大值为 86.17%。这意味着可以仅使用部分脑区的特征来进行情感分类，特别是当使用非线性动力学特征时，仅使用12个电极就可以达到90%的准确度，而且这些电极主要分布于额叶皮层。分别使用mRMR和Relieff基于特征的重要度对电极进行了排序，基于电极的重要度绘制的脑地形图如图10所示。对于同一个被试，使用不同的特征提取算法和不同的特征所得到的电极顺序稍有不同，但是总体来看，额叶皮层的某些电极不管采用哪种特征选择算法排名都较高，如F7、F3、Fp1、FC5、F8等。从生理学角度，相关文献[19-21]研究表明，前额叶皮层确实在情绪诱发时扮演者重要的角色。
图9 被试1的分类准确度
Fig.9 Classification accuracy of subject 1
图10 被试1的基于电极重要度排序的脑地形图
Fig.10 Brain topographic maps based on electrode importance ranking of subject 1
4 结 论
本文首先对被试的主观评分通过聚类的方式得到目标情感类别，然后在Case 1和Case 2情形下分别提取脑电特征，发现不管使用小波变换还是非线性动力学方法，都可以通过减去基线特征来显著提高情感的分类准确度。其次发现Gamma频带的脑电特征比其他频带的特征在情感识别任务中可以得到更好的分类准确度。有效的特征降维算法不仅可以加快模型训练速度，而且可以提高情感分类的准确度，结果显示KSR在5种降维算法中效果最好。通过比较4种类型的分类器，发现随机森林模型的分类准确度优于KNN和NB，效率优于SVM分类器。同时，在降维算法使用KSR,分类器使用RF分类器时，使用非线性动力学特征比使用小波特征可以得到更高的分类准确度，尤其是当联合使用近似熵和样本熵特征时可以显著提高情感识别的分类准确度。最后，通过对脑区与情感关系的研究发现，使用额叶皮层的脑电特征可以得到比其他脑区更高的分类准确度，通过mRMR算法基于特征重要度进行排序后，发现仅使用12个电极提取的脑电特征也可以达到90%的分类准确度，这些电极主要来自于额叶皮层。
参考文献：
[1] PETRUSHIN V. Emotion in speech: Recognition and application to call centers[C]//Proceedings of Artificial Neural Networks in Engineering. USA: IEEE, 1999: 7-10.
[2] ANDERSON K, MCOWAN P W. A real-time automated system for the recognition of human facial expressions[J].IEEE Transactions on Systems Man & Cybernetics: Part B. Cybernetics, 2006, 36(1): 96-105.
[3] YIN Z, ZHAO M Y, WANG Y X,et al. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model[J]. Computer Methods & Programs in Biomedicine, 2017, 140(C): 93-110.
[4] WANG X W, NIE D, LU B L. Emotional state classification from EEG data using machine learning approach[J]. Neurocomputing, 2014, 129(4): 94-106.
[5] PETRANTONAKIS P C, HADJILEONTIADIS L J. A novel emotion elicitation index using frontal brain asymmetry for enhanced EEG-based emotion recognition[J]. IEEE Transactions on Information Technology in Biomedicine, 2011, 15(5): 737-746.
[6] DAIMI S N, SAHA G. Classification of emotions induced by music videos and correlation with participants’ rating[J]. Expert Systems with Applications, 2014, 41(13): 6057-6065.
[7] YOON H J, CHUNG S Y. EEG-based emotion estimation using Bayesian weighted-log-posterior function and perceptron convergence algorithm[J]. Computers in Biology & Medicine, 2013, 43(12): 2230-2237.
[8] KOELSTRA S, MUHL C, SOLEYMANI M,et al. DEAP: A database for emotion analysis; Using physiological signals[J]. IEEE Transactions on Affective Computing, 2012, 3(1): 18-31.
[9] WEINER B. Attribution, emotion, and action[J]. Handbook of Motivation and Cognition: Foundations of Social Behavior, 1986, 1: 281-312.
[10] KEMPER T D. A Social Interactional Theory of Emotions[M]. New York: Wiley, 1978.
[11] EKMAN P. Basic emotions[J]. Handbook of Cognition & Emotion, 1999, 99(1): 45-60.
[12] ZHANG Y, JI X M, ZHANG S H. An approach to EEG-based emotion recognition using combined feature extraction method[J]. Neuroscience Letters, 2016, 633: 152-157.
[13] ZHANG C, WANG H, FU R R. Automated detection of driver fatigue based on entropy and complexity measures[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(1): 168-177.
[14] VIJITH V S, JACOB J E, IYPE T,et al. Epileptic seizure detection using non linear analysis of EEG[C]//International Conference on Inventive Computation Technologies. USA: IEEE, 2017: 1-6.
[15] BENZY V K, JASMIN E A, KOSHY R C. Approximate entropy and wavelet entropy based depth of anesthesia monitoring[C]//International Conference on Control Communication & Computing. India: IEEE, 2016: 371-374.
[16] CAI D, HE X W, HAN J W. Speed up kernel discriminant analysis[J].The International Journal on Very Large Data Bases, 2011, 20(1): 21-33.
[17] ZHENG W L, LU B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162-175.
[18] ZHENG W M. Multichannel EEG-based emotion recognition via group sparse canonical Correlation analysis[J]. IEEE Transactions on Cognitive and Developmental Systems, 2017, 9(3): 281-290.
[19] 王璐, 陈旭, 马建苓. 音乐情绪及其神经基础[J]. 心理学进展, 2014, 4(6): 738-747.
[20] 杨苏勇, 黄宇霞, 张慧君, 等. 情绪影响行为抑制的脑机制[J]. 心理科学进展, 2010, 18(4): 605-615.
[21] 王亚鹏, 董奇. 情绪加工的脑机制研究及其现状[J]. 心理科学, 2006, 29(6): 1512-1514.