情怀规画是指由情怀激励的、和情怀磋磨的或者对情怀有影响或起决定作用的规画[1]。情怀规画是东谈主机交互中一个迫切的筹议观念,常用的情怀规画中的输入信号有图像、音频、文本和生理信号[2],而相干于图像等输入信号,生理信号有着不易庇荫的性情,更能反应出委果的情怀现象,因此在临床会诊和治疗上有着不成替代的上风和迫切作用[2]。在基于生理信号的情怀规画规模,应用最多的生理信号是脑电图,其次是心电图和心率变异性(heart rate variability,HRV)等数据[2],其中HRV相干于脑电图在日常生涯中更容易赢得,又比心电图更直不雅【KUBD-050】恐怖と苦悶の表情の首絞め暴行2013-03-18幻奇&$KUBISHIME70分钟,八成使得情怀的日常检测愈加便捷。HRV是指邻接心率间期的变化情况,八成反应腹黑自主神经系统对心血管的调理,不错手脚测量和调理情怀反应的技术[3]。
当今,基于生理信号的情怀规画模子有两种[4],一种是翻脸情怀模子,另一种是维度情怀模子。翻脸情怀模子将情怀分红几类,举例振奋、震怒、悲悼等[5]。翻脸情怀模子当今在情怀识别规模中已得到广大的应用。He等[6]汇集了11名志愿者的心电图和呼吸信号,诈骗扶持向量机对4种情怀进行了识别,针对4种情怀的识别准确率分别达到了81.82%、63.64%、54.55%和30.00%。Guo等[7]诈骗HRV信号对积极和报怨两种情怀现象进行了识别,准确率分别达到了71.4%和56.9%。Cai等[8]诈骗脑电图对抑郁和非抑郁两种情怀现象进行识别,准确率达到86.98%。但情怀的变化频繁是邻接的、渐变的,情怀现象亦然复杂的,而翻脸情怀模子不及以描摹如实的情怀现象。维度情怀模子是将情怀现象映射到邻接的空间中,将翻脸的情怀现象看作是不同维度上的邻接的组合,八成反应情怀的强度,进展出复杂的多类情怀的夹杂现象,弥补了翻脸情怀模子的不及[9]。PAD(pleasure:愉悦度;arousal:叫醒度;dominance:上风度)三维情怀模子和效价-叫醒二维情怀模子[10]是常用的维度情怀模子。频年来,维度情怀模子在生理信号情怀规画上的应用十分广大。Song等[11]诈骗脑电信号对维度情怀进行了识别,在愉悦度、叫醒度和上风度上的准确率分别达到了86.23%、84.54% 和85.02%。Samara等[12]诈骗脑电信号在效价和叫醒两个维度上对情怀进行了识别,准确率分别达到79.83%和60.43%。
在邻接维度情怀的量度上,Keren等[13]诈骗皮肤电行为和心电图对叫醒和效价两个维度进行了量度,其一致性磋磨扫数分别达到了0.430和0.407, 平均值小于0.5。Yu等[14]基于图像和心率对愉悦、叫醒和上风这3个维度情怀进行量度,在3个维度上的一致性磋磨扫数分别达到了0.253 0、0.101 4和0.052 1,平均值小于0.3。这些筹议天然琢磨了维度情怀的邻接性问题,但量度精度仍然不及。跟着东谈主工智能的发展,神经收罗和扶持向量回来(support vector regression, SVR)常被用于回来量度中。神经收罗查考的数据需求量大,因此关于小样本的生理信号,SVR更具上风[15]。因主身分分析(principal component analysis,PCA)八成减少输入向量的维数,缩小规画的复杂性,本文以PAD三维情怀模子为基础,从日常生涯中易于赢得的心率和心率间期中索求HRV特征,并诈骗PCA对HRV特征降维,终末经SVR模子查考量度PAD维度的数值。驱散标明本文所提步骤在3个维度上的平均一致性磋磨扫数达到了0.51,比较于SVR、极限学习机(extreme learning machine, ELM)、基于PCA和ELM的量度步骤具有更好的量度精度,且优于文件[14]、[15]中的步骤。此外,本文提议的步骤八成量化地反应情怀现象,为情怀现象提供了更为邃密的别离,在心情治疗的追踪方面具有上风,可简化心情疾病治疗中屡次对患者症状进行评级的过程,以数值直不雅地反应出情怀现象的进程,再聚会传感器及可衣着建造,便于情怀的日常检测。
1 PAD三维情怀模子PAD三维情怀模子是由Mehrabian和Russell[16]于1974年提议的维度情怀表面,在PAD情怀表面中,情怀被分为3个维度,其中P暗意愉悦度(pleasure)、A暗意叫醒度(arousal)、D暗意上风度(dominance)。愉悦度暗意个体情怀的积极或报怨现象,叫醒度暗意个体生理神经的叫醒进程,上风度暗意个体关于环境和他东谈主的适度进程。PAD三维情怀模子如图 1所示。
图 1 PAD三维情怀模子 Fig.1 PAD three-dimensional model在PAD情怀模子中,情怀坐标的评定是通过一套基于PAD模子想象的量表来完成的。Mehrabian[17]编制了一个包括34个形势的齐备量表,琢磨到某些情况下需要参与者对心情现象进行屡次评价,于是进一步提议了简化的PAD情怀量表,其汉文版如表 1所示。李晓明等[18]对简化的PAD情怀量表进行了中国化的蜕变,考据了汉文简化版PAD量表的有用性。简化PAD情怀量表所有12项,每项为一组词意对立的情怀词汇,分值从-4到4,可凭证本身本体感受按照量表中所给词汇进行打分,举例第一项中数值淌若为-4代表震怒进程最高,淌若为4代表感意思进程最高。PAD数值可通过PAD量表规画得到,具体公式为
$ \left\{\begin{array}{l} { Value }_{\mathrm{P}}=\left(V_{1}-V_{4}+V_{7}-V_{10}\right) / 4 \\ { Value }_{\mathrm{A}}=\left(-V_{2}+V_{5}-V_{8}+V_{11}\right) / 4 \\ {Value}_{\mathrm{D}}=\left(V_{3}-V_{6}+V_{9}-V_{12}\right) / 4 \end{array}\right. $ (1) 下载CSV 表 1 简化版PAD情怀量表 Table 1 Abbreviated PAD emotion scale式中,V1~V12代表每行记载的数值。通过PAD数值标注,将翻脸的情怀现象映射到邻接的维度空间中,以维度情怀的数值来暗意情怀现象,体现了情怀的邻接性[19]。
2 基于PCA-SVR的量度模子 2.1 主身分分析主身分分析行将一组具有一定磋磨性的特搜集转移成一组互不磋磨的特征[20],是一种常用的降维步骤。
关于圭臬化治理样本S,其原始元素为sij,圭臬化后元素为sij*,规画式为
$ \begin{array}{l} \ \ \ \ \ \ \ \ s_{i j}^{*}=\frac{s_{i j}-\bar{s}_{j}}{\sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n}\left(s_{i j}-\bar{s}_{j}\right)^{2}}}, i=1, 2, \cdots, n ; j= \\ 1, 2, \cdots, m \end{array} $ (2)式中,n为样本个数,m为影响因素个数。规画磋磨扫数矩阵R
$ \boldsymbol{R}=\left[\begin{array}{ccccc} r_{11} & r_{12} & \cdots & r_{1 m-1} & r_{1 m} \\ r_{21} & r_{22} & \cdots & r_{2 m-1} & r_{2 m} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ r_{n 1} & r_{n 2} & \cdots & r_{n m-1} & r_{n m} \end{array}\right] $ (3)式中,$ r_{i j}=\text { Cov }\left(\sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n}\left(s_{i j}-\bar{s}_{i}\right)^{2}}, \sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n}\left(s_{i j}-\bar{s}_{j}\right)^{2}}\right)$,规画R的特征值λ=(λ1, λ2, …, λm)和特征向量ai=(a1, a2, …, am),并采纳前K个因素求累计孝顺度
$ \theta=\sum\limits_{i=1}^{K} \lambda_{i} / \sum\limits_{i=1}^{m} \lambda_{i} $ (4)由前K个特征向量构成的降维矩阵P=[p1, p2, …, pK],降维后的特征矩阵S′=SP。
2.2 扶持向量回来扶持向量回来所以统计学为基础,将输入向量非线性地变换到高维特征空间中, 然后在高维特征空间中进行线性回来, 以完了在原空间的非线性回来,达到理念念学习的遵循[21]。
假定样本集为{(x1, y1), (x2, y2), …, (xn, yn)},其中xi=(xi1, xi2, …, xim)暗意特征向量。SVR主要用于求得样本输入数据x对应的量度值y。假定x与y之间的函数关系抒发式为
$ y=f(\boldsymbol{x})=\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}(\boldsymbol{x})+b $ (5)式中,φ(x)=(φ1(x), φ2(x), …, φm(x))T是m维列向量;ω=(ω1, ω2, …, ωm)T是m维权向量,暗意进行线性回来时的权重;b为偏置值。输入数据x映射到m维的特征空间内造成φ(x), 使得φ(x)与y的关系为线性关系,输入数据空间内的非线性拟合问题变为高维特征空间内的线性拟合问题。
SVR遴选ε-不解锐函数手脚圆寂函数。率先,针对具体问题界说一个常量ε > 0,关于某同样本(xi, yi),淌若|yi-ωTφ(xi)-b|≤ε,则满盈莫得圆寂,不然对应的圆寂为|yi-ωTφ(xi)-b|-ε。即ε-不解锐函数可整理为
$ \begin{aligned} &e\left(\boldsymbol{x}_{i}\right)= \\ &\left\{\begin{array}{l} 0, \left|y_{i}-\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)-b\right| \leqslant \varepsilon \\ \left|y_{i}-\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)-b\right|-\varepsilon, \left|y_{i}-\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)-b\right|>{\varepsilon} \end{array}\right. \end{aligned} $ (6)为使圆寂函数最小,基于结构风险最小化准则,详情ω和b的敛迹条目并对观念函数进行优化,构建最优化准则
全国约炮 $ \left\{\begin{array}{l} \min J \mid J=\frac{1}{2} \boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\omega}+\frac{1}{2} c \sum\limits_{i=1}^{n} e_{i}^{2} \\ y_{i}=\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)+b+e_{i} \end{array}\quad i=1, 2, \cdots, n\right. $ (7)式中,J为观念函数,ei为轻松变量,c为正则化函数。诈骗拉格朗日函数将式(7)升沉为对偶体式
$ \begin{array}{l} \ \ \ \ \ \ \ \ L(\boldsymbol{\omega}, b, e, \alpha)=J-\sum\limits_{i=1}^{n} \alpha_{i}\left\{\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)+b+e_{i}-\right. \\ \left.y_{i}\right\} \end{array} $ (8)式中αi为拉格朗日因子。用式(8)求解最优解,令式(8)对ω、b、αi和ei的偏导均为0,可得
$ \begin{aligned} &\boldsymbol{\omega}=\sum\limits_{i=1}^{n} \alpha_{i} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right) \\ &\sum\limits_{i=1}^{n} \alpha_{i}=0 \\ &y_{i}=\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)+b+e_{i} \\ &e_{i}=-\alpha_{i} / c \end{aligned} $ (9)整理可得
$ y=f(\boldsymbol{x})=\sum\limits_{i=1}^{n} \alpha_{i} K\left(\boldsymbol{x}, \boldsymbol{x}_{i}\right)+b $ (10)式中,径向基核函数K(x, xi)=φ(x)Tφ(xi)。
2.3 基于PCA-SVR的PAD量度经过本文中所提的基于HRV特征和PCA-SVR的PAD量度步骤聚会可衣着建造,从压力脉搏赢得的心率和心率间期数据中索求HRV时域、频域和非线性特征,经过PCA抽取HRV主身分后经SVR模子查考量度得到PAD数值。具体关键如下。
1) 经过相通践诺赢得相应情怀现象的心率和心率间期数据,并通过PAD量表进行标注。
2) 从心率和心率间期数据中索求HRV时域、频域和非线性特征,并通过PCA索求HRV的主身分特征。
3) 按照2∶1的比例别离查考集和测试集,终末经SVR查考量度得到PAD的3个维度的量度值。
3 践诺与分析 3.1 践诺数据本文诈骗装配了柔性离子传感器的衣着建造[22],通过配套的Matlab软件给与传感器发送的数据。共汇集了12名志愿者经视频和音乐相通后的心率和心率间期数据,每组数据包含火暴和沉静两种情怀现象,视频是由电影片断裁剪而成,相通火暴情怀,音乐是一首舒徐的钢琴和管弦民谣,相通沉静情怀。传感器及衣着建造如图 2所示。数据汇集过程中,志愿者保握坐立姿势,在视频和音乐事后,让志愿者分别填写两次PAD量表,凭证量表中各项数值规画PAD数值。通过PAD数值的标注,完了从翻脸的情怀现象到邻接空间的映射。凭证文件[16],火暴情怀的PAD数值规模为(ValueP < 0, ValueA > 0, ValueD < 0),沉静情怀的PAD数值规模为(ValueP>0, ValueA < 0, ValueD > 0)。凭证由PAD量表规画得到的PAD数值是否在对应的情怀规模内来判断数据的有用性。
图 2 传感器及衣着建造 Fig.2 The sensor and the wearable device 3.2 HRV特征索求通过对汇集数据进行时域、频域和非线性分析,共索求了19维特征,如表 2所示。其中经受均值和方差等统计步骤索求了8个时域特征,对应表中编号1~8;凭证Welch功率谱法[23]索求了7个频域特征,对应表中编号9~15;凭证Poincaré散点图[24]、熵分析[25]和分形维数[26]索求了4个非线性特征,对应表中编号16~19。
下载CSV 表 2 HRV特征 Table 2 HRV features 3.3 主身分索求HRV特征经PCA治理得到主身分孝顺率和累计孝顺度,如表 3所示。
下载CSV 表 3 主身分孝顺率及累计孝顺度 Table 3 Principal component contribution rate and cumulative contribution当诈骗PCA对特征进行分析的累计孝顺度大于85%时,可以为刻下主身分已包含原始数据中的信息,且累计孝顺度越大,包含的信息越多[27]。凭证主身分孝顺度,本文华纳累计孝顺度直至达到99%的前12个主身分(对应于表 3中主身分1~12)手脚SVR模子的输入特征。
3.4 性能规画本文经受均方破绽EMS(MSE)、磋磨扫数ρ和一致性磋磨扫数ρc对模子进行评价,其公式如下。
$ E_{\mathrm{MS}}=\frac{1}{n} \sum\limits_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2} $ (11) $ \rho=\frac{\operatorname{Cov}(y, \hat{y})}{\sigma_{y} \sigma_{\hat{y}}} $ (12) $ \rho_{\mathrm{c}}=\frac{2 \rho \sigma_{y} \sigma_{\hat{y}}}{\sigma_{y}^{2}+\sigma_{\hat{y}}^{2}+(\bar{y}-\bar{\hat{y}})^{2}} $ (13)式中,y和$\hat{y} $为盼愿输出和量度输出,n为测试集样本个数,σy和$\sigma_{\hat{y}} $分别为盼愿输出和量度输出的圭臬偏差。MSE越小,量度驱散越准确,ρ越接近于1,量度输出与盼愿输出的拟合度越高,ρc越接近于1,诠释模子的举座进展越好。
3.5 践诺驱散与分析关于2.3节中别离的查考集和测试集,其中单一情怀现象的查考集样本个数为8个,测试集样本个数为4个,夹杂情怀现象的查考集样本个数为16个,测试集样本个数为8个。经受本文所提步骤在单一情怀现象和夹杂情怀现象下分别通过践诺进行量度,并与SVR、ELM[28]和基于PCA的ELM(PCA-ELM)这3种量度步骤进行了对比,其中沉静情怀现象下的量度驱散如表 4所示,火暴情怀现象下的量度驱散如表 5所示,沉静和火暴两类夹杂情怀现象下的量度驱散如表 6所示。
下载CSV 表 4 沉静情怀现象下的回来量度驱散 Table 4 Regression prediction results for relaxed emotion 下载CSV 表 5 火暴情怀现象下的回来量度驱散 Table 5 Regression prediction results for anxious emotion 下载CSV 表 6 夹杂情怀现象下的回来量度驱散 Table 6 Regression prediction results for mixed emotion聚会表 4、表 5的量度驱散不错看出,在沉静情怀现象下,P维度上PCA-SVR步骤相干于SVR步骤仅在MSE上有所晋升,在D维度上ρ和MSE均有晋升,而在A维度上3个规画均有所缩小。在火暴情怀现象下,PCA-SVR步骤相干于SVR步骤在P维度上ρ晋升较大,而ρc有所缩小,A维度上MSE晋升较大,而ρ稍有缩小,D维度上ρ晋升较大,ρc有所缩小。在两种单一情怀现象下,PCA-SVR步骤相干于SVR步骤ρc齐有所下落,诠释在单一情怀现象下,PCA-SVR模子相干于SVR模子的上风并不昭彰。从表 6的量度驱散不错看到,在夹杂情怀现象下,PCA-SVR模子在A维度上的MSE稍差于SVR模子;在D维度上ρ和ρc稍有下落,MSE有所晋升;在P维度上,3个规画均有所晋升。从3个维度轮廓来看,PCA-SVR相干于ELM、PCA-ELM和SVR在ρc上分别晋升了0.10、0.04和0.14,且在另外两个规画上也有不同进程的晋升,因此在举座上PCA-SVR具有更好的量度遵循。
在单一情怀现象下,从4种步骤的评价规画不错得到,经过PCA治理的模子(PCA-SVR和PCA-ELM)相干于原有模子(SVR和ELM)晋升遵循不昭彰致使莫得晋升,原因是在单一情怀现象下的查考数据较少,不同步骤的量度驱散各别较大。沉静和火暴两类夹杂情怀现象下PCA-SVR模子在3个维度上的标注值和量度值对比如图 3~5所示。
图 3 P维度标注值与量度值对比 Fig.3 Comparison of labeled values and predicted values in the P dimension 图 4 A维度标注值与量度值对比 Fig.4 Comparison of labeled values and predicted values in the A dimension 图 5 D维度标注值与量度值对比 Fig.5 Comparison of labeled values and predicted values in the D dimension从图 3~5不错看出,在P维度和A维度上,PCA-SVR模子八成很好地反应出情怀变化情况,而在D维度上量度值的变化趋势与标注值比较并不十分吻合。聚会表 6入彀划,PCA-SVR模子能很好地在愉悦度和叫醒度上识别和量度情怀,在上风度上的量度遵循相干于其他两个维度较差,诠释在区分愉悦-非愉悦和叫醒-非叫醒上PCA-SVR模子具有更好的遵循。
轮廓以上践诺驱散,本文所提步骤能在一定进程上反应出情怀变化的趋势,关于某些报怨情怀的预警有一定的指令作用。关于需要邃密别离的情怀,通过PAD数值量度不错达到精细别离的目的,在情怀识别和分析方面起到了补充作用。
4 收尾语本文提议了基于HRV特征和PCA-SVR的PAD维度情怀量度模子。在夹杂情怀现象下的3个维度上MSE平均仅为1.03,ρ平均达到0.78,ρc平均为0.51,对比SVR、ELM和PCA-ELM这3个模子,PCA-SVR模子在3个评价规画上均有晋升,其中在一致性磋磨扫数上分别晋升了0.14、0.10和0.04,同期量度精度优于文件[14](ρc < 0.5)和文件[15](ρc < 0.3)中使用的步骤。本文提议的步骤能以较高的准确性量度PAD维度数值,不错直不雅地反应情怀的进程,是对情怀识别技术的补充。通过本文所提步骤可简化情怀磋磨疾病的治疗过程中屡次评级的过程,能更直不雅地暗意情怀的进程【KUBD-050】恐怖と苦悶の表情の首絞め暴行2013-03-18幻奇&$KUBISHIME70分钟,且HRV信号便于赢得,聚会可衣着建造更合适日常生涯中的情怀检测。在改日的筹议中,会琢磨更多类型的情怀,延迟数据集,并在量度模子上作出革命。