11

卷积神经网络随着科学技术的发展，神经网络在计算机领域的应用越来越广泛，本节对深度人脸伪造鉴别领域中用到的信息技术进行简单介绍，如深度神经网络、卷积神经网络深度学习是随着计算机信息技术发展起来的一种学习方法，是人工智能中不可缺少的信息技术，深度学习与机器学习、智能学习的关系，如图2.1所示。

在确定的信息领域中，机器学习是一种简单高效的学习方法，它可以通过对信息的筛选，快速找到需要用到的信息机器学习受到人的培训，但是不一定通过程序来写机器学习模仿人的学习过程，自动获取新技术和新知识，不断完善知识体系，优化知识结构，提高机器功能。

深度学习是一门机器学习的技术，可以从庞大的数据信息中抓取有效信息，从不同层次中进行学习，不同层次的知识有不同层次的表达方式，机器学习在扩展知识结构的同时，也往往意味着计算能力的提高深度学习具有功能强大、适应性强的特点。

深度学习把世界以层级概念划分系统，把简单的概念通过复杂的网络连接起来，实现了对知识结构从普遍抽象到高度抽象的优化在几年时间里，深度学习已经颠覆了以往对声音的辨识程度；深度学习在图像分类、数字化阅读等方面，可以根据数据资料，通过数据末端到数据末端的方法，输出最终的数据处理方法。

深入学习中的“深度”不是对知识的深入了解，而是对输出结果的持续展示深度学习在以数据模式为深度的数据模型中，通过神经网络的模式获得知识层级的数量和深度在图2.2中展示了深度学习的工作模式，深度学习的权重是指深度学习在每个知识层次上对这个知识层次的处理表现，这种表现以特定的数据表现出来，这个数据就是加权系数。

深度学习的方法就是通过互联网技术在庞大的数据库中寻找一套加权的集合为了控制数据输出的质量和速度，必须对输出和期望的间距进行测量，这种测量方式是通过损耗功能的测量实现的最优权重把输出和期望的间接作为反馈信息，对权重数据进行更新，实现数据的逆向传递。

（2）卷积神经网络卷积神经网络（Convolutional Neural Network, CNN）也是深度学习的一种结构，这种结构在网络中加入了卷积的计算方法，也就是在神经网络的基础上加入了卷积层和池化层，以提高信息的提取效率。

点击神经网络的数据是以图像的方式输入的，数据的重点是图像的三维信息，也就是高度、宽度、通道（RBG）以图片的方式作为卷积核，对数据进行扫描式的卷积计算，这样可以减少计算量，提高计算效率，实现稀疏连接1998年Yann[42,43]等使用梯度学习的方法，首次提出卷积神经网络LeNet-5，分别包含了卷积层、池化层、全连接层。

通过这一个卷积神经网络，可以对手写字体进行识别，正确率高达99%这是卷积神经网络在实际生活中的一次成功应用，这引起了相关研究人员的重视，为卷积神经网络的发展奠定了基础2012年，Hinton[44]等人提出了卷积神经网络AlexNet，这一模型在图像分类的速度和精度上都远远超过了传统模型，取得了数据图像识别比赛的第一名。

之后，研究人员对卷积神经网络进行了更加深入的研究，比如VGGnet[45]为了提高卷积神经网络的性能，开发了InceptionNet[46-49]但是随着对前期神经网络研究的不断深入，发现卷积神经网络在增加深度的同时存在性能、梯度消失等问题，为了解决这些问题，相关研究者提出了ResNet[50]网络。

随着新型网络的提出和新型技术的发展，卷积神经网络的研究越来越深入，卷积神经网络在视觉分类上的速度和精度远远超过了人类本身，这些研究将以卷积神经网络为基础的深度学习向更高的层次推进人们根据人类的注意力机理制定了卷积神经网络的注意力机理，也就是把卷积神经网络的注意力集中在所有数据中的局部，然后对局部数据进行加工和解析。

在生活中注意力机制的应用随处可见：当人们看见某个图片的时候，往往会把注意力集中在图片上的某个位置；当人们在看一篇文章的时候，往往会把注意力集中在一行文字上；当人们在听音乐的时候往往会根据自己的感受，把注意力集中在引起自己情绪波动的地方。

卷积神经网络根据人类注意力激机理使用拟合的方法对数据进行提取，这样往往可以得到很好的效果神经网络的注意力机理使得神经网络在加工和提取数据的时候会忽略无关矢量，重点关注特征矢量的计算，从而剔除了多余信息对关键信息的ganrao，实现了对数据信息的有效提取，在提高计算效率的同时，也提高了计算的精确度。

人类视觉大脑对视觉信息的处理是通过视觉的注意力机制完成的人类在看到图片信息的时候，往往要进行以下三步：第一，重点关注图片中的某一个区域；第二，对图片中的这个区域投入精力；第三，忽略这个区域之外的其他信息。

用通俗一点的话讲注意力机制就是一种聚焦机制在机器学习的模型建立过程中往往也会用到注意力激励，这就是“Attention”的的方法，比如逻辑回归：在模型中输入数据x1，x2，...xn模型输出的数据是y，这一模型的方程式为；其中，z=。

从方程式中可以看出模型中的变量系数决定了变量对目标 的影响程度，变量系数的绝对值越大，变量对输出数据的影响也越大通过建模了解到的不同变量对目标的影响程度，影响程度越大的变量就是我们越需要重点关注的变量，这就是Attention的思想。

注意力模块可以使卷积神经网络更加关注所有数据中有特点映射的信息，其计算步骤如下： ①将数据特征图������通过 1×1 的卷积操作，然后把数据转移到三个特征集合���(���)，���(���)和ℎ(���)中，如公式(4.7)所示，其中 ��� ��� ∈ ��� ��� ̅× ��� ， ��� ��� ∈ ��� ��� ̅× ��� ， ��� ��� ∈ ��� ��� ̅× ��� 表示滤波范围，而��� = ��� ∕ 8。

���(���) = ������������，���(���) = ������������， ℎ(���) = ���ℎ������(4.7) ②其次对���(���)进行转置操作后与���(���)相乘，通过 Softmax对数据进行逻辑归化可以得到注意力图������,���。

如公式(4.8)所示，������,���表示绝技神经网络第 j 个区域时对第 i 个位置的数据处理效果 ������,��� = ���������������������(���(������)���,���(������))

(4.8)通过卷积神经网络提取特征的每一个数据通道都表示一个专门的数据检测装置，所以必须对通道的注意力机制进行规范为了对所有市局的特征进行汇总，通道注意力机制使用最大池化和平均值化两种方式来获取特征信息。

在卷积神经网络中输入是 H×W×C 的特征，数据通道会先对所有数据进行平均值化和最大池化，从而得到两个 1×1×C 的通道特征接着再把通道特征输入到有激活函数的神经网络中，这个神经网络中的两层数据信息是可以共享的，然后将神经网络得到的特征信息经过Sigmoid 激活函数，从而得到数据的权重系数Mc。

在卷积神经网络中输入特征F，就可以得到计算之后的新特征本章的卷积神经网络中加入了Xception模块，可以实现对数据特征的有效提取，这也是这一网络的主干网络Xception在对谷歌概念模块的基础上进行了改良，把数据相关性和通道相关性分离，把谷歌概念模块中的多尺度卷积替换为可分离的卷积，在ResNet网络的基础上，加入了Block [55]等多个模块组合而成。

整个数据网络模块分为三个部分：Entry，Middle和ExitEntry部分的最后一个模块中加入了注意力机制；Middle部分中有10个Block模块；Exit部分包含BlockA、可分离卷积及GAP部分，其结构如图3.5和3.6所示。

BlockA和BlockB模块中中的分离滤波器大小是3×3，合并滤波器大小是1×1，步长为2，最大滤波器大小是3×3，步长为2在一般的卷积神经网络中，通常是将图像3的数据通道和滤波器的通道一起进行卷积，卷积过程如图3.7所示。

其中卷积网络中数据输入的图片是三通道彩色图片，卷积层中包括4个过滤器，每个过滤器中有三个卷积核，每个卷积核的大小为3×3，经过卷积计算得到4个特征图，特征图的尺寸和输入图片的尺寸相同Xception网络网络中的卷积网络是一种可分离的卷积网络，不同于一般的卷积网络，它可以将卷积运算的运算过程分为两个步骤来进行，分别是Depthwise卷积与Pointwise卷积。

其中Depthwise卷积是以2D形式进行，并且过滤器的数量和上一层的数据深度一样卷积神经网络对于输入的图像进行三个通道的计算之后生成了三个特征，图如图3.8所示Depthwise卷积进行卷积计算之后输出的特征图数量与输入的特征图深度一样完，通过Pointwise卷积可以把生成的特征图进行组合，从而得到新的特征图。

Pointwise卷积的计算方式和一般卷积运算的方式相同，区别在于Pointwise卷积的卷积核尺寸是1×1×W，W是上一个卷积层的深度，滤波器的数量与特征图数量相同如图3.9所示综上可知在相同条件下一般卷积层的数据是108个（4×3×3×3=108），可分立卷积层的数据是39个（3×3×3+1×1×3×4=39）。

所以，可分离卷积层的数据是一般卷积层的1/3所以，如果输入的数据数量相同，那么可以将可分离卷积神经网络的层数进行适当调整综合来看，Xception卷积神经网络可以提高卷积网络的计算效率，在处理相同数量数据的情况下，Xception卷积神经网络可以极大的提高计算效率。

此外，硬件条件相同的情况下，也可以使用Xception网络进行数据的分析和处理，提高数据的提取效率本章吧文章把注意力机制和Xception结合起来，把注意力机制放在entry到最后一个模块BlockA里，锥栗模块的结构模型已经在第二章介绍过，本章不再赘述。

3.3 损失函数设计损失函数也叫做代价函数，是一种把随机事件的发生概率与随机事件的风险进行一一映射的函数在深度学习的应用中，通常会选择一个函数作为卷积神经网络的代价函数，用来对数据输入信息和数据输出信息之间的偏差进行测量，可以通过梯度下降的方法对卷损失函数在卷积神经网络中的应用进行优化，对数据在卷积神经网络中的权重的进行更新，实现最小损失。

代价函数的选择可能会影响到卷积神经网络的学习效果，此外，代价函数往往与网络中的鲁棒性有负相关关系，也就是说代价函数越小，鲁棒性越强[31]不同的代价函数对卷积神经网络的计算效果有不同影响，合适的代价函数可能会提高卷积神经网络训练的稳定性和可靠性。

根据代价函数对不同特异性问题的反应，可以选择合适的代价函数以提高卷积神经网络的性能本设计根据人脸的细微差异设计了代价函数，该代价函数可以分为两个部分，方程式如（3.13）其中，为交叉熵损失，为中心损失 （3.13）

交叉熵交叉熵可以在机器学习中作为代价函数使用，p表示卷积神经网络中数据的分配， q表示卷积神经网络经过训练后模型对数据的分配，并且使用这种方法对p和q的相似程度进行测试，从而对数据的可能性作出预判因为输出数据的错误可能会影响到机器学习的学习速度和学习质量，所以如果斜坡下降，那么交熵商会越小，数据模型的预测效果越好，交叉熵损失具体公式如式3.14。

（3.14）其中为实际标签值，图片表示卷积神经网络的预判结果值借鉴了中心损失（Center-Loss），中心损失是在软件Loss的基础上，使每一个特征集合中都有拥有一个核心，在进行学习的时候，会在特征集合中增大训练样本在空间和类别之间的属性差别。

如图3.15所示其中（a）是一般代价函数得到的特征数据，（b）是中心损失得到的特征数据从图3.13可以看出与一般的代价函数相比，中心代价函数能把同类样本数据之间的差异缩小，使同类样本数据之间的相似性变大，使所有数据都像样本中心集合，这主要表现在图中d1和d2的距离变短。

不同数据类别之间样本差异变大，可以看出图中d的数据没有变化本小小节使用不同数据的特征中心代替原来损失中的类别中心，尽可能地减少相同类别中同类数据的差异具体的计算方式为式1.23： （3.15）其中，图片表示卷积神经网络预测出的数值，c为表示数据集合的特征中心。

（3.16） 此处增加一个范围的度量a,那么数据集合的特征中心就不会发生抖动 （3.18） c的初始数据是0，根据滑动平均公式实时更新这样可以让模型先学习较为简单的特征，再逐步增加学习难度和学习负载。

卷积神经网络使用梯度下降的方法，对输入的数据进行训练本实验中输入图片的分辨率是235×235，批次大小是18，使用Adam对图片进行优化，其超参数���1 =0.9, ���2=0.999，初始学习率(Learning Rate)为 0.0001。

（3）评价指标1.评价指标为了对鉴伪网络模型的鉴定效果进行公正的评价，本章根据鉴伪网络对人脸的鉴定效果建立混淆矩阵，根据准确率、误差率、漏检率等数据进行进行评估其含义如下：（1）混淆矩阵对于经过训练的鉴伪模型，可以使用混淆矩阵的方式对鉴伪模型的准确度进行表示。

鉴伪结果的模糊矩阵如图3.1所示真实例（TP）表示的是实际测试结果是正评估结果是正的样本数量，而伪反实例（FN）表示的是实际测试结果是负评估结果是负的情况，而伪正态（FP）表示的是实际测试结果是负评估结果是负的样本数量。

在模型的分类目标中，首要目标是减少假正例和假反例的数量，增加真正例和真反例数量在真假人脸鉴别的任务中，把真实人脸图像的标记设置为负样本(Negative)，把虚假人脸图像的标记设置为正样本(Positive)。

为了便于查看，本章把上述内容整理为表3.2如下文章还在EfficientB4网络的基础上增加了多个注意力机制，这样可以增加卷积神经网络的聚焦范围，加大对面部眼睛、鼻子、嘴巴等重点部位信息的关注比如头发、皮肤等不重要的部分将不会被重点关注，这样可以减少计算压力。

最终原来的特点图也会被经过注意力机制筛选之后的特点图所替代此外注意力机制还可以对卷积核进行筛选，剔除掉尺寸较大的卷积核，从而避免数据过多的问题本设计的网络结构使用 EfficientnNetB4 鉴伪算法对多通道注意力机制进行改进，其网络结构图如图4. 2 所示。

在主干网络中输入图像 I ， 其中在主干网络中第1个3×3卷积和第1个3×3的MBConv1 卷积之间增加注意力机制的通道，将主干网络中数据进行提取，从而得到 123×123×45的特征图，把特征图输入注意力模块，对特征图进行进一步的抽象提取，得到大小为13×13×63的特征图。

对特征图进行全局平均池化处理，得到全连接层的数据结果，如果数据结果是真实人脸图像，那么网络会输入最终辨别结果为Real；如果数据结果是虚假人脸图像，那么网络会输出最终辨别结果Fake通过表 4.1 的数据，本章根据卷积神经网络的样本数量、分类的准确度和计算机硬件等条件的综合评估，最终选择 EfficientNetB4 作为主干网络，在主干网络的基础上设计了脸脸鉴别的算法。

参与主干网络建设的样本量有1700万个左右，使用图像网络数据集进行测试， TOP-5的准确度可以达到97.3%，TOP-1 准确度可以达到 82.4%，EfficientNetB4 具体数据如表 4.2 所示。

EfficientNetB4 中输入的图像大小是223×223×4，经过一般卷积和移动倒置瓶颈 MBConv 模块，最终可以得到大小为6×6×1682的特征图；对特征进行全局平均池化，可以得到1894维的特征向量。

经典的卷积神经网络可以通过增加网络厚度，提高图像的像素来提高数据评估的准确度虽然图像的尺寸可以随意放大或缩小，但是却要依靠人工调节来完成，所以在大部分的样本中仅仅只有一个图像尺寸的比例数据但是这项调查也表明均衡的网络结构，可以容纳的样本量大；网络的宽和解析能力是网络容量的关键性指标，如果仅仅只增加尺寸，数字图像的尺寸依然会有限制。

所以，在一定尺寸组合模式的基础上对图像的尺寸给出了新的计算方法通过对图像进行宽度和深度的缩放，可以让图像在三个尺寸的比例上保持不变，图4.3 (a)表示的是输入图像的清晰度已经被确定的标准图像模式；图4.3 (b)表示的是图像宽度的尺寸添加到标准图像模式中所显示的图像模式；图4.3 (c)表示的是把这一维度增加到标准图像模式中所显示的图像模式；图4.3 (d)表示的是只增加了一维的清晰度之后的图像模式；图4.3 (e)表示的是在标准图像模式中按照宽度深度分辨率的比例进行确定之后的图像模式。

对于这种图像模式的缩放方法，可以使用复合系数���对图像的深度、宽度和分辨率进行均匀缩放，具体如公式(4.1)所示���表示用户指定的系数，这一个系数可以对模型缩放中用到的数据进行控制，与计算机有关系而���，���，���是在矩阵搜索中经常用到的常量，可以用来指定将哪些数据分配给网络深度(d)、宽度(w)和分辨率(r)。

如果模型的深度是初始模型的2倍，那么模型浮点运算的次数也是初始模型的 2 倍；如果模型的宽度和分辨率是初始模型的2倍，那么模型浮点运算的次数是初始模型的4倍因为在卷积神经网络中卷积操作的计算成本是所有计算成本中占比最高的计算成本，也就是说阶级操作的计算成本与���2、���2、���2成正比。

在对��� ∙ ���2 ∙ ���2 ≈ 2 进行约束时，对于任何用户指定的系数φ来说，经过复合缩放后的模型每秒浮点运算次数是初始模型的2φ倍在模型 EfficientNetB0 中，MBConv 模块[54]的结构与深度可分离卷积结构的结构相似，如图4.4所示。

在MBConv 模块中，对输入的数据进行1×1的对点卷积操作，同时根据扩展比例对卷积模型中的数据输出通道的维度进行调整例如在 MBConv6 模块中，扩展比例为 6，输出通道的维度会增加6倍；在MBConv1 模块中，扩展比例为 1，会对输入数据进行逐点卷积操作，规划操作和激活函数3层操作，其次进行 K×K 的深度卷积。

对卷积模型中的压缩操作和激发操作进行优化，那么这一模块会在卷积操作的后台继续运行运行结束之后的逐点卷积操作是对卷积神经网络中原通道维度的改变最后在网络中引入失火和输入的连接，这样可以避免卷积神经网络模型在拟合的同时，能够保证模型的深度和可靠性，减少模型训练的时间成本，提高模型的效率和确度。

在第1次逐点卷积和深度卷积操作之后，数据层中会跟随一个归化层和 Swish 激活函数层；在对模型进行第2次终点卷积之后，数据曾中只会有一个归化层在 EfficientNet 中，只有 MBConv 连续出现的时候，数据失活层和输入层才会连接起来，这个时候卷积的步长是1。

本章使用注意力机制的思想设计出了模型的注意力机制模块MCA，这一模块主要有A、B、Q三个部分组成，结构图如图4.6所示这一模块通过矩阵相乘的方式把整体和局部关注点结合起来，然后通过跳跃连接的方式把模块和卷积神经网络连接起来。

下文将对这一模块的细节进行简单介绍（1）A分支：单层卷积全局注意力A分支的注意点表达方式如图4.7所示可以使用卷积的全局注意力，使卷积的权重更加明显，对A分支的维度进行重建，可以得到具有[B* N*16]整个卷积网络的注意力曲线F1。

这里，" N= H× W"，即 Feature的长度和宽度，而 B是 Feature尺寸这一方法使用18个1×1的卷积核和标准的归化对全局的注意力进行表达因为卷积层Conv的数据输出具有单一性和密集性的特点，所以在卷积层后面增加BN层, 用来减少模型对初始数据的敏感性和对数据删除项的要求，从而使网络数据向中心集聚，加快网络训练速度和质量，减少训练时间。

模型的归化传导方式，如式3.1、3.2所示其中，和表示数据的平均值和方差B分支借鉴了CBAM[72]对注意力的表示方法，具体的结构如图3.11所示B分支对特征图做了最大池化和平均值化处理，并对注意力机制通道进行拼接，通过18个1×1卷积核的卷积层和Sigmoid激活函数，最终得到特点图。

re特点图的计算过程为式4.4： （4.4）其中表示输入数据的特点图Feature，和分别是最大池化层和平均池化层，为1×1大小为1×1的卷积核，为sigmoid激活函数数据经过最大池化层和平均值换层之后会遭受一定的损失，因为经过处理之后，只剩下局部重点信息，称为局部注意力表示。

其中sigmoid激活函数的表达式如式4.5： （4.5）从图4.9可以看出，sigmoid激活函数可以对自然数进行压缩，将其压缩到0~1之间如果z是正数，那么z的数值越大，会越接近于1，如果z的数值越小，g(z)会越接近于0。

sigmoid激活函数可以对线性模型的缺点进行补偿，使用这一函数不存在数据梯度消失的问题，同时还能够对数据特征进行有效提取在以上算法的基础上，可以通过矩阵乘法把整体和局部的注意力表达方法[39]与全局特征[40]的组合，也就是把A分支与 B分支的组合起来，如图4.10。

将 A、 B分支得到的F_1、F_2的数据从 H×W向 N维度转变，使 A、 B分支大小达到[B×N×16]和[B×16×N]通过对和的乘积，大小为[B× N× N]的 D矩阵可以把 D矩阵当做是一个关联性很强的矩阵，从这一句阵中可以看出每一个特征和集合的相互关系。

这样在强化数据重点的时候，可以避免其他关键数据的丢失其计算过程如下：矩阵D的计算公式为式4.6： （4.6）其中，和表示由分支A和B进行的卷积操作代表矩阵D中第行列的元素，是由第行和第列的向量相乘得到的。

第行表示的是特征集合上第个位置上所有通道的数据，也就是第个位置的所有数据信息；第列表示的是特征集合上第个位置上的所有通道的数据，也就是第个位置上的所有数据信息两者相乘，可以看成是第个像素对第个像素的影响。

所以矩阵D中第行列的数据，即，表示第个点的数据对第个点数据的影响为了避免梯度消失的问题出现，可以用Softmax对D矩阵进行表示，得到S矩阵式4.7为矩阵S的计算公式 （4.7）其中，各行元素之和为1S矩阵中第行数据，表示特征集合中所有数据对第个数据的影响，这就是权重。

S矩阵大小同相关性矩阵D（3）Q分支Q分支示意图如图4.11所示Q分支经过C个1×1卷积核卷积后的特征图F0，对特点集合增加了一层卷积映射，可以从网络中得到更多的数据，这里C为2036，和Xception的数据通道数量相同。

把权重应用到F0上，也就是每个数据都与整个特征集合相关，相关性来自于D矩阵将F0[C×N]矩阵同S矩阵的转置[N×N]相乘，得到数据Out_Att[C×N]对S矩阵进行转置，因为S矩阵中每行数据相加是1，也就是权重，在转置之后，要把转置矩阵上每列的和变为1，整合于F0的行上，作为这一行的加权平均数。

如图4.8所示，F0第行表示第个通道的所有数据，输出Out_Att的第列，表示所有数据相加的结果受到第个像素的影响因此，Out_Att中第行包含了数据输出通道中第个通道中的所有数据，第列表示所有像素中的第个像素，结合起来看，输出Out_Att中的第行第列的元素，表示被转置矩阵加权之后的特征集合在第个通道、第个像素的数值。

之后对输出Out_Att的数据维度进行重新建构，使输出Out_Att恢复为B×C×W×H的尺寸式4.8为输出Out_Att的计算公式 （4.8）其中，为Q分支的卷积操作表示（4）跳跃连接在对较深的卷积神经网络进行训练的时候，常常会出现以下两种问题：。

梯度消失问题：数据的初始设定往往接近于0，浅层的数据往往会随着网络深度的增加而没有办法更新，这就会导致数据梯度消失网络退化问题：网络深度在增加的过程中，网络中产生的多余参数得不到一一映射，就会导致模型性能下降。

ResNet残差块中具有跳跃连接层，可以解决梯度消失问题和网络退化问题ResNet认为卷积神经网络在训练的过程中会得到最优的网络结构和层数，但是随着网络深度的增加，往往会产生多个多余的数据层ResNet通过跳跃连接层，实现多余数据层中数据输入和输出的协同，从而实现恒等映射。

ResNet残差块中跳跃连接的示意图如图4.13所示，其中z是输入数据，H(z)是数据经过县境变化和函数激活之后输出的数据如在图4.13中 ResNet残余区块所示，如果这一次是多余的那么，多余的数据层数据输入和数据输出是协同的，当此结构完成的时候，就是在下一次线性改变之后，再加上 z。

这个进入Z的通道叫跳跃连接通道，这个通道可以让网络中的深层数据快速聚集起来，避免模型性能的下降所以，在卷积神经网络中，可以使用ResNet残差块实现数据跳跃，来避免梯度消失问题和网络退化问题此外模型中还引入了调整参数ε，把调整参数的初始值设置为0，使得Out_Att的权重数据必须通过逆向传递来实现。

其具体的计算公式4.9： （4.9）在初始阶段，为0，输出y直接返回输入的F，随着模型训练的深入，数据F经过注意力机制，输出数据y中经过注意力机制的F得到了强调为了减少计算时间，提高训练效率，在输出Out_Att后又加了1×1的卷积层和BN层，然后得到注意力图4.14。

本设计二级目的是对真假人脸进行鉴别，本文选择交叉熵代价函数，作为卷积神经网络的函数，交叉熵可以对同一个变量上的正反两种概率的分布情况进行评估，也就是对实际分布情况和概率分布情况之间的差异进行评估鉴伪网络对真假人脸的辨别效率越高，交叉熵损失越小，其方程式如(4.10)所示。

其中���̂���表示第 i 幅人脸图像的预测情况，������代表第 i 幅人脸图片的实际情况，可以用0或1表示实际情况是0的时候表示，输入图像是真脸图像，实际情况是1的时候表示输入图像是假脸图像此外，N 表示所有图像的个数。

具体公式如式4.10 （4.10）现在基于学习的鉴别方法大多是在同类训练的基础上检测出来的，但是在不同类训练上的应用效果较差为了对本设计中卷积神经网络模型的泛化能力进行验证，本节使用同源数据和异源数据对模型进行了实验对比。

4.3.