深度学习过拟合 深度网络过拟合

琪琪今天给分享深度学习过拟合的知识，其中也会对深度网络过拟合进行解释，希望能解决你的问题，请看下面的文章阅读吧！

深度学习过拟合 深度网络过拟合

深度学习过拟合 深度网络过拟合

1、在YOLOv3训练时，loss降到0.1到1之间比较合适。

2、当loss值低于0.1时，可能会出现过拟合的情况，当loss值在0.1到1之间时，可以更好地避免过拟合的问题。

3、loss值越低，表明模型的泛化能力越强，可以更好地应用到新数据上。

4、LeNet-5模型 在的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。

5、LeNet-5模型是1998年，Yann LeCun提出的，它是个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达99.2%。

6、下面详细介绍一下LeNet-5模型工作的原理。

7、首先，输入层输入原始图像，原始图像被处理成32×32个像素点的值。

8、然后，后面的隐层计在卷积和子抽样之间交替进行。

9、C1层是卷积层，包含了六个特征图。

10、每个映射也就是28x28个神经元。

11、卷积核可以是5x5的十字形，这28×28个神经元共享卷积核权值参数，通过卷积运算，原始信号特征增强，同时也降低了噪声，当卷积核不同时，提取到图像中的特征不同；C2层是一个池化层，池化层的功能在上文已经介绍过了，它将局部像素值平均化来实现子抽样。

12、池化层包含了六个特征映射，每个映射的像素值为14x14，这样的池化层非常重要，可以在一定程度上保证网络的特征被提取，同时运算量也大大降低，减少了网络结构过拟合的风险。

13、因为卷积层与池化层是交替出现的，所以隐藏层的第三层又是一个卷积层，第二个卷积层由16个特征映射构成，每个特征映射用于加权和计算的卷积核为10x10的。

14、第四个隐藏层，也就是第二个池化层同样包含16个特征映射，每个特征映射中所用的卷积核是5x5的。

15、第五个隐藏层是用5x5的卷积核进行运算，包含了120个神经元，也是这个网络中卷积运算的一层。

16、之后的第六层便是全连接层，包含了84个特征图。

17、全连接层中对输入进行点积之后加入偏置，然后经过一个激活函数传输给输出层的神经元。

18、一层，也就是第七层，为了得到输出向量，设置了十个神经元来进行分类，相当于输出一个包含十个元素的一维数组，向量中的十个元素即0到9。

19、AlexNet模型AlexNet2012年Imagenet图像识别大赛中，Alext提出的alexnet网络模型一鸣惊人，引爆了神经网络的应用热潮，并且赢得了2012届图像识别大赛的冠军，这也使得卷积神经网络真正意义上成为图像处理上的核心算法。

20、上文介绍的LeNet-5出现在上个世纪，虽然是经典，但是迫于种种复杂的现实场景限制，只能在一些领域应用。

21、不过，随着SVM等手工设计的特征的飞速发展，LeNet-5并没有形成很大的应用状况。

22、随着ReLU与dropout的提出，以及GPU带来算力突破和互联网时代大数据的爆发，卷积神经网络带来历史的突破，AlexNet的提出让深度学习走上人工智能的最前端。

23、AlexNet的训练数据采用ImageNet的子集中的ILSVRC2010数据集，包含了1000类，共1.2百万的训练图像，50000张验证集，150000张测试集。

24、在进行网络训练之前我们要对数据集进行预处理。

本文到这结束，希望上面文章对大家有所帮助。