【摘 要】介绍了对AlexNet深度卷积神经网络进行优化的一种方法，该方法能够更好的实现非刚性物体的识别，并以Oxford的102种花卉用于训练和测试，构建了一个新的卷积神经网络模型，后對测试结果进行逐步优化。原AlexNet网络测试识别精度为61.2%，优化网络结构及网络顺序后精度提高到66.3%，解决类间不平衡问题后测试精度提高为71%。结果表明，本文提到的算法可以提升大约10%的精度。
【关键词】深度学习；AlexNet；花卉分类
0 引言
人工智能即为机器赋予人的智能。而机器学习是一种实现人工智能的一种方法。为了实现这种方法，一种新的技术——深度学习诞生了。最早的卷积学习网络LeNet由LeCun在1998年提出，深度学习的概念则由Geoffrey Hinton在2006年提出，而2012年ImageNet竞赛冠军获得者Alex Krizhevsky设计的AlexNet将深度卷积神经网络带入了人们的视野。伴随着GPU的广泛应用和并行计算的更有效、更便宜，深度学习自2015年以来实现了大爆发式的增长，它也是目前最热的研究方向之一。
目前为止，基于PRML的图像识别与分类问题非常多。其本质为从众多图像中学习特征并给出相应标签进行分类。但到目前为止，国内外对于此问题的研究多基于几何相关性较高，识别较容易的刚性物体的识别，如人脸等。对于非刚性物体研究则较少，如花卉等。因为不同种类的花卉在正常情况下会呈现出不同种类的形态，无固定模式，所以花卉识别较为困难。
本文主要针对花卉这一类非刚性物体的识别进行研究，基于AlexNet网络并在其基础上进行了改进，并探讨了类间不平衡对于实验结果的影响。
1 深度学习模型
诞生于1998年的经典网络LeNet包含了卷积层、池化层和全联接层，是现代CNN网络的基本组件。而随着ReLU和Dropout的提出，以及GPU和大数据带来的历史机遇，CNN网络在2012年迎来了历史突破——AlexNet。
从两者对比中可以看出，相比于LeNet，首先AlexNet的网络结构变得更深，由原来增加到了8层。其次卷积功能变的更强大，训练时随机crop到224*224并允许水平翻转，测试时做了5次crop并翻转后对结果求平均，使数据得到了大幅度增强从而减少过拟合现象的产生。再次，该网络不仅仅可以进行分类，还可以进行数据检测。最后AlexNet新增了模块功能，如LRN、Dropout、ReLU、softmax等等。
2 花卉模型的配置
2.1 学习率
如果学习率过大，可能会越过最优值；反之如果学习率最小，优化的效率可能过低，长时间无法收敛。解决方法是依据如下公式更新：ωj=ωj-（λ/N）*？鄣F（ωj）/？鄣ωj。经过测试，本实验的学习率为0.001测试结果最好。
2.2 动量因子
为解决学习率的问题，引入了动量因子这一参数。这一参数使本次的更改方向不完全由当前样本的梯度方向决定，而采用前参数方向与本次梯度方向相结合作为结果，从而避免过早收敛与局部最优点。本实验的动量因子momentum设置为0.9。
2.3 Dropout参数
在训练中，如果用于训练样本过少，则模型容易产生过拟合的现象，为解决该问题，引入Dropout这一参数，使隐层中的部分节点失去作用，但训练时间有所延长。本实验设置Dropout的值为0.5。
3 实验设计与结果
本实验是在Windows 10操作系统下基于Caffe平台进行的。实验设计主要包括测试原AlexNet模型在Oxford Flower上的识别结果，修改Alexnet网络顺序及solver.prototxt的结构后观察测试精度是否增加，以及解决Oxford Flower本身的类间不平衡问题是否能够优化测试精度。测试结果陈述如下。
在利用Caffe自带的AlexNet模型在Oxford Flower上进行测试时，可以按照caffe的教程来进行实验。首先进行数据准备，将用于train和test的数据标签写入txt文件中，并将两个txt文件导入指定目录文件的数据库中。之后计算数据的均值，以方便接下来的训练能减去均值，从而得到更好的训练结果。最后即定义网络结构并开始训练，迭代2000次需花费半个小时左右的时间。初步得到的测试精度为61.2%，相比较Alex在2012年的论文中提到的精度57.2%提升了大约4个百分点。
之后对网络结构进行了一些优化，调整了一下网络参数及顺序，如batchsize的大小、pooling与norm层的顺序、滤波器的偏差值等等，将测试精度提高到了66.3%。
最后尝试能否将结果再进一步优化时，考虑到Oxford Flower存在类间不平衡的问题，最大类样本标签数量为258个，最小类样本标签数量为40个，对102类样本标签取中值操作得到结果为66，则按照一定标准，将大类图片随机抽取减少一部分，小类图片随机旋转或加噪声增加一部分。结果表明测试精度提高到了71%。
4 结束语
通过本次试验，笔者加深了对于深度学习以及卷积神经网络的理解，明白了数据准备对于实验的重要性以及网络对于训练的巨大影响。如何应用更深的网络去解决更多的问题以及减少训练时间是笔者今后进一步的研究方向。
【参考文献】
[1]Y.LeCun， L. Bottou，Y.Bengio， and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE，86（11）：2278-2324，1998.
[2]A. Krizhevsky， I. Sutskever， and G. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems 25，2012.
[3]D.Masko，P.Hensman. The Impact of Imbalanced Training Data for Convolutional Neural Networks.
[责任编辑：朱丽娜]
