AlexNet层级分析

先盗一图，摘自ImageNet Classification with Deep Convolutional Neural Networks（Hinton）

由作者的原文可知，AlexNet模型在训练时使用了两个GPU，所以就出现了一些参数为两个GPU共享，一些参数是GPU独享。在建立此训练模型前，先分析各层的参数关系。

AlexNet模型共有5个卷积层，3个全连接层，前两个卷积层和第五个卷积层有pool池化层，其他两个卷积层没有池化。

第一卷积层：

由AlexNet架构图，第一卷积层的卷积核有96个（两个GPU各用48个），卷积核的尺度为11*11*3（3为RGB通道数），步长stride为4。生成的卷积特征图单元数为55*55*48*2，每个特征图尺度为55*55，由此可知输入图像尺度为227*227(55(单向尺度)*4(步长) + (11(卷积核尺度)-4(步长)) = 227)。因此输入图像单元数为227*227*3*1。

第一池化层：

输入单个特征图尺度为55*55，池化尺度3*3，步长为2，输出池化特征图尺度为27*27((55(单向尺度)-3(池化尺度))/2(步长)+1 = 27)。特征图单元数为27*27*48*2.

第二卷积层：

由AlexNet架构图，卷积核有256个（两个GPU各128个，同时各作用于各GPU内的第一池化层的输出），卷积核尺度5*5*3，步长为1，生成卷积特征图单元数为27*27*128*2，每个特征图尺度为27*27，由此计算输入特征图尺度为31*31(27(单向尺度)*1(步长)+(5(卷积核尺度)-1(步长))= 31)。因此输入特征图单元数为31*31*96。

第二池化层：

输入单个特征图尺度为27*27，池化尺度3*3，步长为2，输出池化特征图尺度为13*13((27(单向尺度)-3(池化尺度))/2(步长)+ 1 = 13)。特征图单元数为13*13*128*2.

第三卷积层：

由AlexNet架构图，卷积核有384个（两个GPU各192个，同时需要共享各自GPU第二池化层的输出），卷积核尺度为3*3*3，步长为1，生成卷积特征图单元数为13*13*192*2，每个特征图尺度为13*13，由此计算输入特征图尺度为15*15(13(单向尺度)*1(步长)+(3(卷积核尺度)-1(步长))=15)。因此输入特征图单元数为15*15*256。

第四卷积层：

由AlexNet架构图，卷积核有384个（两个GPU各192个，同时不共享各自GPU内的第三卷积层输出），卷积核尺度为3*3*3，步长为1，生成卷积特征图单元数为13*13*192*2，每个特征图尺度为13*13，由此计算输入特征图尺度为15*15(13(单向尺度)*1(步长)+(3(卷积核尺度)-1(步长))=15)。因此输入特征图单元数为15*15*384。

第五卷积层：

由AlexNet架构图，卷积核有256个（两个GPU各128个，同时不共享各自GPU内的第四卷积层输出），卷积核尺度为3*3*3，步长为1，生成卷积特征图单元数为13*13*128*2，每个特征图尺度为13*13，由此计算输入特征图尺度为15*15(13(单向尺度)*1(步长)+(3(卷积核尺度)-1(步长))=15)。因此输入特征图单元数为15*15*384。

第五池化层：

输入单个特征图尺度13*13，池化尺度3*3，步长为2，输出池化特征图尺度为6*6((13(单向尺度)-3(池化尺度))/2(步长)+1 = 6)。特征图单元数为6*6*256.

第一全连接层：

输入特征图单元数为6*6*256，输出特征图单元数为4096，全连接参数个数为6*6*256*4096.

第二全连接层：

输入特征图单元数4096，输出特征图单元数为4096，全连接参数个数为4096*4096.

第三全连接层：

即输出层，输入特征图单元数为4096，输出特征图单元数为1000，全连接参数个数为4096*1000.