文章作者：Tyan
博客：noahsnail.com | CSDN | 简书
1. AlexNet神经网络介绍
在描述LeNet第五层之前，先要了解ReLU的概念，因为在第五层卷积之后，卷积结果需要进行ReLU操作。
ReLU介绍：
ReLU，全称Rectified Linear Unit，它是一个非线性操作，主要是将卷积之后feature map中的负数，变为0，公式为Output = max(0, Input)，对feature map中的每个值都进行这个操作。卷积操作是线性操作，而我们希望卷积神经网络除了能进行线性操作之外，也能进行非线性操作。此外，因为正常情况下图像像素值的变化范围为0~255，不应该出现负数。ReLU操作效果如图：
当然除了，ReLU操作，还有一些其它操作，例如tanh或sigmoid，但实践证明，ReLU在大多数情况下比其它的表现更好。ReLU之后，feature map大小不变。
