深度学习小知识

1. 池化层

池化层是卷积神经网络的常用组件之一，最早见于LeNet一文中，现在也被扩展到很多其他神经网络中。池化层模仿人的视觉系统对数据进行降维，用更高层次的特征表示图像。

池化层的目的有：

• 对数据降维，降低信息冗余
• 提升模型的不变性，包括平移不变性、旋转不变性、尺度不变性等等
• 防止过拟合

常见的池化技术有：最大池化、平均池化、重叠池化、随机池化、组合池化等等。

2. Batch，Iteration，Epoch

• Batch：在数据集很大的时候，我们无法直接把所有数据全部喂给神经网络（内存不够），此时需要将数据划分成多个小块，一块一块的传递给神经网络。每一小块数据就称为1个batch，模型每收到一个batch就进行一次前向传播和反向传播进行参数优化。因此，根据不同batch size，会使用不同类型的梯度下降。
• Epoch：当整个数据集中数据都完成了一次前向传播和反向传播称之为一个epoch。在神经网络模型中，只传递一次完整数据集是不够的，我们需要将完成数据集在网络中传递多次直到模型收敛。但随着epoch数目的增加，模型会逐渐由过拟合变成欠拟合。
• Iteration：完成1个epoch需要执行的batch的数目，比如训练集有2000个样本，1个batch有500个样本，那么完成1个epoch需要4个iteration。

梯度下降种类

transductive和inductive

降采样

层级Softmax

在线算法

正则化