1. 神经网络

神经网络由多个节点互相连接（在大部分网络中，这个连接是有方向的）而构成，这些节点称为神经元，神经元有三种：

输入层神经元：携带特征信息，向隐藏层神经元传递
隐藏层神经元：接收其他神经元传递过来的信息，结合权值（这个权值就是训练的目标），作为参数由函数（即激活函数）运算，得到结果并传递到后续神经元
输出层神经元：接收其他神经元传递过来的信息，整合后输出最终结果，不再向其他神经元传递

将数据集的特征经由输入层神经元输入，经过网络计算，最终就会从输出层神经元处得到一个结果。在训练的时候，这个结果会和标签进行比对，通过误差反向传播算法，来修正神经元的权值。在推理的时候，这个结果就是模型推理的结果。

1.1. 神经网络的分类

存在三种常见的神经网络：

前馈神经网络：网络信息仅向后传播
记忆神经网络：网络信息除了向后传播，还可以向自身传播历史数据
图神经网络：节点由一个或一组神经元组成，节点之间的连接可以有向，也可以无向，节点可以接收相邻节点或自身的信息

2. 前馈神经网络

前馈神经网络具有极强的拟合能力，常见的连续非线性函数都可以用前馈神经网络来近似。

3. 卷积神经网络

在处理图像信息时，前馈神经网络会碰到参数过多（计算性能下降、容易过拟合）和难以提取局部不变性特征的问题，所以卷积神经网络由此诞生，利用感受野机制来聚焦特定区域，通过局部连接（即第n层和第n+1层之间的连接并非两两全部连接，而是部分连接）、权重共享（即神经元之间的权值并非每一条连接都独立，而是有部分保持一致）和汇聚（特征选择，降低特征维数）等特性，减少参数数量，并具备平移、缩放和旋转不变性。

3.1. 图像基础

图像分为模拟图像和数字图像，计算机处理的均为数字图像，数字图像分为四种类型

类型	描述	特性
二值图像	每个像素1bit，仅存储黑或者白信息	黑白图像
单通道灰度图像	每个像素8bit，进行灰度取值	在黑白图像的基础上存在亮度变化
三通道彩色图像	每个像素3Byte，通过RGB表示颜色	彩色
四通道彩色图像	每个像素4Byte，新增透明度信息	彩色+透明度

3.2. 卷积是什么？

卷积的作用就是提取特征，不同的卷积核（也可以称为滤波器矩阵）可以达到的效果不同，如平滑去噪、提取边缘特征等，以下是几个示例。

卷积核	变换效果
[-1,-1,-1],[-1,9,-1],[-1,-1,-1]	图像锐化
[-1,-1,-1],[-1,8,-1],[-1,-1,-1]	边缘检测
[1/9,1/9,1/9],[1/9,1/9,1/9],[1/9,1/9,1/9]	均匀模糊
公式计算	高斯模糊

3.3. 卷积神经网络的结构

卷积神经网络一般由卷积层、汇聚层（也称为池化层）和全连接层三种层构成，每种层的数量可变。

卷积层：进行特征提取
汇聚层：进行特征选择，进一步降低参数数量
全连接层：传统前馈神经网络的层，用于参数训练

现在卷积神经网络正在弱化汇聚层和全连接层，逐步转向全卷积网络。

4. 写在最后的参考文档

《神经网络与深度学习》邱锡鹏
《深度学习与图像处理（PaddlePaddle版）》