CNN简介
| 输入 | 输出 | 说明 | |
|---|---|---|---|
| 神经网络 | 训练数据集 | 识别结果 | 分类的准确度高；并行分布处理能力强，分布存储及学习能力强；鲁棒性较强，不易受噪声影响；具备联想记忆的功能。 神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长，甚至可能达不到学习的目的。” |
大卫·休伯尔实验
[1] 猫的视皮层上存在简单细胞和复杂细胞
[2] 简单细胞对感受野中特定朝向的线段作出反应
[3] 复杂细胞对特定朝向的线段移动作出反应
神经认知机模型
[1] 一种分层神经网络模型
[2] G层：负责对比度提取
[3] S层：负责图形特征提取(根据简单细胞的首字母命名)
[4] C层：抗变形、输出识别结果(根据复杂细胞的首字母命名)
[5] 底层提取的局部特征逐渐变成全局特征：借助S细胞层和C细胞层交替排列的结构，各种输入模式的信息会在经过S细胞层提取特征后，通过C细胞层对特征畸变的容错，并在反复迭代后被传播到上一层
[6] 对变形有较好的稳健性：C细胞层消除了扩大、缩小或平移产生的畸变
卷积神经网络的结构
结构：输入层、卷积层、池化层、全连接层、输出层
通过增加卷积层和池化层，可以得到更深层次的网络；
全连接层也可以采用多层结构。
卷积层
卷积操作
卷积操作：输入样本和卷积核的内积运算
[1] 第一层：对输入样本进行卷积操作后，可以得到特征图
第二层及以后：把前一层的特征图作为输入数据，进行卷积操作
[2] 特征图的尺寸小于输入样本——填充，如零填充
[3] 卷积层中使用同一卷积核对每个输入样本进行卷积操作
[4] 与简单细胞具有相同的作用
卷积层相关概念
[1] 滑动步长：步长越大，特征图越小
[2] 激活函数：卷积结果需要通过激活函数（Sigmoid，tanh，ReLU）计算，把函数输出结果作为特征图
[3] 一个卷积层可以有多个不同的卷积核，每一个卷积核都对应一个特征图
池化层
池化操作
池化操作：选取一个区域，根据该区域的特征图得到新的特征图的过程
[1] 作用：减小卷积层产生的特征图尺寸，降低特征图的维度，使得特征表示对输入数据的位置变化具有稳健性
[2] 与复杂细胞具有相同的作用
池化方法
[1] 最大池化：选取图像区域内的最大值作为新的特征图
[2] 平均池化：选取图像区域内的平均值作为新的特征图
[3] Lp池化：通过突出图像区域内的中央值，计算新的特征图
全连接层
[1] 输入：卷积层或池化层的输出
[2] 首先计算激活值，然后通过激活函数计算各单元的输出值
CNN的训练
误差更新方法
[1] 参数训练使用误差反向传播算法：通过比较实际输出和期望输出得到误差信号，把误差信号从输出层逐层向前传播到各层的误差信号，再通过梯度下降调整各层的连接权重来减小误差
[2] 有多个全连接层时，按照链式法则从上至下逐层传播
[3] 卷积层：把卷积层的卷积核看作全连接层，根据单元的调整值来调整卷积核元素
[4] 池化层：误差只会传给池化时选定的单元，调整激活值最大的单元即可。在反复调整连接权重的过程中，激活值最大的单元也有可能出现在其他位置，届时调整其他单元的连接权重
参数设定方法
[1] 卷积层的卷积核大小、卷积核个数
[2] 激活函数的种类
[3] 池化函数的种类
[4] 网络的层结构（卷积层的个数、全连接层的个数）
[5] 有无Dropout、有无预处理、有无归一化
[6] 学习率
[7] Mini-Batch大小
[8] 迭代次数
示例：Hello MNIST
[1] 有关MNIST数据集合：
官网：http://yann.lecun.com/exdb/mnist/
入门教程：http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.html
[2] 基本模型1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
sess = tf.InteractiveSession()
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
sess.run(tf.initialize_all_variables())
y = tf.nn.softmax(tf.matmul(x, W) + b)
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
for i in range(1000):
batch = mnist.train.next_batch(50)
train_step.run(feed_dict={x: batch[0], y_: batch[1]})
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print(accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
[3] 使用CNN1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
def conv2d(x, W):
return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
def max_pool_2x2(x):
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
strides=[1, 2, 2, 1], padding='SAME')
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])
x_image = tf.reshape(x, [-1, 28, 28, 1])
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)
W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])
h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)
W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])
h_pool2_flat = tf.reshape(h_pool2, [-1, 7 * 7 * 64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
sess.run(tf.initialize_all_variables())
for i in range(20000):
batch = mnist.train.next_batch(50)
if i % 100 == 0:
train_accuracy = accuracy.eval(feed_dict={
x: batch[0], y_: batch[1], keep_prob: 1.0})
print("step %d, training accuracy %g" % (i, train_accuracy))
print("test accuracy %g" % accuracy.eval(feed_dict={
x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
交叉参见
参考资料
[1] 山下降义. 图解深度学习[M]. 北京:人民邮电出版社, 2018. 19-48
[2] http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html