卷积神经网络CNN.ppt

卷积神经网络CNN
第一页，共二十四页。
主要内容
卷积神经网络—诞生背景与历程
卷积神经网络应用—LeNet-5手写数字识别
深度学习—Hinton做了些什么
深度学习在数字图像识别上的运用
—Hinton如何在20小：5*5
卷积窗种类：15
输出特征图数量：16
输出特征图大小：10*10 (14-5+1)
神经元数量：1600 [(10*10)*16)]
连接数： 151600 (60+16)*(10*10)*25 （部分连接）
可训练参数：1516 [(60+16)*25]
(C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合（这个做法也并不是唯一的))
第十三页，共二十四页。
连接数计算：
151600 = [(60+16)*25]*(10*10)
60 = 3*6+9*4+6；16是因为每种神经元都有一个常数连接
第十四页，共二十四页。
S4层：
输入图片大小： (10*10)*16
卷积窗大小： 2*2
卷积窗种类： 16
输出下采样图数量：16
输出下采样图大小：(5*5)*16
神经元数量： 400 (5*5)*16
连接数： 2000 (2*2+1)*(5*5)*16
可训练参数： 32 (16*(1+1))
第十五页，共二十四页。
C5层：
输入图片大小： (5*5)*16
卷积窗大小： 5*5
卷积窗种类： 120
输出特征图数量： 120
输出特征图大小： 1*1 (5-5+1)
神经元数量： 120 (1*120)
连接数： 48120 [16*(5*5)+1]*1*120(全连接）
可训练参数： 48120 [16*(5*5)+1]*1*120
第十六页，共二十四页。
F6层：
输入图片大小： (1*1)*120
卷积窗大小： 1*1
卷积窗种类： 84
输出特征图数量： 84
输出特征图大小： 1
神经元数量： 84
连接数： 10164 120*84（全连接）
可训练参数： 10164 120*84
第十七页，共二十四页。
OUTPUT层：
输入图片大小： 1*84
输出特征图数量： 1*10
最后,输出层有10个神经元，是由径向基函数单元(RBF)组成，输出层的每个神经元对应一个字符类别。RBF单元的输出 ,是由公式：
第十八页，共二十四页。
卷积神经网络的衰落
在很长时间里，CNN虽然在小规模的问题上，如手写数字，取得过当时世界最好结果，但一直没有取得巨大成功。这主要原因是，CNN在大规模图像上效果不好，比如像素很多的自然图片内容理解，所以没有得到计算机视觉领域的足够重视。
第十九页，共二十四页。
深度学习的崛起
2012年10月，Geoffrey Hinton和他的两个学生在著名的ImageNet问题上用更深的CNN取得世界最好结果，使得图像识别大踏步前进。在Hinton的模型里，输入就是图像的像素，没有用到任何的人工特征。
第二十页，共二十四页。
深度学习在图像识别中的应用
2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16,000个CPU Core的并行计算平台去训练含有10亿个节点的深度神经网络（DNN，Deep Neural Networks），使其能够自我训练，对2万个不同物体的1,400万张图片进行辨识。
在开始分析数据前，并不需要向系统手工输入任何诸如“脸、肢体、猫的长相是什么样子”这类特征。Jeff Dean说：“我们在训练的时候从来不会告诉机器：‘这是一只猫’（即无标注样本）。系统其实是自己发明或领悟了‘猫’的概念。”
第二十一页，共二十四页。
2014年3月，同样也是基于深度学习方法，Facebook的 DeepFace 项目使得人脸识别技术的识别率已经达到了 %，只比人类识别 % 的正确率略低那么一点点，准确率几乎可媲美人类。该项目利用了 9 层的神经网络来获得脸部表征，神经网络处理的参数高达 。
第二十二页，共二十四页。
这个惊人的结果为什么在之前没有发生？
原因当然包括算法的提升，比如dropout等防止过拟合技术，但最重要的是，GPU带来的计算能力提升和更多的训练数据。百度在2012年底将深度学习技术成功应用于自然图像OCR识别和人脸识别等问题，并推出相应的桌面和移动搜索产品，2013年，深度学习模型被成功应用于一般图片的识别和理解。
从百度的经验来看，深度学习应用于图像识别不但大大提升了