目标检测CNN系列.pptx

N 系列
Convolutional works for detection
机器学习与深度学习
机器学习(Machine Learning)是一门专门研究计算机怎样模拟
或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识
构不断改善自身的性能的学科。(阿尔法狗)
一般方法:

应用:图像识别、语音识别、天气预测、基因表达、内容推荐
特征是机器学习系统的原材料,对最终模型的影响是毋庸置
的。上面步骤中间三步可以概括为特征处理,深度学习即机器自动
处理特征。
深度学习基本思想
一个多层信息处理系统:
 I =>S1=>S2=>…..=>Sn => O
I 输入, O 输出, Si 处理层
理想情况:I=O
信息处理不会增加信息,大部分处理会丢失信息。调整Si使得I与O
差别尽量小,每一层Si都是原来信息的另一种表示即特征。
于深度学习来说,其思想就是对堆叠多个层,也就是说这
一层的输出作为下一层的输入。通过这种方式,就可以实现对
输入信息进行分级表达了。
深度学习发展
20世纪80年代末期,用于人工神经网络的反向传播算法(也叫Back
Propagation算法或者BP算法)的发明,给机器学习带来了希望,掀
起了基于统计模型的机器学习热潮。利用BP算法可以让一个人工神经
网络模型从大量训练样本中学习统计规律。
20世纪90年代,各种各样的浅层机器学习模型相继被提出,例如
支持向量机(SVM,Support Vector Machines)、 Boosting、最大
熵方法(如LR,Logistic Regression)等。这些模型的结构基本上可
以看成带有一层隐层节点(如SVM、Boosting),或没有隐层节点(LR)。
 2006年,Geoffrey Hinton和他的学生在《sicence》发表文章提出
观点 1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特
征对数据有更本质的刻画,从而有利于可视化或分类;2)深度神经网络
在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)
有效克服
深度学习与神经网络
大约二三十年前,work曾经是ML领域特别火热的一
个方向,后来由于容易过拟合,难以微调参数等慢慢淡出,直到Hinton
提出了一个实际可行的deep learning框架。
Deep learning与传统的神经网络之间有相同的地方也有很多不同。
deep learning采用了神经网络相似的分层结构,系统由包括输入层
、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,
同一层以及跨层节点之间相互无连接。另一方面,DL采用了与神经网
络很不同的训练机制。神经网络根据当前输出和label之间的差去改变
前面各层的参数,直到收敛(迭代)。而DL使用自下上升非监督学习特征,
分别得到各层的参数,再使用自顶向下的监督学习,通过带标签的数据去训
练,对各层参数进行微调。
图像处理中的卷积
类似与一种过滤器,卷积核在原矩阵(有n*m个像素的图可以用矩阵表示)上滑动,求出原矩阵每一个元素卷积后的值,得到一个新的矩阵。
A = [17   24   1    8   15            h = [8   1   6 h翻=[2 9 4   23   5    7   14  16                3   5   7 7 5 3    4    6   13 20   22                4   9   2] 6 1 8]  10   12  19   21    3            11   18  25    2    9]
计算输出图像的(2,4)元素=
图像处理中的卷积
当对图像边缘的进行滤波时,核的一部分会位于图像边缘外面。常用的策略包括:
1)使用常数填充:默认用0填充。
2)复制边缘像素
卷积神经网络
卷积神经网络是人工神经网络的一种,由感知机发展而来,是一
个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立
神经元组成。
特点:通过感受野和权值共享减少了神经网络需要训练的参数的个
数,局部感受野和权值共享以及时间和空间的亚采样保证某种尺度的位移
尺度、形变不变性。
卷积神经网络
同一般的深度网络一样,卷积神经网络包括输入层、隐藏层和输出层(一般采用softmax分类器),其中输入层主要由卷积层和下采样层组成。每一次利用卷积提取特征基本可以概括为线性变换——非线性变换——下采样三个阶段。
1、线性变换:yj = bj + ∑wij*xi
*表示卷积, xi-输入特征图,yi-输出特征图,xi与yi之间权值为wij,b为