吴恩达深度学习笔记(55)Softmax回归(Softmaxregression).doc

吴恩达深度学（55）-Softmax回归
（Softmaxregression）
Softmax回归（Softmaxregression）
到目前为止，我们讲到过的分类的例子都使用了二分分类这种分类只有两种可能的标记0或1,这是，然后回过头来，就会对Softmax的作用有一点感觉了。
在神经网络的最后一层，你将会像往常一样计算各层的线性部分，乙人（［1］）这是最后一层的z变量，记住这是大写L层，和往常一样,计算方法是zA([l])=WA([l])aA([L-1])+bA([l])
算出了Z之后，你需要应用Softmax激活函数，这个激活函数对于Softmax层而言有些不同，它的作用是这样的。
首先，我们要计算一个临时变量，我们把它叫做t,它等于eA(zA([l]))，这适用于每个元素，而这里的zA([l])，在我们的例子中，zFI])是4x1的，四维向量t=eA(zA([l]))，这是对所有元素求幂，t也是一个4x1维向量，然后输出的aA([l])，基本上就是向量t，但是会归一化，使和为1。
因此
换句话说，3人([1])也是一个4x1维向量，而这个四维向量的第i个元素，我把它写下来,
以防这里的计算不够清晰易懂，我们马上会举个例子来详细解释。
我们来看一个例子，详细解释，假设你算出了zA([l])，zA([l])是一个四维向量，假设为
我们要做的就是用这个元素取幂方法来计算t,所以
如果你按一下计算器就会得到以下值



1
我们从向量t得到向量aA([l])就只需要将这些项目归一化，使总和为1。
如果你把t的元素都加起来，把这四个数字加起来，,最终

Suftmaxlayer
一小
亠「勺
L
-11
_OOOOQ―
;
例如这里的第一个节点，它会输出eA5/=,这样说来，对于这张图片，如果这是你得到的乙值(
1
5"
2
-1
)]),%。下一个节点输出eA2/=,%的几率。下一个是eA(-1)/=。最后一个是eA3/=,%的概率属于类3,也就是小鸡组，对吧？这就是它属于类0,类1,类2,类3的可能性。
神经网络的输出aA([l]),也就是Ay,是一个4x1维向量，这个4x1向量的元素就是我们算出来的这四个数字([



4)]),所以这种算法通过向量zA([l])计算出总和为1的四个概率。
如果我们总结一下从zA([|])到aA([l])的计算步骤，
整个计算过程，从计算幂到得出临时变量t,再归一化，我们可以将此概括为一个Softmax激活函数。
设aA([l])=gA([|])(zA([|])),这一激活函数的与众不同之处在于，这个激活函数g需要输入一个4x1维向量，然后输出一个4x1维向量。
之前，我们的激活函数都是接受单行数值输入，例如Sigmoid和ReLu激活函数，输入一个实数，输出一个实数°Softmax激活函数的特殊之处在于，因为需