神经网络5幻灯片.ppt

理论分析相关基本概念和基础知识
线性向量空间
1. 一个被称为向量加的操作定义为:
if xX and y X then x+yX.
2. x + y = y + x
3. (x + y) + z = x + (y + z)
4. 存在唯一称为零向量的向量 0X,对于所有的 xX 都有 x + 0 = x .
一个线性向量空间X是一组定义在标量域F上且满足如下条件的元素向量集合:
线性向量空间(续)
5. 对于 X中每一个向量,存在唯一的向量(-x), 使得x + (-x) = 0 .
6. 一个被称为向量乘的操作定义为:对于所有的 a F的标量, 以及所有的 x   X,都有 a x   X.
7. 对于所有的向量 x  X和标量1 ,有 1x = x .
8. 对于任意标量 a  F 和 b  F, 以及任意向量 x   X, 有a (bx) = (a b) x .
9. (a + b) x = a x + b x .
10. a (x + y)  = a x + a y
线性向量空间举例
线性向量空间(续)
线性无关
如果
当且仅当
因此
被称为一组线性无关的向量
两个向量独立
线性无关(续)
生成空间
如果线性空间存在一个子集,且空间中的每个向量都能写成该子集向量的线性组合,那么该子集就能够生成一个空间
基集合
X的基集合是由生成X的线性无关的向量组成的集合
向量空间的维数, Dim(X),等于基集中元素的个数
X是一个有限维的向量空间,则X的每个基集合的元素数量相等
内积
满足下列条件的关于的标量函数,都可以定义为内积
(x,y) = (y,x) .
(x,ay1+by2) = a(x ,y1) + b(x ,y2) .
(x , x) >= 0 , 当且仅当是零向量时, (x , x) = 0 .
范数
如果一个向量 x的标量函数满足下列条件,则被称为范数:
||x|| ≥0 .
||x|| = 0, 当且仅当 x = 0 .
||a x|| = |a| ||x|| ,对于所有的标量 a .
||x + y|| ≤||x|| + ||y|| .