基于Sherman-Morrison公式的K-FAC算法.pdf

计算机系统应用 ISSN 1003-3254, CODEN CSAOBN E-mail: ******@
Computer Systems & Applications,2021,30(4):118−124 [doi: .] -s-
©中国科学院软件研究所版权所有. Tel: +86-10-62661041
 
 
基于Sherman-Morrison公式的K-FAC算法①
刘小雷,  高凯新,  王　勇
(天津大学 数学学院, 天津 300350)
通讯作者: 王　勇, E-mail: wang_******@
摘　要: 二阶优化方法可以加速深度神经网络的训练, 但是二阶优化方法巨大的计算成本使其在实际中难以被应
用. 因此, 近些年的研究提出了许多近似二阶优化方法的算法. K-FAC算法提供了一种近似自然梯度的有效方法.
在K-FAC算法的基础上, 结合拟牛顿方法的思想, 提出了一种改进的K-FAC算法. 在开始的少量迭代中利用K-
FAC算法计算, 在后续迭代中构造秩–1矩阵, 通过Sherman-Morrison公式进行计算, 大大降低了计算复杂度. 实验
结果表明, 改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现. 特别的, 改进的K-FAC算法与K-
FAC算法相比减少了大量的训练时间, 而且与一阶优化方法相比, 在训练时间上仍具有一定的优势.
关键词: 深度学习; 二阶优化方法; K-FAC算法; Sherman-Morrison公式; Fisher信息矩阵
引用格式:  刘小雷,高凯新,-Morrison公式的K-,2021,30(4):118–124. -s--
3254/
K-FAC Algorithm Based on Sherman-Morrison Formula
LIU Xiao-Lei, GAO Kai-Xin, WANG Yong
(School of Mathematics, Tianjin University, Tianjin 300350, China)
Abstract: Second-order optimization can accelerate the training of deep neural networks, but its huge computational cost
hinders it from applications. Therefore, many algorithms have been proposed to approximate second-order optimization in
recent stu