主题：Stochastic Second-Order Methods For Deep Learning（深度学习中的随机二阶方法）

主讲人：北京大学 文再文教授

主持人：经济金沙检测线路js69(科技)有限公司 车茂林副教授

时间：2021年10月19日（周二）10:15-11:15

直播平台及会议ID：腾讯会议：909679525；密码：1019

主办单位：经济金沙检测线路js69(科技)有限公司 科研处

主讲人简介：

文再文，北京大学北京国际数学研究中心教授，主要研究最优化算法与理论及其在机器学习、人工智能和信号处理中的应用。2016年获中国青年科技奖。2020年获国家万人计划科技创新领军人才，现为中国运筹学会常务理事，中国运筹学会数学规划分会副理事长。

内容提要：

Stochastic methods are widely used in deep learning. In this talk, we first review the state-of-the-art methods such as KFAC. Then we present a sketchy empirical natural gradient method and a multi-Step matrix-product natural gradient method. Numerical results on deep convolution networks illustrate that our methods are quite competitive to SGD and KFAC.

随机方法广泛用于深度学习中。在这个报告中，我们首先回顾了如KFAC等最新算法；然后提出了多部矩阵乘积梯度方法。卷积神经网络方面的例子表明我们的方法和SGD与KFAC有可比性。