深度学习及其优化方法概述(PPT 54页)

Outline
深度学习的概念
DL训练过程
自动编码器
稀疏自动编码器
Loss Function一般形式
数学概念
优化方法
优化方法-Momentum
优化方法-Nesterov
优化方法-Adagrad
优化方法-Adadelta
优化方法-RMSprop
优化方法-Adam
优化方法-Adamax
优化方法-Nadam
优化方法-Visualization of algorithms
优化方法-建议
..............................