机器学习中的一些方法(PPT 55页)

线性回归和梯度下降法
Logistic回归
高斯混合模型和ＥＭ算法
机器学习中的一些方法
主要内容
线性回归
举个例子
形式化描述
训练集
inputvariables
每个是n维的向量
outputvariables
第i个训练样本:
学习函数
使得对一个新的输入x，能得到对应的目标值
一种求解方法
求出的梯度
函数在极值处梯度为0，
分别对求导
求矩阵的逆复杂度一般是O(n3)
梯度下降
损失函数
一般流程
首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。
改变θ的值，使得J(θ)按梯度下降的方向进行减少，直到收敛
求解
GradientDescentAlgorithm
适用于无约束优化问题，目标函数有一阶导数，精度要求不很高的情况
迭代终止准则
根据两次迭代的绝对误差
根据目标函数梯度的模足够小
卷积神经网络
..............................