WEEK1.8-Gradient Descent

梯度下降算法

这是一种常见的算法,不仅仅用在线性回归问题上,也被用在机器学习领域中的众多领域。

本节用梯度下降算法最小化函数\(J\)

问题概述:

梯度下降算法所求的是局部最小值。

为了简化问题,使用两个参数。想象一下自己在山上,想要下山,然后你环顾四周,选择从什么方向将会最快下山。然后一步一步以此类推。得到如下图。

如果从不同的位置进行初始化会得到不同的路线,从而得到不同的局部最优解

梯度下降算法定义:

\(\alpha\)称为学习速率,它控制我们以多大幅度更新这个参数\(\theta_j\).它控制了我们下山时会迈出多大的步子。因此如果\(\alpha\)值很大,那么相应的梯度下降过程中,我们会试图用大步子下山。如果很小则用小碎步下山。在梯度下降算法中我们要同时更新\(\theta_0\)\(\theta_1\),当j=0和j=1时,会产生更新。