在回归中，我们需要解决下面的优化问题，即使得Loss函数尽可能的小

$$
\theta^*=arg\min L(\theta),L:loss function,\theta:parameters
$$

假设一共有两个参数$\theta_1,\theta_2$，使得$\theta^0= \begin{bmatrix}\theta^0\\theta^1\end{bmatrix}$，便有梯度如下

$$\nabla L(\theta)=\begin{bmatrix} \partial L(\theta_1)/ \partial \theta_1\\ \partial L(\theta_2)/ \partial \theta_2\end{bmatrix}$$

那么参数的更新便可通过向量的形式进行

$$
\begin{bmatrix}\theta^1_1\\theta^1_2\end{bmatrix}=\begin{bmatrix}\theta^0_1\\theta^0_2\end{bmatrix}-\eta\begin{bmatrix} \partial L(\theta^0_1)/ \partial \theta_1\\ \partial L(\theta^0_2)/ \partial \theta_2\end{bmatrix}
$$

但是其中，$\eta$是一直不变的，但是我们知道，经过迭代之后，在越来约接近目标的时候，我们需要将学习率降低，使其能够愈发趋近目的地。故，我们对$eta$进行改进，使其经过一定的迭代后越来越小。

$$
\eta^t=\eta/\sqrt{t+1}
$$

但是学习率不能一刀切，对于参数，我们也需要给予其一定的改变。一般我们的参数的改变为

$$
w^{t+1}=w^t-\eta^tg^t
$$

w是一个参数，我们设置$\eta^t$ 为参数w之前导数的均方根，使其成为一个参数依赖型的学习率。也就是说

$$
w^1=w^0-\frac{\eta^0}{\sigma^0}g^0,\sigma^0=\sqrt{(g^0)^2}\
w^2=w^1-\frac{\eta^1}{\sigma^1}g^1,\sigma^1=\sqrt{\frac{1}{2}[(g^0)^2+(g^1)^2]}\
$$

如此迭代，直到

$$
w^{t+1}=w^t-\frac{\eta^t}{\sigma^t}g^t,\sigma^t=\sqrt{\frac{1}{t+1}\sum^t_{i=0}(g^i)^2}
$$

从上面的式子中，我们可以看到$\eta^t$是一个时间相关的学习率，$\sigma^t$是一个参数相关的学习率，且

$$
\eta^t=\frac{\eta}{\sqrt{t+1}},\sigma^t=\sqrt{\frac{1}{t+1}\sum^t_{i=0}(g^i)^2}
$$

故相除之后得到下列的公式

$$
w^{t+1}=w^t-\frac{\eta}{\sqrt{\sum^t_{i=0}(g^i)^2}}g^t
$$

梯度改进之后的对比如下：

20220816173111