机器学习-逻辑回归

接着上篇博客继续，我们发现，概率生成模型最终推导函数，其本质还是寻找参数w和b，所以可以设置一个函数，直接来寻找最优的w和b

$f_{w,b}(x)=P_{w,b}(C_1|x)=\sigma(z)\\ \sigma(z)=\frac{1}{1+exp(-z)}\\ z = w \cdot x+b$

相较于线性回归，逻辑回归做的事情便是将 wx+b 放入 sigmoid 函数中，使其输出一直处于0~1之间。

在我们确定了函数之后，便是应该再定义一个损失函数。

假设有一组训练数据，其数据大小为 N，而且分别有自己的类别标签C。给定一组 w 和 b，就可以计算这组w，b下产生上图N个训练数据的概率，$f_{w,b}(x^3)$表示 $x^3$ 属于C1的概率，但是其真实分类为C2，所以要用 $1-f_{w,b}(x^3)$。

$L(w,b)L(w,b)$取得的数值最大的时候，即取得最好的w和b，$w^∗,b^∗ = argmax_{w,b}L(w,b)$

在此我们可以做一个变换，对 $L(w,b)$取对数不影响其单调性，然后再加上符号，单调性与之前的相反，那么就是求 $-lnL(w,b)$ 的最小值。对于 $-lnL(w,b)$，我们可以将其写为

$-lnL(w,b) \\ = -lnf_{w,b}(x^1)\\ =-[\hat yln_{w,b}f(x^1)+(1-\hat y)ln(1-f_{w,b}(x^1))]$

其实很好理解，当 $\hat y$ 为 1 的时候

$lnf_{w,b}(x)=[1 \cdot ln_{w,b}f(x)+(1-1) \cdot ln(1-f_{w,b}(x))]=lnf_{w,b}(x)$

当 $\hat y$为 0 的时候

$ln(1-f_{w,b}(x))=[0 \cdot ln_{w,b}f(x)+(1-0) \cdot ln(1-f_{w,b}(x))]=ln(1-f_{w,b}(x))$

所以便是有了下图的转化

即两个伯努利分布的交叉熵，假设有两个分布 p 和 q，这两个分布的交叉熵就是H(p,q)，交叉熵代表的含义是这两个分布有多接近，如果两个分布是一模一样的话，那计算出的交叉熵就是0，也就是说，当交叉熵为零的时候，说明我们的函数完全符合实际的分布。
如果把function的输出和target都看作是两个伯努利分布，所做的事情就是希望这两个分布越接近越好，交叉熵最小，Loss就最小。

对找最好的function，就是最小化−lnL(w,b)，用梯度下降方法即可。

• 计算算出$lnf_w,_b(x^n)$对$w_i​$​的偏微分
• $​f_w,_b(x)$​可以用 $\sigma{(z)}$​表示，而z可以用 ​$w_i$ ​和 $b $表示，所以可以利用链式法则展开
• 计算 $​ln(1-f_{w,_b}(x^n))$ 对 $​w_i$​的偏微分
• 继续使用链式法则进行计算

$(lnx)^′=\frac{1}{x}$，sigmoid函数求导：$\sigma(x)^′=\sigma(x)⋅(1−\sigma(x))$

下图则为最终的结果：

得到了梯度之后，便是可以再度使用梯度下降进行 $w_i$ 的更新。对于 Loss 函数的选择，我们使用交叉熵作为其损失。

上面说的是二分类问题，对于多分类应该如何解决呢？