softmax回归的相关知识

科技公元 2022 2022-11-02

机器学习在监督学习领域主要解决两个问题,分类和回归问题。那么分类问题又分为二分类问题和多分类问题,而二分类问题相对来说很好解决,我们只需要构建输出层有一个神经元的神经网络,然后结合sigmoid函数,即可实现二分类问题。而神经网络的多分类问题就相对复杂一些,假如我们要解决三分类的问题,那么我们构建神经网络的时候,就需要构建一个输出层为三个神经元的神经网络,然后配合使用softmax回归来完成神经网络多分类的任务。

softmax回归的相关知识

Softmax回归的含义

通常,机器学习实践者用 分类 这个词来描述两个有微妙差别的问题:
(1)我们只对样本的硬性类别感兴趣,即属于哪个类别;
(2)我们希望得到软性类别,即得到属于每个类别的概率。
这两者的界限往往很模糊,这其中的一个原因是:即使我们只关心硬类别,但我们仍然使用软类别的模型。

那么我拿一个图像分类的问题来具体说明一下。假设每次输入的是一个图像,可能是“猫”,“鸡”和“狗”中的任意一个,那对于它们的标签表示我们肯定不能用{猫,鸡,狗}\{\text{猫}, \text{鸡},\text{狗}\}{猫,鸡,狗}。于是,我们使用统计学家很早以前就发明的一种表示分类数据的简单方法:独热编码(one-hot encoding)。独热编码是一个向量,它的分量和类别一样多。类别对应的分量设置为1,其他所有分量设置为0。在我们的例子中,标签yyy将是一个三维向量,其中(1,0,0)(1, 0, 0)(1,0,0)对应于“猫”、(0,1,0)(0, 1, 0)(0,1,0)对应于“鸡”、(0,0,1)(0, 0, 1)(0,0,1)对应于“狗”:

softmax回归是一个单层神经网络。由于计算每个输出o1o_1o1​、o2o_2o2​和o3o_3o3​取决于所有输入x1x_1x1​、x2x_2x2​、x3x_3x3​和x4x_4x4​,所以softmax回归的输出层也是全连接层。

softmax回归的相关知识

Softmax运算

那么对于多分类问题来说,使用的softmax函数即是网络输出层的激活函数,softmax函数可以对输出值进行归一化操作,把所有输出值都转化为概率,所有概率值加起来等于1。

为了将未归一化的预测变换为非负并且总和为1,同时要求模型保持可导。首先对每个未归一化的预测求幂,这样可以确保输出非负。为了确保最终输出的总和为1,需要再对每个求幂后的结果除以它们的总和。运算公式如下:

y^=softmax(o)其中y^j=exp⁡(oj)∑kexp⁡(ok)\hat{\mathbf{y}} = \mathrm{softmax}(\mathbf{o})\quad \text{其中}\quad \hat{y}_j = \frac{\exp(o_j)}{\sum_k \exp(o_k)}y^​=softmax(o)其中y^​j​=∑k​exp(ok​)exp(oj​)​

其中 y^j\hat{y}_jy^​j​ (模型的输出)可以视为属于 类jjj 的概率。然后我们可以选择具有最大输出值的类别 argmax⁡jyj\operatorname*{argmax}_j y_jargmaxj​yj​ 作为我们的预测。例如,如果y^1\hat{y}_1y^​1​、y^2\hat{y}_2y^​2​和y^3\hat{y}_3y^​3​分别为0.1、0.8和0.1,那么我们预测的类别是2,在我们的例子中代表“鸡”。

我们可以看出对于所有的jjj总有0≤y^j≤10 \leq \hat{y}_j \leq 10≤y^​j​≤1,因此,y^\hat{\mathbf{y}}y^​可以视为一个正确的概率分布。softmax运算不会改变未归一化的预测o\mathbf{o}o之间的顺序,只会确定分配给每个类别的概率。因此,在预测过程中,仍然用下式来选择最有可能的类别。

argmax⁡jy^j=argmax⁡joj.\operatorname*{argmax}_j \hat y_j = \operatorname*{argmax}_j o_j.jargmax​y^​j​=jargmax​oj​.

Apipost 私有化火热进行中

评论