学习目标
逻辑回归介绍逻辑回归(Logistic Regression)是机器学习中的一种分类模型,逻辑回归是一种分类算法,虽然名字中带有回归,但是它与回归之间有一定的联系。由于算法的简单和高效,在实际中应用非常广泛。 逻辑回归的应用场景:
看到上面的例子,我们可以发现其中的特点,那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。 逻辑回归的原理要想掌握逻辑回归,必须掌握两点:
1、输入 逻辑回归的输入就是一个线性回归的结果。 2、激活函数 sigmoid函数 判断标准 回归的结果输入到sigmoid函数当中 输出结果:[0, 1]区间中的一个概率值,默认为0.5为阈值
输出结果解释(重要):假设有两个类别A,B,并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.6,那么这个概率值超过0.5,意味着我们训练或者预测的结果就是A(1)类别。那么反之,如果得出结果为0.3那么,训练或者预测结果就为B(0)类别。 所以接下来我们回忆之前的线性回归预测结果我们用均方误差衡量,那如果对于逻辑回归,我们预测的结果不对该怎么去衡量这个损失呢?我们来看这样一张图。 那么如何去衡量逻辑回归的预测结果与真实结果的差异呢? 损失以及优化1、损失 逻辑回归的损失,称之为对数似然损失,公式如下: 分开类别: 怎么理解单个的式子呢?这个要根据log的函数图像来理解 综合完整损失函数 看到这个式子,其实跟我们讲的信息熵类似。 接下来我们就带入上面那个例子来计算一遍,就能理解意义了。
2、优化 同样使用梯度下降优化算法,去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数,提升原本属于1类别的概率,降低原本是0类别的概率。
原文发布时间:2020-03-10 |