逻辑回归相比于线性回归，有何异同 笔记

不同之处：

  (1)、两者最本质的区别是逻辑回归处理的是分类问题，线性回归处理的是回归问题；在逻辑回归中，因变量取值是一个二元分布，模型学习得出的是E[y|x;w]，即给定自变量和超参数后，得到因变量的期望，并基于此期望来处理预测分类问题。而线性回归实际上求解的是 y ^ = w T x \hat y =w^Tx y^=wTx，是假设真实关系 y = w T x ϵ y = w^Tx \epsilon y=wTx ϵ的一个近似,其中$ϵ$ 代表误差项。
  （2）、逻辑回归的因变量是离散，而线性回归中因变量是连续的。并且在自变量x与超参数w确定的情况，逻辑回归可以看作广义线性回归（Generalized Linear Models）在因变量y服从二元分布时的一个特殊情况；而使用最小二乘法求解线性回归时，因变量y服从正态分布。

相同之处：

  （1）都可以使用极大似然估计对训练样本进行建模：线性回归使用最小二乘法，就是在自变量x与超参数w确定，因变量y服从正态分布假设下，使用极大似然的一个化简；而逻辑回归中对似然函数 ∏ i = 1 N [ p 1 ( x ^ ; w ^ ) y i ⋅ p 0 ( x ^ ; w ^ ) ( 1 − y i ) ] \prod^N_{i=1}[p_1(\hat x;\hat w)^{y_i} \cdot p_0(\hat x;\hat w)^{(1-y_i)}] ∏i=1N[p1(x^;w^)yi⋅p0(x^;w^)(1−yi)]的学习，得到最佳的参数；
  （2）二者在求解超参数的工程中，都可以使用梯度下降的方法；

取自【白面机器学习】

这篇好文章是转载于：学新通技术网