逻辑回归

模型

线性回归模型可以用来做预测，它的输出值是实数域的连续值。如果我们想做一个分类任务，可以将线性回归模型的输出值映射到0-1之间，如果映射后的输出值大于0.5，我们认为该模型将这个样本分到类别A，如果输出值小于0.5，我们认为该模型将这个样本分到类别B，令这个映射函数为$g(x)$，则
$$
y =
\begin{cases}
0 &\mbox{if $g(z)$ < 0.5}\\
1 &\mbox{if $g(z)$ > 0.5}
\end{cases}
$$

其中
$$
z = \mathbf{w}^T\mathbf{x}
$$
这个映射函数为$sigmoid$函数
$$
g(z) = \frac{1}{1 + e^{-z}}
$$
所以逻辑回归的完整表达式为
$$
h(x) = \frac{1}{1 + e^{-\mathbf{w^T}\mathbf{x}}}
$$