逻辑回归_DL体会总结_1 | 天一阁

逻辑回归_DL体会总结_1

Logistic Regression as a Neural Network

  1. 二元分类:比如判断一张图片是猫
  2. 逻辑回归:一个输入向量和一个参数向量做点积,得到的结果再用sigmoid函数求出一个值,得到的就是二元分类的概率

$$ \hat{y}=\sigma(w^{T}X+ b), \quad where\ \sigma(z)=\frac{1}{1+e^{-z}} $$

  1. Lost Function:

$$ Loss= - (y\log{\hat{y}} + (1-y)\log{(1-\hat{y})}) $$ Cost Function:
$$ J(w,b) = \frac{1}{m} \sum_{i=0}^m{L(\hat{y}, y)} $$

  1. 梯度下降:根据LostFunc,给出dw,dx,db 的计算式,得到值。每个变量,沿梯度方向变化一点,整个loss就会变化,不停的反复迭代,就会找到最佳的参数。

    我一直有个错误的认识,就是dw, db和Loss值有关,dw,db需要使用Loss值进行计算,其实不是,dw只和LostFunc的表达式有关,只和其他参数当前值有关,有没有Loss值都不重要,只是每次迭代之后,需要看看Loss是不是在减少了,而不需要通过Loss计算梯度。