逻辑回归_DL体会总结_1

Logistic Regression as a Neural Network

1. 二元分类：比如判断一张图片是猫
2. 逻辑回归：一个输入向量和一个参数向量做点积，得到的结果再用sigmoid函数求出一个值，得到的就是二元分类的概率

$$ \hat{y}=\sigma(w^{T}X+ b), \quad where\ \sigma(z)=\frac{1}{1+e^{-z}} $$

3. Lost Function:

$$ Loss= - (y\log{\hat{y}} + (1-y)\log{(1-\hat{y})}) $$ Cost Function:
$$ J(w,b) = \frac{1}{m} \sum_{i=0}^m{L(\hat{y}, y)} $$

4. 梯度下降：根据LostFunc，给出dw,dx,db 的计算式，得到值。每个变量，沿梯度方向变化一点，整个loss就会变化，不停的反复迭代，就会找到最佳的参数。

   我一直有个错误的认识，就是dw, db和Loss值有关，dw，db需要使用Loss值进行计算，其实不是，dw只和LostFunc的表达式有关，只和其他参数当前值有关，有没有Loss值都不重要，只是每次迭代之后，需要看看Loss是不是在减少了，而不需要通过Loss计算梯度。

   ​