机器学习—4—最大似然估计(MLE)(更新中)
MLE = Maximum Likelihood Estimation (最大似然估计) 总结:likelihood = L(parameter|data)
backpropagation,chain rule
writing
backpropagation 后项传播(求梯度的方法)
regularization 回归
回归类问题寻找函数步骤:
- model:线性、sigmoid、ReLU、deep-learning
- 损失函数
- 最优化:梯度下降、后项传播
classification 分类
- 分类对比与回归问题,分类会惩罚”太正确“的数据。
- 概率:条件概率、全概率、贝叶斯概率、二项分布、泊松分布、正态分布、高斯分布
- Maximum Likelihood(最大似然估计)
分类类问题寻找函数步骤:
- model:概率密度函数
- 损失函数:最大似然估计
- 最优化(对数化、导数等于0)
疑惑点:似然估计好难理解
If you assume all the dimensions are independent,then you are using Naive Bayes Classifier(朴素贝叶斯分类).
疑惑点: 为什么不同分类要共享$\sum$?
cross entropy是什么?
概率模型预备知识
概率模型: 样本空间、事件、完备事件组、条件概率公式、全概率公式、贝叶斯公式
条件概率: $P(B|A) = \frac{P(AB)}{P(A)}$ 推导过程: $P(B|A) = \frac{N(AB)}{N(A)} = \frac{\frac{N(AB)}{N(S)}}{\frac{N(A)}{N(S)}} = \frac{P(AB)}{P(A)}$
全概率:某个事件的概率等于每个原因(完备事件组)下发生的概率总和。意义在于将复杂事件变成简单事件,再结合乘法和加法公式计算复杂事件的概率。 推导过程:$P(A)=P(AB_1)+P(AB_2)+…+(AB_n)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+…+P(B_n)P(A|B_n)$
贝叶斯公式:事件A发生了,寻找导致事件A发生各种“原因”$B_i$的概率。也就是条件概率与全概率结合后的变形。算的是发生事件(先验概率)后,某个因子的概率(后验概率)。 公式:$P(B_i|A)=\frac{P(B_i) P(A|B_i)}{\sum _{j=1} ^n P(B_j)P(A|B_j)}$
总结:根据样本空间计算,并集概率相加,交集概率相乘。
cross entropy
求分布的差异
KL散度 cross-entropy 交叉墒 binary-cross-entropy(BCE) 二分类损失
多分类问题
TODO:数学推导MLE求出的参数最接近真实参数