机器学习—4—最大似然估计(MLE)

2026/08/27

机器学习—4—最大似然估计(MLE)(更新中)

MLE = Maximum Likelihood Estimation (最大似然估计) 总结:likelihood = L(parameter|data)

backpropagation,chain rule

writing

backpropagation 后项传播(求梯度的方法)

regularization 回归

回归类问题寻找函数步骤:

classification 分类

分类类问题寻找函数步骤:

疑惑点:似然估计好难理解

If you assume all the dimensions are independent,then you are using Naive Bayes Classifier(朴素贝叶斯分类).

疑惑点: 为什么不同分类要共享$\sum$?

cross entropy是什么?

概率模型预备知识

概率模型: 样本空间、事件、完备事件组、条件概率公式、全概率公式、贝叶斯公式

条件概率: $P(B|A) = \frac{P(AB)}{P(A)}$ 推导过程: $P(B|A) = \frac{N(AB)}{N(A)} = \frac{\frac{N(AB)}{N(S)}}{\frac{N(A)}{N(S)}} = \frac{P(AB)}{P(A)}$

全概率:某个事件的概率等于每个原因(完备事件组)下发生的概率总和。意义在于将复杂事件变成简单事件,再结合乘法和加法公式计算复杂事件的概率。 推导过程:$P(A)=P(AB_1)+P(AB_2)+…+(AB_n)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+…+P(B_n)P(A|B_n)$

贝叶斯公式:事件A发生了,寻找导致事件A发生各种“原因”$B_i$的概率。也就是条件概率与全概率结合后的变形。算的是发生事件(先验概率)后,某个因子的概率(后验概率)。 公式:$P(B_i|A)=\frac{P(B_i) P(A|B_i)}{\sum _{j=1} ^n P(B_j)P(A|B_j)}$

总结:根据样本空间计算,并集概率相加,交集概率相乘。

cross entropy

求分布的差异

KL散度 cross-entropy 交叉墒 binary-cross-entropy(BCE) 二分类损失

多分类问题

TODO:数学推导MLE求出的参数最接近真实参数