南京大学本科课程概率论。

全概率公式

记 \(A_i,B\) 为事件，\(B\) 为结果，\(A_i\) 为条件，则有全概率公式：

\[ P(B)=\sum\limits_{i=1}^{n}P(BA_i)=\sum\limits_{i=1}^{n}P(A_i)P(B|A_i) \]

其中，\(P(AB)\) 表示满足条件 \(A\land B\) 的概率，\(P(B|A)\) 表示条件 \(A\) 下发生 \(B\) 的概率。

贝叶斯公式

遵循上述约定，若有 \(P(B)>0\)，则有贝叶斯公式：

\[ P(A_i|B)=\dfrac{P(A_iB)}{P(B)}=\dfrac{P(A_i)P(B|A_i)}{\sum\limits_{j=1}^{n}P(A_j)P(B|A_j)} \]

其中 \(P(A|B)\) 表示事件 \(B\) 由 \(A\) 引发的概率。

特别地，若 \(n=1\)，则有：

\[ P(A|B)=\dfrac{P(AB)}{P(B)}=\dfrac{P(A)P(B|A)}{P(A)P(B|A)+P(\overline{A})P(B|\overline{A})} \]

其中 \(\overline{A}\) 表示 \(A\) 的反事件。

全概率公式和贝叶斯公式均需要得知 \(P(A_i)\) 与 \(P(B|A_i)\)，不同之处在于全概率公式是通过这些概率推出 \(B\) 的概率，即由因推果。而贝叶斯公式则是在已知 \(B\) 发生的概率下，求出 \(A_i\) 对其的影响，即由果推因。

由此观之，全概率公式与贝叶斯公式呈现因果颠倒的关系。

我们称 \(P(A_i)\) 为先验概率，称 \(P(A_i|B)\) 为后验概率，\(P(B)\) 为证据概率，\(P(B|A_i)\) 为似然度，则贝叶斯公式可用下式表示：

\[ \text{后验概率}=\dfrac{\text{先验概率}}{\text{证据概率}}\times \text{似然度} \]

许多算法为提高后验概率，会尽量提高似然度。

贝叶斯公式存在的争议：先验概率可能不存在或者存在主观性。