概率论学习笔记(NJU)

夏佑 | XiaU

南京大学本科课程概率论。

全概率公式

\(A_i,B\) 为事件,\(B\) 为结果,\(A_i\) 为条件,则有全概率公式:

\[ P(B)=\sum\limits_{i=1}^{n}P(BA_i)=\sum\limits_{i=1}^{n}P(A_i)P(B|A_i) \]

其中,\(P(AB)\) 表示满足条件 \(A\land B\) 的概率,\(P(B|A)\) 表示条件 \(A\) 下发生 \(B\) 的概率。

贝叶斯公式

遵循上述约定,若有 \(P(B)>0\),则有贝叶斯公式:

\[ P(A_i|B)=\dfrac{P(A_iB)}{P(B)}=\dfrac{P(A_i)P(B|A_i)}{\sum\limits_{j=1}^{n}P(A_j)P(B|A_j)} \]

其中 \(P(A|B)\) 表示事件 \(B\)\(A\) 引发的概率。

特别地,若 \(n=1\),则有:

\[ P(A|B)=\dfrac{P(AB)}{P(B)}=\dfrac{P(A)P(B|A)}{P(A)P(B|A)+P(\overline{A})P(B|\overline{A})} \]

其中 \(\overline{A}\) 表示 \(A\) 的反事件。

全概率公式和贝叶斯公式均需要得知 \(P(A_i)\)\(P(B|A_i)\),不同之处在于全概率公式是通过这些概率推出 \(B\) 的概率,即由因推果。而贝叶斯公式则是在已知 \(B\) 发生的概率下,求出 \(A_i\) 对其的影响,即由果推因。

由此观之,全概率公式与贝叶斯公式呈现因果颠倒的关系。

我们称 \(P(A_i)\) 为先验概率,称 \(P(A_i|B)\) 为后验概率,\(P(B)\) 为证据概率,\(P(B|A_i)\) 为似然度,则贝叶斯公式可用下式表示:

\[ \text{后验概率}=\dfrac{\text{先验概率}}{\text{证据概率}}\times \text{似然度} \]

许多算法为提高后验概率,会尽量提高似然度。

贝叶斯公式存在的争议:先验概率可能不存在或者存在主观性。

  • 标题: 概率论学习笔记(NJU)
  • 作者: 夏佑 | XiaU
  • 创建于 : 2023-09-26 00:00:00
  • 更新于 : 2023-09-26 20:54:21
  • 链接: https://summace.cc/Probability-Theory/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
此页目录
概率论学习笔记(NJU)