贝叶斯定理
Abstract
贝叶斯定理（Bayes' Theorem）是概率论中关于条件概率的核心定理，它提供了在观察到新证据后，如何更新对假设的信念（概率）的数学框架。具体而言，贝叶斯定理将”由原因推结果”的概率（似然）转化为”由结果推原因”的概率（后验）。该定理广泛应用于医疗诊断、垃圾邮件过滤、可靠性分析、机器学习等领域。
定义
贝叶斯定理
设 是样本空间 的一个划分（即两两互斥且并集为 ）， 且 对所有 成立。若 是一个满足 的事件， 则对每个 ：
贝叶斯定理的两事件形式 和 时，公式简化为：
当只有两个假设
其中分母 正是全概率公式。
[!def] 贝叶斯定理的术语
术语 符号 含义 先验概率 在观察到证据 之前，对假设 的初始信念 似然 在假设 为真的条件下，观察到证据 的概率 后验概率 在观察到证据 之后，对假设 的更新信念 证据概率 观察到证据 的总概率（全概率公式）
核心性质
| 编号 | 性质 | 数学表达 / 说明 |
|---|---|---|
| 1 | 概率更新 | 后验概率 是对先验概率 的修正 |
| 2 | 归一性 | ，后验概率仍构成合法的概率分布 |
| 3 | 似然比形式 | |
| 4 | 对称性 | ，分子分母关于 和 对称 |
| 5 | 依赖全概率公式 | 分母 需要用全概率公式计算 |
| 6 | 序贯更新 | 新的后验概率可作为下一次更新的先验概率，实现序贯贝叶斯推断 |
| 7 | 先验影响 | 当先验概率差异很大时，即使似然支持某一假设，后验也可能被先验主导 |
关系网络
graph LR A["条件概率"] -->|"推导"| B["贝叶斯定理"] C["全概率公式"] -->|"提供分母 P(E)"| B B -->|"先验 P(F)"| D["先验概率"] B -->|"似然 P(E|F)"| E["似然函数"] B -->|"后验 P(F|E)"| F["后验概率"] B -->|"应用"| G["医疗诊断"] B -->|"应用"| H["垃圾邮件过滤"] B -->|"应用"| I["可靠性分析"] B -->|"应用"| J["贝叶斯推断"] B -->|"扩展"| K["贝叶斯网络"]
章节扩展
- 条件概率：贝叶斯定理的基础，。
- 全概率公式：贝叶斯定理分母的计算工具。
- 贝叶斯推断：将贝叶斯定理发展为完整的统计推断框架，通过先验分布和似然函数得到后验分布。
- 朴素贝叶斯分类器：假设各特征条件独立，利用贝叶斯定理进行分类，是机器学习中的经典方法。
补充
医疗诊断示例
某疾病的人群患病率为 （先验概率）。 检测方法的灵敏度为 （真阳性率）， 假阳性率为 。 若某人检测结果为阳性（），则真正患病的概率为：
即仅有约 1.94% 的概率真正患病！ 这说明即使检测准确率很高，在罕见疾病中假阳性仍会主导结果， 体现了先验概率在贝叶斯推断中的重要性。
[!info] 贝叶斯定理的历史
该定理由英国牧师兼数学家 托马斯·贝叶斯（Thomas Bayes, 1701–1761） 提出。 他的论文 “An Essay towards solving a Problem in the Doctrine of Chances” 在他去世后的 1763 年由朋友 Richard Price 发表。 法国数学家 拉普拉斯（Pierre-Simon Laplace） 独立发现并推广了该定理， 将其系统化地应用于统计推断问题。