贝叶斯定理
概述
贝叶斯定理（Bayes’ Theorem）：在已知先验概率和条件概率的情况下，可以计算后验概率。它提供了一种在获得新证据后更新信念的数学框架，是概率论和统计推断中最核心的定理之一，也是贝叶斯认识论和人工智能的理论基础。
定理陈述
形式化陈述
定理（贝叶斯定理）：设 为假设， 为证据，则
其中：
- ：后验概率（posterior probability），在观察到证据 后 成立的概率
- ：先验概率（prior probability），在观察到 之前 成立的概率
- ：似然（likelihood），在 成立的条件下观察到 的概率
- ：边际似然（marginal likelihood），即
全概率形式：若 为互斥且穷尽的假设，则
各项说明：
- 贝叶斯定理本质上是条件概率定义的直接推论
- 分母 起归一化作用，确保所有可能假设的后验概率之和为1
- 贝叶斯定理实现了从 （先验）到 （后验）的”信念更新”
证明概要
证明思路（由条件概率定义直接推导）
核心思想
贝叶斯定理的证明非常简洁，仅需两步：先写出条件概率的定义，再利用合取概率的对称性。
详细步骤
第一步：写出条件概率的定义
根据 条件概率 的定义：
第二步：利用合取概率的对称性
由于 （合取的交换律），从第二个等式可得：
第三步：代入得到贝叶斯公式
将上式代入第一个等式：
证毕。
第四步：展开边际似然
利用全概率公式展开分母：
因此贝叶斯定理的完整形式为：
关键推论
- 推论1（贝叶斯更新）：贝叶斯定理可以迭代应用。将当前的后验概率作为新的先验概率，当新的证据到来时再次更新。这一过程称为”贝叶斯更新”，是序贯贝叶斯分析的基础。
- 推论2（优势比形式）：贝叶斯定理可以用优势比（odds ratio）表示：。后验优势比 = 似然比 x 先验优势比。
- 推论3（与归纳推理的关系）：贝叶斯定理为 归纳论证 的强度评估提供了精确的数学框架。证据 对假设 的支持程度取决于似然比 。
应用场景
- 医学诊断：已知某种疾病的患病率 、检测方法的真阳性率 和假阳性率 ，可以计算检测阳性时实际患病的概率 。例如，即使检测准确率高达99%，如果疾病罕见（先验概率极低），阳性预测值也可能远低于直觉预期。
- 机器学习：朴素贝叶斯分类器直接基于贝叶斯定理，通过估计各特征的条件概率来进行分类。
- 法庭证据评估：在法律推理中，贝叶斯定理用于评估DNA证据等科学证据的证明力，避免”检察官谬误”（混淆 与 ）。
- 科学假说评价：在贝叶斯科学哲学中，贝叶斯定理用于量化证据对竞争性科学假说的支持程度，是 假说-演绎法 的形式化。