第一章事件及其概率¶

1.1 样本空间和事件¶

样本空间：一个随机试验 \(E\) 的所有可能结果所组成的集合称为随机试验 \(E\) 的样本空间，记为 \(\Omega\)。
- 根据样本空间 \(\Omega\) 的大小，可以将其分为三类：有限样本空间、可数无穷样本空间、不可数样本空间。
样本点：样本空间中的元素，即 \(E\) 的每个结果，称为样本点，记为 \(\omega\)。
事件：样本空间 \(\Omega\) 的最小元素成为 \(E\) 的基本事件，由若干个基本事件构成的一个结果称为 \(E\) 的随机事件，简称事件，通常以大写英文字母 \(A\)、\(B\)、\(C\) 来表示事件。

子事件：

\[ A\subset B \]
事件的和：

\[ A\cup B=\{\omega:\omega\in A\text{或}\omega\in B\} \]

\[ \bigcup_{i=1}^{n}A_i=\{\omega:\text{至少存在某个 }A_i\text{ 使得 }\omega\in A_i\} \]
事件的积：

\[ A\cap B=AB=\{\omega:\omega\in A\text{ 且 }\omega\in B\} \]
事件的差：

\[ A-B=\{\omega:\omega\in A\text{ 且 }\omega\notin B\}=A\overline{B} \]
互斥事件：

\[ AB=\varnothing \]

两两互斥事件的和可以表示为其和：

\[ \bigcup_{i=1}^{n}A_i=\sum_{i=1}^{n}A_i \]
对立事件：

\[ A\overline{A}=\varnothing,\qquad A\cup\overline{A}=\Omega \]

交换律

\[ A\cup B=B\cup A,\qquad A\cap B=B\cap A \]
结合律

\[ A\cup(B\cup C)=(A\cup B)\cup C \]

\[ A\cap(B\cap C)=(A\cap B)\cap C \]
分配律

\[ A\cup(B\cap C)=(A\cup B)\cap(A\cup C) \]

\[ A\cap(B\cup C)=(A\cap B)\cup(A\cap C) \]
德摩根对偶法则

\[ \overline{A\cup B}=\overline{A}\cap\overline{B} \]

\[ \overline{A\cap B}=\overline{A}\cup\overline{B} \]

单调序列的极限：
- 单调递增序列 \(A_1\subset A_2\subset A_3\subset\cdots\)，其极限定义为
  
  \[ \lim_{n\to\infty}A_n=\bigcup_{i=1}^{\infty}A_i \]
- 单调递减序列 \(A_1\supset A_2\supset A_3\supset\cdots\)，其极限定义为
  
  \[ \lim_{n\to\infty}A_n=\bigcap_{i=1}^{\infty}A_i \]

概率的公理化定义：定义在概率空间 \(\Omega\) 上的函数 \(P:\mathcal{F}(\Omega)\to[0,1]\) 称为一个概率，如果其满足下述三条公理：
- 非负性：
  
  \[ P(A)\ge0 \]
- 规范性：
  
  \[ P(\Omega)=1 \]
- 可列可加性：对于两两互不相交事件 \(A_1,A_2,\ldots\)，有
  
  \[ P\left(\bigcup_{i=1}^{\infty}A_i\right)=\sum_{i=1}^{\infty}P(A_i) \]

空事件的概率为零：

\[ P(\varnothing)=0 \]
有限可加性：若 \(A_i\)，\(i=1,\ldots,n\) 互不相容，则

\[ P\left(\bigcup_{i=1}^{n}A_i\right)=\sum_{i=1}^{n}P(A_i) \]
单调性与可减性：若 \(A\subset B\)，则

\[ P(A)\le P(B),\quad P(B-A)=P(B)-P(A) \]
对立事件的概率：对于任意事件 \(A\)，有

\[ P(\overline{A})=1-P(A) \]
加法公式：对于任意两个事件 \(A\) 和 \(B\)，

\[ P(A\cup B)=P(A)+P(B)-P(A\cap B) \]
- 三个事件的和
  
  \[ \begin{aligned} P(A_1\cup A_2\cup A_3) ={}&P(A_1)+P(A_2)+P(A_3)\\ &-P(A_1A_2)-P(A_2A_3)-P(A_1A_3)\\ &+P(A_1A_2A_3) \end{aligned} \]
- \(n\) 个事件的和
  
  \[ \begin{aligned} P\left(\bigcup_{i=1}^{n}A_i\right) ={}&\sum_{i=1}^{n}P(A_i)-\sum_{1\le i<j\le n}P(A_iA_j)+\sum_{1\le i<j<k\le n}P(A_iA_jA_k)\\ &+\cdots+(-1)^{n-1}P(A_1A_2\cdots A_n) \end{aligned} \]

等可能概型：假设随机试验 \(E\) 对应的样本空间 \(\Omega\) 只有有限个元素，且试验 \(E\) 中每个基本事件都是等可能发生的，则对样本空间中的任一事件 \(A\)，其概率为

\[ P(A)=\frac{|A|}{|\Omega|}=\frac{A\text{ 所包含的基本事件个数}}{\Omega\text{ 中基本事件总数}} \]

条件概率：对于样本空间 \(\Omega\) 中的两个事件 \(A\)、\(B\)，\(P(B)>0\)，称

\[ P(A\mid B)=\frac{P(AB)}{P(B)} \]

为事件 \(B\) 发生的条件下，事件 \(A\) 发生的条件概率。

乘法公式：对于样本空间 \(\Omega\) 中的两个事件 \(A\)、\(B\)，\(P(B)>0\)，则有

\[ P(AB)=P(B\mid A)P(A) \]
- 设 \(A\)、\(B\)、\(C\) 为样本空间 \(\Omega\) 中的三个事件，\(P(AB)>0\)，则有
  
  \[ P(ABC)=P(C\mid AB)P(B\mid A)P(A) \]
- 设 \(A_1,A_2,\ldots,A_n\) 为样本空间 \(\Omega\) 中的 \(n\) 个事件，\(P(A_1A_2\cdots A_{n-1})>0\)，则有
  
  \[ \begin{aligned} P(A_1A_2\cdots A_n) ={}&P(A_n\mid A_1A_2\cdots A_{n-1})\times P(A_{n-1}\mid A_1A_2\cdots A_{n-2})\\ &\times\cdots\times P(A_2\mid A_1)\times P(A_1) \end{aligned} \]

全概率公式：设 \(B_1,\cdots,B_n\) 为样本空间 \(\Omega\) 的一个划分，且 \(P(B_i)>0\)，\(i=1,\ldots,n\)，对任一事件 \(A\subset\Omega\) 有

\[ P(A)=\sum_{i=1}^{n}P(A\mid B_i)P(B_i) \]

贝叶斯公式：设 \(B_1,\cdots,B_n\) 为样本空间 \(\Omega\) 的一个划分，\(A\) 为 \(\Omega\) 中任一事件，\(P(A)>0\)，则

\[ P(B_i\mid A)=\frac{P(A\mid B_i)P(B_i)}{\sum_{j=1}^{n}P(A\mid B_j)P(B_j)},\qquad i=1,\ldots,n \]

称此为贝叶斯公式。
说明：
1. 贝叶斯公式反映了因果关系互换之间的概率关系。
2. \(P(B_i)\) 称为先验概率（prior probability），\(P(B_i\mid A)\) 称为后验概率（posterior probability）。
3. 在实际中 \(B\)、\(\overline{B}\) 是一个自然的划分，此时贝叶斯公式为
  
  \[ P(B\mid A)=\frac{P(A\mid B)P(B)}{P(A\mid B)P(B)+P(A\mid\overline{B})P(\overline{B})} \]

两个事件相互独立：对于样本空间 \(\Omega\) 中的两个事件 \(A\) 和 \(B\)，如果

\[ P(AB)=P(A)\times P(B) \]

则称事件 \(A\) 与 \(B\) 相互独立。记为 \(A\perp\!\!\!\perp B\)。
- 推论：对于样本空间 \(\Omega\) 中的两个事件 \(A\) 和 \(B\)，如果 \(P(B)>0\)，则 \(A\)、\(B\) 相互独立的充分必要条件是
  
  \[ P(A\mid B)=P(A) \]
一列事件相互独立：设 \(\{A_i:i\in I\}\) 为样本空间 \(\Omega\) 中的一列事件。如果对所有 \(J\subset I\) 有

\[ P\left(\bigcap_{i\in J}A_i\right)=\prod_{i\in J}P(A_i) \]

称 \(\{A_i:i\in I\}\) 相互独立。
独立扩张定理：
- 对于样本空间 \(\Omega\) 中的两个事件 \(A\) 和 \(B\)，下面四种陈述相互等价：
  1. \(A\) 与 \(B\) 相互独立。
  2. \(A\) 与 \(\overline{B}\) 相互独立。
  3. \(\overline{A}\) 与 \(B\) 相互独立。
  4. \(\overline{A}\) 与 \(\overline{B}\) 相互独立。
- 设 \(\{A_i:i\in I\}\) 为样本空间 \(\Omega\) 中的一列事件，记 \(\widetilde{A}_i=A_i\) 或 \(\overline{A_i}\)，则 \(\{A_i:i\in I\}\) 相互独立等价于 \(\{\widetilde{A}_i:i\in I\}\) 相互独立。
独立与互斥：
1. “\(A\)、\(B\) 独立”与“\(A\)、\(B\) 互斥”之间无必然联系。
2. 正概率的互斥事件不可能是独立的。