2. 확률의 성질

확률의 모든 성질은 공리로부터 유도된다

이 글에서는 확률 공리(Axioms of Probability) 글에서 살펴보았던 확률의 세 가지 공리를 바탕으로 확률이 가지는 여러 가지 성질을 살펴보고 증명한다. 여기서 확률의 성질이란 “확률은 0 이상 1 이하이다”라던가 “공집합의 확률은 0이다” 등 우리가 너무나 당연하게 받아들이고 있는 사실까지 포함한다. 이쯤에서 확률의 세 가지 공리를 다시 한 번 살펴보자. 확률이란 표본공간으로 불리는 어떤 집합 \(\Omega\)의 각 사건(부분집합)에서 실수로 가는, 다음과 같은 세 조건을 만족하는 함수 \(P\)라고 했다.

  1. 각 사건 \(E\subseteq\Omega\)에 대하여 \(P(E)\geq0\)
  2. \(P(\Omega)=1\)
  3. 상호 배타적인 사건들의 열 \(E_1, E_2, \cdots, E_n, \cdots\)에 대해 \(\displaystyle P\left(\bigcup_{i=1}^\infty E_i\right)=\sum_{i=1}^\infty P(E_i)\)

이 공리들은 확률에 관해 사실이라고 받아들여지는 가장 최소한의 명제들이며 앞으로 나오는 모든 확률의 성질이나 정리들은 이 세 명제로부터 유도할 수 있어야 한다. 즉 확률 공리는 “확률”이라는 거대한 개념을 맨 아래에서 지지하고 있는 지지대와 같은 역할을 한다.

기본 성질

이 글에서 살펴볼 확률의 가장 기본적인 성질은 다섯 개이다. 이들 중에는 “저걸 증명해야 돼?” 소리가 나올 만할 정도로 아주 당연하고 직관적인 것들도 있는데, 우리가 현재 확률에 관해서 아는 것은 공리 세 개밖에 없으므로 당연히 증명해야 된다.

\(P(E^C)=1-P(E)\)

우선 3번 공리를 \(E\)와 \(E^C\)에 사용해보자.

$$ P(\Omega)=P(E\cup E^C)=P(E)+P(E^C) $$

여기서 2번 공리에 의해 좌변은 1이 되고, 따라서 증명 끝이다.

\(0\leq P(E)\leq 1\)

이 성질은 너무나도 당연한 사실이지만, 확률의 공리를 잘 살펴보면 \(P(E)\)가 0 이상이라는 사실밖에 나와 있지 않다. 따라서 \(P(E)\leq1\)은 증명하고 넘어가야 하는 사실이다. 증명은 앞선 성질에서 1번 공리를 사용해주면 끝난다. \(P(E^C)\)가 0 이상이므로,

$$ P(E)=1-P(E^C)\leq 1 $$

\(P(\emptyset)=0\)

이 사실 역시 너무나 당연하지만, 확률의 공리에는 \(P(\Omega)=1\)이라는 사실밖에 나와 있지 않으므로 따로 증명해줘야 한다. 증명은 맨 앞 성질에서 \(E=\Omega\)로 놓으면 끝난다. \(\Omega^C=\emptyset\)이므로,

$$ P(\emptyset)=1-P(\Omega)=0 $$

\(E\subseteq F\Longrightarrow P(E)\leq P(F)\)

이 성질은 증명하기 조금 어려울 수도 있다. 3번 공리를 사용하기 위해 \(F\)를 아래 그림과 같이 서로 상호 배타적인 두 개의 사건 \(E\)와 \(F\setminus E\)로 나눈다.

\(F\)를 서로 상호 배타적인 \(F\setminus E\)와 \(E\)로 분해한 것. 이로부터 \(P(E)\leq P(F)\)임을 보일 수 있다.

\(E\)가 \(F\)의 부분집합이므로 \(E\)와 \(F\setminus E\)의 합집합은 \(F\)가 되며, 따라서 3번 성질을 다음과 같이 사용할 수 있다.

$$ P(F)=P(E\cup(F\setminus E))=P(E)+P(F\setminus E) $$

이 식과 1번 공리로부터 원하는 식이 만들어진다.

$$ P(E)\leq P(E)+P(F\setminus E)=P(F) $$

\(P(E\cup F)=P(E)+P(F)-P(E\cap F)\)

포함과 배제(inclusive-exclusive property)라고 불리는 성질이다. 집합에서의 포함과 배제 식인

$$ |E\cup F|=|E|+|F|-|E\cap F| $$

과 매우 유사하고, 실제로 이 식에서 양변을 표본공간의 원소의 개수로 나누어 쉽게 얻어낼 수 있지만, 이 글에서는 확률 공리를 이용해 유도해 보도록 하자.

우선 사건 \(E\cup F\)는 아래 그림과 같이 상호 배타적인 사건 \(E\)와 \(F\setminus E\)로 나눌 수 있다.

\(E\cup F\)를 상호 배타적인 사건 \(E\)와 \(F\setminus E\)로 분해하는 그림. 이로부터 가장 기본적인 확률의 성질인 포함과 배제 원리를 유도할 수 있다.

\(E\cup F\)를 상호 배타적인 사건으로 나누었으므로 3번 공리를 적용할 수 있다.

$$ P(E\cup F)=P(E)+P(F\setminus E) $$

한편, \(F\)는 아래 그림과 같이 또다시 상호 배타적인 사건 \(E\cap F\)와 \(F\setminus E\)의 합집합으로 나타낼 수 있다.

\(F\)를 상호 배타적인 두 사건 \(E\cap F\)와 \(F\setminue E\)로 분해한 그림. 이를 통해 포함-배제의 법칙을 증명할 수 있다.

따라서 3번 공리로부터 다음 식을 얻는다.

$$ P(F)=P(E\cap F)+P(F\setminus E) $$

이로부터 나온 식 \(P(F\setminus E)=P(F)-P(E\cap F)\)를 원래 식에 대입해주면 증명이 끝난다.

$$ P(E\cup F)=P(E)+P(F\setminus E)=P(E)+P(F)-P(E\cap F) $$

수학적 귀납법

앞으로 합집합의 확률에 관한 두 가지 부등식인 Bonferroni의 부등식과 Boole의 부등식을 유도할 건데, 이를 위해서는 수학적 귀납법이라 불리는 증명 방법을 사용할 것이다. 이에 대해 간단하게 짚고 넘어가보도록 하자.

개요

수학적 귀납법(mathematical induction)이란 자연수에 관한 명제 \(p(n)\)을 증명할 때 쓰이는 증명 방법이다. 자연수에 관한 명제의 대표적인 예시로는 다음과 같다.

\(p(n)\): 1부터 \(n\)까지의 자연수의 합은 \(\displaystyle\frac{n(n+1}{2}\)와 같다.

이 명제는 아래와 같이 \(n\)의 값에 따라 그 내용이 달라진다.

  • \(p(1)\): 1부터 1까지의 자연수의 합은 1과 같다.
  • \(p(2)\): 1부터 2까지의 자연수의 합은 3과 같다.
  • \(p(10)\): 1부터 10까지의 자연수의 합은 55와 같다.

이러한 명제를 자연수에 관한 명제라고 하고, 보통 수학적 귀납법은 모든 자연수 \(n\)에 대해 \(p(n)\)이 참임을 증명하는 것을 목표로 한다.

증명 방법

모든 자연수 \(n\)에 대해 \(p(n)\)이 참임을 보이기 위해서는 다음과 같이 둘을 보이면 된다.

  1. \(p(1)\)은 참이다.
  2. 자연수 \(k\)에 대해, \(p(k)\)가 참이면 \(p(k+1)\)도 참이다.

이때 1번을 영어로 base step이라고 부르고, 2번은 inductive step이라고 한다. 이렇게 두 가지를 보이면 다음과 같은 과정을 거쳐 \(p(n)\)이 줄줄이 모든 자연수 \(n\)에 대해 참이 되게 된다.

  • 1번에 의해 \(p(1)\)은 참이다.
  • \(p(1)\)은 참이므로 2번에 \(k=1\)을 대입하면 \(p(2)\)도 참이다.
  • \(p(2)\)는 참이므로 2번에 \(k=2\)를 대입하면 \(p(3)\)도 참이다.
  • \(p(3)\)은 참이므로 2번에 \(k=3\)을 대입하면 \(p(4)\)도 참이다.

이 글에서 사용할 수학적 귀납법

앞으로 살펴볼 두 부등식은 모두 자연수 \(n\)에 관한 명제이지만, \(n=1\)일 때는 너무 당연해 그 의미가 없는 식이다. 따라서 이 글에서는 2 이상의 자연수 \(n\)에 대하여 이 부등식들이 성립합을 보일 것이고, base step을 약간 바꾸어 다음과 같이 증명할 것이다.

  1. \(p(2)\)는 참이다.
  2. 2 이상의 자연수 \(k\)에 대해, \(p(k)\)가 참이면 \(p(k+1)\)도 참이다.

Bonferroni의 부등식

Bonferroni의 부등식(Bonferroni’s inequality)은 다음과 같다.

자연수  \(n\geq2\)과  \(n\)개의 사건 \(E_1, E_2, \cdots, E_n\)에 대하여

$$ P\left(\bigcup_{i=1}^nE_i\right)\geq\sum_{i=1}^nP(E_i)-(n-1) $$

증명

이 부등식 자체를 자연수 \(n\)에 관한 명제로 보고 수학적 귀납법을 이용하여 2 이상의 모든 자연수 \(n\)에 대해 위 부등식이 성립함을 보일 것이다.

Base Step

\(n=2\)일 때이고, 이 경우 우리가 증명해야 하는 부등식은 다음과 같다.

$$ P(E_1\cup E_2)\geq P(E_1)+P(E_2)-1 $$

이는 포함과 배제 성질과 확률은 1 이하라는 사실에 의해 보여진다. \(P(E_1\cap E_2)\leq 1\)이므로

$$ P(E_1\cup E_2)=P(E_1)+P(E_2)-P(E_1\cap E_2)\geq P(E_1)+P(E_2)-1 $$

Inductive Step

2 이상의 자연수 \(k\)에 대해 다음 식이 성립한다고 가정하자.

$$ P\left(\bigcup_{i=1}^kE_i\right)\geq\sum_{i=1}^kP(E_i)-(k-1) $$

우리는 이를 이용해 다음 식을 보여야 한다.

$$ P\left(\bigcup_{i=1}^{k+1}E_i\right)\geq\sum_{i=1}^{k+1}P(E_i)-k $$

우선 \(\displaystyle\bigcup_{i=1}^{k+1}E_i\)와 \(\displaystyle \bigcup_{i=1}^kE_i\) 사이의 연결고리를 만들기 위해 \(E_{k+1}\)을 다음과 같이 떼어 놓고 생각하자.

$$ \bigcup_{i=1}^{k+1}E_i=\left(\bigcup_{i=1}^kE_i\right)\cup E_{k+1} $$

이 상태에서 포함과 배제 법칙을 사용하면

$$ P\left(\bigcup_{i=1}^{k+1}E_i\right)=P\left(\left(\bigcup_{i=1}^kE_i\right)\cup E_{k+1}\right)=P\left(\bigcup_{i=1}^kE_i\right)+P(E_{k+1})-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right) $$

가 되니, 이제 우변에서 처음에 했던 가정을 사용할 수 있다.

$$ \begin{align}&P\left(\bigcup_{i=1}^kE_i\right)+P(E_{k+1})-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)\\\geq&\sum_{i=1}^kP(E_i)-(k-1)+P(E_{k+1})-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)\\=&\sum_{i=1}^{k+1}P(E_i)-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)-(k-1)\end{align} $$

이때 \(\displaystyle P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)\leq1\)이므로 우리가 원하는 식을 얻는다.

$$ P\left(\bigcup_{i=1}^{k+1}E_i\right)\geq\sum_{i=1}^{k+1}P(E_i)-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)-(k-1)\geq\sum_{i=1}^{k+1}P(E_i)-k $$

Boole의 부등식

Boole의 부등식(Boole’s inequality)은 다음과 같다.

자연수 \(n\geq2\)와 \(n\)개의 사건 \(E_1, E_2, \cdots, E_n\)에 대하여

$$ P\left(\bigcup_{i=1}^nE_i\right)\leq\sum_{i=1}^nP(E_i) $$

증명

Base Step

위 부등식과 마찬가지로 base step은 \(n=2\)일 때이고, 이 경우 우리가 증명해야 하는 부등식은 다음과 같다.

$$ P(E_1\cap E_2)\leq P(E_1)+P(E_2) $$

이는 포함과 배제 성질에 의해 당연하다. \(P(E_1\cap E_2)\geq0\)이므로

$$ P(E_1\cup E_2)=P(E_1)+P(E_2)-P(E_1\cap E_2)\leq P(E_1)+P(E_2) $$

Inductive Step

2 이상의 자연수 \(k\)에 대해 다음 식이 성립한다고 가정하자.

$$ P\left(\bigcup_{i=1}^kE_i\right)\leq\sum_{i=1}^kP(E_i) $$

우리는 이를 이용해 다음 부등식을 보여야 한다.

$$ P\left(\bigcup_{i=1}^{k+1}E_i\right)\leq\sum_{i=1}^{k+1}P(E_i) $$

앞에서와 마찬가지로 \(\displaystyle\bigcup_{i=1}^{k+1}E_i\)와 \(\displaystyle \bigcup_{i=1}^kE_i\) 사이의 연결고리를 만들고, 똑같은 작업을 반복해주면 증명이 끝난다.

$$ \bigcup_{i=1}^{k+1}E_i=\left(\bigcup_{i=1}^kE_i\right)\cup E_{k+1} $$

포함과 배제 성질에 의해

$$ P\left(\bigcup_{i=1}^{k+1}E_i\right)=P\left(\left(\bigcup_{i=1}^kE_i\right)\cup E_{k+1}\right)=P\left(\bigcup_{i=1}^kE_i\right)+P(E_{k+1})-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right) $$

처음에 했던 가정에 의해

$$ \begin{align}&P\left(\bigcup_{i=1}^kE_i\right)+P(E_{k+1})-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)\\ \leq&\sum_{i=1}^{k+1}P(E_i)-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)\end{align} $$

마지막으로, \(\displaystyle P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right)\geq0\)이므로

$$ \sum_{i=1}^{k+1}P(E_i)-P\left(\left(\bigcup_{i=1}^kE_i\right)\cap E_{k+1}\right) \leq \sum_{i=1}^{k+1}P(E_i) $$

즉 이 부등식은 \(k+1\)에 대해서도 성립하고, 따라서 증명이 끝난다.

Leave a Comment