통계학 - 확률
확률
1. 기본 정의
1) 실험(Experiment)
실행하기 전에는 그 결과를 알 수 없는 행위
2) 표본 공간(Sample space)
실험을 하였을 때 나타날 수 있는 모든 결과를 모은 집합 (S)
3) 단순 (단위) 사건(Simple event, Elementary event)
표본 공간의 원소 하나 하나 ($e_{1},…,e_{n}$)
4) 사건(event)
표본 공간의 부분집합(A,B,C, …)
2. 확률의 정의
표본 공간에서 정의된 함수이며 0과 1사이의 값을 가짐
3. 확률의 기본적 성질
- 임의의 사건 A에 대하여 $ 0\leq P(A) \leq 1$을 만족한다
- 표본 공간에 대한 확률은 언제나 P(S)=1이다.
4. 확률의 법칙
1) 집합 종류
합집합 (union)
집합 A와 B가 있을 때 두 집합을 합친 영역을 뜻한다.
최소 둘 중 하나는 사건이 일어날 경우이다.
\(A \cup B\)교집합 (intersection)
집합 A와 집합 B의 교집합이라고 하면 A와 B가 겹친 부분을 뜻한다.
둘 다 사건이 일어날 경우이다.
\(A \cap B\)여집합 (complement)
A의 여집합이라 할때 집합 A가 전체집합 U의 부분 집합일 때 U에서 A를 뺀 부분을 말한다.
A가 일어날 경우만 모두 제외한 경우이다. \(A^{c}, \overline{A}\)배반사건 (disjoint event)
집합 A와 집합 B의 교집합이 영집합일 때
\(A \cap B = \varnothing\) (null set)
2) 법칙들
여사건의 법칙 어떤 사건의 여사건에 대한 확률은 전체 확률인 1에서 어떤사건 A의 확률을 뺀 값이다 \(P(\overline{A})=1-P(A)\)
합의 법칙 두 집합A,B의 전체 확률은 A와 B의 확률을 더한 뒤 A와 B가 동시에 일어날 확률을 뺀다.
\(P(A\cup B)=P(A)+P(B)-P(A\cap B)\)A와 B의 합집합 확률은 각각 A와 B의 확률을 더한 값보다 항상 작다. 이를 본 페로니 부등식이라고 한다.
\(P(A\cup B)\leq P(A)+P(B)\)
5. 조건부 확률과 독립
1) 조건부 확률
사건 P에 대한 확률이 0보다 클때 사건 A의 조건부 확률은 P(A|B) = $\frac{P(A\cap B)}{P(B)}$
2) 독립
두 사건 A와 B가 P(A|B) = P(A)을 만족하면 두 사건 A와 B는 서로 독립(independent)라고 함
3) 예시
5개의 공이 들어있는 주머니가 있다, 그 중에 2개의 공은 검은색이고, 나머지는 흰색이다. 공을 두번 뽑을 때 사건 A는 첫번째 뽑은 공이 검은 색일 경우, 사건 B는 두번째 뽑은 공이 검은 색일 경우로 정의한다. 뽑은 공을 다시 넣고 뽑는 복원 추출일때 A와 B는 독립인가?
A : 일어날 확률 $\frac{2}{5}$ B : 일어날 확률 $\frac{2}{5}$
$P(A|B) = \frac{P(A\cap B)}{P(B)} = \frac{\frac{2}{5}\times \frac{2}{5}}{\frac{2}{5}} = \frac{2}{5} = P(A)$ $\therefore$ A와 B는 독립이다.
4) 정리
두 사건 A와 B가 서로 독립이면 $P(A \cap B) = P(A)P(B)$
6. 임의 표본
- 표본 $X_{1},X_{2},…,X_{n}$이 서로 독립이고 같은 분포를 가지면 임의 표본이라 함. 줄여서 iid라고도하는데 이는 independent and identically distributed의 약자이다.