Conditional probability

Conditioning is the soul of statistics

Independence

Definition:
\(P(A \cap B) = P(A)P(B)\)이 성립할 때, 사건 A와 B는 독립이다.

Disjoint와 구분하자. Disjoint는 오히려 독립이 아니다. A가 발생하면 B가 발생하지 않는다는 영향을 끼치기 때문이다. 독립은 한 사건이 다른 사건의 발생에 영향을 끼치지 않는 것이다.

pairwise-independence와 mutually indepdence 구분
pairwise는 A와B, B와C, C와A끼리
mutually는 A와B와C

Conditional probability

새로운 정보를 얻었을 때, 기존의 믿음/불확실성(uncertainty)을 어떻게 업데이트하는가?

\[P(A|B) = \frac{P(A \cap B)}{P(B)} \text{, } P(B)>0\]

직관적 접근: 조약돌 세계관

S에 9개의 조약돌이 있고, 9개 조약돌의 질량의 총합이 1이라고 하자.

B는 4개의 조약돌이 포함되어있다. A는 B에 포함된 조약돌중 하나가 포함되어있고, B에 포함되어있지 않은 조약돌 2개가 포함되어있다.
\(P(A|B)\)는 B가 전부라고 여기고, B에 속하는 4개의 조약돌에 해당하지 않는 5개의 조약돌을 없는것처럼 여기는 것이다.

B안에서 A에 해당하는 1개의 돌을 계산하면 질량은 \(P(A\|B)=\frac{1}{4}\) 일 것이다.

그런데 B가 전부라고 여기려면 B의 질량의 총합이 1이되어야하지만, 실제로 1이 아니다.
그렇기 때문에 표준화(Normalize)를 위해 P(B)를 곱해주는 것이다.

\[P(A \cap B)=P(A|B)P(B)\]

\(P(B)\)가 곱해짐으로써 \(P(A\|B)\)는 총합이 1인것처럼 할 수 있다.

직관적 접근: 빈도학파 세계관

같은 실험을 무한번 반복할 수 있다면,

HTHTHHT v
THTTHTH v
HHHTHHT
TTTTTHT
…

T가 세번 일어난 경우들 중, 최초의 세번의 시행에서 T가 1번만 발생한 것은 전체 시행 사건에서 얼마나 차지하는가.

정리

\[P(A \cap B) = P(B)P(A|B) = P(A)P(B|A)\]
\[P(A_1,A_2,...,A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1,A_2)...P(A_n|A_1,...,A_{n-1})\]
\[P(A|B)=\frac{P(B|A)P(A)}{P(B)}\]

3번을 Bayes’ Theorem이라고 한다.

Law of Total Probability

S를 \(A_1,A_2,...,A_n\)의 서로소인 분할(partition)들로 나누어놓았다고 했을 때,
\(P(B)=P(B \cap A_1)+P(B \cap A_2)+...+P(B \cap A_n)\)이 성립하며, 이는 곧,
\(=P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+...+P(B|A_n)P(A_n)\)
으로 쓰일 수 있다. 이를 Law of Total Probability라고 한다.

조건부 확률 문제를 풀때 자주 하는 실수

\(P(A\|B)\)와 \(P(B\|A)\)를 헷갈리지 말자. 조건과 구하고자 하는 것을 확실히 알기.
\(P(A)\) prior과 \(P(A\|B)\) posterior를 헷갈리는 것
독립과 조건부 독립을 헷갈려 하는 것

조건부 독립

A와 B는 조건 C 하에서 독립이다.

\[P(A \cap B | C)=P(A|C)P(B|C)\]

조건부 독립 \(\rightarrow\) 독립: FALSE 독립 \(\rightarrow\) 조건부 독립: FALSE

Monty Hall 문제

수형도로 풀어보기
LTP(Law of Total Probability)으로 풀기

Simpson’s Paradox

Dr. Hibbert는 Dr.Nick보다 심장 수술이나 반창고 제거에 있어서 둘다 성공확률이 높다.

그러나 Dr.Nick의 전체 수술 성공률이 더 높다.

이것이 가능할까?