적률생성함수(Moment Generating Function)

정의

확률변수 \(X\)의 적률생성함수 \(M(t)\)

\[M(t)=E(e^{tX})\]

는 \(t \in R\) 에 대한 함수이며, 이는 (-a,a), a>0 에서 유한하다.

t의 값에 따라 다양한 값을 갖게 된다.

이는 적률을 추적하기 위해 사용하는 수단이다.

그런데 왜 “generating”이라고 할까?

지수함수를 테일러 급수로 근사해보자.

\[E(e^{tX})=E(\sum_{n=0}^{\infty} \frac{X^n t^n}{n!})\]

E를 안으로 집어넣으면

\[=\sum_{n=0}^{\infty} \frac{E(X^n)t^n}{n!}\] \[=E(X^0)+\frac{X}{1!}t+\frac{X^2}{2!}t^2+\cdots\]

이때문에 \(E(x^n)\) 이 n차 적률이라고 불리는 것이다!

1차 적률은 평균이다.

2차 적률은 1차 적률과 함께 사용하여 분산을 구할 때 사용한다.

그래서 적률 “생성” 함수라고 하는 것이다. 모든 적률이 테일러 급수 안에 있기 때문이다. 이는 유한급수이기 때문에 E를 안으로 집어넣을 수 있어서 가능한것인데, 무한급수라면 더 증명해야한다.

적률의 중요성

그런데 이게 왜필요해?

n차 적률 \(E(X^n)\)은 M의 테일러 전개식에서 \(\frac{t^n}{n!}\)의 계수이다 (i.e.,\(M^{(n)}(0)=E(X^n)\), 매클로린 급수)
MGF는 분포를 결정한다. 같은 MGF를 가진 확률변수 X,Y는 같은 확률분포를 가진다.
확률변수 X는 MGF \(M_X\), Y는 MGF \(M_Y\)를 가질 때, \(X,Y\)가 독립이라면 \(X+Y\)의 적률은 \(E(e^{t(X+Y)})=E(e^{tX})E(e^{tY})=M_XM_Y\)를 만족한다. 곱의 기대값은 기대값의 곱이기 때문이다.

확률분포의 MGF 구하기

이산

베르누이

\[X \sim Bern(p) \rightarrow M(t) = E(e^{tX}) = pe^t + q \cdot 1\]

weighted avg로 구한것.

\[M'(0)=E(X)=p\] \[M''(0)=E(X^2)=p\]

이항분포

\[X \sim Bin(n,p) \rightarrow M(t) = (pe^t + q)^n\]

Binomial은 i.i.d인 베르누이 p의 합이다.

MGF의 3번명제를 이용하면 위와같이 나온다.

\[M'(0)=E(X)=pn(p + q)^{n-1}=np\] \[M''(0)=E(X^2)=n^2p^2-np^2+np\]

연속

정규분포

\[Z \sim N(0,1) \rightarrow M(t) = \frac{1}{\sqrt{2 \pi}} \int_{-\infty}^{\infty} e^{tz-z^2/2}dz\]

여기서 완전제곱꼴로 묶어주면,

\[=\frac{1}{\sqrt{2 \pi}} e^{t^2/2} \int_{-\infty}^{\infty} e^{-(z-t)^2/2}dz = e^{t^2/2}\]

지수분포

\[X \sim Expo(1)\] \[f(x) = \lambda e^{-\lambda x}, \lambda=1\] \[f(x)=e^{-x}\]

MGF

\[M(t)=E(e^{tX})\] \[=\int_0^{\infty} e^{tX}e^{-x}dx\] \[=\int_0^{\infty} e^{-x(1-t)}dx\] \[=\frac{1}{1-t}, (t<1)\]

연속은 적분이라 하기 더 편하다.

포아송

\[X \sim Pois(\lambda)\] \[P(X=k)=\frac{e^{-\lambda} \lambda^k}{k!}\] \[E(e^{tX})=\sum_{k=0}^{\infty}e^{tk}e^{-\lambda}\lambda^k / k!\] \[\rightarrow \sum_{k=1}^{\infty}\frac{(e^t \lambda)^k}{k!}=e^{\lambda e^t}\] \[=e^{-\lambda}e^{\lambda e^t}=e^{\lambda(e^t-1)}\]

Laplace’s Rule of Succession

나중에 다시보기