Bayesian Methods for Hackers

less than 1 minute read

Bayesian Methods for Hackers

1. 베이지안 추론의 철학

  • 서론
    • 사전확률 : 사건 A에 대한 우리의 믿음의 양
      $P(A)$
    • 사후확률 : 증거 X가 주어진 상황에서 A의 확률
      $P(A|X)$
  • 베이지안 프레임워크
    • 베이즈 정리
      $P(A|X) = \frac {p(A)p(X|A)}{p(X)}$
  • 확률분포
    • 확률변수 Z가 이산적인 경우, 확률질량함수
      $P(Z=k) = \frac {\lambda^k e^{-\lambda}}{k!}$, $k=0,1,2,…$
      $Z$ ~ $Poi(\lambda)$
      $E[Z|\lambda] = \lambda$

    • 확률변수 Z가 연속적인 경우, 확률밀도함수
      $f_Z(z|\lambda) = \lambda e^{-\lambda z}, z \ge 0$
      $Z$ ~ $Exp(\lambda)$
      $E[Z|\lambda] = \frac {1}{\lambda}$

  • 컴퓨터를 사용하여 베이지안 추론하기

2. PyMC 더 알아보기

  • 서론
    • Stochastic 변수 : 값이 정해지지 않은 변수
    • Deterministic 변수 : 변수의 부모를 모두 알고있는 경우에 랜덤하지 않은 변수
      • @pymc.deterministic 파이썬 래퍼 (데코레이터)를 써서 구분
  • 모델링 방법
    • 관측된 빈도와 실제 빈도간에는 차이가 발생
    • 베르누이 분포
      $X$ ~ $Berp(p)$ : X는 p의 확률로 1, 1-p의 확률로 0
    • 이항분포
      $X$ ~ $Bin(N, p)$
      $P(X=k)=\binom {n} {k} p^k (1-p)^{N-k}$
      기댓값 : $Np$
    • 데이터 Import 예시
    • Logistic Function
      Logistic Function
    • 정규분포
      정규확률변수 : $X \sim N(\mu, 1/\tau)$
      확률밀도함수 : $f(x|\mu,\tau)=\sqrt{\frac {\tau}{2\pi}}exp(-\frac{\tau}{2}(x-\mu)^2)$
      정규분포의 기댓값 : $E[X|\mu, \tau]=\mu$
      정규분포의 분산 : $Var(X|\mu, \tau)=\frac{1}{\tau}$

3. MCMC 블랙박스 열기

4. 아무도 알려주지 않는 위대한 이론

5. 오히려 큰 손해를 보시겠습니까?

6. 우선순위 바로잡기

7. 베이지안 A/B 테스트

부록 A

참고자료

Updated:

Comments