수학기초 7 - 확률과 통계 1

들어가기

인공지능 스터디하는 중간에 도움될 만한 수학 기초 일부를 단순 참고용으로 정리했다.

작성자: http://ospace.tistory.com/ (mailto:ospace114@empal.com)

확률과 통계

순열과 조합

순열은 n에서 중복없이 k를 나열하는 경우의 수를 말한다.

$$ _nP_k = n(n-1)(n-2)\dots(n-k+1) $$

중복순열은 n에서 중복으로 k를 나열하는 경우의 수를 말한다.

$$ _n\Pi_k = n^k $$

조합은 n에서 중복없이 k를 골라는 경우의 수를 말하며 나열순서가 없기에 중복이 발생한다. 해당 중복되는 경우의 수를 제외해야 한다.

$$ \binom n k = _nC_k = {n(n-1) ... (n-k+1) \over k (k-1) ... 1} $$

다른 말로 하면 n개를 k개 순서로 나열하는 순열 개수에서 k개로 중복 나열되는 경우이므로 1개만 남기기 위해 k!으로 나눠준다.

$$ \binom n k = { _n P_k \over k! } $$

확률

확률(Probability, P)은 어떤 사건이 발생할 가능성을 의미한다. 최대는 1이고 최소는 0이다.

$$ 확률(P) = { \text{어떤 사건이 발생할 경우의 수}\over \text{모든 경우의 수} }$$

여사건(Complimentary Event)은 발생하지 않을 사건이라는 의미이다. 사건 A에 여사건 표기는 $\bar A$이다.

$$ P(\bar A) = 1 - P $$

다음은 확률에 관한 몇가지 공식이다.

사건 A와 사건 B가 동시에 발생하는 사건

$$ P(A \cap B) = P(A)P(B) $$

사건 A와 사건 B 중에서 어느 한쪽이 발생할 사건

$$ P(A \cup B) = P(A) + P(B) - P(A\cap B) $$

∩은 AND, U 은 OR라고 보면된다.

평균

산술평균

산술평균(Arithmetic Mean)은 합에 대한 평균 (일반적인 평균)이다.

a, b에 대한 산술 평균은 ${a + b \over 2 }$가 된다.

기하평균

기하평균(Geometric Mean)은 곱에 대한 평균 (기하의 비례식)이다.

a, b에 대한 기하 평균은 $\sqrt {a \cdot b}$가 된다.

예를 들어 첫번째 해 이자가 5%이고, 두번째 해에 이자는 8%라면 연평균 이자율 얼마일까?

연평균 증가율 r이라면 r * r = 5 * 8 이 되고 $r = \sqrt {40}$

조화평균

조화평균(Harmonic Mean)은 곱과 합에 대한 평균(역수의 산술평균 역수)이다.

a, b에 대한 조화평균은 $({\frac 1 a + \frac 1 b \over 2})^{-1} = {2ab \over a+b}$가 된다.

예를 들어 갈 때 10m/s, 올 때 20m/s로 이동한 경우 평균 속력은?

편도 거리가 S라면, S/10 + S/20 = 2S/x가 되고 x = 2S/(S/10 + S/20)

기댓값

기댓값(Expected Value)은 나올 것이라고 예상하는 값이다. 이산확률변수 X에 대한 기대값 E(X)은 다음과 같다.

$$ E(X) = \sum P(X)\cdot X $$

기댓값을 다르게 표현하면 모든 값에 대한 가중평균이다.

k은 상수이고 X와 Y는 확률변수인 경우 기댓값은 다음과 같은 성질이 있다.

• E(k) = k
• E(kX) = kE(X)
• E(X+Y) = E(X) + E(Y)
• X와 Y가 독립이면 E(XY) = E(X)E(Y)
• E(E(X)) = E(X)

확률변수와 확률분포

어떤 변수 X를 P(X) 확률로 나오게 한다면, 반대로 어떤 변수 X로 확률 P(X)를 구할 수 있다면 X를 확률 변수(Random Variable)라고 한다. 예를 들어 동전이라고 하면 확률 변수는 앞, 뒤이고 $X \in {앞, 뒤}$, 이때 앞일때 확률 P(X=앞) 과 뒤일때 확률P(X=뒤)은 1/2가 된다.

확률변수 중에 연속되지 않고 셀수 있는 경우를 이산확률변수(Discrete Random Variable)이고 연속으로 되어 셀수 없는 실수같은 경우를 연속확률변수(Continuous Random Variable)이다.

이산확률변수 값에 따라 달라지는 확률을 나열한게 이산확률분포(Discrete Probability Distribution)이라고 한다. 이를 표현하는 방법으로 표에 의한 이산확률분포표 또는 그래프에 의한 히스토그램을 사용한다.

$$ P(X) = f(x) $$

연속확률변수에 대한 확률 분포를 연속확률분포라고 한다. 연속확률분포에서 확률은 구간을 적분해야 한다.

$$ P(a \le X \le b) = \int_a^b f(x) dx $$

대표적인 연속확률분포 종류에는 정규분포(Normal Distribution), 지수분포(Exponential Distribution), 스튜던트 t 분포(Student’s t-distribution), 파레토 분포(Pareto Distribution), 로지스틱 분포(Logistic Distribution)이 있다. 무한번 반복하게 되면 연속확률분포 중에 하나로 수렴하게 된다. 대부분 자연현상은 확률분포가 종형곡선(Bell Curve)에 가까우며 이를 무한번 반복하는 경우 정규분포(Normal Distribution)가 된다.

가우스 분포 또는 정규분포

가우스 분포 또는 정규분포는 다음과 같다.

$$ N(x|\mu, \sigma^2)={1 \over \sqrt{2 \pi \sigma^2} } exp \left ( -{(x - \mu)^2 \over 2 \sigma^2 } \right ) $$

여기서 $\mu$ 은 평균, $\sigma$ 은 표준편차, exp(x)은 $e^x$이다.

확률 밀도 함수이기에 아래가 성립한다.

$$ \int_{-\infin}^\infin N(x|\mu, \sigma^2) dx = 1 $$

$\mu=0$ 이고 $\sigma^2 = 1$ 인 경우를 표준 정규 분포라고 한다. 특별히 z를 사용하여, z-분포라고 한다.

$$ N(0,I) = { 1 \over \sqrt{2 \pi}} exp \left ( -{z^2 \over 2 } \right ) $$

여기서 평균을 더하고, 표준 편차 곱하면 원하는 임의의 정규분포를 얻을 수 있다.

베르누이 분포

베르누이(Bernoulli) 시행은 0(실패) 또는 1(성공)이라는 두 가지 결과를 가지는 실험이다. 결과에 대응하는 확률 변수를 베르누이 확률변수라고 한다. 이 확률 변수 분포가 베르누이 분포이다.

$$ P(Y=y_i) = p^{y_i} (1-p)^{1-y_i} $$

예측값 Y가 $y_i$인 확률 분포이다. 여기서 p는 성공 확률이다. 이 때 우도함수는 다음과 같다.

$$ L = \prod_i p^{y_i} (1-p)^{1-y_i} $$

참고

[1] 와쿠이 요시유키, 와쿠이 사다미, 처음 배우는 딥러닝 수학, 한빛미디어

[2] 이시카와 아키히코, 신상재 이진희, 인공지능을 위한 수학, 프리렉, 2019.09.16