[ML/DL] 쿨백-라이블러 발산 (Kullback-Leibler divergence, KLD)

쿨백-라이블러 발산(Kullback-Leibler divergence, KLD)은 두 확률 분포 P와 Q 간의 차이를 측정하는 수학적 개념입니다. 일반적으로 KLD(Q||P)로 표기되며, 이는 실제 분포 P를 분포 Q를 사용하여 근사하려고 할 때 발생하는 정보 손실을 측정합니다.

KLD(Q||P)는 다음과 같이 정의됩니다.

KLD(Q||P) = ∑x Q(x) * log(Q(x) / P(x))

여기서 x는 가능한 결과의 하나이며, Q(x)는 Q에 따른 x의 확률이고, P(x)는 P에 따른 x의 확률입니다. 이 공식은 각 결과의 확률로 가중치를 두고 두 분포의 로그 차이를 평균적으로 계산합니다.

KLD(Q||P)가 대칭적이지 않다는 점에 유의해야 합니다. 즉, KLD(Q||P)는 Q의 관점에서 Q와 P의 차이를 측정하는 반면, KLD(P||Q)는 P의 관점에서 P와 Q의 차이를 측정합니다.

기계 학습에서는 종종 KLD를 손실 함수나 정규화 항으로 사용하여 모델이 목표 분포와 유사한 분포를 출력하도록 장려합니다. 예를 들어, 변이형 오토인코더와 같은 생성 모델에서 KLD 손실 항은 모델이 미리 정의된 사전 분포와 가까운 잠재 표현을 출력하도록 장려하는 데 사용됩니다.