ICML 2026 Spotlight

Sharp Inequalities between Total Variation and Hellinger Distances for Gaussian Mixtures

가우스 혼합에서 헬링거 거리는 총변동 거리를 거의 따라가지만 끝내 같아지지는 않는다

짧은 읽기
확률과 인과
받침이 유계인 가우스 위치 혼합에서는 헬링거 거리가 총변동 거리의 1 − o(1) 제곱 이하로 묶이고 이 o(1)을 없앨 수 없음을 보여, 한 거리로 증명한 수렴 속도를 다른 거리로 거의 그대로 옮길 수 있게 한 ICML 2026 스포트라이트 논문을 짧게 읽는다.
공개

2026년 11월 3일

키워드

가우스 혼합, 확률 거리, 밀도 추정, 강건 추정, 경험적 베이즈

한 줄 요약

혼합 분포의 받침이 유계인 가우스 위치 혼합 두 개 사이에서는 헬링거 거리 \(H\)가 총변동 거리 TV의 \(1-o(1)\) 제곱 이하로 묶이고, 지수에 붙은 \(o(1)\)은 \(1/\log\log(1/\mathrm{TV})\) 크기라서 없앨 수 없다. 두 거리가 상수배 안에서 같으냐는 Jia 외(2023)의 열린 문제에 “같지는 않지만 거의 같다”고 답한 결과다.

무엇이 달라졌나

가우스 위치 혼합(Gaussian location mixture)은 혼합 분포(mixing distribution) \(\pi\)에서 평균을 뽑고 표준정규 잡음을 더한 분포 \(f_\pi=\phi_d*\pi\)다. 논문은 \(\mathrm{TV}=\frac12\int|p-q|\), \(H^2=\frac12\int(\sqrt p-\sqrt q)^2\)로 정규화하고, 이때 어떤 두 분포든 \(H^2\le\mathrm{TV}\le\sqrt2\,H\)가 성립한다(1장 식 1). 걸리는 쪽은 왼쪽이다. TV가 \(10^{-6}\)이어도 \(H\)는 \(10^{-3}\) 수준까지 커질 수 있어서, TV로 얻은 오차를 헬링거로 옮기면 수렴 속도가 제곱근만큼 나빠진다.

Jia 외(2023)는 받침이 반지름 \(M\)인 공 안에 있으면 \(H^2\)과 KL 발산이 상수배 안에서 같음을 보였고(식 2), TV와 \(H\)도 그러냐는 질문은 열어 두었다(1장).

답은 따름정리 2.4다. 두 혼합 분포가 \([-M,M]^d\) 안에 있으면, TV가 충분히 작을 때

\[H(f_\pi,f_\eta)\le\left(C_0\vee \mathrm{TV}^{-\alpha(\mathrm{TV})}\right)\mathrm{TV},\qquad \alpha(t)=\frac{2+\delta}{\log\log(1/t)}\]

이다. 정리 2.1은 같은 꼴로 \(\sqrt{\chi^2}\)까지 묶는다. 지수 \(\alpha\)는 \(M\)과 \(d\)에 기대지 않고, 둘은 상수 \(C_0\)에만 들어간다(비고 2.3). 반대 방향으로 정리 3.1은 1차원에서 \(H_n\ge\mathrm{TV}_n^{1-0.33/\log\log(1/\mathrm{TV}_n)}\)인 쌍을 만들어, 이 지수 손실이 상수배를 빼면 줄지 않음을 보인다.

블로그의 해석으로는, 비 \(H/\mathrm{TV}\)에 허용된 크기 \(\exp(\Theta(\log(1/\mathrm{TV})/\log\log(1/\mathrm{TV})))\)는 \(1/\mathrm{TV}\)의 어떤 거듭제곱보다 느리고 \(\log(1/\mathrm{TV})\)의 어떤 거듭제곱보다 빠르게 자란다. 두 거리의 관계는 “로그 인자 차이”와 “다항 차이” 사이의 중간 지대에 있다.

110²10⁴10⁶10⁸110⁻¹⁰10⁻²⁰10⁻³⁰10⁻⁴⁰10⁻⁵⁰TV (오른쪽일수록 작다)H / TV어떤 분포든 H ≤ √TV논문의 상한 꼴논문의 날카로운 예보장선 TV^(−α*)점 둘, m = 3점 둘, m = 1H ≥ TV/√2
분산이 1인 1차원 가우스 위치 혼합 두 개를 견줄 때, TV가 작아지면 H/TV가 얼마나 커지는지 계산한 그래프. TV = ½∫|p − q|, H² = ½∫(√p − √q)²로 논문(1절)과 같게 잡았다. 회색 점선은 어떤 두 분포에나 성립하는 H² ≤ TV ≤ √2 H(식 1)가 허용하는 범위다. 파란 선은 따름정리 2.4의 상한 TV^(−α(TV))에서 δ = 0.1로 두고 상수 C₀을 뺀 꼴이고, 보라 점선은 정리 3.1이 보장하는 TV^(−0.33/log log(1/TV))다. 붉은 점은 정리 3.1의 구성(보조정리 3.2, 따름정리 3.3과 3.4)을 혼합 분포의 받침을 [−1, 1]로 두고 n = 11, 15, ..., 39에서 수치 적분한 값이다. 청록 선은 혼합 분포 δ₀과 (1 − ε)δ₀ + εδₘ의 쌍을 m = 1, 3에 대해 ε = 1에서 10⁻⁵⁰까지 줄여 가며 계산한 값이다.

이 부등식 덕분에 한 거리로 증명한 속도를 다른 거리로 옮길 수 있다. 헬링거에서는 미니맥스 속도를 국소 엔트로피로 정확히 적을 수 있었지만 TV에서는 상한만 있었는데, 이제 TV의 속도도 지수 \(1+o(1)\) 안에서 정해진다(정리 4.3). 거꾸로 이상치에 강한 TV 추정량의 보장이 헬링거 보장으로 넘어가고(정리 4.5), 헬링거 오차는 트위디 공식(Tweedie’s formula)을 쓰는 경험적 베이즈(empirical Bayes)의 후회(regret)를 묶는다(정리 4.7). 블로그의 해석을 덧붙이면, 트위디 공식은 잡음 낀 관측에서 원래 평균을 추정하는 식이라 확산 모델의 잡음 제거와도 뿌리가 같다.

어떻게 보였나

열쇠는 두 거리를 비 \(g=(f_\pi-f_\eta)/\phi_d\) 하나로 함께 적는 데 있다(2장). 가우스 가중치 아래 \(g\)의 \(L^1\) 노름은 정확히 2TV이고, \(\chi^2\)와 \(H^2\)은 \(L^2\) 노름과 이어진다. \(g\)를 에르미트 다항식(Hermite polynomial)으로 펼치면 \(k\)번째 계수는 두 혼합 분포의 \(k\)차 모멘트 차이를 \(\sqrt{k!}\)로 나눈 값이다(보조정리 A.1).

그러면 문제는 다항식의 \(L^1\) 노름과 \(L^2\) 노름을 견주는 일이 된다(정리 2.5). \(g\)를 \(n\)차까지의 부분 \(q\)와 나머지 \(r\)로 자르면, 받침이 유계라서 나머지는 \((C/(n+1))^{(n+1)/2}\)로 계승처럼 빨리 준다. 앞부분에는 \(n\)차 다항식의 \(L^1\) 노름이 \(L^2\) 노름의 약 \(e^{-n}\)배 아래로 떨어지지 않는다는 하한을 쓴다. 니콜스키형(Nikolskii-type) 부등식과 제한 범위(restricted-range) 부등식에서 나오는 하한이고, 다차원에서는 두 부등식을 새로 확장했다(명제 A.6, A.7). 두 오차가 균형을 이루는 \(n\approx2\log(1/t)/\log\log(1/t)\)에서 지수 \(\alpha\)가 생긴다(정리 2.5의 증명 스케치).

날카로운 예는 이 증명이 헐거워지는 자리를 그대로 찌른다(3장). 가우스 가중치에서 단항식 \(x^n\)은 \(L^1\) 노름이 \(L^2\) 노름보다 \(n\)에 대해 지수적으로 작아지는 다항식이다. 저자들은 체비쇼프 다항식의 근에 원자를 놓고 \(n\)차까지의 모멘트 차이를 맞춰 앞부분이 \(x^n\)에 비례하게 만든 뒤(보조정리 3.2), 원점의 점질량과 \(e^{-\sqrt{8n+4}}\) 비율로 섞어 \(\chi^2\)의 하한을 헬링거로 옮긴다(따름정리 3.3, 3.4). 위 그림의 붉은 점이 이 구성을 받침 \([-1,1]\)에서 수치 적분한 값이다. \(H/\mathrm{TV}\)는 \(n=11\)에서 25, \(n=39\)에서 약 43만이고, 같은 받침에서 점 둘짜리 혼합은 1.21에 머문다.

눈여겨볼 점

첫째, 이 부등식은 TV가 아주 작을 때의 지수에 관한 이야기다. 식 4의 \(\alpha(t)\)가 1/2보다 작아지려면 \(\log\log(1/t)>4+2\delta\), 곧 \(\delta\)를 0에 가깝게 두어도 TV가 약 \(2\times10^{-24}\)보다 작아야 한다. 그보다 큰 TV에서는 일반 부등식 \(H\le\sqrt{\mathrm{TV}}\)가 꼴만 보아도 더 강하다. 상수도 가볍지 않다. \(\log C_0\)은 \(M^2d\)의 다항식으로 자라고(부록 A.3), 한 리뷰어는 이 의존성이 응용 절에서 지나치게 감춰졌다고 짚었다. 상한의 \(2+\delta\)와 하한의 0.33 사이 틈은 1차원에서도 다항식의 \(L^1/L^2\) 최소비가 정확히 어떻게 줄어드는지 모르는 데서 온다고 저자들은 답했다.

둘째, 응용에서 “최적”인 범위는 좁다. 이상치가 \(\epsilon\) 비율로 섞인 허버 오염(Huber contamination) 아래 헬링거 오차는 \(\epsilon^{2(1-o(1))}+n^{-(1-o_d(1))}\)이고(정리 4.5), 하한과 맞는 것은 \(\epsilon\) 항뿐이다(정리 4.6). 표본 수 쪽은 열려 있고, 쓰인 야트라코스(Yatracos) 추정량은 다항 시간에 계산되지 않는다(4.2절). 공분산이 단위행렬로 고정된 혼합만 다룬다는 점도 걸린다(5장).

열린 질문

  1. \(\log C_0\)은 차원 \(d\)에 적어도 비례해 커진다(부록 A.3). 차원이 표본 수와 함께 커지는 고차원 혼합에서도 TV와 헬링거 사이를 쓸모 있게 오갈 수 있는, 차원에 덜 민감한 비교가 있을까.

이해 확인

받침이 유계인 가우스 위치 혼합에서 논문이 보인 TV와 헬링거 거리의 관계는?

  1. Jia 외(2023)가 물은 대로 두 거리는 상수배 안에서 같다
  2. \(H\le\mathrm{TV}^{1-o(1)}\)이고, 지수의 \(o(1)\)은 \(1/\log\log(1/\mathrm{TV})\) 크기라서 없앨 수 없다
  3. 두 거리는 \(\log(1/\mathrm{TV})\)의 거듭제곱 배 안에서 같다
  4. 일반 분포와 마찬가지로 \(H\)는 \(\sqrt{\mathrm{TV}}\) 크기까지 커질 수 있다

따름정리 2.4가 \(H\le\mathrm{TV}^{1-(2+\delta)/\log\log(1/\mathrm{TV})}\)를 주고, 정리 3.1은 \(H\ge\mathrm{TV}^{1-0.33/\log\log(1/\mathrm{TV})}\)인 쌍을 만들어 1번을 부정한다. 이 구성에서 \(H/\mathrm{TV}\)는 \(\exp(0.33\log(1/\mathrm{TV})/\log\log(1/\mathrm{TV}))\)보다 커서 로그의 어떤 거듭제곱도 넘으므로 3번도 틀렸다. 4번은 받침이 유계라는 조건이 막는다.

논문 정보