기울기만 알아도 거부 샘플링을 할 수 있다

확산 모델 샘플링에 드는 단계 수를 다항식에서 폴리로그로 줄인 ICML 2026 최우수 논문

High-accuracy sampling for diffusion models and log-concave distributionsICML 2026 Outstanding Paper

점수 함수만 쓰고도 거부 샘플링을 흉내 내는 방법으로, 오차 δ에 필요한 확산 모델 샘플링 단계를 poly(1/δ)에서 polylog(1/δ)로 줄인 논문을 읽는다.

3줄 요약

• 확산 모델(diffusion model)은 밀도가 아니라 점수 함수(score function), 곧 로그 밀도의 기울기만 배운다. 그래서 지금까지 알려진 샘플러는 오차 \(\delta\)를 줄이려면 단계 수가 \(1/\delta\)의 다항식으로 늘었고, 표준 DDPM은 \(1/\delta\) 단계를 피할 수 없다는 하한까지 있었다.
• 이 논문은 밀도 값 없이 기울기만으로 거부 샘플링(rejection sampling)을 흉내 내는 1차 거부 샘플링(first-order rejection sampling, FORS)을 만들고, 이것으로 역방향 과정의 한 걸음을 거의 정확하게 뽑는다.
• 데이터의 2차 모멘트가 유한하다는 것 말고는 가정이 없는데도 점수 평가 \(O(d_\star \log^3((d+M_2^2)/\delta))\)번이면 충분하다. 기존 결과보다 지수적으로 적은 횟수다. 다만 실험은 하나도 없는 이론 논문이다.

선정 이유

ICML 2026 최우수 논문상(Outstanding Paper)을 받았다. 심사위원회는 점수 기반 샘플링 이론에 오래 남아 있던 질문에 이 논문이 답을 냈다고 평했다. 점수(기울기) 평가만으로 \(\mathrm{polylog}(1/\varepsilon)\) 단계 안에 \(\varepsilon\) 오차에 도달할 수 있느냐는 질문이다.

블로그의 연구 여지 지도에서 이 논문이 속한 ‘확산 모델 이론과 샘플링’은 LLM 중심 주제를 뺀 109개 주제 중 16위다. 1위 ’MCMC와 신경 샘플러’, 3위 ’플로우 매칭과 정규화 플로우’와 함께 10월 테마인 ’샘플링과 생성 모델의 수학’을 이룬다.

1. 전후로 아는 것이 달라졌나. 달라졌다. 기울기만 쓰는 샘플러는 이산화 오차(discretization error) 때문에 고정밀에 이를 수 없다는 생각이 널리 퍼져 있었다. 이 논문은 밀도 값 없이도 거부 샘플링만큼 정확해질 수 있음을 보였다.
2. 새 질문을 여는가. 연다. 결정론적 ODE 샘플러에서도 같은 일이 되는지, 실제로 구현하면 상수와 비용이 얼마인지, 기울기만으로는 어디까지가 한계인지가 곧바로 다음 질문이 된다.
3. 일반화될 근거가 있나. 있다. FORS는 가우시안 틸트(Gaussian tilt)라는 일반적인 꼴에서 나왔고, 확산 모델과 로그 오목(log-concave) 샘플링이라는 서로 다른 두 문제에 같은 방식으로 들어맞았다. 공개 뒤 여덟 달 사이에 같은 연구진은 이 틀을 확률적 기울기와 경로 공간의 정확 시뮬레이션으로 넓혔고, 다른 연구진은 비슷한 도구로 확산 모델에 Metropolis 보정을 붙였다.
4. 증거가 주장만큼 강한가. 증명으로는 강하다. 리뷰어 네 명 모두 수락(5점)을 줬다. 하지만 실험이 없어서, 실제 모델에서 상수와 점수 오차가 결과를 얼마나 깎아 먹는지는 알 수 없다.

왜 중요한가

최적화와 나란히 놓으면 문제가 선명해진다. 강볼록 함수에 경사 하강법을 쓰면 오차 \(\delta\)까지 \(\log(1/\delta)\)에 비례하는 단계면 된다. 기울기가 정확하면 걸음마다 치우침이 생기지 않기 때문이다. 샘플링은 사정이 다르다. 랑주뱅 동역학(Langevin dynamics)처럼 확률미분방정식을 이산화하는 샘플러는 보폭에서 생기는 치우침을 없애려면 보폭을 계속 줄여야 하고, 그만큼 단계 수가 \(\mathrm{poly}(1/\delta)\)로 는다.

로그 밀도 값을 쓸 수 있으면 이 벽을 넘을 수 있다. Metropolis-Hastings나 거부 샘플링은 제안한 점을 받아들일지 말지를 밀도 비로 정해서 치우침을 없앤다. MALA 같은 보정 샘플러가 \(\mathrm{polylog}(1/\delta)\)에 이르는 이유다. 확산 모델에는 이 길이 막혀 있다. 학습하는 것이 점수 \(\nabla \log p_t\)뿐이라 밀도 값이 없다. 기울기에서 밀도를 되찾으려면 적분을 해야 하는데, 적분은 비싸고 오차도 키운다.

그동안의 결과가 이 한계를 그대로 보여 준다. 표준 DDPM은 점수가 정확하고 데이터가 가우시안인 좋은 조건에서도, 흔히 쓰는 보폭 스케줄로는 \(\Omega(1/\delta)\) 단계가 든다(Jiao 외). 최소 가정 아래 DDPM 계열의 분석은 \(\tilde O(d/\delta)\)까지 왔고, 알고리즘을 바꾼 가속 방법(Li, Cai)도 \(1/\delta^{1/2}\) 수준이었다. 고차 이산화 방법은 \(d^{1+1/p}/\delta^{1/p}\) 꼴까지 좋아지지만, 차수 \(p\)에 대개 지수적으로 커지는 상수를 안고 있었다.

다항식과 폴리로그의 차이를 숫자로 보면 이렇다. 상수와 차원을 무시하면 \(\delta=10^{-6}\)에서 \(1/\delta\)는 백만이지만 \(\log^3(1/\delta)\)는 약 2,600이다(자연로그 기준). 오차를 열 배 줄일 때마다 앞의 것은 열 배로 늘고, 뒤의 것은 조금씩만 는다. 상수와 차원을 무시한 비교이고, 논문은 상수를 따로 밝히지 않는다.

오차 δ에 필요한 단계 수를 상수와 차원을 빼고 비교한 그래프(두 축 모두 로그 눈금, 로그는 자연로그). 1/δ는 흔히 쓰는 보폭 스케줄로 표준 DDPM을 돌릴 때 피할 수 없는 단계 수이고, log³(1/δ)는 이 논문이 보인 폴리로그 비용이다. δ = 10⁻⁶에서 앞의 것은 100만, 뒤의 것은 약 2,600으로 약 380배 차이 난다. 오차가 큰 왼쪽에서는 둘이 비슷하지만, 오차를 열 배 줄일 때마다 1/δ는 열 배로 늘고 log³(1/δ)는 조금씩만 는다.

핵심 아이디어

직관: 밀도를 몰라도 동전은 던질 수 있다

거부 샘플링은 제안 분포에서 점 \(x\)를 뽑고, 확률 \(c\,e^{-f(x)}\)로 받아들인다. 그러려면 \(f(x)\) 값을 알아야 한다. 논문은 1차원 예에서 출발한다(3.1절). 기울기 \(f'\)만 알 때, \(f(0)=0\)으로 두면 \(f(x)=\int_0^x f'(y)\,dy\)이므로, \(y\)를 \([0,x]\)에서 고르게 뽑아 \(x\,f'(y)\)를 계산하면 \(f(x)\)의 불편 추정치(unbiased estimate)가 된다.

남은 문제는 불편 추정치만 가지고 앞면 확률이 \(c\,e^{w}\)인 동전을 만드는 일이다. 베르누이 팩토리(Bernoulli factory)라고 불리는 오래된 문제이고, 답은 지수 함수의 테일러 전개에서 나온다. 평균이 \(w\)이고 \([-1,1]\)에 놓인 독립 추정치 \(W_1, W_2, \dots\)가 있다고 하자. 포아송 분포에서 개수 \(J\sim\mathrm{Poi}(2)\)를 뽑고, 곱 \(\prod_{j=1}^{J}(1+W_j)/2\)를 확률로 삼아 동전을 던지면 앞면이 나올 확률이 정확히 \(e^{-1+w}\)가 된다. \(w\)는 한 번도 직접 계산하지 않았다.

FORS(알고리즘 1)는 이 요령을 일반화한다. 제안 분포 \(q\)에서 \(x\)를 뽑고, \(J\sim\mathrm{Poi}(2B)\)개의 추정치를 뽑아 \(\prod_j (B+W_j)/(2B)\)의 확률로 받아들인다. 받아들여질 때까지 되풀이하면 결과는 정확히 \(q(x)\,e^{\mathbb{E}[W\mid x]}\)에 비례하는 분포를 따른다(정리 3.1). 추정치가 \([-B,B]\) 안에 있으니 한 번 시도에서 받아들여질 확률은 \(e^{-2B}\) 이상이고, 필요한 추정치 개수는 확률 \(1-\delta\)로 \(3Be^{2B}\log(2/\delta)\)개를 넘지 않는다. \(B\)를 상수로 두면 비용이 \(\log(1/\delta)\)에만 비례한다.

(가) 거부 샘플링

(나) 기울기로 만든 추정치

(다) 베르누이 팩토리

(라) 역방향 한 걸음

1차 거부 샘플링(FORS)을 네 단계로 나눠 본 그림. (가) 거부 샘플링은 제안 분포 q에서 점 x를 뽑고, 두 높이의 비 ν(x)/q(x)를 확률로 삼아 받아들인다. q는 ν를 위에서 덮도록 키워 그렸다. 이 비를 알려면 f(x) 값이 필요하다. (나) 기울기 f′만 알 때는 y를 [0, x]에서 고르게 뽑아 직사각형 넓이 x f′(y)를 추정치로 쓴다. 한 번 뽑은 값은 크게 흔들리지만(아래 점 40개) 기댓값은 색칠한 넓이 f(x) − f(0)과 같다. (다) 추정치 W_j = −x f′(y_j)마다 앞면 확률이 (B + W_j)/2B(테두리의 초록 부분)인 동전을 만들고, 동전 개수 J는 평균이 2B인 포아송 분포에서 뽑는다. 모두 앞면일 확률이 정확히 e^w−B, 곧 e^w에 비례하므로 w를 계산하지 않고도 (가)와 같은 거부 샘플링이 된다. (라) 확산 모델의 역방향 한 걸음에서 DDPM은 가우시안(점선)을 답으로 쓰지만, 이 논문은 같은 가우시안을 제안 분포로 두고 FORS로 받거나 버려 참 커널 ρ_k(색칠한 면)를 거의 정확하게 뽑는다. 회색 점선은 p_k다. (가)와 (나)는 f(x) = 0.6 sin 2x, (라)는 두 점 ±1에 놓인 데이터로 계산한 1차원 개념도다.

1차원 예에서 기울기만으로 FORS를 실제로 돌려 보면, 받아들인 표본이 목표 분포를 그대로 따른다.

(가) 받아들인 표본과 목표

(나) x마다 받아들인 비율

FORS를 1차원 예에서 기울기만으로 실제로 돌린 결과. 제안 분포는 q = N(0, 1), 목표는 ν(x) ∝ q(x) exp(−(f(x) − f(0))), f(x) = 0.6 sin 2x다. 추정치 W = −x f′(Ux)(U는 0과 1 사이에서 고르게 뽑은 수)를 [−4.5, 4.5]로 잘라 쓰고(B = 4.5), 시도마다 J ~ Poi(9)개의 동전을 던져 모두 앞면이면 받아들였다. (가) 받아들인 표본 20,000개의 히스토그램(막대, 폭 0.125)이 목표 밀도(실선)와 겹친다. 총변동 거리는 0.017로, 목표에서 바로 뽑은 같은 수의 표본(0.017, 200번 평균)과 같은 수준이고 제안 분포와 목표 사이(0.18)보다 훨씬 작다. (나) 제안한 점 x를 폭 0.25인 칸으로 나눠 칸마다 받아들인 비율을 세면(점) 식 e^w(x)−B(실선)와 겹친다(세로 선은 ±2 표준오차). w(x)는 한 번도 계산하지 않았다. 전체로는 시도 165만 번 중 1.21%를 받아들였고, 기울기는 1,489만 번(표본 하나에 약 745번) 계산했다. 잘린 추정치는 그중 610개뿐이다. 추정치가 잘리지 않도록 B를 넉넉히 잡은 대가로 받아들이는 비율이 e^−B 수준으로 낮다.

방법: 역방향 한 걸음은 가우시안 틸트다

확산 모델의 역방향 과정에서 한 걸음은 조건부 분포 \(\rho_k(x\mid x')\)에서 표본을 뽑는 일이다. 베이즈 규칙으로 쓰면 이 분포는 다음 꼴이다(2장).

\[ \rho_k(x\mid x') \;\propto\; p_k(x)\,\exp\!\Big(-\frac{\|x-\alpha_k^{-1}x'\|^2}{2\eta_k}\Big) \]

\(f=-\log p_k\)로 두면 가우시안에 \(e^{-f}\)를 곱한 가우시안 틸트다. DDPM은 이 분포를 가우시안 하나로 근사하고 끝낸다(2장). 보폭이 크면 이 근사가 틀리고, 그 오차가 쌓여 \(\mathrm{poly}(1/\delta)\)가 된다.

이 논문은 같은 가우시안을 답이 아니라 제안 분포로 쓴다. 지수 적분기(exponential integrator)로 한 걸음 간 DDPM 표본 \(\mathcal N(\alpha_k^{-1}x' + \alpha_k\eta_k s_{k+1}(x'),\, \bar\eta_k I)\)를 제안하고, 진짜 분포와의 차이는 FORS로 받아들이고 버려서 메운다. 이때 필요한 것은 목표와 제안의 로그 비에 대한 불편 추정치인데, 이 값은 기울기의 경로 적분으로 쓸 수 있다(3.2절). 전개 기준점을 \(x_+\)라고 하면 다음이 성립한다.

\[ \log \nu(x) - \log q(x) \;=\; \int_0^1 \big\langle x - x_+,\; \nabla f(x_+) - \nabla f\big(r x + (1-r)x_+\big)\big\rangle\, dr \;+\; \text{상수} \]

적분 변수 \(r\)을 고르게 뽑으면 적분 안의 값이 곧 추정치가 된다. 확산 모델에서는 \(\nabla f\) 자리에 학습된 점수, 정확히는 점수에서 얻은 디노이저(denoiser)가 들어간다. 차원 의존성을 줄이려고 직선 대신 무작위 잡음을 섞은 곡선 경로도 쓴다(4.2절). 추정치는 \([-B,B]\)로 잘라(clipping) 쓰는데, 보폭이 충분히 작으면 잘리는 일이 드물어 오차가 무시할 만해진다. 필요한 조건은 \(\sigma_k^2/\eta_k \gg d_\star\log(1/\delta) + \log^2(1/\delta)\)이다(정리 4.3).

수식: 무엇을 보장하나

주 정리(정리 4.3)는 최종 표본의 분포 \(\hat p_1\)이 초기 정지(early stopping) 분포 \(p_1\)에서 얼마나 떨어지는지를 이렇게 묶는다.

\[ \mathrm{KL}(p_1 \,\|\, \hat p_1) \;\lesssim\; \mathrm{KL}(p_K \,\|\, \hat p_K) + K\delta + \sum_{k=1}^{K} \eta_k\, \varepsilon_k^2 \]

첫째 항은 출발 분포의 오차, 둘째 항은 걸음마다 추정치를 잘라 쓴 오차, 셋째 항은 L² 기준 점수 추정 오차 \(\varepsilon_k\)의 누적이다. 이산화 오차 항이 따로 없다는 점이 핵심이다. 걸음마다 FORS가 역방향 커널을 거의 정확하게 뽑기 때문이다.

보폭 스케줄을 조건에 맞게 잡으면 필요한 걸음 수는 \(K = O\big((d_\star + \log(\kappa/\delta))\log^2(d_\star\kappa/\delta)\big)\)이다(따름정리 4.4, \(\kappa = M_2^2/\sigma_0^2 + 1\)). 여기에 초기 정지 수준을 \(\sigma_0^2 \asymp \delta^2/(d+M_2^2)\)로 두면, 데이터 분포와의 유계 립시츠 거리(bounded Lipschitz metric)를 \(\delta\)로 만드는 전체 비용이 \(d_\star \log^3\big((d+M_2^2)/\delta^2\big)\)이 된다(4.2절).

\(d_\star\)는 데이터의 내재 차원(intrinsic dimension)이다(정의 4.1). 임베딩 차원 \(d\)보다 클 수 없고, 데이터가 \(k\)차원 다양체 위에 있으면 \(\tilde O(k)\)로 줄어든다. 점수 함수에 비균일 립시츠 조건(non-uniform Lipschitz condition)을 더하면 비용은 \(L\log^3(\cdot)\) 꼴이 된다(정리 4.9). 연산자 노름 기준의 립시츠 상수 \(L\)로 쓰면 \(\tilde O(\min\{\sqrt{dL},\, d_\star^{2/3}L^{1/3}\})\)이다(4.3절).

결과 해설

확산 모델. 같은 최소 가정(2차 모멘트 유한, L² 점수 오차)에서 결과를 나란히 두면 차이가 뚜렷하다(4.2절).

결과	점수 평가 횟수
Benton 외, Conforti 외	\(\tilde O(d/\delta^2)\)
Li, Yan / Jain, Zhang	\(\tilde O(d/\delta)\)
Li, Cai (알고리즘을 바꾼 가속 방법)	\(1/\delta^{1/2}\) 수준 (1장)
이 논문	\(O(d_\star \log^3((d+M_2^2)/\delta))\)

\(\delta\) 의존성이 다항식에서 폴리로그로 바뀌었고, 차원 자리에도 임베딩 차원 \(d\) 대신 내재 차원 \(d_\star\)가 들어간다. 데이터가 로그 매끄러운(log-smooth) 경우에는 DDPM 한 걸음을 더해 데이터 분포 자체에 대한 KL 보장도 준다. 이때 비용은 \(d\log^3((d+L+M_2^2)/\delta^2)\)이다(4.2절).

로그 오목 샘플링. 근위 샘플러(proximal sampler)는 매 단계 제한 가우시안 오라클(restricted Gaussian oracle, RGO)이라는 가우시안 틸트에서 표본을 뽑는데, 그동안은 여기에 함숫값이 필요했다. RGO를 FORS로 바꾸면 기울기만으로 기존 최고 수준(Fan, Yuan, Chen)의 결과를 그대로 얻는다(5장). 예를 들어 로그 소볼레프 부등식(log-Sobolev inequality) 아래에서 \(\chi^2\) 오차 \(\varepsilon^2\)에 드는 질의는 \(\tilde O\big(\kappa(d^{1/2}\log^{3/2}(\mathcal R/\varepsilon^2) + \log^2(\mathcal R/\varepsilon^2))\big)\)번이다. 함숫값 없이 고정밀에 이른 앞선 결과로는 강로그 오목 분포에서 따뜻한 출발점(warm start)과 편미분 질의를 쓰는 지그재그 샘플러(Lu, Wang) 정도가 있었다.

의심해볼 점

• 실험이 없다. 저자들은 결론에서 구현과 실험을 다음 과제로 남겼다. \(B\)나 \(e^{2B}\) 같은 상수, 걸음마다 드는 점수 평가 수가 실제로 얼마인지는 아무도 재 보지 않았다.
• 점수 오차가 작아야 한다. 보장의 마지막 항 \(\sum_k \eta_k \varepsilon_k^2\)가 목표 정확도보다 작으려면 점수가 \(\tilde O(\delta)\) 수준으로 정확해야 한다. 실제로 학습한 점수가 그만큼 정확한지는 별개의 문제다.
• 초기 정지 분포에 대한 보장이다. 주 정리는 살짝 잡음을 섞은 \(p_1\)에 대한 것이다. 데이터 분포로 넘어가려면 \(\sigma_0^2\)를 \(\delta^2/(d+M_2^2)\) 정도로 아주 작게 잡아야 하고, 그 대가가 로그 인자로 들어간다.
• 확률적 샘플러에 한정된다. 분석 대상은 DDPM처럼 잡음을 넣는 역방향 과정이다. 실무에서 많이 쓰는 DDIM 같은 결정론적 ODE 샘플러에서도 같은 보장이 가능한지는 저자들도 열린 문제로 남겼다.
• ’일반 로그 오목’의 범위. 5장의 고정밀 결과는 로그 소볼레프나 푸앵카레(Poincaré) 부등식을 가정한다. 일반 로그 오목 분포로 넓히는 데는 KLS 추측의 최근 진전을 빌려 오고, 출발 분포의 \(\chi^2\) 거리에 로그로 의존한다.

리뷰어들이 짚은 점

OpenReview에 심사 기록이 공개돼 있다. 네 리뷰어 모두 최종 5점을 줬고, 프로그램 위원회는 이론적 진전은 분명하지만 실험과 실용성이 빠진 점이 주된 한계라고 적었다.

• 실용성. 한 리뷰어는 DDPM을 고쳐 써야 하는 데다, 실제로는 적은 단계로도 좋은 이미지를 얻으니 실용적 의미가 크지 않다고 봤다. 저자들은 표준 DDPM이 보통 1,000번 안팎의 점수 평가를 쓰고 단계를 줄이면 품질이 눈에 띄게 떨어진다고 답했다. DDPM에 FORS를 보정 장치로 붙여야 폴리로그가 가능해진다는 점도 강조했다.
• ’0차 질의’라는 말. 두 리뷰어가 선행 연구의 약점으로 든 ’0차 질의(zeroth-order query)’가 정확히 무엇이냐고 물었다. 저자들은 정규화되지 않은 로그 밀도 값이라고 답하면서, 확산 모델은 점수만 배우니 1차 질의만 쓰는 쪽이 자연스럽다고 설명했다. 다만 로그 오목 문제에서는 함숫값과 기울기를 함께 쓸 수 있는 경우가 대부분이라, 그쪽 결과의 의미는 기울기 질의가 함숫값 질의만큼 강하다는 개념적 발견에 가깝다고 인정했다.
• 실험 부재. 장난감 설정이라도 수치 실험이 있었으면 좋겠다는 지적이 나왔다.
• 하한. 기울기만 쓰는 샘플러의 하한을 묻자, 저자들은 DDPM에 대한 \(\Omega(1/\delta)\) 말고는 일반 알고리즘에 대한 하한이 아직 없다고 답했다.
• 두 조건을 함께 쓰면. 내재 차원과 립시츠 조건을 함께 쓰면 \(\tilde O(\sqrt{d_\star L})\)까지 내려갈 수 있다고 저자들이 답변에서 밝혔다.

계보

• 확산 모델 수렴 이론. Chen 외(ICLR 2023)와 Lee, Lu, Tan(2023)이 L² 점수 오차만으로 DDPM의 수렴을 보였다. 그 뒤 Benton 외(ICLR 2024)와 Conforti 외(2025)가 최소 가정에서 \(\tilde O(d/\delta^2)\)를, Li, Yan(ICLR 2025)과 Jain, Zhang(ICLR 2026)이 \(\tilde O(d/\delta)\)를 얻었다. Jiao, Zhou, Li는 흔히 쓰는 보폭 스케줄에서 표준 DDPM이 \(\Omega(1/\delta)\)보다 빨라질 수 없음을 보였다.
• 밀도 값을 쓰는 고정밀 샘플러. Huang 외(NeurIPS)의 역방향 전이 커널 방법과 Wainwright(arXiv 2512.24152)는 로그 밀도 값을 추가로 써서 고정밀에 이르렀다. 이 논문은 그 가정을 없앴다.
• 도구의 뿌리. 베르누이 팩토리는 Keane, O’Brien(1994)과 Nacu, Peres(2005)로 거슬러 올라가고, 확률미분방정식을 치우침 없이 정확하게 시뮬레이션하는 Beskos, Roberts(2005)의 방법도 같은 발상을 쓴다. 로그 오목 쪽은 근위 샘플러(Lee, Shen, Tian 2021; Chen 외 2022)와 Fan, Yuan, Chen(2023)의 개선 위에 서 있다.
• 동시 연구. Gatmiry, Chen, Salim(arXiv 2601.10708)은 가속 ODE 흐름으로 고정밀을 얻었다. 다만 데이터가 가우시안 합성곱 꼴이고 점수 오차가 준지수(sub-exponential) 꼬리를 갖는다는 더 강한 가정을 쓴다(부록 A.1).
• 후속 연구. 2026년 9월 기준으로 인용이 14편 쌓였다(Semantic Scholar). 같은 연구진은 확률적 기울기 버전(arXiv 2602.14342)과 경로 공간의 정확 시뮬레이션(arXiv 2608.05022)으로 틀을 넓혔다. Lam 외(arXiv 2605.09654)는 점수와 베르누이 팩토리로 확산 모델의 랑주뱅 보정 단계에 Metropolis 보정을 붙였다.
• 같은 주제의 이전 글. 확산 모델이 서로 다른 데이터에서도 같은 그림을 그리는 이유를 다룬 랜덤 행렬 이론 논문 해설도 ‘확산 모델 이론과 샘플링’ 주제에 속한다. 그 논문은 무엇이 샘플링되는지를 묻고, 이 논문은 얼마나 빠르고 정확하게 샘플링할 수 있는지를 묻는다.

열린 질문

1. 결정론적 샘플러의 고정밀. DDIM이나 확률 흐름 ODE처럼 잡음을 넣지 않는 샘플러에서도 폴리로그 보장을 얻을 수 있을까. 받아들이고 버리는 단계가 없을 때 무엇이 그 역할을 대신할 수 있을까.
2. 이론과 실제 사이. 학습된 점수의 오차와 FORS의 상수까지 감안해도, 큰 보폭에서 품질을 지키며 실제로 점수 평가를 줄일 수 있을까.
3. 기울기 질의의 한계. 기울기만 쓰는 샘플러는 원리적으로 얼마나 빨라질 수 있고, 하한은 어디에 있을까.

이해 확인

1. FORS에서 J ~ Poi(2B)개의 추정치를 뽑아 ∏(B+W_j)/(2B)의 확률로 받아들이면, 한 번 시도에서 받아들여질 확률은?

1. x와 상관없이 늘 e^(−2B)이다
2. e^(w(x)−B)이다. w(x)는 추정치의 평균이다
3. w(x)/B이다
4. 추정치를 모두 더한 값의 지수 e^(ΣW_j)이다

x가 정해지면 각 인수의 평균은 t = (B+w)/(2B)이고 서로 독립이라 곱의 평균은 t^J다. 포아송 분포의 생성함수 E[t^J] = e^(2B(t−1))에 넣으면 e^(w−B)가 된다. 받아들일 확률이 e^(w(x))에 비례하니, 받아들여진 x는 q(x)e^(w(x))에 비례하는 분포를 따른다.

2. DDPM과 이 논문은 역방향 한 걸음에 같은 가우시안을 쓴다. 그런데 이 논문만 폴리로그 단계에 이르는 까닭은?

1. 가우시안의 분산을 더 정교하게 맞추기 때문이다
2. 가우시안을 답이 아니라 제안 분포로 쓰고, FORS로 받아들이고 버려 진짜 커널을 거의 정확히 뽑기 때문이다
3. 점수 함수를 더 오래 학습하기 때문이다
4. 보폭을 크게 잡아 단계 수를 줄이기 때문이다

DDPM은 가우시안을 답으로 써서 진짜 커널과의 차이가 걸음마다 쌓이고, 이를 줄이려면 보폭을 줄여야 해 poly(1/δ) 단계가 든다. 이 논문은 같은 가우시안을 제안으로만 쓰므로, 정리 4.3의 오차 한계에는 이산화 오차 항이 없고 출발 분포 오차, 추정치를 잘라 쓴 오차, 점수 오차만 남는다.

3. 보폭 조건 σ_k²/η_k ≫ d⋆log(1/δ) + log²(1/δ)의 역할은?

1. 점수 추정 오차를 없앤다
2. 로그 비 추정치가 작은 범위에 머물게 해서, 상수 B로 잘라도 오차가 거의 없고 받아들임 확률도 e^(−2B) 이상으로 유지되게 한다
3. 초기 정지 수준 σ₀²을 정한다
4. 결정론적 ODE 샘플러로 바꿀 수 있게 한다

보폭이 작으면 틸트의 로그 비가 작아 추정치를 [−B, B]로 잘라도 거의 잘리지 않는다. 대신 걸음마다 잡음 수준이 조금씩만 커질 수 있어서, 아주 작은 σ₀²에서 1 근처까지 가는 데 d⋆log³ 꼴의 걸음 수가 든다.

논문 정보

• 제목: High-accuracy sampling for diffusion models and log-concave distributions
• 저자: Fan Chen, Constantinos Daskalakis, Alexander Rakhlin (MIT), Sinho Chewi (Yale University)
• 학회: ICML 2026 Outstanding Paper
• 링크: arXiv 2602.01338, OpenReview