NeurIPS 2025 Oral
Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks
넓은 신경망은 왜 한참 동안 과적합하지 않을까
두 층 신경망을 경사 흐름으로 학습하면 특징 학습은 금방 끝나고 과적합은 폭에 비례하는 시간 뒤에야 온다는 것을 동역학적 평균장 이론으로 보인 NeurIPS 2025 구두 발표 논문
동역학적 평균장 이론, 과적합, 조기 종료, 특징 학습, 두 층 신경망, 암묵적 편향
3줄 요약
- 숨은 방향 하나에만 의존하는 잡음 섞인 목표를 넓은 두 층 신경망이 경사 흐름(gradient flow)으로 배울 때, 학습은 세 구간으로 나뉜다. 시간 \(t\)가 1 규모일 때 숨은 특징을 배우고, 한동안 거의 그대로 머물다가, 폭 \(m\)에 비례하는 시간이 지나서야 잡음을 외우며 배운 특징을 잃는다(2장, 그림 1).
- 늦어지는 까닭은 모델 복잡도가 느린 변수이기 때문이다. 잡음까지 맞히려면 둘째 층 가중치가 \(\sqrt{m}\) 규모까지 커져야 하는데, 이 크기는 다른 변수보다 훨씬 천천히 자란다(2.2절, 4장).
- 도구는 통계물리의 동역학적 평균장 이론(dynamical mean-field theory, DMFT)이다. 다만 \(t \asymp m\)에서 일어나는 일은 비엄밀한 섭동 분석과 수치 풀이에 기대고, 엄밀하게 증명된 것은 \(t = o(m^{1/4})\)까지 과적합이 없다는 데까지다(3장).
선정 이유
NeurIPS 2025 구두 발표(oral) 논문이다. 공개된 리뷰 점수는 6점 만점에 6, 5, 5, 5, 4였고 4점을 준 리뷰어도 토론 뒤 점수를 올리겠다고 밝혔다. 프로그램 위원장은 결정문에서 지연 학습과 특징 학습, 양성 과적합, 이중 하강, 조기 종료 같은 현상을 한 틀에서 수학적으로 설명하는 데 도움이 된다고 평했다.
- 전후로 아는 것이 달라졌나. 달라졌다. 신경망의 특징 학습 이론은 대개 과적합이 보이지 않는 짧은 시간만 다뤘고, 신경 접선 커널(neural tangent kernel, NTK) 이론은 결국 데이터를 모두 맞히는 선형화된 모형을 다뤘다. 이 논문은 둘이 같은 학습의 앞과 뒤라는 것을, 그 사이의 시간이 폭에 비례한다는 것과 함께 보였다.
- 새 질문을 여는가. 연다. 둘째 층 정규화가 특징 잊기를 막는지, SGD와 Adam이 시간 척도를 어떻게 옮기는지, 다층 망에서도 같은 느린 변수가 있는지가 바로 질문이 된다.
- 일반화될 근거가 있나. 제한적이다. 가우시안 입력, 숨은 방향 하나인 목표, 첫 층 가중치를 단위 구면에 묶은 두 층 망이다. 다만 3장의 정리는 숨은 방향이 여럿인 경우와 대칭이 아닌 초기화까지 포함한다.
- 증거가 주장만큼 강한가. 단계마다 다르다. 첫 구간은 엄밀하게 확인됐고, \(t \asymp m\)의 과적합 구간은 물리학식 유도와 수치에 기댄다.
왜 중요한가
교과서의 설명은 이렇다. 모델이 데이터를 외우지 않으려면 복잡도가 작아야 하고, 정규화가 그 복잡도를 누른다. 그런데 요즘 신경망은 매개변수가 데이터만큼 많고 잡음 섞인 데이터까지 완벽히 맞히는 해가 수없이 많다. 학습 데이터에서는 구별되지 않는 이 해들이 시험 데이터에서는 크게 다르다. 그래서 흔히 SGD가 복잡도가 작은 해를 골라 준다고 설명한다. 이른바 암묵적 정규화(implicit regularization) 가설이다(1장).
가설을 검증하려면 학습 과정을 직접 따라가야 한다. 실무에서도 같은 학습 오차에 이르러도 초기화와 옵티마이저에 따라 시험 오차가 다르고, 일찍 멈춘 모델이 더 잘 일반화하기도 한다. 저자들이 던지는 물음은 여섯 개다(1장). 그 가운데 핵심은 특징 학습과 데이터를 외우는 지연 학습(lazy training)을 한 그림에 담을 수 있는지, 언제 멈춰야 하는지, 망이 클수록 과적합이 일찍 오는지 늦게 오는지다.
핵심 아이디어
직관: 복잡도는 느린 변수다
모형은 \(f(\mathbf{x}) = \frac{1}{m}\sum_{i=1}^m a_i\,\sigma(\langle \mathbf{w}_i, \mathbf{x}\rangle)\)이고 첫 층 가중치 \(\mathbf{w}_i\)는 길이 1로 묶여 있다(식 1.1). 둘째 층 가중치 \(a_i\)는 묶이지 않았다. 바틀릿(Bartlett)의 오래된 정리에 따르면 이 망의 가우시안 복잡도(Gaussian complexity)는 \(\|\mathbf{a}/m\|_1\sqrt{d/n}\)에 비례하는 값으로 위가 막힌다. 잡음을 외우려면 복잡도가 잡음 크기 \(\tau\) 정도는 돼야 하므로, 둘째 층 가중치의 평균 크기가 \(\sqrt{\alpha}\,\tau\sqrt{m}\) 규모에 이르러야 한다(\(\alpha = n/(md)\), 2.2절).
평균장 초기화(mean-field initialization)에서는 \(a_i\)가 1 정도에서 출발한다. 첫 층 가중치는 짧은 시간에 크게 움직여 숨은 방향을 찾아내지만, \(a_i\)가 \(\sqrt{m}\)까지 자라는 데는 훨씬 오래 걸린다. 저자들은 이 상황을 단열 변화(adiabatic evolution)라고 부른다. 나머지 변수는 그때그때의 복잡도 \(\gamma(t) = a(t)/\sqrt{m}\)에 맞춰 금방 자리를 잡고, \(\gamma\)만 천천히 움직인다. 일반화 오차는 \(\gamma\)가 1 규모가 돼서야 커진다(4장). 망이 넓을수록 외우는 데 필요한 크기 \(\sqrt{m}\)도 커지니 과적합이 늦어진다.
(가) 세 구간
(나) 빠른 길과 느린 길
방법: 동역학적 평균장 이론
데이터는 \(\mathbf{x}_i \sim \mathcal{N}(0, I_d)\)이고 정답은 숨은 방향 \(\mathbf{u}\)에 대한 사영에만 의존하는 단일 지표 모형(single-index model) \(y_i = \varphi(\langle\mathbf{u},\mathbf{x}_i\rangle) + \varepsilon_i\), \(\varepsilon_i \sim \mathcal{N}(0,\tau^2)\)이다(식 2.1). 선형 방법이나 커널 방법은 차원의 어떤 다항식보다도 많은 데이터가 있어야 이 목표를 배우지만, 신경망은 \(n = O(d)\)개면 된다. 숨은 방향을 찾아내느냐가 성패를 가르는 문제라서 특징 학습을 보기에 알맞다. 저자들은 \(\varphi\)의 1차 에르미트 계수가 0이 아닌 경우(정보 지수 1)에 집중한다.
분석은 두 단계다(2.1절). 먼저 \(n, d \to \infty\), \(n/d \to \bar\alpha\) 극한에서 경사 흐름 전체를 몇 개의 거시량에 대한 적분 미분 방정식으로 줄인다. 뉴런끼리의 겹침 \(C_{ij}(t_1, t_2) = \langle\mathbf{w}_i(t_1), \mathbf{w}_j(t_2)\rangle\), 숨은 방향과의 정렬 \(v_i(t) = \langle\mathbf{u}, \mathbf{w}_i(t)\rangle\), 둘째 층 가중치 \(a_i(t)\)가 그 거시량이다. 이것이 DMFT다. 원래 모형의 DMFT는 Celentano, Cheng, Montanari(2021)가 엄밀하게 유도했지만 풀기가 너무 어렵다. 그래서 저자들은 표본마다의 오차 \(y_i - f(\mathbf{x}_i)\)를 평균과 공분산이 같은 가우시안 과정으로 바꾼 모형의 DMFT를 쓴다. 이 근사의 오차는 \(t = O(1)\)에서 사라짐을 해석적으로 보였고, 더 긴 시간에서는 수치로 작음을 확인했다(그림 4).
다음으로 \(\alpha\)를 고정한 채 \(m \to \infty\)로 보내며 시간 척도를 찾는다. 특이 섭동 이론(singular perturbation theory)의 방식이다. 시간이 \(t_\#(m)\) 규모일 때 각 양이 어떤 꼴일지 가정하고, 그 꼴이 방정식과 맞는지 확인하고, 수치 풀이에서 실제로 보이는지 본다(부록 E). 저자들도 이 단계를 엄밀하게 만들기는 매우 어렵다고 적었다.
수식: 세 구간과 그 경계
평균장 초기화(\(a(0) = a_0\))에서 DMFT가 내놓는 그림은 다음과 같다(2.4절, 부록 G.2).
- \(t = O(1)\), 특징 학습. \(m \to \infty\)에서 DMFT는 \(a(t)\)와 \(v(t)\)에 대한 상미분 방정식 두 개로 줄고, 이는 Mei, Montanari, Nguyen(2018)과 Chizat, Bach(2018)의 평균장 이론과 같다. 학습 오차와 시험 오차가 같다. \(\varphi = \sigma\)이고 \(h'(0) > 0\)이면 \((a, v) \to (1, 1)\)로 가서 두 오차가 베이즈 오차 \(\tau^2/2\)로 내려간다.
- \(1 \ll t \ll m\), 고원. 학습 오차는 천천히 줄고 일반화 오차는 아직 작다. 둘째 층 노름은 1과 \(\sqrt{m}\) 사이에 있다(2장).
- \(t \gtrsim m\), 과적합과 특징 잊기. 평균장 해에 붙는 \(1/m\) 보정이 시간에 비례해 자라므로, \(t\)가 \(m\) 규모가 되면 평균장 해에서 벗어난다(부록 G.2.2). 이때 \(a(t) \asymp \sqrt{m}\), \(v(t) \asymp 1/\sqrt{m}\)이고 \(a(t)v(t) \approx 1\)이다. 학습 오차는 0으로 가고 시험 오차는 베이즈 오차보다 훨씬 높아진다. \(\gamma(t)\)는 경사 흐름이 잡음을 맞히기 시작하는 문턱 \(\gamma^*_\mathrm{GF}\) 근처로 수렴한다(그림 5).
마지막 구간에서 시험 오차가 가는 곳은 데이터와 무관한 커널 방법의 오차다. 숨은 방향을 거의 잃고 NTK 모형처럼 행동한다는 뜻이다. 저자들이 특징 잊기(feature unlearning)라고 부르는 현상이다.
지연 초기화(lazy initialization, \(a(0) = \gamma_0\sqrt{m}\))에서는 이야기가 다르다(2.3절). 처음부터 복잡도가 커서 \(t = O(1/m)\) 만에 오차가 숨은 목표의 선형 부분만 맞힌 수준까지 내려가고, \(t = \Theta(1)\)에서는 첫 층 가중치가 숨은 방향과 수직으로만 움직여 시험 오차가 변하지 않는다. 특징 학습 구간을 건너뛰는 셈이다. 시험 오차는 \(\tfrac12(\tau^2 + \|\varphi\|^2 - \|\nabla\hat\varphi(0)\|^2/h'(0) + \gamma_0^2(h(1) - h'(0)))\)에 머물고, \(\gamma_0\)가 문턱보다 작으면 \(t = \Theta(m)\)에 잡음을 맞히며 더 나빠진다. 여기서 \(h(q) = \mathbb{E}[\sigma(G_1)\sigma(G_q)]\)다.
결과 해설
DMFT와 실제 SGD(그림 2, 4). 저자들은 실제 두 층 망을 \(d = 200\), \(n = \alpha md\), 배치 100, 학습률 0.1의 SGD로 학습해 DMFT 풀이와 비교했다(\(m = 2^5\)부터 \(2^9\)까지, 10회 평균, 부록 I). 단일 지표 모형에서 \(\alpha = 0.3\)일 때 학습 오차와 시험 오차는 \(t \approx 10\)까지 함께 내려가고, 그 뒤 학습 오차는 계속 줄며 시험 오차는 오른다. 갈라지는 시점이 \(m\)과 함께 오른쪽으로 밀리고, \(m = 2^9\)에서는 \(t = 10^3\)까지도 두 오차가 거의 붙어 있다. 둘째 층 가중치도 \(t \approx 10\)까지는 폭과 상관없이 같은 곡선을 따르다가, 작은 망부터 차례로 커진다. 가우시안 근사와 SGD라는 차이에도 둘이 잘 맞는다.
\(t/m\)으로 다시 그리면(그림 5). 둘째 층 가중치를 \(\sqrt{m}\)으로 나누고 시간을 \(m\)으로 나눠 그리면 폭이 다른 곡선들이 한 곡선으로 모이는 모습을 보이며 문턱 \(\gamma^*_\mathrm{GF}\) 쪽으로 간다. 오른쪽 그림에서는 시험 오차와 학습 오차의 차이를 \(a/\sqrt{m}\)의 함수로 그렸는데, 폭이 커질수록 둘째 층을 \(\gamma\sqrt{m}\)에 고정한 지연 모형의 곡선에 붙는다. 복잡도가 느린 변수이고 나머지는 그 값에 맞춰 움직인다는 단열 그림의 근거다.
엄밀한 하한(3장). 정리 3.1은 크기가 유한한 \(n, m, d\)에서, 대칭 초기화 가정 없이 성립한다. \(n \ge d \vee m\)이면 \(\|\mathbf{a}(t)\|_\infty \le a_0 + a_1 t\)이고, 일반화 오차는 \((a_0 + a_1 t)^2\sqrt{d/n}\)에 비례하는 값으로 위가 막힌다. 그래서 \(t = o((n/d)^{1/4})\), 곧 \(\alpha\)를 고정하면 \(t = o(m^{1/4})\)까지는 폭과 상관없이 과적합이 없다. 정리 3.2는 \(t\)가 \((\log m)^{1/3}\) 규모일 때까지 실제 동역학이 평균장 방정식을 따라간다는 것을 확률 \(1 - 2e^{-c_1 d}\)로 보인다.
잡음만 있을 때(2.2절, 부록 H). 정답이 순수한 잡음이면 둘째 층 가중치를 \(\gamma\sqrt{m}\)에 고정한 망은 \(\gamma\)가 문턱 \(\gamma_\mathrm{GF}(\alpha, m)\tau\)보다 클 때만 학습 오차를 0으로 만든다. DMFT는 이 전이가 날카롭다고 예측한다. 반대로 \(a = 1\)로 고정하고 \(n/d\)를 늘려 가면 잡음을 외울 수 있는 한계가 \(\bar\alpha_\mathrm{GF}(\infty) \approx 1.18\)로 수렴하고, 그 아래에서도 외우는 데 걸리는 시간은 \(m\)에 비례한다.
조기 종료에도 뜻하는 바가 있다. 저자들은 리뷰 답변에서 넓은 망일수록 검증 오차가 최저점 근처에 오래 머물러 멈추는 시점을 고르기 쉬워진다고 적었다. 아래는 비슷한 설정을 노트북에서 돌릴 만큼 줄인 장난감 실험이다. 숫자는 논문의 극한과 거리가 멀지만, 빠른 시점은 거의 그대로이고 느린 시점만 폭과 함께 늦어지는 방향은 그대로 보인다.
(가) 학습 곡선
(나) 폭에 따른 두 시점
의심해볼 점
- 어디까지가 증명인가. 증거는 네 층으로 나뉜다. 엄밀한 것은 정리 3.1과 3.2이고, 각각 \(t = o(m^{1/4})\)와 \(t \lesssim (\log m)^{1/3}\)까지만 다룬다. 가우시안 근사 모형의 DMFT는 물리학식 유도이고, 그 위의 \(m \to \infty\) 분석은 가정한 꼴을 방정식과 수치로 확인하는 비엄밀한 방법이다. 실제 망과의 비교는 \(d = 200\), \(m \le 512\)의 SGD 시뮬레이션뿐이다. 특히 평균장 초기화에서 과적합 시점이 \(m\)에 비례한다는 핵심 주장은 \(1/m\) 보정의 선형 증가를 \(t \sim m\)까지 외삽한 결과이고, 저자들도 수치 풀이가 다루는 \(m\)의 범위가 좁아 전이 구간의 폭이 \(m\)에 따라 어떻게 바뀌는지는 정하지 못했다고 적었다(부록 G.2.3). 그림 5의 곡선들도 큰 \(m\)일수록 짧은 시간까지만 풀려 있다.
- 극한의 순서. DMFT는 \(n, d \to \infty\)를 먼저 보내고 \(m \to \infty\)를 나중에 본다. 실제 망처럼 \(m/d\)가 일정한 경우와 같은지는 리뷰어 두 명이 물었고, 저자들은 3장의 정리가 순서와 무관하게 성립한다는 점만 들었다.
- “큰 망이 늦게 과적합한다”의 조건. 이 문장은 \(\alpha = n/(md)\)를 고정할 때, 곧 데이터도 폭에 비례해 늘릴 때의 이야기다(4장). 데이터를 고정하고 폭만 키우면 \(\alpha\)가 줄어드는데, 이 경우를 따로 다루지는 않는다.
- 정규화가 없는 설정. 둘째 층 가중치에 가중치 감쇠가 없다. 한 리뷰어는 정규화를 넣으면 결론이 크게 바뀔 것이라고 봤고, 저자들은 둘째 층을 정규화하면 가중치의 성장이 멈춰 특징 잊기가 약해지거나 사라질 것이며 이를 후속 과제로 본다고 답했다. 실제로 쓰는 He 초기화는 이 논문의 지연 초기화에 해당한다는 답도 있었다(\(A_i = a_i/m\)로 두면 \(O(1/\sqrt{m})\)).
- 복잡도의 잣대. \(\ell_1\) 노름이 복잡도를 대신한다는 데 한 리뷰어가 의문을 표했다. 저자들은 바틀릿의 상한과, 일반화 오차의 증가가 둘째 층 노름의 증가를 정확히 따라간다는 그림 5를 근거로 들었다.
- 좁은 실험. 합성 데이터와 다항식 활성화(\(h(q) = 0.9q + q^3/6\) 같은 꼴)만 썼다. 저자들은 해석 이론이 실제 데이터를 정성적으로만 설명할 수 있어서라고 답했다.
리뷰어들이 짚은 점
다섯 리뷰어 모두 수락 쪽이었다. 공통된 불만은 읽기 어렵다는 것이었다. 본문만으로는 어떤 결론이 엄밀한 DMFT에서, 어떤 결론이 가정한 꼴이나 수치에서 나왔는지 구분하기 어렵다는 지적이 두 리뷰에서 나왔고, 용어와 시뮬레이션 설정이 본문에 없다는 지적도 있었다. 한 리뷰어는 실무에서 흔한 양성 과적합(benign overfitting)이 왜 여기서는 나타나지 않느냐고 물었다. 저자들은 마지막 구간의 NTK 모형도 데이터가 차원에 대해 다항식보다 빠르게 늘면 결국 양성으로 과적합하지만, 특징 학습 구간은 \(n \gg d\)만으로 오차를 없앤다고 답했다.
- 그림 4의 캡션은 \(\tau = 0.3\)이라고 적었지만, 곡선이 머무는 바닥(약 0.18)은 \(\tau = 0.6\)일 때의 베이즈 오차 \(\tau^2/2 = 0.18\)과 맞는다. \(\tau = 0.3\)이면 베이즈 오차는 0.045다. 저자들도 리뷰 답변에서 그림 4 오른쪽의 점근값이 베이즈 오차라고 설명했고, 같은 \(h\)와 \(\alpha\)를 쓴 부록 G.2의 그림들은 \(\tau = 0.6\)이다. 캡션의 오기로 보인다.
- 정리 3.1은 식 1.2의 경사 흐름을 가정한다고 적었지만, 상한은 3장 머리에서 다시 정의한 시간 \(\bar t = \alpha t\)(식 3.1)로 쓰여 있다. \(\alpha\)가 상수인 한 결론은 같다.
- 부록 I의 SGD는 첫 층 가중치를 단위 구면이 아니라 단위 공 안으로 사영한다. 가우시안 초기값의 길이가 거의 1이라 결과에 미치는 영향은 작아 보인다.
계보
- 두 층 망의 두 극한. 평균장 이론(Mei, Montanari, Nguyen 2018; Chizat, Bach 2018)은 특징 학습을, NTK(Jacot 외 2018)와 지연 학습(Chizat, Oyallon, Bach 2019)은 선형화된 학습을 설명했다. Ba 외(2022), Damian 외(2022), Abbe 외(2022)는 숨은 방향을 찾는 데 필요한 표본 수를 다뤘고, Berthier, Montanari, Zhou(2024)는 같은 문제의 학습 시간 척도를 풀었다. 모두 과적합이 나타나기 전의 시간대다.
- DMFT. 스핀 유리 동역학에서 온 도구로, Mignacco, Krzakala, Urbani, Zdeborová(2020)가 SGD에, Bordelon, Pehlevan(2022)이 넓은 망의 커널 변화에 썼다. Celentano, Cheng, Montanari(2021)는 1차 방법 일반에 대해 엄밀히 유도했다.
- 조기 종료. 신경망에서 일찍 멈추는 효과는 Morgan, Bourlard(1989) 때부터 관찰됐고, 선형 모형과 커널 방법에서는 Yao, Rosasco, Caponnetto(2007) 등이 정량적으로 정리했다. 이 논문은 비선형 특징 학습에서 같은 이야기를 시간 척도의 분리로 다시 쓴다.
- 후속. Imai, Nishiyama, Imaizumi(arXiv 2602.07378)는 큰 배치 SGD로 학습하는 무한 폭 두 층 망에서 첫 층의 정렬이 빠르고 둘째 층이 느리게 움직이는 빠름과 느림의 동역학으로 특징 잊기의 조건을 유도했다. 데이터의 비선형 항이 강할수록 잊기가 일어나고, 둘째 층의 초기 크기가 클수록 약해진다고 보고했다. Boncoraglio, Zdeborová(arXiv 2610.33846)는 커널 경사 흐름에서 잡음 섞인 레이블을 끝까지 맞혀도 조기 종료보다 나을 수 있는 영역을 위상 도표로 그렸다.
- 이 블로그의 이전 글. 확산 모델의 암기 동역학 논문도 일반화가 먼저 오고 암기가 데이터 수에 비례해 늦게 오는 두 시간 척도를 다뤘다. 블로그의 해석으로는 두 논문 모두 데이터에 공통인 구조는 빠른 방향에, 표본마다 다른 잡음은 느린 방향에 담기는 이야기다. 그 느린 방향이 확산 모델에서는 특징 상관 행렬의 작은 고윳값이고, 이 논문에서는 둘째 층 가중치의 크기다.
열린 질문
- 정규화와 옵티마이저는 느린 변수를 어떻게 바꾸는가. 둘째 층 가중치 감쇠, Adam의 적응적 학습률, 유한한 학습률의 SGD가 과적합 시간 척도와 특징 잊기에 주는 영향을 같은 틀에서 계산할 수 있는가.
- 데이터를 고정하고 폭만 키우면 어떻게 되는가. \(\alpha = n/(md)\)가 0으로 가는 실제적인 영역에서 과적합이 늦어지는 효과가 남는지, 이중 하강과는 어떻게 이어지는지.
- 깊은 망에도 느린 변수가 있는가. 층이 여럿이거나 정규화 층이 있는 망에서 복잡도를 대신할 양이 무엇이고, 그 양이 실제로 다른 변수보다 느리게 자라는지.
이해 확인
1. 평균장 초기화에서 과적합이 t ≍ m까지 늦어지는 까닭으로 논문이 드는 것은?
- 학습률이 시간에 따라 1/m로 줄어들도록 설정했기 때문이다
- 잡음을 맞히려면 둘째 층 가중치가 √m 규모까지 커져야 하는데, 이 크기가 다른 변수보다 훨씬 느리게 자라기 때문이다
- 첫 층 가중치가 단위 구면에 묶여 있어 t ≍ m 전에는 움직이지 못하기 때문이다
- 데이터 수 n이 폭과 무관하게 고정돼 있어 망이 클수록 외울 것이 상대적으로 적기 때문이다
바틀릿의 상한으로 보면 잡음을 외우려면 ‖a/m‖₁이 √m 규모여야 한다(2.2절). 둘째 층 가중치는 느린 변수라서 나머지 변수가 그때그때의 복잡도에 맞춰 움직이는 동안 천천히 자라고, 그 값이 1 규모의 γ = a/√m에 이를 때 과적합이 시작된다(4장). 첫 층 가중치는 t = O(1)에 이미 크게 움직이고, 논문은 n/(md)를 고정해 데이터도 폭에 비례해 늘린다.
2. 이 논문에서 엄밀하게 증명된 내용은?
- 과적합이 시작되는 시점이 정확히 m에 비례한다는 것
- 가우시안 근사 모형의 DMFT가 원래 신경망의 동역학과 모든 시간에서 같다는 것
- n/(md)를 고정하면 t = o(m^{1/4})까지 일반화 오차가 작고, t가 (log m)^{1/3} 규모일 때까지 동역학이 평균장 방정식을 따른다는 것
- SGD로 학습해도 세 구간이 그대로 나타난다는 것
정리 3.1과 3.2가 증명한 것은 3번이다(3장). 과적합 시점이 m에 비례한다는 것은 1/m 보정의 증가를 외삽한 비엄밀한 분석과 DMFT 수치 풀이에서 나왔다. 가우시안 근사는 짧은 시간에서만 해석적으로 확인됐고, SGD는 d = 200 시뮬레이션으로 비교했을 뿐이다.
3. 둘째 층을 √m 규모로 시작하는 지연 초기화에서 시험 오차는 어떻게 되나?
- 숨은 목표의 선형 부분만 맞힌 수준에서 멈춰 베이즈 오차에 이르지 못하고, 잡음을 맞히는 구간에서는 더 나빠질 수 있다
- 특징 학습이 더 빨리 일어나 평균장 초기화보다 빨리 베이즈 오차에 이른다
- 학습 오차가 0이 되는 순간 시험 오차도 베이즈 오차로 내려간다
- 첫 층 가중치가 거의 움직이지 않아 학습 오차와 시험 오차가 모두 처음 값에 머문다
지연 초기화에서는 t = O(1/m)에 오차가 선형 근사 수준으로 내려가고, t = Θ(1)에는 첫 층이 크게 움직이지만 숨은 방향과 수직으로만 움직여 시험 오차가 그대로다(2.3절). 특징 학습 구간을 건너뛰기 때문에 일반화가 나쁘고(4장), γ₀가 문턱보다 작으면 t = Θ(m)에 잡음을 맞히며 시험 오차가 오른다.
논문 정보
- 제목: Dynamical Decoupling of Generalization and Overfitting in Large Two-Layer Networks
- 저자: Andrea Montanari (Stanford University), Pierfrancesco Urbani (Université Paris-Saclay, CNRS, CEA, Institut de Physique Théorique)
- 학회: NeurIPS 2025 구두 발표(Oral)
- 링크: arXiv 2502.21269, OpenReview