ICLR 2026 Oral
Overparametrization bends the landscape: BBP transitions at initialization in simple Neural Networks
학습하기 전의 곡률은 언제 답을 가리키나
학생 신경망을 넓힐수록 초기 헤시안이 더 적은 데이터로 교사 방향을 드러낸다는 ICLR 2026 구두 발표 논문
손실 지형
3줄 요약
- 이차 활성 함수를 쓰는 2층 교사 학생 모형에서, 학습을 시작하기 전 무작위 초기점의 손실 헤시안(Hessian)을 본다. 데이터 양이 BBP 문턱을 넘으면 가장 작은 고윳값 하나가 나머지 고윳값 덩어리(bulk)에서 떨어져 나오고, 그 고유벡터가 교사의 가중치 방향을 가리킨다.
- 학생의 은닉 노드를 늘릴수록 이 문턱은 대체로 내려간다. 폭이 무한한 극한에서 문턱은 \((a+1)/2\)이고, 손실의 정규화 상수 \(a\)를 0으로 보내면 정보 이론이 허락하는 약한 복원 문턱 \(1/2\)에 닿는다.
- 폭은 전이의 성격도 바꾼다. 겹침이 0부터 자라는 연속 전이가 겹침이 한 번에 뛰는 불연속 전이로 바뀌고, 불연속 전이에서는 유한한 행렬이 예측보다 훨씬 적은 데이터에서 정보를 보여 준다.
선정 이유
ICLR 2026 구두 발표(Oral) 논문이다. 리뷰 점수는 8, 8, 6, 4였고, 영역 의장은 쟁점이 대부분 해소됐다며 구두 발표를 추천했다. 블로그의 연구 여지 지도에서 이 논문이 속한 ’학습 동역학과 특징 학습 이론’은 LLM 중심 주제를 뺀 109개 주제 가운데 17위다.
- 전후로 아는 것이 달라졌나. 조금 달라졌다. 과매개변수화(overparametrization)가 손실 지형을 매끄럽게 한다는 말은 오래됐지만 대개 정성적이었다. 이 논문은 학습 전 곡률에 교사 정보가 언제 담기는지를 폭에 따른 문턱 값으로 계산했고, 폭이 늘 이롭지는 않은 좁은 구간도 찾았다.
- 새 질문을 여는가. 연다. 초기 곡률에 담긴 정보가 경사 하강의 성패와 어떻게 이어지는지, 불연속 BBP 전이의 유한 크기 효과를 어떻게 다룰지가 바로 다음 질문이다.
- 일반화될 근거가 있나. 약하다. 이론은 이차 활성 함수, 등방 가우스 입력, 특정한 정규화 손실에 묶여 있다. 다른 활성 함수는 시뮬레이션 몇 개로만 확인했다(부록 E).
- 증거가 주장만큼 강한가. 큰 차원 극한의 계산은 체계적이고, 연속 전이에서는 시뮬레이션과 잘 맞는다. 불연속 전이의 유한 크기 문턱 \(\alpha_0\)는 외삽으로 얻은 어림값이고, 경사 하강과의 연결은 저자들도 예비 결과라고 부른다.
왜 중요한가
위상 복원(phase retrieval)은 \(y=(\mathbf{w}^*\cdot\mathbf{x})^2\)처럼 크기만 보고 숨은 벡터 \(\mathbf{w}^*\)를 되찾는 문제다. 손실 지형이 비볼록하고 나쁜 극소점이 많은데도 경사 하강은 자주 성공한다. 공저자 Cammarota가 참여한 앞선 연구(Bonnaire, Biroli, Cammarota, 2025)는 그 까닭 하나를 초기점의 곡률에서 찾았다. 데이터가 충분하면 무작위 초기점에서도 손실이 신호 방향으로 아래로 휘어 있고, 유한한 차원에서는 이 휨이 경사 하강을 좋은 극소점 쪽으로 밀어 줄 수 있다(1장).
이 휨은 스펙트럼 방법(spectral method)과도 닿아 있다. 위상 복원에서 흔히 쓰는 초기화는 \(\sum_\mu T(y^\mu)\,\mathbf{x}^\mu\mathbf{x}^{\mu\top}\) 꼴 행렬의 맨 끝 고유벡터를 신호의 첫 추정으로 쓴다. 위상 복원 같은 문제에서 이 행렬은 무작위 초기점의 헤시안을 여러 초기점에 걸쳐 평균한 것과 같다(Biroli, Cammarota, Ricci-Tersenghi, 2020). 남은 질문은 학생 신경망을 넓히면 이 곡률의 정보가 어떻게 달라지느냐였다(1, 2장). 여기서 과매개변수화는 데이터보다 매개변수가 많다는 뜻이 아니라, 학생의 은닉 노드 수 \(p\)가 교사의 노드 수 \(p^*\)보다 많다는 뜻이다.
답을 읽으려면 BBP 전이(Baik, Ben Arous, Péché 2005)를 알아야 한다. 가장 단순한 예는 고윳값이 \([-2,2]\)에 반원 모양으로 퍼진 잡음 행렬에 신호 \(\theta\,\mathbf{v}\mathbf{v}^\top\)를 더한 행렬이다. \(\theta\le 1\)이면 가장 큰 고윳값은 덩어리의 끝 2에 붙어 있고, 그 고유벡터는 \(\mathbf{v}\)와 거의 직교한다. \(\theta>1\)이면 고윳값 하나가 \(\theta+1/\theta\)로 떨어져 나오고, 그 고유벡터와 \(\mathbf{v}\)의 겹침의 제곱이 \(1-1/\theta^2\)이 된다(Benaych-Georges, Nadakuditi 2011). 이 논문에 대입하면 신호 세기는 데이터 비율 \(\alpha=M/N\), 행렬은 헤시안, 신호는 교사 방향이다. 다만 정보는 가장 큰 쪽이 아니라 가장 작은 쪽, 곧 손실이 가장 아래로(또는 가장 덜 위로) 휘는 방향에서 나타난다.
핵심 아이디어
직관: 초기점의 곡률에 교사가 비친다
교사와 학생은 둘 다 이차 활성 함수를 쓰는 2층 망이다(2장, 식 1, 2). 교사의 출력은 \(y=\frac{1}{p^*}\sum_l(\mathbf{w}^*_l\cdot\mathbf{x})^2\), 학생의 출력은 \(\hat y=\frac{1}{p}\sum_k(\mathbf{w}_k\cdot\mathbf{x})^2\)이고, 입력은 \(N\)차원 가우스 벡터, 표본 수는 \(M=\alpha N\)이다. 손실은 제곱 오차를 레이블로 나눈 꼴이다(식 3).
\[ \mathcal{L}(\mathbf{w})=\frac12\sum_{\mu=1}^{\alpha N}\frac{\big(y(\mathbf{x}^\mu)-\hat y(\mathbf{x}^\mu)\big)^2}{a+y(\mathbf{x}^\mu)} \]
분모의 \(a>0\)은 아주 작거나 큰 레이블이 만드는 병적인 경우를 막고 헤시안 스펙트럼의 왼쪽 끝을 유한하게 만든다. 끝이 없으면 고윳값이 그 밖으로 튀어나온다는 말도 성립하지 않는다.
무작위 초기점에서 헤시안은 표본마다 \(\mathbf{x}^\mu\mathbf{x}^{\mu\top}\)에 무게를 곱해 더한 \(pN\times pN\) 행렬이다(식 4, 5). 학생 노드가 하나면 표본 \(\mu\)의 무게는 \(2(3\lambda_\mu^2-y_\mu)/(a+y_\mu)\)이고, \(\lambda_\mu=\mathbf{w}\cdot\mathbf{x}^\mu\)는 학생의 무작위한 출력이다. 레이블이 학생 출력에 비해 크면 무게가 음수가 되어 그 입력 방향으로 손실을 아래로 휘게 한다. 그런데 레이블이 큰 표본은 입력이 교사 방향으로 치우친 표본이다. 이런 표본이 쌓이면 손실이 가장 아래로 휘는 방향이 교사 쪽으로 쏠린다. 데이터가 적으면 이 쏠림이 무작위한 곡률에 묻히고, 많으면 고윳값 하나로 떨어져 나온다.
(가) 데이터 비율 α = 1, 문턱 아래
(나) 데이터 비율 α = 4, 문턱 위
방법: 넓은 학생은 자기 무작위성을 평균 낸다
저자들은 Zee(1996)의 장 이론(field theory) 방법으로 스펙트럼을 계산했다(3장, 부록 A). 스틸체스 변환(Stieltjes transform) \(g(z)\)를 가우스 적분으로 쓰고 전개해 나온 항을 파인만 도형으로 정리한 뒤, 더 쪼갤 수 없는 도형만 모아 자기 일관 방정식을 얻는다. 이상치 고윳값까지 이 방법으로 직접 구한 것이 기술적 기여라고 저자들은 설명한다.
계산은 결국 표본마다 붙는 \(p\times p\) 행렬 \(\mathbf{F}\)의 고윳값 \(c_1,\dots,c_p\)로 줄어든다(식 49). 학생 출력의 제곱합을 \(S=\sum_k\lambda_k^2\)라 하면 \(c_1\propto(3S/p-y)/(a+y)\)이고 나머지는 모두 \((S/p-y)/(a+y)\)에 비례한다. 덩어리와 이상치는 각각 다음 식을 만족한다(식 32, 41).
\[ \frac{1}{g(z)}=z-\alpha\,\mathbb{E}\Big[\frac1p\sum_{i=1}^{p}\frac{c_i}{1-g(z)c_i}\Big],\qquad \frac{1}{g^*}=\alpha\,\mathbb{E}\Big[\frac1p\sum_{i=1}^{p}\frac{c_i\,(u^2-1)}{1-g^*c_i}\Big] \]
\(u=\mathbf{w}^*_1\cdot\mathbf{x}\)는 첫 교사 노드의 사전 활성값이다. 이상치 \(\lambda^*\)가 덩어리의 왼쪽 끝 \(\lambda_-\)에 닿는 \(\alpha\)가 BBP 문턱이다(식 15).
블로그의 해석으로는 이 식에서 폭의 효과가 바로 보인다. 학생 노드가 많으면 \(S/p\)가 큰 수의 법칙으로 1에 모이므로, 무게가 학생의 무작위성을 잃고 레이블만의 함수 \((1-y)/(a+y)\)가 된다. 헤시안이 레이블로만 무게를 매긴 스펙트럼 방법의 행렬로 바뀌는 셈이다. 저자들도 과매개변수화를 여러 학생 노드에 걸친 손실 지형의 암묵적 평균으로 볼 수 있다고 적었다(2장). \(a\to0\)이면 이 무게는 \(1/y-1\)이 되는데, 잡음 없는 가우스 위상 복원에서 최적으로 알려진 전처리 \(T^*(y)=1-1/y\)(Luo, Alghamdi, Lu 2019)와 부호만 다르다. 헤시안의 맨 아래 고유벡터가 최적 스펙트럼 행렬의 맨 위 고유벡터에 대응하는 셈이다.
(가) 학생 노드 1개
(나) 학생 노드 32개
수식: 끝의 모양이 전이의 성격을 정한다
덩어리의 왼쪽 끝은 두 방식으로 생긴다(부록 B). \(z(g)\)의 기울기가 정의역 안에서 0이 되면 밀도가 \((\lambda-\lambda_-)^{1/2}\)로 솟는 날카로운 끝이 된다(식 16). 그런 점이 없으면 끝은 정의역의 경계 \(g_{\min}=-p/2\)에서 정해지고, 밀도가 \(\exp[-A/(\lambda-\lambda_-)]\)로 아주 얇게 사라지는 매끄러운 끝이 된다(식 17). 경계가 \(-p/2\)인 까닭은 무게 \(c_i\)가 \(-2/p\)보다 작아질 수 없어서다.
겹침은 이상치 자리에서 레졸벤트(resolvent)의 유수로 구한다. \(m^2=1/(1-\partial_z\Xi)\)이고, \(\Xi\)는 이상치 방정식(식 40)의 우변이다(식 64). 날카로운 끝에서는 \(\partial_z g\)가 발산해 \(m\)이 0에서 출발하는 연속 전이가 되고, 매끄러운 끝에서는 유한해서 \(m\)이 문턱에서 0이 아닌 값으로 뛰는 불연속 전이가 된다. 데이터 비율이 어떤 값 \(\alpha_c\)보다 작으면 끝이 매끄럽고 크면 날카롭다(식 50). 그래서 문턱 \(\alpha_{\mathrm{BBP}}\)가 \(\alpha_c\)보다 먼저 오면 불연속, 나중에 오면 연속 전이다.
(가) 날카로운 끝: 연속 전이
(나) 매끄러운 끝: 불연속 전이
결과 해설
폭이 넓을수록 문턱이 내려간다(4.1절, 그림 2). 교사 노드가 하나일 때 \(a=0.4\)에서 문턱은 학생 노드 1개에서 약 1.48, 2개에서 1.02, 6개에서 0.71로 내려간다(그림 2 왼쪽 삽입 그림). 폭을 고정하면 문턱은 \(a\)에 대해 U자 모양이고, 가장 낮은 지점은 끝이 매끄러워지기 직전, 곧 전이가 불연속으로 바뀌는 \(a_c(p)\)다. \(a\)를 고정하고 폭을 늘리면 어느 폭부터 전이가 불연속이 되고, 그 근처에서는 문턱이 폭과 함께 조금 올라가기도 한다. \(a=0.7\)에서 학생 노드 3개의 문턱은 약 0.83인데 4, 5, 6개에서도 0.83 안팎에 머문다(그림 2 가운데 삽입 그림). 폭을 늘린다고 늘 득을 보지는 않는다는 작은 예외다.
폭이 무한하면 문턱은 닫힌 꼴로 나온다(식 18, 부록 B).
\[ \alpha^{p=\infty}_{\mathrm{BBP}}=\frac{p^*(a+1)}{2} \]
같은 극한에서 끝이 매끄러운 범위는 \(\alpha_c=p^*(a+1)^2/2\)까지라서 전이는 언제나 불연속이다(식 52). \(a\to0\)에서 문턱은 \(p^*/2\)가 되는데, 베이즈 최적 추론으로도 더 낮출 수 없는 약한 복원(weak recovery) 문턱(Maillard 외 2024)과 같은 값이다. 교사와 구조가 다른 학생이라도 폭이 충분히 넓으면, 무작위 초기점의 헤시안을 한 번 대각화하는 것만으로 이 한계에 닿는다. 논문 제목의 ’지형을 휘게 한다’는 이 결과를 가리킨다.
유한한 크기에서는 불연속 전이가 앞당겨진다(4.2절, 그림 3, 4). 저자들은 \(p=p^*=1\) 헤시안을 \(N=200\)부터 3,200까지 만들어, 교사와 가장 많이 겹치는 고유벡터가 가장 작은 고윳값에 속하는 비율을 쟀다. 연속 전이(\(a=0.6\))에서는 여러 \(N\)의 곡선이 예측 문턱에서 교차했다. 불연속 전이(\(a=1.5\))에서는 교차점이 예측 문턱보다 눈에 띄게 왼쪽에 있었다. 까닭은 앞 개념도의 (나)에 있다. 날카로운 끝에서는 유한한 행렬의 가장 작은 덩어리 고윳값이 끝에서 \(N^{-2/3}\) 정도만 떨어지지만, 매끄러운 끝에서는 얇은 꼬리가 거의 뽑히지 않아 \(1/\log N\) 정도 떨어진다. 불연속 전이의 이상치는 문턱에서 이미 교사 정보를 꽤 담고 있고, 문턱 아래로 내려가도 한동안 그 정보를 지닌다. 그래서 틈에 있던 이 고윳값이 문턱보다 먼저 맨 왼쪽이 되며 정보를 드러낸다.
저자들은 문턱 아래에서 남은 겹침이 제곱근 꼴로 줄어든다고 추측하고, 문턱 위의 \(m^2\)를 직선으로 외삽해 겹침이 사라지는 하한 \(\alpha_0\)를 어림했다(그림 4). \(a=1.2\)에서 \(\alpha_0\)는 학생 노드 1개일 때 약 1.10, 6개일 때 약 0.70으로 폭과 함께 꾸준히 내려간다(그림 2 오른쪽 삽입 그림). 같은 범위에서 큰 \(N\) 극한의 문턱은 1.18에서 1.12로 거의 그대로다. 유한한 크기에서는 폭의 이점이 더 크게 나타나는 셈이다.
의심해볼 점
- 모형이 좁다. 이론은 이차 활성 함수, 상관없는 가우스 입력, 레이블로 나눈 손실에서만 성립한다. 손실의 분모는 스펙트럼의 왼쪽 끝을 유한하게 만들려고 넣었고, 끝이 없는 손실에는 지금 쓸 수 있는 이론이 없다고 저자들이 답변에서 밝혔다. 폭도 \(p\ll N\)인 유한한 값이고, \(p\)차원 적분이 비싸서 문턱은 학생 노드 6개까지만 계산했다.
- 초기 곡률은 학습이 아니다. 결과는 학습 전 한 점의 헤시안에 대한 것이다. 저자들은 \(N\to\infty\)에서는 경사 하강이 초기 조건을 잊으므로, 교사와의 상관이 생기기까지 \(\log N\) 정도의 시간이 걸리는 유한한 \(N\)에서만 이 방향이 의미 있다고 답했다. 부록 F의 경사 하강 실험(\(a=0.1\)과 2.0, \(N\)은 1,024까지)은 정적 문턱이 약한 복원의 시작과 상관된다고 결론짓는다. 블로그의 해석으로는 연결이 느슨하다. \(a=0.1\)에서 정적 문턱은 학생 노드 1개일 때 2.17, 4개일 때 0.89로 크게 움직이지만, 경사 하강이 얻은 최대 겹침의 제곱이 0.5를 넘는 \(\alpha\)는 네 경우 모두 2와 3 사이다(그림 9). \(N\)이 커질수록 곡선이 오른쪽으로 밀린다는 점은 저자들도 짚었다.
- 실용성. 저자들은 폭이 유한하면 초기 헤시안이 최적 스펙트럼 방법보다 못하다고 보고, 좋은 스펙트럼 방법이 아직 없는 문제에서 쓸모가 있을 수 있다고 답했다.
리뷰어들이 짚은 점
공개된 심사 기록을 보면 네 리뷰어가 8, 8, 6, 4점(확신도 4, 3, 4, 2)을 줬고, 저자들은 답변에 맞춰 본문에 방법 개요(3장)를, 부록에 다른 활성 함수(E)와 학습 동역학(F)을 더했다.
- 손실과 활성 함수의 선택. 여러 리뷰어가 레이블로 나눈 손실과 이차 활성 함수를 왜 골랐는지 물었다. 저자들은 이차 활성 함수가 위상 복원과 이어진다고 답하고, 시그모이드와 tanh를 쓴 학생 노드 3개짜리 망에서도 교사와 상관된 이상치가 왼쪽에 나온다는 시뮬레이션을 부록 E에 더했다. 학습과의 관계를 물은 세 리뷰어에게는 부록 F로 답했고, 영역 의장은 이것이 예비 결과라는 점을 남은 한계로 적었다.
- 유한 크기 효과. 8점을 준 한 리뷰어는 불연속 전이에서 이론과 시뮬레이션의 차이를 더 정밀하게 다루라고 요구했다. 저자들은 그런 효과를 피하는 관측량이 알려져 있지 않고, \(1/N\) 보정을 장 이론으로 구하려면 무한히 많은 도형을 다시 합해야 한다고 답했다. 그래서 \(\alpha_0\)는 추측에 기댄 외삽값으로 남았다.
- 용어와 빠진 문헌. 4점을 준 리뷰어는 ’지형을 휘게 한다’와 ’과매개변수화’의 뜻을 물었다. 저자들은 앞의 말이 교사 방향으로 아래로 휘는 곡률이 더 적은 데이터로 나타난다는 비유이고, 과매개변수화는 \(p/p^*\)로 쟀다고 답했다.
계보
- BBP 전이. Baik, Ben Arous, Péché(2005)가 표본 공분산 행렬에서 처음 밝혔다. 겹침이 문턱에서 한 번에 뛰는 불연속 BBP 전이는 Potters, Bouchaud(2020)가 이론적으로 짐작했고, Bousseyroux, Potters(2024)가 위상 복원의 스펙트럼 초기화에서 다뤘다. 공저자 Bocchi가 참여한 Bocchi 외(arXiv 2604.27992)는 일반 이론과 함께, 문턱 한참 전부터 정보 담긴 고유벡터가 나타나는 전임계 구간을 정리했다.
- 곡률과 경사 하강. Bonnaire, Biroli, Cammarota(J. Stat. Mech. 2025)는 학생 노드가 하나일 때 무작위 초기점 헤시안의 BBP 전이와 학습 중 헤시안의 변화를 다뤘다. 이 논문은 그 분석을 임의의 \(p\), \(p^*\)로 넓혔다.
- 스펙트럼 방법. Lu, Li(2020)가 위상 복원 스펙트럼 방법의 상전이를 분석했고, Mondelli, Montanari(2018)가 약한 복원 문턱 \(1/2\)을 밝혔다. Luo, Alghamdi, Lu(2019)는 최적 전처리 \(1-1/y\)를 찾았고, Maillard 외(2022)는 베테 헤시안(Bethe Hessian)으로 최적 스펙트럼 방법을 구성했다.
- 다중 지표 모형. 넓은 학생과 교사의 이차 신경망은 다중 지표 모형(multi-index model)의 한 예이고, 리뷰어의 지적을 받아 이 갈래의 인용이 더해졌다. Maillard 외(NeurIPS 2024)와 Troiani 외(2024)가 약한 복원 문턱 \(p^*/2\)를 얻었다. 공개 뒤에 나온 Krzakala, Mergny, Piccolo(arXiv 2608.12183)는 \(\sum_i\mathbf{T}(y_i)\otimes\mathbf{x}_i\mathbf{x}_i^\top\) 꼴의 스펙트럼 추정량을 일반 이론으로 다뤘다. 그 추정량은 이 논문의 헤시안과 꼴이 같지만 무게가 레이블에만 달려 있다.
- 가까운 동역학 연구. 공저자 Bocchi가 참여한 Bocchi 외(arXiv 2604.03068)는 같은 이차 망의 단일 패스 SGD를 풀어, 과매개변수화가 나쁜 일반화의 정체 구간을 벗어나는 속도를 조금만 높인다고 보고했다. Maillard, Bonnaire, Biroli(arXiv 2602.17779)는 위상 복원의 극소점 헤시안이 신호 방향으로 불안정해지는 BBP 꼴 전이를 계산했다.
열린 질문
- 초기 곡률과 학습의 성패. 무작위 초기점의 BBP 문턱과, 경사 하강이 실제로 교사를 찾기 시작하는 데이터 양은 차원과 폭에 따라 어떻게 이어질까. 경사 하강을 가두는 문턱 상태(threshold state)의 BBP 전이는 폭에 따라 어떻게 바뀔까.
- 이차 활성 함수 너머. ReLU처럼 흔히 쓰는 활성 함수나 상관된 입력에서도 폭이 초기 곡률의 문턱을 낮출까. 스펙트럼의 왼쪽 끝이 없는 손실에서는 무엇이 그 역할을 대신할까.
- 불연속 전이의 유한 크기 이론. 문턱 아래에서 정보가 남는 구간의 폭과, 표본마다 크게 다른 결과를 차원의 함수로 예측할 수 있을까.
이해 확인
1. 학생 노드가 하나일 때 표본 μ가 헤시안에 더하는 무게는 2(3λ² − y)/(a + y)다. 무작위 초기점에서 교사 방향의 곡률이 아래로 기우는 까닭은?
- 레이블 y가 큰 표본은 무게가 음수가 되기 쉽고, 그런 표본의 입력은 교사 방향 성분이 크기 때문이다
- 학생 출력 λ²이 큰 표본일수록 무게가 음수가 되고, 그런 표본이 교사 방향에 몰려 있기 때문이다
- 모든 표본의 무게가 음수라서 헤시안의 모든 방향이 아래로 휘어 있기 때문이다
- 정규화 상수 a가 0에 가까우면 교사 방향을 뺀 나머지 방향의 무게가 사라지기 때문이다
y는 교사 방향 입력 성분의 제곱이므로 레이블이 큰 표본은 입력이 교사 방향으로 치우쳐 있고, y가 3λ²보다 크면 무게가 음수가 된다. 이런 표본이 쌓이면 손실이 가장 아래로 휘는 방향이 교사 쪽으로 쏠린다. λ²이 크면 무게는 오히려 양수가 되고, 무게의 부호는 표본마다 다르다(식 5, 49).
2. 폭이 무한한 학생에서 BBP 문턱이 a → 0일 때 정보 이론의 약한 복원 문턱 1/2에 닿는 이유로 가장 알맞은 것은?
- 매개변수 수가 표본 수보다 많아져 손실 지형이 볼록해지기 때문이다
- 학생 출력의 무작위성이 평균되어 표본별 무게가 최적 스펙트럼 방법의 전처리와 같은 꼴이 되기 때문이다
- 전이가 연속 전이로 바뀌어 고윳값이 덩어리 끝에서 부드럽게 떨어져 나오기 때문이다
- 경사 하강을 충분히 오래 돌리면 초기 조건을 잊고 교사 쪽으로 가기 때문이다
학생 출력의 평균 S/p가 1로 모이면서 무게가 (1 − y)/(a + y)에 비례하게 되고, a → 0에서 1/y − 1, 곧 최적 전처리 1 − 1/y와 부호만 다른 꼴이 된다. 이때 문턱은 (a + 1)/2다(식 18). 폭이 무한한 극한의 전이는 오히려 늘 불연속이고(부록 B), 이 결과는 학습이 아니라 초기점의 헤시안에 대한 것이다.
3. 불연속 BBP 전이에서 유한한 행렬이 예측 문턱보다 적은 데이터에서 이미 교사 정보를 보여 주는 까닭은?
- 유한한 행렬에서는 수치 오차 때문에 고유벡터가 우연히 교사와 겹치기 때문이다
- 날카로운 끝처럼 덩어리 끝이 N−2/3 정도 흔들려 이상치가 일찍 보이기 때문이다
- 얇은 꼬리가 거의 뽑히지 않아 보이는 끝이 안쪽에 생기고, 그 틈의 고윳값이 이미 교사 정보를 담기 때문이다
- 학생의 매개변수가 많아 유한한 데이터를 외워 버리기 때문이다
매끄러운 끝에서는 밀도가 끝에 다가갈수록 지수적으로 얇아져서, 유한한 행렬의 가장 작은 덩어리 고윳값은 끝에서 1/log N 정도 떨어져 있다(4.2절). 불연속 전이에서는 이상치가 끝을 벗어나는 순간 겹침이 이미 0이 아니므로, 그 틈에 있는 고윳값이 문턱보다 먼저 가장 작은 고윳값이 되며 정보를 드러낸다. 날카로운 끝의 N−2/3 요동은 이보다 훨씬 작다.
논문 정보
- 제목: Overparametrization bends the landscape: BBP transitions at initialization in simple Neural Networks
- 저자: Brandon Livio Annesi, Dario Bocchi, Chiara Cammarota (Sapienza University of Rome)
- 학회: ICLR 2026 Oral
- 링크: arXiv 2510.18435, OpenReview