ICML 2026 Spotlight

On Minimum Depth and Width of Floating-Point Neural Networks for Representing Floating-Point Functions

부동소수점 신경망에는 층이 하나 더, 폭은 두 배 가까이 필요하다

짧은 읽기
이론과 최적화
실수 연산을 가정한 이론에서 ReLU 신경망은 깊이만 보면 두 층, 폭만 보면 d+1이면 충분하다. 부동소수점 연산으로 모든 부동소수점 함수를 정확히 나타내려면 층은 꼭 셋, 폭은 2d에서 2d+4 사이가 필요하다는 ICML 2026 스포트라이트 논문을 짧게 읽는다.
공개

2026년 10월 22일

키워드

ReLU 신경망 근사, 손실 지형

한 줄 요약

실수 연산을 가정한 이론에서 ReLU 신경망은 깊이만 보면 두 층, 폭만 보면 입력 차원 \(d\)에 1을 더한 만큼이면 충분하다. 매개변수도 연산도 부동소수점인 신경망이 \(d\)차원 부동소수점 입력을 받는 함수를 모두 정확히 나타내려면 층은 꼭 셋이 있어야 하고, 폭은 \(2d\) 이상 \(2d+4\) 이하다.

무엇이 달라졌나

두 층 신경망은 콤팩트 집합 위의 연속 함수를 얼마든지 가깝게 근사하고, 유한한 입출력 쌍을 외우는 데도 두 층이면 된다. ReLU 신경망의 최소 폭은 근사에 \(d+1\), 외우기에 2다(1절, 표 1). 모두 오차 없는 실수 연산을 가정한 결과다. 실제 컴퓨터는 유한한 수만 쓰고 연산마다 반올림한다. 같은 연구진이 2024년에 네 층 부동소수점 신경망으로 모든 부동소수점 함수를 나타낼 수 있음을 보였지만, 넷이 꼭 필요한지, 폭은 얼마나 있어야 하는지는 알려지지 않았다(1절).

이 논문은 둘 다 답한다. 유한한 부동소수점 수의 집합을 \(\mathbb F\)라 하면, 세 층이면 \(\mathbb F^d\)에서 \(\mathbb F\)로 가는 함수를 모두 나타낸다(정리 1). 입력이 1차원이어도 두 층으로는 안 되는 함수가 있다(정리 2). 폭은 \(2d+4\)면 충분하고(정리 5), \(2d-1\)로는 못 나타내는 함수가 있다(정리 6).

정의역에 따라 답이 바뀐다는 점도 새롭다. 입력이 1차원일 때 정의역과 공역을 \([-1,1]\)로 좁히거나 입력을 음이 아닌 수로 제한하면 두 층으로 충분하다(정리 3, 4). 입력이 음이 아니면 폭은 \(d\) 이상 \(d+4\) 이하이고(정리 7, 8), 입력이 0과 가장 작은 양수 \(\omega\)뿐이면 \(\lceil d/(p+1)\rceil+4\)로 \(d\)보다 작아질 수도 있다. \(p\)는 가수 비트 수다(정리 9). 실수에서는 아핀 변환으로 정의역을 손실 없이 옮길 수 있어 이런 차이가 없다(3.1절).

00.511.52−101입력 x (작은 것부터 차례로)x ⊕ 193개가 모두 1(−0.0625 ≤ x ≤ 0.125)입력 121개, 결과 13개

(가) 1을 더하면 입력이 뭉개진다

12⁴2⁸2¹²2¹⁶2⁻¹⁶2⁻¹²2⁻⁸2⁻⁴1입력 x (로그 눈금)뉴런 출력∞가장 큰 유한값 Ω넘어야 할 높이 2¹²x = ω에서 2¹³0에서는 0x = 2⁻¹³부터는 모두 ∞

(나) 크게 뛰는 뉴런은 넘친다

FP8 E5M2 형식(가수 2비트, 지수 5비트)에서 논문의 반올림 규칙대로 정확히 계산한 두 장면이다. (가) −1에서 1 사이의 부동소수점 121개에 1을 더하면 서로 다른 값이 13개만 남고, −0.0625에서 0.125 사이의 93개는 모두 정확히 1이 된다. 실수라면 x + 1은 입력을 하나도 잃지 않는다. 같은 121개를 뉴런 두 개로 (σ(x), σ(−x))에 보내면 모두 구별된다. (나) 뉴런 w₂ ⊗ σ(w₁ ⊗ x ⊕ b)에 w₁ = 2¹⁴, w₂ = 2¹⁵, b = 0을 넣고 양수 입력에서 계산했다. x = 0에서 0, 가장 작은 양수 ω = 2⁻¹⁶에서 2¹³이 나와 2¹²을 사이에 두고 0과 ω를 가르지만, x가 2⁻¹³만 되어도 가장 큰 유한값 Ω = 57344를 넘어 ∞가 된다. 논문은 이런 도약을 하는 뉴런이면 무엇이든 x = 1이나 −1에서 ∞가 됨을 증명한다(4.3절).

어떻게 보였나

세 층 구성은 단순하다. 입력 점 \(z\)마다 \(x=z\)일 때만 1이 되는 지시 함수를 두 층으로 만들고, 셋째 층에서 \(f^*(z)\)를 곱해 모두 더한다(4.1절). 좁은 신경망은 이 합을 층 방향으로 펼친다(정리 7). 뉴런 \(d\)개가 입력을 들고 가고, 둘이 지시 함수를 계산하고, 둘이 출력의 양수 부분과 음수 부분을 쌓는다(4.2절, 그림 1).

폭이 \(2d\)로 느는 까닭은 반올림이다. 실수에서는 \([-k,k]^d\)의 입력에 \(k\)를 더해 양수로 옮기면 뉴런 \(d\)개로 입력을 잃지 않는다. 부동소수점에서는 덧셈이 서로 다른 입력을 한 값으로 합친다(3.2절). 그림 (가)처럼 FP8 E5M2에서 \([-1,1]\)의 수 121개에 1을 더하면 13개만 남는다. 그래서 첫 층에서 \((\sigma(x),\sigma(-x))\)로 부호를 나눠 담는다(부록 C.3).

두 층이 모자란 까닭은 넘침(overflow)이다. 정리 2의 반례는 가장 큰 유한값 \(\Omega\)를 써서 \(f^*(0)=-\Omega\), \(f^*(\pm\omega)=\Omega\)로 정한 함수다. 0과 바로 옆 수 사이에서 값이 끝에서 끝으로 뛴다. 두 층 신경망은 뉴런의 합이라 어떤 뉴런 하나가 0과 \(\omega\)를 가르며 \(\omega\)에서 큰 값을 내야 한다. 편향이 크면 작은 \(w_1\omega\)가 덧셈에 묻히니 편향은 작아야 하고, 그만큼 둘째 가중치가 커져야 해서 그 뉴런은 \(x=1\)이나 \(-1\)에서 \(\infty\)가 된다(4.3절, 그림 (나)).

블로그의 해석으로는 두 하한이 같은 뿌리에서 나온다. 큰 수에 작은 수를 더하면 작은 수가 사라지고, 이를 피하려고 값을 키우면 표현 범위를 넘는다.

눈여겨볼 점

첫째, 깊이 하한의 반례는 극단적이다. 출력이 \(\pm\Omega\) 끝까지 가고 증명은 넘침에 기댄다. 심사에서 더 평범한 반례가 있느냐는 질문이 나왔고, 저자들은 아직 찾지 못했다고 답했다. \(\pm 2^{e_{max}}\)를 번갈아 내는 단순한 진동 함수는 두 층으로도 나타낼 수 있다(OpenReview 토론). 정리 2의 조건 \(p\le 2^{q-1}-7\)은 단정밀도, 배정밀도, bfloat16, E5M2에서 성립하지만(3.1절), 표 2의 값을 넣으면 16비트 반정밀도(\(p=10\), \(q=5\))와 FP8 E4M3에서는 성립하지 않는다.

둘째, 구성은 존재 증명이다. 세 층 신경망에는 입력 점 수에 비례하는 뉴런이 들고, 폭 \(2d+4\) 신경망은 그만큼 깊다. 학습으로 이런 가중치에 닿을 수 있는지는 다루지 않는다.

셋째, 범위가 좁다. ReLU만 다루고, 덧셈은 왼쪽부터 차례로 한다고 정했다(2.3절). 정규화 층을 넣으면 폭이 더 들 수 있다고 저자들도 답했다(OpenReview 토론).

열린 질문

  1. 넘침에 기대지 않는 반례가 있을까. 출력이 \([-1,1]\)에 머무는 다차원 함수나 정리 2의 조건을 벗어나는 반정밀도에서도 두 층이 모자란지는 논문이 답하지 않는다.

이해 확인

실수 이론에서는 입력에 상수 \(k\)를 더해 양수로 옮기면 뉴런 \(d\)개로 입력을 잃지 않는다. 부동소수점 신경망이 이 방법 대신 폭 \(2d\)를 쓰는 까닭은?

  1. ReLU가 음수를 0으로 만들어 부호를 잃기 때문이다
  2. 반올림 때문에 덧셈이 서로 다른 입력을 한 값으로 합칠 수 있기 때문이다
  3. 부동소수점 덧셈은 결합 법칙이 성립하지 않아 더하는 순서가 결과를 바꾸기 때문이다
  4. 상수를 더하면 언제나 가장 큰 유한값을 넘어 \(\infty\)가 되기 때문이다

실수에서는 \(x\mapsto x+k\)가 단사지만 부동소수점 덧셈은 단사가 아니다(3.2절). E5M2에서 \([-1,1]\)의 수 121개에 1을 더하면 13개만 남는다(그림 (가)). 그래서 \((\sigma(x),\sigma(-x))\)로 나눠 담고(부록 C.3), 정리 6은 폭 \(2d-1\)로는 모자람을 보인다. 1번은 양수로 옮기면 피하는 문제이고, 3번은 사실이지만 폭과는 상관없으며, 4번은 작은 상수에서 일어나지 않는다.

논문 정보