ICLR 2026 Oral

Fast training of accurate physics-informed neural networks without gradient descent

PINN을 경사 하강 없이 학습하면 무엇이 빨라질까

은닉층을 무작위로 뽑아 얼리고 출력층 계수만 ODE 풀이기로 시간 순서대로 풀어, PINN 학습을 최소제곱과 적분 문제로 바꾼 ICLR 2026 구두 발표 논문

깊이 읽기
효율과 시스템
물리 정보 신경망(PINN)은 PDE 잔차를 손실로 삼아 경사 하강으로 학습하느라 느리고 불안정하다. 은닉층 가중치를 무작위로 뽑아 고정하고, 시간에 따라 변하는 출력층 계수만 최소제곱과 적응 보폭 ODE 풀이기로 구하는 Frozen-PINN을 읽고, 수천 배 빨라졌다는 결과가 어디서 오는지 따져 본다.
공개

2026년 11월 5일

키워드

물리 정보 신경망, 무작위 특징, 익스트림 러닝 머신, 편미분 방정식, 선 방법

3줄 요약

  • 물리 정보 신경망(physics-informed neural network, PINN)은 시간 \(t\)를 공간 좌표처럼 입력에 넣고, PDE 잔차와 경계 조건, 초기 조건 손실의 합을 경사 하강으로 줄인다. 저자들은 이 최적화가 고차원이고 목표가 여럿이며 비볼록하다는 점, 그리고 시간의 인과 구조를 무시한다는 점을 PINN이 느리고 부정확한 근본 원인으로 꼽는다(1절).
  • Frozen-PINN은 은닉층 한 층의 가중치와 편향을 무작위로(ELM) 또는 콜로케이션 점 쌍으로(SWIM) 뽑아 고정하고, 출력층 계수 \(c(t)\)만 시간에 따라 변하게 둔다. 초기 계수는 최소제곱 한 번으로 정하고, 그 뒤로는 PDE를 계수에 대한 ODE로 바꿔 RK45 같은 적응 보폭 풀이기로 푼다(2절). 경사 하강도 역전파도 없다.
  • 아홉 가지 PDE 벤치마크에서 CPU로 돌린 Frozen-PINN은 PINN 변형들보다 학습이 수십 배에서 수만 배 빨랐고, 많은 경우 오차도 수 자릿수 작았다(표 1). 다만 이득의 상당 부분은 문제에 맞춘 기저와 매끄러운 해에서 나왔고, 낮은 차원에서는 등기하 해석(IGA)이 비슷하거나 더 빨랐다.

선정 이유

ICLR 2026 구두 발표(oral)로 뽑혔다. arXiv 판의 설명으로는 전체 투고작의 상위 1.13%다. 리뷰어 네 명의 처음 점수는 4, 8, 8, 8점이었고, 8점을 준 한 명이 답변을 보고 10점으로 올렸다. 4점을 준 리뷰어는 학습이라 부를 부분이 거의 없고 비교 기준선이 약하다고 봤다. 영역 의장은 이 반론을 철학적인 견해 차이로 정리하고 수락을 권했다.

  1. 전후로 아는 것이 달라졌나. 부분적으로 그렇다. 같은 tanh 망이라도 경사 하강 대신 최소제곱과 ODE 풀이기로 풀면 고전적 방법에 가까운 정확도를 CPU 몇 초 만에 얻는 문제가 많았다. PINN의 약점이 근사 함수보다 학습 방식에 있다는 증거다.
  2. 새 질문을 여는가. 연다. 고정된 무작위 기저가 언제 충분하고 언제 시간에 따라 다시 뽑아야 하는지, 계수 ODE는 언제 안정한지가 열린다.
  3. 일반화될 근거가 있나. 아직 좁다. 아홉 문제 모두 해석해나 기준 해가 있는 교과서형 문제이고, 절반 넘게 공간 1차원이다. 나비에-스토크스처럼 공간 구조가 복잡한 문제는 저자들도 다음 과제로 남겼다(4절).
  4. 증거가 주장만큼 강한가. 속도 차이가 워낙 커서 방향은 분명하다. 하지만 CPU와 GPU 시간이 한 표에 섞여 있고, 몇몇 벤치마크는 해가 기저 안에 거의 그대로 들어 있어서 차이의 크기는 과장되어 보일 수 있다.

왜 중요한가

PINN은 해를 신경망 \(\hat u(x,t;\theta)\)로 놓고, 시공간에 흩은 점에서 PDE와 경계 조건, 초기 조건을 얼마나 어기는지를 손실로 삼는다. 격자를 만들 필요가 없고 자동 미분으로 어떤 PDE든 손실을 쓸 수 있어서 널리 퍼졌다. 그러나 손실 지형이 험하고(Krishnapriyan 외 2021), 손실 항마다 수렴 속도가 다르며(Wang 외 2022), 미분 연산자가 조건수를 나쁘게 만든다(Rathore 외 2024)는 보고가 이어졌다(1절). 이류 속도 \(\beta\)가 40만 되어도 표준 PINN은 이류 방정식 \(u_t+\beta u_x=0\)을 풀지 못한다(그림 4 왼쪽).

손실 가중치 조절이나 새 최적화기 같은 처방을 저자들은 증상 치료로 본다. 매개변수가 많고 서로 당기는 세 손실을 한꺼번에 줄여야 하는 비볼록 문제라는 점이 근본이고, 시간을 공간처럼 다루니 빠르게 변하는 해나 긴 시간 구간에도 약하다(1절).

수치해석에서는 오래된 해법이 있다. 공간만 이산화하고 남은 시간 방향은 ODE 풀이기에 맡기는 선 방법(method of lines)이다. 이 논문은 신경망을 그 공간 이산화 자리에 넣는다.

핵심 아이디어

직관: 공간은 고정한 기저로, 시간은 ODE로

해를 공간 기저 함수의 선형 결합으로 쓰고, 결합 계수만 시간에 따라 변하게 둔다. 기저가 고정되어 있으면 PDE를 대입했을 때 남는 미지수는 계수뿐이고, 계수의 시간 변화는 ODE가 된다. 시간 방향은 초기 조건에서 출발해 앞으로만 적분하므로 인과 구조가 저절로 지켜진다. 저자들은 이를 시공간 분리(space-time separation)라 부르고, 해가 공간과 시간의 곱으로 분리될 필요는 없다고 강조한다(2.1절).

xt시공간 점 전체신경망û(x, t; θ)(x, t)PDE 잔차 + 경계 + 초기û∇θ세 손실의 합으로 모든 가중치를경사 하강으로 수천 번 넘게 고친다

(가) 기존 PINN

① 공간 기저를 뽑아 고정xφᵢ(x)û(x, t) = Σ cᵢ(t) φᵢ(x)② 계수 cᵢ(t)만 시간 순서대로tc(0)c(0)은 최소제곱 한 번, 이후는 적응 보폭 ODE 풀이기

(나) Frozen-PINN

기존 PINN(가)은 시간 t를 공간 좌표처럼 입력에 넣고, 시공간에 흩은 점에서 PDE 잔차와 경계 조건, 초기 조건 손실을 더한 값을 경사 하강으로 줄인다. Frozen-PINN(나)은 은닉층의 가중치와 편향을 뽑아 고정해 공간 기저 φi(x) = tanh(wix + bi)를 만들고, 시간에 따라 변하는 것은 출력층 계수 ci(t)뿐이다. 초기 계수는 초기 조건에 최소제곱으로 맞추고, 그 뒤로는 PDE를 계수의 ODE로 바꿔 적응 보폭 풀이기로 시간 순서대로 푼다(2절, 그림 1, 알고리즘 1). 아래 눈금은 풀이기가 고른 시간 간격이다. 개념도다.

방법: 무엇을 얼리고 어떻게 고르나

은닉층을 뽑아 얼린다. 은닉층 하나, 폭 \(M\), 활성 함수 tanh다. 가중치와 편향을 정하는 방식은 둘이다(2.2절).

  • ELM(extreme learning machine)은 자료와 상관없이 가중치를 가우스 분포에서, 편향을 \([-\eta,\eta]\)에서 뽑는다.
  • SWIM(sample where it matters)은 영역 안의 콜로케이션 점 두 개 \(x^{(1)}, x^{(2)}\)를 골라, tanh가 두 점에서 \(-0.5\)와 \(+0.5\)가 되도록 \(w=s_1(x^{(2)}-x^{(1)})/\lVert x^{(2)}-x^{(1)}\rVert^2\), \(b=-\langle w,x^{(1)}\rangle+s_2\)로 놓는다. 기저의 중심이 늘 영역 안에 오고, 가까운 두 점을 고르면 가파른 기저가 된다. 직전 시간의 근사해를 알면 함숫값 차이가 큰 쌍을 더 자주 골라 가파른 곳에 기저를 몰 수 있다.

해가 매끄러우면 ELM이, 국소적으로 가파르면 SWIM이 낫다(부록 B.2). 버거스 방정식만은 예외적으로 기저를 고정하지 않고, 정해 둔 시간마다 근사해의 기울기에 비례하는 분포로 콜로케이션 점을 다시 뽑고 SWIM 기저를 다시 만든다(3.4절).

경계 조건을 기저에 넣거나 ODE에 더한다(2.4절). 첫째는 은닉층 뒤에 선형층 \(A\)를 두어 모든 기저가 경계 조건을 스스로 만족하게 하는 경계 적합층(boundary-compliant layer)이다. 주기 경계에서는 \(A\Phi\)가 \(\sin kx\), \(\cos kx\)를 흉내 내도록 \(A\)를 맞춘다(부록 B.2). 둘째는 경계점에서 \(\hat u\)를 경계값 쪽으로 \(\kappa(\hat u-g)\)의 속도로 끌어당기는 식을 ODE에 덧붙이는 보강 ODE(augmented ODE)이고, 기본값은 \(\kappa=10^5\)다(식 5).

특이값 분해 층으로 줄이고 펴 준다(2.5절). 서로 많이 겹치는 무작위 tanh 기저를 특이값 분해로 잘라 내고 직교화한다. ODE의 차원이 줄고 조건수가 묶여, 차원은 최대 20분의 1, 계산 시간은 최대 75분의 1이 됐다고 한다.

수식: PDE가 계수의 ODE가 되는 과정

다루는 PDE는 \(u_t+\mathcal L u+\gamma\mathcal N(u)=f\) 꼴이다. \(\mathcal L\)은 공간 미분만 든 선형 연산자, \(\mathcal N\)은 비선형 항이다(식 1). 근사해는 다음과 같다(식 2).

\[ \hat u(x,t) = \sum_{m=1}^{M} c_m(t)\,\sigma(w_m^\top x+b_m) + c_0(t) \]

이를 PDE에 넣고 콜로케이션 점 \(X\)에서 등식을 요구하면, 계수 \(C(t)=[c(t),c_0(t)]\)에 대한 ODE가 나온다(식 3).

\[ C_t(t) = \Big(-C(t)\,\mathcal L[\Phi(X),\mathbb 1] - \gamma\,\mathcal N\big(C(t)[\Phi(X),\mathbb 1]\big) + f(X)^\top\Big)\,[\Phi(X),\mathbb 1]^{+} \]

\(^{+}\)는 의사역행렬이다. 시간 미분도 PDE 잔차를 기저 공간에 최소제곱으로 투영해서 정한다는 뜻이다. 출발점은 초기 조건을 같은 방식으로 맞춘 \(C(0)=u(X,0)^\top[\Phi(X),\mathbb 1]^{+}\)이다. tanh의 도함수는 닫힌 꼴이라 \(\mathcal L\Phi\)를 미리 계산해 두면 자동 미분도 필요 없다(부록 B.2).

왜 싸지는지가 여기서 보인다. 선형 PDE라면 의사역행렬과 \(\mathcal L\Phi\)를 한 번만 계산하고, 남는 일은 크기가 \(M\) 이하인 상수 계수 선형 ODE의 적분뿐이다. 초기 조건 손실은 최소제곱 한 번으로 떨어져 나가고, 경계 적합층을 쓰면 경계 조건도 기저가 맡으니 ODE 풀이기는 PDE 잔차만 상대한다(2.3절, 2.4절). 서로 당기던 세 손실이 따로따로 풀리는 셈이다. 블로그의 해석으로는 이것이 바로 수치해석의 콜로케이션 선 방법이고, 새로운 점은 공간 기저를 다항식이나 푸리에 모드 대신 무작위로 뽑은 tanh로 쓰고 그 뽑는 방법을 자료에 맞췄다는 데 있다.

대가도 같은 자리에 있다. 고정한 기저가 표현할 수 없는 모양은 끝까지 표현할 수 없다. 출력층만 최소제곱으로 맞추는 초기 조건 단계를 작게 돌려 보면 차이가 뚜렷하다.

ELM: 자료와 무관하게 뽑음xSWIM: 가파른 곳에 몰아 뽑음x점선: 맞출 함수 tanh(x/0.03), 실선: 뽑은 기저 7개

(가) 기저를 놓는 자리

10⁻¹²10⁻⁹10⁻⁶10⁻³110204080160320640기저 수(은닉층 폭)상대 오차매끄러운 함수, ELM가파른 면, ELM가파른 면, SWIM

(나) 폭에 따른 오차

고정한 tanh 기저 위에서 출력층만 최소제곱으로 맞춘 결과. Frozen-PINN이 초기 조건을 맞출 때 하는 계산과 같다(2.3절). 구간 [−1, 1]의 고른 점 2,000개로 맞추고 5,001개로 오차를 쟀으며, 시드 3개의 중앙값이다. ELM은 가중치를 N(0, 3²), 편향을 [−4, 4]에서 뽑았고, SWIM은 두 점에서 tanh가 −0.5와 +0.5가 되게 놓되 두 점을 함숫값 차이가 큰 쌍일수록 자주 고르는 지도 버전을 썼다(2.2절). 매끄러운 함수는 −sin(πx), 가파른 면은 tanh(x/0.03)이다. 폭 640에서 가파른 면의 오차는 ELM 1.4×10⁻³, SWIM 9.3×10⁻⁷였다.

매끄러운 함수는 기저를 80개만 써도 오차가 \(10^{-11}\)까지 내려가지만, 폭 0.03의 가파른 면은 ELM 기저 640개로도 \(10^{-3}\) 근처에 머문다. 가파른 곳에 기저를 모으는 SWIM이 이 간극을 메운다. 논문도 버거스 방정식에서 ELM은 어떤 폭에서도 깁스 현상(Gibbs phenomenon) 때문에 실패했고 SWIM만 충격파 근처를 풀었다고 보고한다(부록 C.4).

결과 해설

비교의 규칙(3절). 저자들은 McGreivy와 Hakim(2024)이 제안한 두 원칙을 따른다고 밝힌다. 비슷한 정확도에서 시간을 재고, 효율적인 고전적 방법과도 견준다. 상대 \(L^2\) 오차 \(10^{-2}\)에서 \(10^{-4}\)를 저정밀, \(10^{-5}\)에서 \(10^{-10}\)을 고정밀로 나누고, 낮은 차원에서는 등기하 해석(IGA)이나 유한요소법(FEM)과도 비교했다. 실험은 모두 시드 세 개, 배정밀도, i7 CPU에서 했다(부록 C).

이류 방정식(3.1절, 표 1, 그림 4). \(\beta=40\)에서 L-BFGS로 학습한 PINN은 30.5초에 상대 오차 0.69, 인과 PINN은 357.63초에 2.90으로 사실상 실패했다. 저정밀 Frozen-PINN은 0.67초에 \(4.19\times10^{-3}\), 고정밀 설정은 0.7초에 \(8.42\times10^{-9}\)였다. IGA는 0.07초에 \(1.17\times10^{-10}\)으로 가장 빠르고 정확했다. 그림 4에서 Frozen-PINN은 \(\beta=10^4\)까지 오차가 \(10^{-4}\) 아래였고, \(\beta=1\)로 1,000초를 적분해도 0.94초 만에 상대 오차 0.001% 밑을 지켰다.

고차 미분(3.2절). 공간 4계, 시간 2계 미분이 든 오일러-베르누이 보 방정식에서 Adam PINN은 4,209.82초에 \(3.95\times10^{-2}\), Frozen-PINN은 0.05초에 \(2.82\times10^{-4}\)였다. 표 1의 8만 4천 배라는 비율이 여기서 나온다. tanh의 4계 도함수를 닫힌 꼴로 쓰니 역전파로 고차 미분을 구하는 비용이 사라진다.

충격파에 가까운 면(3.4절). 점성이 \(0.01/\pi\)인 버거스 방정식에서 Frozen-PINN-swim은 0.52초에 \(1.00\times10^{-3}\), 5.25초에 \(2.27\times10^{-7}\)을 냈다. IGA는 76.32초에 \(1.12\times10^{-7}\)이었다. 가장 정확한 결과는 GPU에서 2,812초를 들인 Adam과 SSBroyden 조합의 PINN(\(1.62\times10^{-8}\))이었다. Frozen-PINN이 정확도로 모든 방법을 이긴 것은 아니다.

복잡한 영역과 높은 차원(3.5절, 3.7절, 3.8절). 복잡한 2차원 영역의 비선형 확산에서 Frozen-PINN은 기저 350개로, 유한요소 2,000개 안팎을 쓴 FEM과 비슷한 정확도를 4.83배 빠르게 냈다. 10차원 열방정식에서는 0.33초에 \(4.35\times10^{-4}\)로 L-BFGS PINN(189.6초, \(6.06\times10^{-4}\))보다 빨랐고, 100차원 열방정식에서는 0.13초에 \(4.12\times10^{-4}\)로 GPU에서 26.25초를 쓴 PINN(\(4.98\times10^{-3}\))보다 빠르고 정확했다. 혼돈계인 쿠라모토-시바신스키 방정식은 6.9초에 무늬를 재현했지만 오차 수치는 내지 않았다(3.6절).

이류 방정식에서 \(\beta\)가 아무리 커도 오차가 작게 남는 이유를 같은 설정으로 작게 돌려 보면 알 수 있다.

10⁻¹⁰10⁻⁸10⁻⁶10⁻⁴10⁻²11101001,000이류 속도 βt = 1의 상대 오차초기 조건 sin x초기 조건 exp(8(cos x − 1))

(가) 정확도

10²10³10⁴10⁵10⁶1101001,000이류 속도 β우변 계산 횟수sin x좁은 봉우리

(나) 계산량

주기 경계의 이류 방정식 ut + βux = 0(구간 [0, 2π], t = 1까지)을 논문이 이 문제에 쓴 방식대로 푼 결과. tanh 기저 380개(가중치 N(0, 1), 편향 [−4, 4]) 위에 sin kx, cos kx(k = 1, …, 7)를 흉내 내는 경계 적합층 14개를 얹고(부록 B.2, 표 5), 특이값 분해 층을 거쳐 계수 ODE를 RK45(상대 허용 오차 10⁻⁹)로 풀었다. 정답 sin(x − βt)는 sin x와 cos x의 조합이라 기저 안에 있다. β를 1에서 1,000으로 키우는 동안 오차는 7.0×10⁻⁹에서 6.8×10⁻⁶으로 조금씩 늘 뿐이다(가). 그 대신 풀이기의 우변 계산 횟수가 β에 비례해 늘어 β = 1,000에서 137,738번이었다(나). 저차 푸리에 모드에 담기지 않는 좁은 봉우리는 β와 상관없이 오차가 10⁻² 수준이다.

이 벤치마크의 경계 적합층은 \(\sin kx\), \(\cos kx\)(\(k=1,\dots,7\))를 흉내 내는 기저 14개다(부록 B.2, 표 5). 정답 \(\sin(x-\beta t)=\sin x\cos\beta t-\cos x\sin\beta t\)는 처음부터 이 기저 안에 있고, ODE 풀이기는 두 계수를 회전시키기만 하면 된다. \(\beta\)가 커지면 풀이기가 보폭을 줄여 따라가고, 그 대가는 계산 횟수로 치른다. 블로그의 해석으로는 “\(\beta=10^4\)에서도 정확하다”는 결과는 시공간 분리와 적응 보폭의 힘을 보여 주지만, 무작위 기저가 고속 이류를 잘 표현한다는 증거는 아니다. 저차 푸리에 모드에 담기지 않는 좁은 봉우리를 초기 조건으로 주면 같은 설정에서 오차가 \(10^{-2}\) 근처에 머문다.

의심해볼 점

  • 해를 이미 품은 기저. 위의 이류 방정식이 가장 뚜렷하다. 100차원 열방정식의 정답 \(t+\lVert x\rVert^2/(2d)\)는 2차식이고, 저자들도 기저 안에 해가 거의 있어야 몇백 개 기저로 100차원 함수를 표현할 수 있다고 인정한다(부록 C.8). 10차원 문제의 정답 \(\cos(\frac1d\sum_i x_i)e^{-t}\)도 한 방향으로만 변한다. 5차원 반응 확산은 해가 미지의 두 방향으로만 변하는 문제이고, 초기 조건의 기울기 방향으로 SWIM 기저를 정렬해서 풀었다(3.7절). 블로그의 해석으로는 높은 차원의 결과는 “해에 낮은 차원 구조가 있으면 무작위 기저로도 싸게 잡힌다”까지를 보여 준다.
  • 비교 잣대. 표 1에서 + 표시는 GPU 시간이고, 일부 기준선은 다른 논문의 수치를 옮겨 왔다. 하드웨어와 구현이 다른 시간을 한 비율로 묶은 셈이다. 저정밀 비교라지만 이류 방정식에서 Frozen-PINN(\(4.19\times10^{-3}\))과 L-BFGS PINN(0.69)은 오차가 두 자릿수 넘게 다르다. 비율이 수천 배라 방향은 흔들리지 않지만, 같은 조건에서 잰 배수로 읽으면 안 된다.
  • 기준선 PINN의 크기. 이류 방정식의 PINN 기준선은 4층 30폭이고, L-BFGS 5,000번에 학습률 0.1로 돌렸다(표 3, 표 5). 답변 단계에서 10층과 20층, 20,000번 학습을 더했지만 \(\beta=40\)은 여전히 실패했다(표 6, 표 7).
  • 고정 기저의 벽. 기저를 다시 뽑지 않으면 시간에 따라 움직이는 해를 고정된 선형 공간으로 근사하는 셈이라 콜모고로프 \(n\)-폭(Kolmogorov \(n\)-width)의 한계를 그대로 맞는다고 저자들이 직접 적었다(부록 B.2). 버거스 방정식에서 기저를 다시 뽑은 이유이기도 하다. 폭을 무작정 늘릴 수도 없다. 버거스에서는 폭 600을 넘기면 ODE가 뻣뻣해져 정규화를 키워야 했고 오히려 오차가 커졌다(부록 C.4, 표 16).
  • 아직 없는 것. 무작위 기저와 ODE 풀이기의 오차가 어떻게 합쳐지는지에 대한 이론, 나비에-스토크스처럼 공간 구조가 복잡한 문제, 신경 수의 세제곱으로 느는 계산량이 차원이 높아질 때 어떻게 되는지가 남았다. 저자들은 영역 분할과 결합하는 쪽을 다음 단계로 든다(4절).

리뷰어들이 짚은 점

  • 학습이라 부를 수 있나. 4점을 준 리뷰어는 신경망이 고정된 공간 기저만 주고 실제 일은 ODE 풀이기가 한다며, 그렇다면 왜 고전적 풀이기를 바로 쓰지 않느냐고 물었다. 저자들은 PINN의 핵심이 신경망을 해의 근사 함수로 쓰는 데 있고 학습 방식만 바꿨다고 답했고, 버거스 방정식의 한 시점에서 SWIM 기저가 푸리에나 체비쇼프 기저보다 빠르게 수렴한다는 비교를 들었다(부록 C.4).
  • 하드웨어가 섞인 비교. “최대 10만 배”라는 표현을 지적받자, 저자들은 같은 CPU에서 잰 결과가 근거라면서도 “네다섯 자릿수 빠른 학습”으로 낮췄다.
  • 초기 조건 오차. 최소제곱으로 맞춘 초기 조건이 틀리면 어떻게 되느냐는 질문에, 저자들은 절단 비율을 일부러 키워 초기 조건 적합을 망가뜨리는 실험을 더했다. 초기 조건 오차가 커질수록 전체 오차도 함께 커졌다(부록 B.2, 그림 9).
  • 더 어려운 문제. 파동 방정식과 쿠라모토-시바신스키 방정식을 추가했고(3.3절, 3.6절), 나비에-스토크스는 영역 분할이 필요하다며 다루지 않았다.
  • 표 1의 파동 방정식 행은 Frozen-PINN-elm이라고 적혀 있지만, 부록 C.3 본문과 표 13은 같은 결과를 Frozen-PINN-swim으로 설명한다.
  • 표 1의 버거스 행에서 RAdam과 BFGS 조합 PINN의 학습 시간 1,070초에는 GPU 표시(+)가 없는데, 정규화 시간 203에는 붙어 있다.
  • 본문은 특이값 분해 층이 차원을 최대 20분의 1로, 계산을 최대 75배 줄였다고 쓰지만(2.5절), 부록 C.8의 절제 실험은 압축비 22.8, 속도 향상 77배를 보고한다.

계보

  • 무작위 특징으로 PDE 풀기. ELM(Huang 외 2006)에서 PIELM(Dwivedi와 Srinivasan 2020), 국소 ELM(Dong과 Li 2021), 무작위 특징 방법(Chen 외 2022)으로 이어졌다. 시간 의존 문제에서 Chen, E, Luo(2023)는 시간도 무작위 기저로 근사했다. 이 논문은 시간을 ODE 풀이기에 맡긴 점이 다르다.
  • 기저를 뽑는 법. SWIM은 같은 연구진의 Bolager 외(NeurIPS 2023)가 지도 학습용으로 냈고, 이 논문이 PDE의 자기지도 설정으로 옮겼다. 같은 연구진은 해밀턴 신경망을 무작위 특징으로 역전파 없이 학습하는 연구도 냈다(arXiv 2411.17511, 2506.06558).
  • 시간에 따라 변하는 매개변수. Neural Galerkin(Bruna 외 2024)과 진화형 심층 신경망(EDNN, Du와 Zaki 2021)은 은닉층까지 시간에 따라 움직인다. ODE가 커지는 대신 표현력이 크다. Frozen-PINN은 반대편 끝에서 출력층만 움직인다.
  • 후속 연구. 같은 틀을 고차원 그로스-피타옙스키 방정식에 쓴 연구(arXiv 2604.09361), 무작위 특징 공간에서 IMEX 룽게-쿠타로 시간을 전진하며 오차를 추정한 연구(arXiv 2604.25502)가 나왔다.

열린 질문

  1. 언제 다시 뽑아야 하나. 움직이는 앞면처럼 고정된 기저가 담지 못하는 해에서, 기저를 언제 어떻게 다시 뽑아야 정확도와 비용을 함께 지킬 수 있는지는 버거스 방정식의 사례 하나 말고는 답이 없다.
  2. 계수 ODE는 언제 안정한가. 최소제곱 투영으로 만든 계수 ODE가 긴 시간 적분에서 안정한 조건이 무엇인지, 문제에 맞춘 기저 없이도 그 조건을 지킬 수 있는지가 열려 있다.
  3. 무작위 기저의 몫은 얼마인가. 같은 선 방법 틀에서 무작위 tanh 기저를 다항식, 푸리에, 방사 기저와 같은 자유도로 맞바꿨을 때 남는 차이가 무엇인지 아직 체계적으로 재지 않았다.

이해 확인

1. Frozen-PINN에서 시간에 따라 변하는 매개변수와, 그 값을 구하는 방법은?

  1. 은닉층 가중치와 편향. 시간마다 경사 하강으로 다시 학습한다
  2. 모든 가중치. 시간 \(t\)를 입력에 넣고 세 손실의 합을 최소제곱으로 푼다
  3. 출력층 계수. 초기값은 최소제곱으로 정하고, 이후는 PDE에서 얻은 ODE를 적응 보폭 풀이기로 적분한다
  4. 출력층 계수. 각 시점마다 PDE 잔차를 경사 하강으로 줄여 따로따로 구한다

은닉층은 ELM이나 SWIM으로 뽑아 고정하고, 출력층 계수 \(C(t)\)만 시간에 따라 변한다. \(C(0)=u(X,0)^\top[\Phi(X),\mathbb 1]^+\)로 시작해 식 3의 ODE를 RK45나 LSODA로 푼다(2.3절). 버거스 방정식에서만 기저를 다시 뽑는다.

2. 이류 방정식에서 \(\beta=10^4\)까지 오차가 작게 남은 데 가장 크게 기여한 것은?

  1. SWIM이 가파른 기저를 해의 앞면에 모아 두었기 때문이다
  2. 경계 적합층이 \(\sin kx\), \(\cos kx\)를 흉내 내 정답 \(\sin(x-\beta t)\)가 기저 안에 있고, 적응 보폭 풀이기가 빠른 회전을 작은 보폭으로 따라갔기 때문이다
  3. 시간을 입력에 넣어 시공간 전체를 덮는 기저를 썼기 때문이다
  4. 인과 가중치로 앞 시간의 손실부터 줄이도록 경사 하강을 조절했기 때문이다

이 벤치마크의 기저는 저차 푸리에 모드를 흉내 낸다(부록 B.2, 표 5). 해가 기저 안에 있으니 계수 두 개가 회전하기만 하면 되고, \(\beta\)가 커지면 풀이기의 계산 횟수가 늘어난다. 시공간 전체를 덮는 기저를 쓰는 ELM과 SWIM, PINN은 \(\beta=40\) 무렵부터 실패했다(그림 4).

3. 버거스 방정식에서 Frozen-PINN이 가파른 면을 풀어 낸 방식으로 옳은 것은?

  1. ELM 기저의 폭을 충분히 늘리자 깁스 현상이 사라졌다
  2. 기저를 고정한 채 보강 ODE의 \(\kappa\)를 키워 가파른 면을 경계처럼 붙잡았다
  3. 폭을 늘릴수록 오차가 줄어서 가장 넓은 망을 썼다
  4. 근사해의 기울기에 비례해 콜로케이션 점을 주기적으로 다시 뽑고, 그 점 쌍으로 SWIM 기저를 다시 만들었다

ELM은 어떤 폭에서도 실패했고(부록 C.4), 폭도 600을 넘기면 ODE가 뻣뻣해져 오히려 오차가 커졌다(표 16). 가파른 곳에 점과 기저를 모으는 재표집이 핵심이었다(3.4절, 그림 5).

논문 정보

  • 제목: Fast training of accurate physics-informed neural networks without gradient descent
  • 저자: Chinmay Datar, Taniya Kapoor, Abhishek Chandra, Qing Sun, Erik Lien Bolager, Iryna Burak, Anna Veselovska, Massimo Fornasier, Felix Dietrich (Technical University of Munich, Wageningen University & Research, KTH Royal Institute of Technology)
  • 학회: ICLR 2026 구두 발표(Oral)
  • 링크: arXiv 2405.20836, OpenReview, 코드