NeurIPS 2025 Oral

Analog In-memory Training on General Non-ideal Resistive Elements: The Impact of Response Functions

아날로그 칩에서 SGD는 왜 최적점 옆에 멈출까

저항 소자의 비대칭 응답이 SGD에 숨은 벌점을 얹는다는 것을 보이고, 잔차 배열로 그 벌점을 걷어 낸 NeurIPS 2025 구두 발표 논문

깊이 읽기

효율과 시스템

아날로그 인메모리 칩은 가중치를 전기 펄스로 고치는데, 올릴 때와 내릴 때 바뀌는 폭이 다르다. 이 비대칭이 기울기 잡음과 만나 가중치를 소자의 대칭점으로 끌어당긴다는 것을 보이고, 잔차 배열을 하나 더 두어 정확히 수렴하게 만든 논문을 읽는다.

공개

2026년 10월 21일

키워드

아날로그 인메모리 학습

3줄 요약

아날로그 인메모리 컴퓨팅(analog in-memory computing, AIMC) 칩은 가중치를 저항 소자의 전도도(conductance)로 저장하고, 전기 펄스를 보내 값을 고친다. 펄스 한 번에 바뀌는 폭은 현재 값과 펄스 방향에 따라 달라서 올릴 때와 내릴 때가 같지 않다. 두 폭이 같아지는 곳을 소자의 대칭점(symmetric point)이라 부른다.
논문은 이 비대칭 때문에 아날로그 SGD가 원래 손실에 ’숨은 벌점’을 더한 목적 함수를 최소화한다는 것을 보인다. 벌점은 가중치를 대칭점 쪽으로 끌어당기고 그 세기는 기울기 잡음에 비례해서, 잡음이 있는 한 학습을 오래 해도 최적점에 닿지 못한다(정리 1, 2).
해법은 잔차(residual)를 따로 담는 배열을 하나 더 두는 잔차 학습(Residual Learning)이다. 잔차가 결국 가야 할 0과 잔차 배열의 대칭점을 겹쳐 두면 강볼록 손실에서 정확히 수렴한다(따름정리 1). IBM이 휴리스틱으로 써 온 Tiki-Taka가 왜 통하고 언제 깨지는지도 같은 틀로 설명된다. 실험은 모두 시뮬레이터에서 했다.

선정 이유

NeurIPS 2025 구두 발표(oral)로 뽑혔다. 네 리뷰어가 모두 6점 만점에 5점(수락)을 줬고, 영역 의장도 같은 의견으로 수락을 적극 권했다. 블로그의 연구 여지 지도에서는 ‘효율, 시스템’ 갈래의 ‘NAS와 칩 설계 자동화’ 주제로 묶였고, LLM 중심 주제를 뺀 109개 주제 중 34위다.

전후로 아는 것이 달라졌나. 달라졌다. 비대칭 소자에서 아날로그 SGD가 잘 안 된다는 것은 실험으로 오래 알려져 있었고, 같은 연구진의 NeurIPS 2024 논문이 특수한 선형 응답에서 이유를 증명했다. 이 논문은 이를 양수이고 미분 가능한 응답 함수 전체(정의 1)로 넓혀, 치우침이 무작위 오차가 아니라 대칭점을 향한 일정한 당김이고 그 세기가 잡음에 비례함을 밝힌다.
새 질문을 여는가. 연다. 하드웨어 결함을 목적 함수의 벌점으로 읽고 바이레벨(bilevel) 문제로 푸는 틀은 대칭점을 모르는 경우나 비볼록 손실로 바로 이어진다.
일반화될 근거가 있나. 어느 정도 있다. 갱신 모형(식 5)은 원하는 갱신이 현재 상태와 부호에 따라 다른 배율로 적용되는 물리 시스템에 두루 쓸 수 있다. 다만 잔차 학습의 정확한 수렴은 강볼록 손실과 대칭점이 정확히 0이라는 가정 위에 서 있다.
증거가 주장만큼 강한가. 이론은 가정 안에서 단단하지만, 실험은 시뮬레이터에서만 했고 규모도 작다.

왜 중요한가

GPU처럼 메모리와 연산 장치가 떨어진 구조에서는 가중치를 옮기는 데 드는 비용이 크다(1장). 아날로그 인메모리 컴퓨팅은 가중치가 저장된 자리에서 곱셈을 끝낸다. 저항 소자를 격자로 엮은 크로스바 배열(crossbar array)에서는 교차점마다 놓인 소자의 전도도가 가중치 하나를 맡는다. 가로줄에 입력을 전압으로 걸면 옴의 법칙에 따라 소자마다 전도도와 전압의 곱만큼 전류가 흐르고, 세로줄에서는 키르히호프의 법칙에 따라 그 전류가 저절로 더해진다. 행렬과 벡터의 곱이 한 번에 나오는 셈이다. 논문이 인용한 연구들은 추론에서 GPU보다 10배에서 10,000배 높은 에너지 효율을 보고한다(1장).

(가) 크로스바 배열

(나) 비대칭 응답 함수

(가) 가로줄에 입력 전압 x_i를 걸면 교차점의 소자에 전도도 w_ij에 비례하는 전류가 흐르고(옴의 법칙), 세로줄마다 그 전류가 더해져(키르히호프의 법칙) y_j = Σ_i w_ijx_i가 한 번에 나온다. (나) 가중치는 펄스로만 바꿀 수 있고, 펄스 한 번에 바뀌는 폭(Δw_min을 1로 둔 값)은 현재 가중치와 방향에 따라 다르다(1장, 그림 1). 논문 부록 K.1의 지수형 응답(γ_res = 1, τ = 1)으로 그렸다. 아래 화살표는 w = ±0.55에서 올리는 펄스 한 번(파랑)과 내리는 펄스 한 번(빨강)의 폭이다. 대칭점 위에서는 내리는 폭이, 아래에서는 올리는 폭이 커서 기울기 잡음으로 두 방향의 펄스가 섞이면 가중치가 대칭점으로 모인다.

학습은 훨씬 어렵다. 디지털 메모리에는 새 값을 써 넣으면 되지만, 저항 소자의 전도도는 펄스로 조금씩 밀고 당겨서만 바꿀 수 있다. 원하는 변화 \(\Delta w\)를 만들려면 펄스를 대략 \(|\Delta w|/\Delta w_{\min}\)개 보낸다. 이상적인 소자라면 펄스 한 번에 늘 응답 입도(response granularity) \(\Delta w_{\min}\)만큼 움직이지만, 실제 소자에서는 여기에 응답 함수(response function)가 곱해져 \(\Delta w_{\min}\,q_+(w)\)나 \(\Delta w_{\min}\,q_-(w)\)만큼 움직인다(1장). 입도는 알려져 있어도 응답 함수는 대개 모르고, 소자마다 다르다. 논문이 실험에 쓴 거듭제곱형과 지수형 응답은 동적 범위 \([-\tau,\tau]\)의 위쪽 끝에서 \(q_+\)가, 아래쪽 끝에서 \(q_-\)가 0으로 떨어진다(부록 K.1). 두 함수는 거의 모든 곳에서 다르고, 같아지는 점 \(w^\diamond\)가 대칭점이다(2장).

IBM 연구진은 배열을 하나 더 쓰는 Tiki-Taka 계열 알고리즘으로 이 문제를 피해 왔다. 잘 통했지만 왜 통하는지는 설명이 부족했다. 이 논문 저자들의 NeurIPS 2024 논문은 \(q_\pm(w)=1\mp w/\tau\)라는 특수한 선형 응답에서만 수렴을 증명했다. 그림 2가 그 한계를 보여 준다. 응답을 \(q_+ = (1+c_{\text{Lin}})(1-w/\tau)\), \(q_- = (1-c_{\text{Lin}})(1+w/\tau)\)로 조금만 바꿔도, \(c_{\text{Lin}}=0\)에서 아날로그 SGD를 크게 앞서던 Tiki-Taka가 \(c_{\text{Lin}}\)을 0.1에서 0.3으로 키우자 아날로그 SGD보다 나빠진다(1장).

핵심 아이디어

직관: 잡음이 가중치를 대칭점 쪽으로 민다

펄스 여러 개를 이어 붙인 효과를 근사하면, 원소 하나는 \(\Delta w \ge 0\)일 때 \(w+\Delta w\,q_+(w)\)로, \(\Delta w<0\)일 때 \(w+\Delta w\,q_-(w)\)로 간다(식 3). 근사 오차는 갱신이 작을수록 갱신 크기에 비해 무시할 만해진다(정리 4, 부록 C). 대칭 성분 \(F=(q_-+q_+)/2\)와 비대칭 성분 \(G=(q_--q_+)/2\)로 나누면(식 4) 벡터 전체의 갱신을 한 줄로 쓸 수 있다.

\[ W_{k+1} = W_k + \Delta W_k \odot F(W_k) - |\Delta W_k| \odot G(W_k) \]

이것이 식 5이고, \(\Delta W_k = -\alpha\nabla f(W_k;\xi_k)\)를 넣으면 아날로그 SGD(식 2)가 된다. 핵심은 마지막 항에 갱신의 절댓값이 들어간다는 점이다.

평균 기울기가 0인 임계점에 이미 와 있다고 해 보자. 디지털 SGD는 평균적으로 제자리에 머문다. 아날로그 SGD는 그렇지 않다(식 6).

\[ \mathbb E_{\xi_k}[W_{k+1}] = W_k - \alpha\,\mathbb E_{\xi_k}\big[|\nabla f(W_k;\xi_k)|\big]\odot G(W_k) \]

대칭점 위에서는 \(G>0\)이라 내려가는 걸음이 올라가는 걸음보다 길고, 대칭점 아래에서는 반대다. 기울기 잡음 때문에 오르고 내리는 펄스가 섞이기만 하면, 평균 기울기가 0이어도 가중치는 대칭점 쪽으로 밀린다. 미는 힘은 \(\mathbb E|\nabla f|\), 곧 잡음의 크기에 비례한다(3.1절).

방법 1: 숨은 벌점

비대칭 비율 \(R(W)=G(W)/F(W)\)를 원소별로 대칭점에서부터 적분한 함수를 \(R_c\)라 하자. \(R\)이 단조이면 \(R_c\)는 대칭점에서 가장 작다. 정리 1에 따르면 아날로그 SGD는 원래 손실이 아니라 다음 목적 함수를 최소화하는 셈이다(식 7).

\[ f_\Sigma(W) = f(W) + \langle \Sigma,\, R_c(W)\rangle,\qquad \Sigma = \mathbb E_\xi\big[|\nabla f(W^*;\xi)|\big] \]

선형 응답 \(q_\pm = 1\mp w/\tau\)에서는 벌점이 \(\frac{\Sigma}{2\tau}\|W\|^2\), 곧 L2 정규화가 된다(3.1절). 계수는 잡음 \(\Sigma\)에 비례하고 동적 범위 \(\tau\)에 반비례한다. 잡음이 없으면 벌점도 없고, 실제로 잡음 없는 아날로그 경사 하강법은 정확히 수렴한다(정리 6, 부록 J).

정리 1의 엄밀한 형태(정리 5, 부록 G)는 국소적인 진술이다. 대칭점과 최적점이 가까워지는 극한에서, 두 점을 곡률과 잡음으로 가중해 섞은 점이 \(f_\Sigma\)의 임계점이자 아날로그 SGD 평균 동역학의 정지점에 가깝다는 내용이다. 1차원으로 쓰면 멈추는 곳은 \(\tilde w^* = \big(f''\,w^* + \Sigma R'(w^\diamond)\,w^\diamond\big)/\big(f'' + \Sigma R'(w^\diamond)\big)\) 근처다.

학습률을 \(O(1/\sqrt K)\)로 두면 정리 2가 성립한다(식 8).

\[ \frac1K\sum_{k<K}\|\nabla f(W_k)\|^2 \le O\Big(\sqrt{\sigma^2/K} + \sigma^2 S_K\Big),\qquad S_K = \frac1K\sum_{k<K}\Big\|\frac{G(W_k)}{\sqrt{F(W_k)}}\Big\|_\infty^2 \]

첫째 항은 디지털 SGD와 같은 속도로 사라지지만 둘째 항은 반복을 늘려도 남는다. 최적점이 대칭점에서 멀수록 \(S_K\)가 커져 남는 오차도 커진다(3.2절).

방법 2: 잔차 학습

최적점을 미리 알면 대칭점을 그 자리로 옮겨 두면 되지만, 최적점은 학습이 끝나야 안다. 그래서 논문은 정답이 늘 0인 변수를 따로 만들고, 그 변수를 담는 배열의 대칭점을 0에 맞춘다. 주 배열 \(W\) 옆에 잔차 배열 \(P\)를 두고 바이레벨 문제를 푼다(식 9).

\[ \min_W \|P^*(W)\|^2 \quad \text{s.t.}\quad P^*(W)\in\arg\min_P f(W+\gamma P) \]

최적점이 하나뿐이면 \(P^*(W) = (W^*-W)/\gamma\)이므로, \(W\)가 최적점에 다가갈수록 잔차는 0으로 간다. 알고리즘은 두 단계를 번갈아 돈다. 먼저 섞은 가중치 \(\bar W_k = W_k+\gamma P_k\)에서 구한 기울기로 \(P\)를 아날로그 SGD로 한 걸음 갱신한다(식 10). 다음으로 상위 문제의 기울기 \(-\frac{2}{\gamma}P^*\)에서 \(P^*\)를 \(P\)로 바꿔 쓰면, \(P\)를 \(W\)에 더해 주는 전달(transfer) 갱신이 나온다(식 11). 이것도 펄스로 한다.

\[ W_{k+1} = W_k + \beta P_{k+1}\odot F(W_k) - \beta |P_{k+1}|\odot G(W_k) \]

숨은 벌점은 이제 \(P\)에 걸리고 \(P\)를 \(P\)의 대칭점 쪽으로 끈다. 그런데 \(P\)가 결국 가야 할 곳이 0이므로, \(P\)의 대칭점이 0이면 당기는 곳과 가야 할 곳이 같아진다. 대칭점을 0으로 옮기는 일은 기준 배열을 빼는 영점 이동(zero-shifting) 기법이 맡는다(4장, 가정 4).

(가) 아날로그 SGD의 숨은 벌점

(나) 잔차 배열 P에서 본 잔차 학습

선형 응답(q_± = 1 ∓ w/τ, τ = 1, 대칭점 0)과 손실 f(w) = (w − 0.6)²/2, 기울기 잡음 σ = 1(Σ = E|잡음| ≈ 0.80)로 계산한 개념도다. (가) 아날로그 SGD는 손실(파랑)에 대칭점을 향한 벌점 Σw²/(2τ)(빨강 점선)를 더한 목적 함수(보라)를 최소화하는 셈이라(정리 1, 식 7), 최적점 0.6이 아니라 0.33 근처에 멈춘다(정리 5). (나) 잔차 학습에서는 같은 벌점이 W가 아니라 잔차 배열 P에 걸린다(γ = 0.4). 색은 (가)와 같고, 파랑은 P에 대한 손실 f(W + γP)/γ다. P가 찾는 잔차 P* = (w* − W)/γ는 W가 최적점에 가까워질수록 0으로 가고, 영점 이동으로 P의 대칭점도 0에 맞춰 두었기 때문에 끝에서는 벌점이 당기는 곳과 P가 가야 할 곳이 같아진다(가정 4, 따름정리 1).

정리 3은 잔차 학습의 오차 한계가 정리 2와 같은 꼴임을 보인다. 다만 남는 항이 \(W\)가 아니라 \(P\)의 비대칭 \(\|G(P_k)/\sqrt{F(P_k)}\|_\infty^2\)에 걸린다. \(G(0)=0\)이면 이 값은 \(\|P_k\|^2\)에 비례해 줄고 \(P_k\)는 0으로 가므로, 남는 항이 사라진다. 따름정리 1은 \(\gamma \ge \Omega(q_{\min}^{-2/5})\)일 때 오차가 \(O(\sqrt{\sigma^2L/K})\)로 정확히 줄어듦을 보인다. 주 배열 \(W\)의 대칭점은 오차 한계에 들어가지 않는다. 이 증명은 손실이 강볼록이라고 가정한다(가정 3).

Tiki-Taka는 잔차 학습의 특수한 경우다(4장). 그림 2의 실패도 여기서 풀린다. \(c_{\text{Lin}}\neq 0\)이면 대칭점이 \(c_{\text{Lin}}\tau\)로 옮겨 가 가정 4가 깨진다. \(\gamma\neq0\)일 때 이전 분석보다 빠른 수렴률을 얻는다는 점도 다르다(표 2).

방법 3: 읽기 잡음과 펄스 입도까지

실제 칩에서는 \(P\)를 읽을 때 잡음이 섞여 전달 단계에 다시 벌점이 생기고, 펄스가 \(\Delta w_{\min}\) 단위로만 움직여 오차가 남는다. 잔차 학습 v2는 디지털 버퍼에 이동 평균 \(H_{k+1}=(1-\beta)H_k+\beta(P_{k+1}+\varepsilon_{k+1})\)을 쌓아 잡음을 거르고(식 14), 버퍼 값이 \(\Delta w_{\min}\)을 넘을 때만 펄스를 한 번 쏜 뒤 버퍼에서 그만큼 뺀다(5장). 기존 Tiki-Taka v2와는 버퍼의 감쇠 계수와 기울기를 구하는 위치가 다르다(부록 D).

작은 예로 보기

식 5를 1차원 이차 손실에 그대로 적용하면 정리들이 말하는 차이가 숫자로 보인다. 잡음 \(\sigma=1\)에서 아날로그 SGD는 최적점 0.6이 아니라 0.33에 멈추고(정리 5의 근사식과 일치), 학습률을 백 배 줄여도 치우침 0.27이 그대로다. 대칭점을 0에 맞춘 잔차 학습의 치우침은 0.065에서 0.007로 줄지만, 잔차 배열의 대칭점이 0.3에 있으면 반대쪽으로 0.2 넘게 남는다.

(가) 잡음이 정하는 멈춤 위치

(나) 학습률을 줄였을 때 남는 치우침

논문의 아날로그 갱신(식 5)을 손실 f(w) = (w − 0.6)²/2, 선형 응답(τ = 1, 대칭점 0), 가우스 기울기 잡음에 그대로 적용해 200번씩 돌린 평균이다. 잔차 학습은 식 10과 11(γ = 0.4, β = 0.1α)을 쓴다. (가) α = 0.003. 아날로그 SGD(빨간 점)는 잡음이 클수록 대칭점 0 쪽에 멈추고, 그 위치는 정리 5의 근사식 w*/(1 + Σ/τ)(빨간 점선)와 맞는다. (나) σ = 1. 아날로그 SGD의 치우침은 학습률을 백 배 줄여도 그대로다. 잔차 배열의 대칭점을 0에 맞춘 잔차 학습(파랑)은 치우침이 대략 √α에 비례해 줄지만, 대칭점이 0.3에 있으면(주황) 오히려 반대쪽으로 치우친 채 남는다(그림 2에서 c_Lin ≠ 0인 경우).

결과 해설

응답 모양이 거칠어지면 아날로그 SGD는 무너진다. 세 층짜리 완전연결망을 MNIST로 학습하며 거듭제곱형과 지수형 응답의 모양(\(\gamma_{\text{res}}\) 0.5, 1, 2)과 동적 범위(\(\tau\) 0.6, 0.7, 0.8)를 바꾼 18개 설정 가운데 14개에서 아날로그 SGD의 정확도가 15% 아래로 떨어졌다(표 8). 잔차 학습은 18개 모두에서 96.82~97.72%였고 디지털 SGD는 98.17%였다. 다만 비대칭이 약한 거듭제곱형 \(\gamma_{\text{res}}=0.5\), \(\tau\) 0.7과 0.8에서는 아날로그 SGD(97.40%, 97.38%)가 잔차 학습(97.05%, 96.82%)보다 조금 높았다. 그림 4에서도 잔차 학습은 디지털 SGD와 1% 안쪽 차이였고, CNN의 아날로그 SGD는 80% 근처에 머물렀다(6장). 펄스마다 응답이 흔들리는 잡음을 응답 크기의 120%까지 키워도 아날로그 SGD의 정확도는 1%포인트 남짓 떨어지는 데 그쳤는데(FCN 97.22%에서 96.19%, CNN 92.68%에서 91.57%, 표 7), 이 잡음이 고차항에 그친다는 정리 4와 맞는다.

CIFAR 미세 조정. ImageNet으로 사전 학습한 ResNet의 마지막 완전연결층을 아날로그 층으로 바꿔 CIFAR10과 CIFAR100에 맞췄다(부록 K.3, 표 1). CIFAR100의 ResNet18에서 디지털 SGD가 81.12%, 아날로그 SGD가 68.98%, 잔차 학습이 76.17%, 잔차 학습 v2가 79.83%다. v2는 Tiki-Taka v2(78.56%)보다 CIFAR100의 세 모델 모두에서 높지만, CIFAR10에서는 세 모델 모두 Tiki-Taka v2가 0.07~0.19%포인트 높다(표 1). 섞음 계수 \(\gamma\)를 0에서 0.1로 올리면 정확도가 크게 오르고 0.1부터 0.4까지는 거의 그대로다(그림 5).

의심해볼 점

대칭점을 0에 정확히 맞춰야 한다. 따름정리 1의 정확성은 잔차 배열의 대칭점이 정확히 0이라는 가정에 달려 있고, 그림 2는 그 가정이 조금만 틀려도 결과가 크게 나빠짐을 보여 준다. 대칭점은 소자마다 다르고, 이를 재서 맞추는 데도 펄스가 든다. 같은 연구진의 후속 연구가 바로 이 보정 비용과 오차를 다룬다.
가정의 범위. 잔차 학습의 수렴 증명은 강볼록 손실을 가정하고, 숨은 벌점의 엄밀한 형태(정리 5)는 대칭점과 최적점이 가까울 때의 국소적 진술이다.
실험이 보여 주는 범위. 모든 실험이 IBM의 시뮬레이터 AIHWKIT에서 나왔고, CIFAR에서는 사전 학습한 ResNet의 분류층 하나만 아날로그로 학습했다(부록 K.3).
같은 숫자의 두 표. 거듭제곱형 응답(\(\gamma_{\text{res}}=3\))으로 했다는 본문 표 1과 지수형 응답(\(\gamma_{\text{res}}=4\))으로 했다는 부록 표 5의 숫자가 표준편차까지 모두 같다(부록 K.4). 블로그의 해석으로는 표를 옮기며 생긴 실수로 보이지만, 어느 설정의 결과인지는 알 수 없다.
이론이 말하는 실패와 실제 실패. 정리 2가 예측하는 것은 줄지 않는 오차이지 우연 수준으로의 붕괴가 아니다. 블로그의 해석으로는 표 8의 붕괴에 동적 범위 끝의 포화 같은 다른 실패가 겹친 것으로 보이는데, 논문은 이를 따로 가르지 않는다.
비용. 배열이 하나 늘어 아날로그 메모리가 두 배가 되고, 층마다 갱신 시간이 165.9ns에서 371.8ns로 는다(표 3). 심사 답변에서는 30.9ns와 50.8ns라고 했는데, 어떤 가정이 바뀌었는지는 설명이 없다.

리뷰어들이 짚은 점

네 리뷰어 모두 이론을 높이 평가하면서도 실험이 이론만큼 무게를 갖지 못한다고 봤다. 한 리뷰어는 무게가 이론 쪽으로 쏠렸다(top-heavy)고 적었다.

실제 하드웨어와 큰 데이터. 세 리뷰어가 실제 칩 실험이 없고 데이터셋이 작다는 점을 들었다. 저자들은 답변에서 6층 트랜스포머(매개변수 약 1천만 개)를 처음부터 학습한 결과(손실: 디지털 2.46, 아날로그 SGD 3.10, 잔차 학습 v2 2.61)와 실제 소자의 응답을 넣은 MNIST 결과를 더했다. MobileBERT의 LoRA 층 20%만 아날로그로 둔 미세 조정에서는 잔차 학습이 디지털보다 정확도가 높았고(88.72% 대 87.21%), 저자들은 숨은 벌점이 정규화처럼 작용했을 가능성을 들었다. 이 결과들은 공개된 최종본에는 실리지 않았다.
가정과 예시. 강볼록 가정이 신경망에는 너무 강하다는 지적에는 PL 조건으로 완화할 수 있다고, 가정을 만족하는 작은 예를 보여 달라는 요청에는 2차원 회귀 예를 넣겠다고 답했다. 둘 다 최종본에는 없다.

계보

크로스바 학습의 출발. Gokmen, Vlasov(Frontiers in Neuroscience, 2016)가 기울기가 두 벡터의 외적이라는 점을 이용해 배열 전체를 펄스만으로 갱신하는 방법을 내놓았다(부록 A).
Tiki-Taka 계열. Gokmen, Haensch(2020)가 잔차 배열을 둔 Tiki-Taka를, Gokmen(2021)이 디지털 버퍼를 더한 v2를 냈다. Rasch 외(Nature Communications, 2024)는 이를 빠르고 튼튼하게 다듬었다. 대칭점을 0으로 옮기는 영점 이동은 Kim 외(arXiv 1907.10228)에서 왔다. 기울기를 디지털로 계산하는 혼합 정밀도 학습(Nandakumar 외, 2020)은 더 정확하지만 비용이 5~10배 든다(부록 A).
이론. Wu, Gokmen, Rasch, Chen(NeurIPS 2024)이 선형 응답과 \(\gamma=0\)에서 아날로그 SGD의 치우침과 Tiki-Taka의 수렴을 처음 증명했다. 이 논문은 이를 일반 응답과 \(\gamma\neq0\)으로 넓혔다(표 2).
후속 연구. 2026년 10월 기준 Semantic Scholar에 잡힌 인용은 7편이고, 한 편을 빼면 모두 저자가 겹친다. 학습 중에 대칭점을 추정해 따라가는 방법(Xiao 외, arXiv 2602.21321), 4비트 수준 소자에서 여러 타일로 잔차를 이어 배우는 방법(Li 외, arXiv 2510.02516), 상태에 따라 치우친 갱신 일반으로 틀을 넓힌 연구(Wu 외, arXiv 2607.26032)가 있다. 트랜스포머를 1억 2,300만 매개변수까지 키운 연구(Wu 외, arXiv 2609.36584)는 기울기를 디지털로 계산하는 혼합 정밀도 쪽을 택했다. 블로그의 해석으로는 펄스만으로 갱신하는 학습을 큰 모델로 키우는 일이 아직 쉽지 않다는 신호다.

열린 질문

대칭점을 모를 때. 소자마다 대칭점이 다르고 시간이 지나며 움직일 때, 보정에 드는 비용과 잔차 학습에 남는 치우침 사이에는 어떤 관계가 있을까.
숨은 벌점은 큰 신경망에서도 맞는 설명일까. 최소점이 많은 손실에서 이 벌점이 어떤 해를 고르는지, 저자들의 추측처럼 일반화에 도움이 되기도 하는지는 열려 있다.
하드웨어에 맞는 옵티마이저. 벌점의 세기는 원하는 갱신의 절댓값 평균이 정한다. 모멘텀이나 적응형 학습률처럼 갱신의 통계를 바꾸는 방법이 이 벌점을 얼마나 키우거나 줄이는지는 아직 정리되지 않았다.

이해 확인

1. 평균 기울기가 0인 임계점에서도 아날로그 SGD의 가중치가 움직이는 까닭은?

펄스 수가 정수라서 반올림 오차가 쌓이기 때문에
잡음 때문에 오르고 내리는 펄스가 섞일 때, 대칭점 위에서는 내리는 폭이 더 커서 평균적으로 대칭점 쪽으로 밀리기 때문에
대칭 성분 F가 1보다 작아 실제 학습률이 줄어들기 때문에
전도도를 읽을 때 잡음이 가중치에 더해지기 때문에

식 6에서 평균 이동은 −α E|∇f| ⊙ G(W)이다. 절댓값이 들어가므로 평균 기울기가 0이어도 잡음이 있으면 0이 아니고, G의 부호가 대칭점 위아래에서 바뀌어 늘 대칭점 쪽을 향한다. F는 걸음 크기만 바꾸고(잡음이 없으면 정확히 수렴한다, 정리 6), 입도와 읽기 잡음은 5장에서 따로 다루는 결함이다.

2. 선형 응답 q± = 1 ∓ w/τ에서 숨은 벌점은 (Σ/2τ)‖W‖²이다. 배치를 키워 기울기 잡음을 줄이거나 동적 범위 τ가 넓은 소자를 쓰면?

둘 다 벌점을 키워 대칭점 쪽으로 더 끌려간다
배치 크기는 상관없고 τ만 벌점을 바꾼다
둘 다 벌점을 줄여, 아날로그 SGD가 최적점에 더 가까이 멈춘다
잡음과 상관없이 τ가 무한대일 때만 벌점이 사라진다

벌점 계수는 최적점에서의 기울기 절댓값 평균 Σ에 비례하고 τ에 반비례한다(3.1절). 잡음이 줄면 Σ가 줄고, τ가 크면 같은 Σ에서도 벌점이 약해진다. 잡음이 없으면 τ와 상관없이 벌점이 사라진다(정리 6).

3. 잔차 학습이 정확히 수렴하려면 잔차 배열 P의 대칭점이 0이어야 한다. 왜 하필 0인가?

전도도가 0일 때 값을 읽기가 가장 쉬워서
P가 결국 가야 할 잔차 P(W)가 0이라서, 대칭점을 0에 두면 숨은 벌점이 당기는 곳과 P가 가야 할 곳이 겹치기 때문에
0에서는 q₊와 q₋가 모두 1이 되어 비대칭이 완전히 사라져서
주 배열 W의 대칭점도 0이어야 하므로 둘을 맞추려고

P(W) = (W − W)/γ는 W가 최적점에 닿으면 0이다. 숨은 벌점은 P를 P의 대칭점으로 끄니, 그 점이 0이면 끝에서 당김이 사라진다(가정 4, 따름정리 1). 대칭점은 q₊ = q₋인 점일 뿐 두 값이 1일 필요는 없고, 정리 3의 오차 항에는 W의 대칭점이 들어가지 않는다. 그림 2에서 Tiki-Taka가 무너진 것도 대칭점이 c_Lin τ로 옮겨 갔기 때문이다.

논문 정보

제목: Analog In-memory Training on General Non-ideal Resistive Elements: The Impact of Response Functions
저자: Zhaoxian Wu, Quan Xiao (Cornell University), Tayfun Gokmen, Omobayode Fagbohungbe (IBM T. J. Watson Research Center), Tianyi Chen (Rensselaer Polytechnic Institute)
학회: NeurIPS 2025 Oral
링크: arXiv 2502.06309, OpenReview, 코드