NeurIPS 2025 Oral
High-dimensional neuronal activity from low-dimensional latent dynamics: a solvable model
2차원으로 도는 회로가 어떻게 고차원 신경 활동을 만들까
활성 함수 앞뒤로 나눠 잰 차원으로 쥐 시각 피질을 다시 읽기
계산 신경과학
3줄 요약
- 원숭이 기록과 과제를 학습한 RNN에서는 뉴런 집단이 저차원 동역학을 따른다는 증거가 쌓였다. 그런데 쥐 시각 피질의 활동은 공분산 고유값이 거듭제곱 꼴로 천천히 줄어드는 고차원 활동이었다. 이 논문은 차원을 활성 함수 앞(전 활성)과 뒤(후 활성)로 나눠 재면 두 관찰이 함께 성립한다는 것을 정확히 풀리는 RNN으로 보인다.
- 고리 위에 뉴런을 놓고 코사인 연결과 계단 함수를 쓴 RNN은 2차원 잠재 동역학으로 정확히 줄어든다. 그런데도 발화율의 공분산 고유값은 \(n^{-2}\)으로 줄어서 어떤 유한 차원 부분공간에도 다 담기지 않는다. 랜덤 특징 커널로 넓혀 보면 꼬리의 기울기는 잠재 차원과 활성 함수가 함께 정해서, 고유값만으로는 잠재 차원을 알 수 없다.
- 그래서 저자들은 뉴런으로 다른 뉴런을 예측하는 잠재 변수 모형 NCE를 만들었다. 쥐 시각 피질 기록에서 표류 격자 반응과 자발 활동은 평균 5.5차원과 7.0차원의 전 활성으로 설명됐고, 자연 이미지 반응에는 약 94차원이 필요했다.
선정 이유
NeurIPS 2025 구두 발표(Oral) 논문이다. 리뷰어 네 명의 최종 점수는 모두 5점(6점 만점)이고, 두 명은 저자 답변을 읽고 점수를 올렸다. 채택 결정문은 Stringer 외(2019) 이후 초기 시각계의 고차원 활동과 그 밑의 저차원 잠재 동역학이 어떤 관계인지 만족스럽게 설명한 연구가 없었다며, 이 논문의 답을 의미 있는 진전으로 평했다. 블로그의 연구 여지 지도에서 이 논문이 속한 ’계산 신경과학과 신경 회로’는 LLM 중심 주제를 뺀 109개 주제 가운데 5위이고, 초록에 미해결 표현이 나오는 비율(19.1%)이 가장 높다.
- 전후로 아는 것이 달라졌나. 달라졌다. “신경 활동은 저차원인가 고차원인가”는 사실 두 물음이었다. 비선형을 지나기 전과 뒤의 선형 차원은 크게 다를 수 있고, 이제 그 차이를 손으로 계산해 볼 모형이 있다.
- 새 질문을 여는가. 연다. 자연 이미지 반응의 전 활성이 정말 고차원인지, 전 활성이 막전위와 같은지, 고리가 아닌 다양체에서도 같은 일이 일어나는지가 열려 있다.
- 일반화될 근거가 있나. 부분적으로 있다. 풀리는 모형은 코사인 연결과 계단 함수에 기대지만, 랭크 4 연결(부록 D)과 가우시안 저랭크 RNN(부록 E)에서도 잠재 동역학이 간단한 식으로 나온다. 꼬리 지수 공식은 증명되지 않은 추측이다(3절).
- 증거가 주장만큼 강한가. 이론은 단단하고, 뉴런 1,000개짜리 유한 망도 이론의 한계 순환과 상위 400개 고유값을 따른다(부록 C). 실험은 쥐 세 마리에서 얻은 기록 열 개에 기대고, 이론이 말하는 꼬리 지수를 같은 데이터에서 재지는 않았다.
왜 중요한가
계산 신경과학에는 뇌의 계산이 수많은 뉴런이 함께 그리는 저차원 궤적, 곧 신경 다양체(neural manifold) 위에서 일어난다는 오랜 가설이 있다. 원숭이 운동 피질과 전전두엽 기록(Churchland 외 2012, Mante 외 2013), 그리고 과제를 학습한 RNN(Sussillo와 Barak 2013)에서 저차원 동역학이 거듭 나타났다.
쥐 시각 피질의 대규모 기록은 다른 그림을 내놓았다. 뉴런들이 공유하는 공분산의 고유값이 순위 \(n\)에 대해 \(n^{-\alpha}\) 꼴로 줄었고, 지수는 자연 이미지 반응에서 \(\alpha \approx 1.04\), 자발 활동에서 \(\alpha \approx 1.14\)였다(1절, Stringer 외 2019의 두 논문). 지수가 1에 가까우면 분산이 수많은 주성분에 고루 퍼진다. 주성분 몇 개로 활동 대부분을 설명하는 저차원 그림과는 거리가 멀다.
두 관찰은 정말 부딪칠까. 이 물음은 ML과도 닿아 있다. 논문의 도구가 넓은 신경망을 커널로 보는 랜덤 특징 이론과 고유값 분석이기 때문이다. 블로그의 해석으로는, 신경망 표현의 “유효 차원”을 말할 때 활성 함수 앞에서 쟀는지 뒤에서 쟀는지 따져야 한다는 교훈이 인공 신경망 해석에도 그대로 통한다.
핵심 아이디어
직관: 사인파는 2차원, 네모파는 끝이 없다
데이터가 놓인 곡면 자체의 차원을 내재 차원(intrinsic dimension), 데이터를 모두 담는 가장 작은 선형 부분공간의 차원을 선형 차원(linear dimension)이라 한다. 연속이고 일대일인 비선형 함수를 지나도 내재 차원은 그대로지만, 선형 차원은 얼마든지 커질 수 있다. 저자들은 선형 차원을 다시 둘로 나눈다. 활성 함수에 들어가기 전 값의 차원인 전 활성 차원(pre-activation dimension)과, 활성 함수를 지난 발화율의 차원인 후 활성 차원(post-activation dimension)이다(1절). 이 논문에서 차원은 따로 말하지 않으면 선형 차원이다.
간단한 예로 보자. 잠재 변수가 각도 \(\vartheta\)로 원을 돌고, 뉴런 \(i\)는 선호 각도 \(\theta_i\)를 갖는다. 전 활성 \(\cos(\vartheta-\theta_i)\)는 위상만 다른 사인파이고, 위상이 어떻든 \(\cos\vartheta\)와 \(\sin\vartheta\)의 선형 결합으로 쓸 수 있다. 뉴런이 아무리 많아도 전 활성은 2차원 평면 안에 있다. 이 사인파를 계단 함수에 넣으면 반 주기는 1, 반 주기는 0인 네모파가 된다. 네모파를 푸리에 급수로 풀면 1, 3, 5, … 홀수 배음이 모두 나오고, 위상이 제각각인 네모파들을 담으려면 그 배음 축이 모두 필요하다. 후 활성은 유한한 차원 어디에도 다 담기지 않는다.
(가) 고리 위의 뉴런과 2차원 잠재 변수
(나) 한 바퀴 동안의 세 뉴런
방법: 정확히 2차원으로 줄어드는 RNN
모형은 뉴런 \(N\)개로 된 발화율 RNN이다(식 1, 2).
\[ \dot x_i = -x_i + \frac{1}{N}\sum_{j=1}^{N} W_{ij}\,\phi(x_j),\qquad W_{ij} = J\cos(\theta_i-\theta_j-\Delta) \]
뉴런마다 고리 위의 무작위 각도 \(\theta_i\)를 주고, 연결은 각도 차이의 코사인을 \(\Delta\)만큼 민 꼴로 둔다. 그래서 각 뉴런은 반시계 방향으로 \(\Delta\)만큼 앞선 뉴런을 가장 세게 흥분시킨다. 활성 함수 \(\phi\)는 입력이 0 이상이면 1, 아니면 0을 내는 계단 함수다(식 3).
삼각함수 덧셈 정리를 쓰면 \(W\)는 \(N\times 2\) 행렬 두 개의 곱 \(W=UV^\top\)로 쪼개진다(2.1절). 랭크가 2이므로 잠재 변수 \(\kappa = U^\dagger x\)가 2차원 동역학을 따른다(Beiran 외 2021). 뉴런 수를 무한히 늘리면 뉴런에 대한 합이 고리 위 적분으로 바뀌는데, 계단 함수 덕분에 이 적분이 풀린다. \(J=\pi\sqrt2\), \(\Delta=\pi/4\)로 두면 다음 식이 나온다(식 5, 부록 A).
\[ \dot\kappa = -\kappa + \begin{pmatrix}1 & -1\\ 1 & 1\end{pmatrix}\frac{\kappa}{\lVert\kappa\rVert} \]
둘째 항은 \(\kappa\) 방향 성분과 그에 수직인 성분이 모두 1인 벡터다. 그래서 \(\lVert\kappa\rVert\)는 1로 끌려가고, 단위원 위에서는 일정한 속도로 돈다. 단위원이 곧 안정한 한계 순환(limit cycle)이다(그림 1D, 부록 G). 뉴런의 발화율은 이 2차원 잠재 변수를 선형으로 읽고(\(U\kappa\)) 계단 함수를 씌운 값이다. RNN 전체가 2차원 잠재 동역학과 선형-비선형 읽기 한 번으로 정확히 줄어든 셈이다.
수식: 고유값은 \(n^{-2}\)으로 줄어든다
잠재 변수가 원을 일정한 속도로 돌 때, 두 뉴런의 발화율 상관은 선호 각도의 차이만으로 정해진다(식 6, 부록 B).
\[ C_{ij} = \frac{2}{\pi}\big(\pi-|\theta_i-\theta_j|\big)-1 \]
기록하는 뉴런 수를 늘리면 이 상관 행렬의 고유값을 뉴런 수로 나눈 값은 적분 연산자의 고유값으로 수렴한다. 연산자의 핵에는 Cho와 Saul(2009)의 0차 아크코사인 커널(arc-cosine kernel) \(k_0(\theta,\theta')=\pi-|\theta-\theta'|\)이 들어 있다. 회전 대칭이라 \(\cos m\theta\)와 \(\sin m\theta\)가 고유함수가 되고, 크기순으로 늘어놓은 고유값은 다음과 같다(식 8).
\[ \lambda_n = \frac{4}{\pi^2}\Big(2\Big\lfloor\frac{n-1}{2}\Big\rfloor+1\Big)^{-2} \]
같은 값이 둘씩 짝을 지으며 정확히 \(n^{-2}\)으로 줄어든다. 짝수 배음의 고유값은 0이고, 홀수 배음 \(m\)의 고유값은 \(4/(\pi^2 m^2)\)이다. 블로그의 해석으로 덧붙이면, 평균을 빼고 ±1로 맞춘 네모파를 복소 푸리에 급수로 쓸 때 \(m\)번째 계수의 크기가 \(2/(\pi m)\)이고, 그 제곱이 정확히 식 8의 고유값이다. 앞의 직관이 곧 식 8이다. 이 꼬리는 잡음에서 오지 않는다. 결정론적이고 혼돈도 없는 RNN에서 나온 꼬리다(2.2절). 아래 그림의 (가)는 부록 C처럼 뉴런 1,000개짜리 망을 돌려 본 결과다.
계단 함수와 원이라는 특수한 선택을 벗어나면 어떻게 될까. 3절은 잠재 변수 \(z\)가 \(d\)차원 단위구 위에 고르게 퍼지고, 읽기 가중치가 독립 정규분포를 따르며, 활성 함수가 정류 거듭제곱 함수 \(\phi_{p,c}(x)=[\max(0,x+c)]^p\)인 경우로 넓힌다(식 9). \(p=0\)이면 계단 함수, \(p=1\)이면 ReLU다. 뉴런과 표본을 무한히 늘리면 후 활성의 고유값은 랜덤 특징 커널(random feature kernel) \(K(z,z')=\mathbb{E}_{\xi}[\phi_{p,c}(\xi\cdot z)\,\phi_{p,c}(\xi\cdot z')]\)의 고유값으로 간다(식 10, 11, 부록 F).
함수가 매끄러울수록 푸리에 변환은 빨리 줄어든다. 저자들은 이 직관과 \(p=0, 1\)에서 알려진 결과(Bach 2017)를 넓혀 다음 추측을 내놓는다(추측 1, 식 12).
\[ \lambda_n \asymp n^{-\alpha},\qquad \alpha = 1+\frac{2p+1}{d-1} \]
잠재 차원 \(d\)가 클수록, 활성 함수가 거칠수록(\(p\)가 작을수록) 꼬리가 무거워진다. 바이어스 \(c\)는 지수를 바꾸지 않는다(그림 2C). \(d=2\), \(p=0\)을 넣으면 \(\alpha=2\)로 풀리는 모형과 맞는다. 뉴런 \(2\times10^4\)개, 표본 \(10^4\)개로 한 시뮬레이션에서 \(p\in[0,2]\), \(d=2,3,4\)에 걸쳐 공식이 들어맞았다(그림 2B).
이 공식에서 바로 나오는 결론이 있다. 같은 \(\alpha\)가 여러 \((d,p)\) 조합에서 나오므로, 꼬리 지수만으로는 잠재 차원을 알 수 없다. 아래 그림의 (나)처럼 식 12를 거꾸로 풀면 자발 활동의 \(\alpha\approx1.14\)는 계단 함수로 읽을 때 \(d\approx8\), ReLU로 읽을 때 \(d\approx22\)에 해당한다(블로그의 해석).
(가) 같은 회로, 두 가지 스펙트럼
(나) 같은 꼬리, 여러 잠재 차원
결과 해설
NCE: 뉴런으로 뉴런을 예측해 전 활성 차원을 잰다
꼬리 지수로 알 수 없다면 전 활성 차원을 직접 추정해야 한다. 그래서 나온 것이 신경 교차 인코더(Neural Cross-Encoder, NCE)다(4.2절). 뉴런을 무작위로 출발 집합과 도착 집합으로 나누고, 출발 뉴런의 활동 \(a_t\)를 3층 인코더에 넣어 \(d\)차원 잠재 변수 \(z_t\)를 얻는다. 도착 뉴런의 활동은 한 층짜리 선형-비선형 읽기로 예측한다(식 13).
\[ b_t = \phi_{p,c}(Uz_t)+r \]
거듭제곱 \(p\)는 모든 뉴런이 함께 쓰고, 바이어스 \(c\)와 기저 발화율 \(r\)은 뉴런마다 따로 배운다. 설계의 핵심은 두 가지다. 첫째, 디코더가 한 층이라서 \(Uz_t\)를 그대로 전 활성으로 읽을 수 있다. 디코더를 여러 층으로 쌓으면 내재 차원에 가까운 값을 재게 된다. 둘째, 자기 자신이 아니라 다른 뉴런을 예측하므로 뉴런마다 따로 생기는 잡음은 설명할 길이 없다. 자극 반응을 다룰 때는 같은 자극을 다른 회차에 보여 준 기록끼리 짝을 지어, 자극과 무관한 공동 변동까지 걸러 낸다. 비선형을 모두 빼면 축소 랭크 회귀(reduced rank regression, RRR)와 같아진다.
검증부터 했다. 풀리는 모형에 ReLU 읽기(\(p=1\))를 붙여 만든 가상 데이터에서 NCE는 2차원 잠재 변수를 크기와 이동만 다르게 되찾았고, 2차원만으로 분산을 모두 설명했다. 같은 데이터에서 선형 모형은 더 많은 차원이 필요했다(그림 3).
(가) 신경 교차 인코더(NCE)
(나) 쥐 시각 피질의 전 활성 차원
쥐 시각 피질: 격자와 자발 활동은 저차원, 자연 이미지는 고차원
데이터는 깨어 있는 쥐의 1차 시각 피질과 고차 시각 영역을 라이트 비드 현미경(Light Beads Microscope)으로 부피째 찍은 2광자 칼슘 영상이다. 기록마다 평균 19,223개(표준편차 2,948)의 뉴런을 얻었고(4.1절), 쥐 세 마리에서 자발 활동 4회, 자연 이미지 3회, 표류 격자 3회를 기록했다(부록 H). 여기서 출발 뉴런 500개와 도착 뉴런 1,000개를 뽑아, 설명 가능한 분산의 95%를 예측하는 데 필요한 최소 \(d\)를 전 활성 차원으로 삼았다. 설명 가능한 분산은 모든 \(d\)와 두 모형을 통틀어 가장 높은 설명력으로 정한다(4.3절, 부록 I.2).
결과는 조건마다 갈렸다(4.3절, 그림 4G).
- 표류 격자(drifting gratings). NCE는 평균 5.5차원(표준편차 1.2), 선형 모형은 13.9차원(3.0)이 필요했다. 격자에는 방향이라는 잠재 변수가 있다는 것을 미리 아는데, NCE가 찾은 잠재 변수는 자극 각도의 사인과 코사인을 닮았다. 시각 피질 단순 세포의 표준 모형이 예측하는 모습이다.
- 자연 이미지. NCE에는 93.9차원(6.0)이 필요했다. 선형 모형은 48.0차원(13.1)으로 더 낮게 나왔는데, 설명하는 분산 자체가 작아서 차원을 낮춰 잡은 결과다.
- 자발 활동. 화면이 회색일 때의 활동도 NCE 7.0차원(1.0)으로 설명됐다. 4차원 NCE로 뽑은 잠재 변수는 쥐의 달리기 속도와 강하게 상관됐다(부록 I.4, 그림 7).
저자들은 고차원성이 강조돼 온 자발 활동의 전 활성이 저차원이라는 것을 가장 중요한 실험 결과로 꼽았다(OpenReview 답변). 자연 이미지는 전 활성 단계에서 이미 고차원으로 표현된다고 해석한다(1절).
의심해볼 점
- 이론의 꼬리와 실험의 차원 사이가 비어 있다. 이론은 고유값의 꼬리 지수를 말하지만, 실험은 설명 가능한 분산의 95%라는 문턱으로 차원을 잰다. 이 기록의 꼬리를 재거나 NCE의 재구성이 그 꼬리를 재현하는지는 보이지 않았다. 두 리뷰어가 이 점을 물었고, 저자들은 잡음 섞인 뉴런 1,000개짜리 데이터에서 감쇠율을 믿을 만하게 잴 방법이 아직 없다고 답했다.
- 자발 활동에서는 선형 모형도 7.5차원이다. NCE(7.0)와 선형 모형(7.5, 표준편차 2.0)의 차원이 거의 같고, 차이는 선형 모형이 큰 \(d\)에서 과적합한다는 점 정도다(4.3절, 그림 4F). 블로그의 해석으로는, 95% 문턱 안에서는 비선형 읽기가 차원을 줄이는 효과가 격자만큼 뚜렷하지 않다. 고차원성을 만드는 것은 남은 몇 퍼센트의 긴 꼬리인데, 문턱으로 잰 차원은 그 꼬리를 보지 않는다.
- 자연 이미지의 94차원은 부풀려진 값일 수 있다. 기록 시간이 최대 3.5시간이라 기록마다 학습 예가 수천 개에 그치고, 비볼록 최적화는 국소 최소에 갇힐 수 있다. 더 큰 데이터나 다른 모형이라면 저차원 모형을 찾을지도 모른다고 저자들도 적었다(6절).
- 활성 함수에 측정의 비선형이 섞인다. 블로그의 해석으로는, NCE가 배우는 \(\phi_{p,c}\)에는 뉴런의 발화 비선형뿐 아니라 칼슘 지표와 디컨볼루션의 비선형도 들어간다. 전 활성을 막전위로 읽으려면 저자들이 제안한 대로 대규모 전압 영상과 맞대 봐야 한다(6절).
- 풀리는 모형은 특수하다. 코사인 연결, 계단 함수, 고리 위 균일 배치가 모두 맞아야 식이 닫힌다. 부록 E의 가우시안 저랭크 RNN에 바이어스 없는 ReLU를 쓰면 잠재 동역학이 선형이 되어 안정한 한계 순환이 생기지 않는다. 추측 1은 잠재 변수가 구 위에 고르게 퍼지고 가중치가 독립 정규분포라는 가정에서 나왔는데, 앞의 가정은 수학적 편의를 위한 것이라 생물학적으로 그럴듯하지 않다고 저자들도 답변에서 인정했다.
리뷰어들이 짚은 점
- 세 부분이 따로 논다. 두 리뷰어는 풀리는 모형(2절), 추측(3절), 데이터 분석(4절)이 서로 떨어진 기여처럼 읽힌다고 했다. 저자들은 데이터가 “후 활성이 고차원이어도 전 활성은 낮을 수도 높을 수도 있다”는 이론의 두 경우를 하나씩 보여 준다고 답하고, 서론의 연결 문단과 가상 데이터 검증(그림 3)을 더했다. 한 리뷰어는 연결 행렬을 일부러 골랐으니 2절이 RNN 동역학 이해에 주는 기여는 제한적이라는 의견을 끝까지 유지했다.
- NCE의 설계와 기준선. 저자들은 인코더 층 수(1~3)와 폭, 출발과 도착 뉴런 수(100~2,000)를 바꿔도 설명력이 크게 달라지지 않는 표를 더했다(부록 I.3). 격자 반응에서 거듭제곱 \(p\)를 0.5부터 4까지 고정해 보니 \(p\in[1,2]\)에서 결과가 안정적이었고, 원래 분석에서 학습된 \(p\)는 1.89였다. 선형 모형만 기준선으로 쓴 점은 남았다. 한 리뷰어는 CEBRA, Rastermap, LFADS 대신 NCE를 써야 할 이유가 실무자에게는 아직 분명하지 않다고 적었다.
- 일반성. 코사인이 아닌 연결이 어떤 조건이면 되는지, 고리가 아닌 다양체에서도 모형이 풀리는지는 저자들도 열린 이론 문제로 남겼다.
계보
- 고차원 쥐 피질. 저자 Carandini와 Harris가 함께한 Stringer 외(2019)의 Nature, Science 두 논문이 출발점이다. 소뇌(Lanore 외 2021)와 피질 전체(Manley 외 2024)의 기록에서도 높은 선형 차원이 나왔다.
- 저랭크 RNN. Mastrogiuseppe와 Ostojic(2018) 이후 저랭크 RNN은 잠재 변수의 동역학으로 줄여 분석해 왔지만(Beiran 외 2021), 그 벡터장에는 가중치 분포에 대한 적분이 남는다. 이 논문은 그 적분이 닫힌 꼴로 풀리는 경우를 찾았다(5절, 부록 E). 저차원 망의 고차원 동역학을 다룬 Wan과 Rosenbaum(2025)도 가까운 연구다.
- 랜덤 특징 커널의 스펙트럼. Cho와 Saul(2009)의 아크코사인 커널과 그 고유값을 계산한 Bach(2017)가 직접 이어진다. 추측 1은 거듭제곱을 실수 \(p\)로 넓히고 바이어스까지 허용한 일반화다(3절, 5절).
- 잠재 변수 모형. 다층 디코더를 쓰는 pi-VAE나 MARBLE, 활동으로 돌아가는 사상이 없는 CEBRA와 Rastermap에서는 잠재 변수가 추상적이다. NCE는 LFADS처럼 잠재 변수를 전 활성의 선형 인자로 읽되, 칼슘 기록에 맞추고 교차 예측으로 공유되지 않은 변동을 걸러 낸다(5절).
- 다른 종류의 고차원. 무작위 연결의 혼돈 RNN도 고차원 활동을 만들지만, 그때는 망이 커질수록 뉴런 사이 상관이 사라지고 고유값이 \(1/n\)보다 느리게 줄어든다(Clark 외 2023). 이 논문의 고차원은 상관이 남아 있는 공유 구조의 고차원이다(6절).
- 이 블로그의 이전 글. 시간 중첩 논문 해설은 RNN이 은닉 차원보다 많은 정보를 담아야 할 때 방향을 겹쳐 담는다는 것을 보였다. 그 글이 공간이 모자란 회로를 다뤘다면, 이 논문은 2차원만 쓰는 회로의 활동이 왜 넓은 공간을 차지하는지를 다룬다(블로그의 해석).
열린 질문
- 추측 1을 증명할 수 있는가, 그리고 잠재 변수가 구 위에 고르게 퍼지지 않은 경우로 넓혀도 꼬리 지수 공식이 유지되는가.
- 잡음이 있고 뉴런 수가 유한한 기록에서 꼬리 지수와 전 활성 차원을 함께 믿을 만하게 추정하려면 무엇이 필요한가.
- 학습된 인공 신경망의 은닉 표현에서도 전 활성 차원과 후 활성 차원이 이렇게 크게 갈리는가.
이해 확인
1. 풀리는 RNN에서 뉴런이 아무리 많아도 전 활성이 2차원 평면을 벗어나지 않는 까닭은?
- 뉴런이 고리 위에 고르게 놓여 있기 때문이다
- 계단 함수가 출력을 0과 1로만 내기 때문이다
- 연결 행렬의 랭크가 2라서, 각 뉴런이 받는 입력이 언제나 \(U\)의 두 열이 펼치는 평면 안에 있기 때문이다
- 잠재 변수가 단위원 위를 일정한 속도로 돌기 때문이다
\(W = UV^\top\)이므로 식 1의 입력 항은 늘 \(U\)의 두 열의 조합이고, 평면 밖 성분은 \(-x\) 항 때문에 사라진다(2.1절). 계단 함수는 적분을 풀리게 하고 한계 순환을 만들 뿐 차원을 정하지 않는다. 원을 도는 것은 2차원 동역학의 결과다.
2. 2차원 잠재 변수가 원을 고르게 도는 상황에서 활성 함수만 계단 함수에서 ReLU(\(p = 1\))로 바꾸면, 추측 1에 따라 후 활성 고유값의 꼬리는 어떻게 되나?
- 지수가 2 그대로다. 잠재 차원이 같기 때문이다
- 지수가 4로 커져서 꼬리가 더 빨리 줄어든다
- 지수가 1에 가까워져서 꼬리가 더 무거워진다
- ReLU의 바이어스 \(c\)를 얼마로 두느냐에 따라 지수가 달라진다
식 12에 \(d = 2\), \(p = 1\)을 넣으면 \(\alpha = 1 + 3/1 = 4\)다. 활성 함수가 매끄러울수록 꼬리가 빨리 줄고, 바이어스 \(c\)는 지수를 바꾸지 않는다(그림 2C).
3. NCE의 디코더를 한 층짜리 선형-비선형 읽기로 묶어 둔 까닭은?
- 학습을 빠르게 하려고
- 뉴런마다 따로 생기는 잡음을 걸러 내려고
- 선형 모형(RRR)과 같은 차원을 얻으려고
- \(Uz\)를 전 활성으로 읽어 전 활성 차원을 재려고. 디코더가 여러 층이면 내재 차원에 가까운 값을 재게 된다
디코더가 한 층이면 잠재 변수가 전 활성의 선형 인자가 되므로 \(d\)를 곧 전 활성 차원으로 읽을 수 있다(4.2절). 여러 층짜리 디코더는 휘어진 다양체를 통째로 펼 수 있어 내재 차원에 가까운 값을 준다. 잡음을 거르는 일은 출발 뉴런과 도착 뉴런을 나눈 교차 예측이 맡는다.
논문 정보
- 제목: High-dimensional neuronal activity from low-dimensional latent dynamics: a solvable model
- 저자: Valentin Schmutz, Ali Haydaroğlu, Shuqi Wang, Yixiao Feng, Matteo Carandini, Kenneth D. Harris (Schmutz와 Haydaroğlu는 공동 제1저자)
- 학회: NeurIPS 2025 Oral
- 링크: OpenReview, bioRxiv, 코드