NeurIPS 2025 Oral

Generalized Linear Mode Connectivity for Transformers

회전까지 맞추면 따로 학습한 트랜스포머도 직선으로 이어진다

뉴런 순서 대신 잔차 흐름의 회전을 맞춰 ViT 사이의 손실 장벽을 없앤 NeurIPS 2025 구두 발표 논문

깊이 읽기
딥러닝의 과학
따로 학습한 두 트랜스포머를 섞으면 중간에서 손실이 치솟는다. 뉴런 순서뿐 아니라 잔차 흐름의 회전까지 맞추면 이 장벽이 사라진다는 NeurIPS 2025 구두 발표 논문을, 대칭의 네 단계와 남은 의문을 중심으로 읽는다.
공개

2026년 10월 19일

키워드

손실 지형

3줄 요약

  • 따로 학습한 두 신경망의 가중치를 직선으로 섞으면 중간에서 손실이 치솟는 일이 많다. MLP와 CNN에서는 뉴런 순서를 먼저 맞추면 이 장벽이 거의 사라졌지만, 트랜스포머는 순서를 맞춰도 장벽이 남았다.
  • 이 논문은 함수를 바꾸지 않는 가중치 변환을 넓게 잡아 네 단계로 정리한다. 핵심은 트랜스포머의 잔차 흐름(residual stream)을 통째로 돌려도 함수가 그대로라는 점이고, 이를 써서 한 모델을 다른 모델 쪽으로 돌려 맞춘다.
  • 섞은 모델의 손실을 보며 정렬을 학습하면 ViT 세 설정에서 장벽이 0.00, 작은 GPT-2 두 설정에서 0.02와 0.42까지 내려간다(표 2). 자료 없이 구한 정렬과의 차이는 대부분 잔차 흐름의 회전에서 나오고(6절), 언어 모델에 남은 장벽의 정체는 열려 있다.

선정 이유

NeurIPS 2025에서 구두 발표(oral)로 뽑혔고, 리뷰 점수는 6점 만점에 최종 4, 5, 5, 4였다. 블로그의 연구 여지 지도에서 ’ReLU 신경망 근사, 손실 지형’은 LLM 중심 주제를 뺀 109개 주제 가운데 26위지만 ’모델 병합과 멀티태스크 학습’은 106위다. 병합 기법보다 손실 지형을 재는 도구로 읽을 때 남은 연구가 많다(블로그의 해석).

  1. 전후로 아는 것이 달라졌나. 달라졌다. 순서를 맞춘 앞선 연구들은 트랜스포머에서 장벽을 줄이기만 했다. 이 논문은 대칭을 넓게 잡으면 작은 ViT 사이의 장벽이 0이 된다는 것을 보였다. 그동안의 장벽은 상당 부분 정렬의 한계였던 셈이다.
  2. 새 질문을 여는가. 연다. 언어 모델에 남은 장벽은 무엇인지, 자료 없이 회전을 맞출 수 있는지, RoPE 같은 요즘 부품이 대칭을 어떻게 바꾸는지가 바로 이어진다.
  3. 일반화될 근거가 있나. 부분적으로 있다. 비전과 언어, 너비가 다른 모델, 세 모델 동시 정렬에서 같은 경향이 나왔다. 하지만 모델은 6~8층, 임베딩 256~512의 작은 트랜스포머다(부록 B, 표 3).
  4. 증거가 주장만큼 강한가. 이미지 쪽은 강하다. 다섯 가지 방법을 표준오차와 함께 한 표에서 비교했다(표 2). 언어 쪽은 BookCorpus에서 장벽 0.42가 남았고, 장벽을 손실로만 재서 성능으로 얼마인지는 본문에 없다.

왜 중요한가

같은 자료로 같은 신경망을 두 번 학습하면 가중치는 전혀 다른 곳에 도착하지만 성능은 비슷하다. 두 해답은 서로 다른 골짜기에 있을까, 한 골짜기의 다른 지점일까. 이를 재는 가장 단순한 잣대가 선형 모드 연결성(linear mode connectivity, LMC)이다(Frankle 외, 2020). 두 가중치 \(\theta_A\), \(\theta_B\)를 비율 \(\lambda\)로 섞은 모델의 손실이 양 끝 손실을 이은 선보다 얼마나 솟는지 재고, 그 최댓값을 손실 장벽(loss barrier)이라 부른다(식 1).

\[ \mathcal{B}[\theta_A,\theta_B] = \sup_{\lambda\in[0,1]} \Big[\, \mathcal{L}\big(\lambda\theta_A + (1-\lambda)\theta_B\big) - \big(\lambda\,\mathcal{L}(\theta_A) + (1-\lambda)\,\mathcal{L}(\theta_B)\big) \Big] \]

장벽이 0에 가까우면 두 해답이 직선으로 이어진 한 골짜기에 있다고 본다.

걸림돌은 같은 함수를 여러 가중치로 적을 수 있다는 점이다. 은닉 뉴런의 순서를 바꾸고 연결된 가중치도 같이 바꾸면 함수는 그대로인데 가중치 벡터는 달라진다. 두 모델이 같은 일을 하는 뉴런을 다른 번호에 두었다면, 그대로 평균할 때 서로 상관없는 뉴런끼리 섞여 장벽이 생긴다. Entezari 외(2022)는 이 순서 차이만 풀어 주면 SGD로 찾은 해답들이 사실상 한 골짜기에 있다고 추측했다. Git Re-Basin(Ainsworth 외, 2023)은 한 모델의 뉴런 순서를 다른 모델에 맞추는 방법으로 이 추측을 뒷받침했지만, ResNet-20에서 장벽을 0으로 만들려면 너비를 32배로 늘려야 했다(이 논문 5절의 비교).

트랜스포머에서는 결과가 더 나빴다. 활성값으로 BERT의 뉴런 순서를 맞춘 Verma와 Elbayad(2024)도, 최적 수송으로 트랜스포머를 합친 Imfeld 외(2024)도 장벽을 없애지는 못했다(7절). 저자들은 원인을 짧은 대칭 목록에서 찾는다. 트랜스포머에는 뉴런 순서 말고도 함수를 바꾸지 않는 변환이 더 있고, 그것을 쓰지 않으면 같은 함수를 다르게 적은 두 표기의 차이가 장벽으로 남는다. 모델 병합이나 연합 학습처럼 가중치를 섞는 일은 모두 이 문제 위에 서 있다(부록 F).

핵심 아이디어

직관: 같은 함수의 여러 사본 가운데 가까운 것을 고른다

모델 B와 똑같은 함수를 내는 가중치는 하나가 아니다. 대칭 변환 \(\pi\)를 적용한 \(\pi(\theta_B)\)는 모두 B와 같은 답을 낸다. 그러니 A와 B를 곧바로 섞을 필요가 없다. B의 사본 가운데 A와 같은 골짜기에 있는 것을 찾아 그것과 섞으면 된다. 장벽이 사라질지는 이 사본들이 얼마나 넓게 퍼져 있는지에 달려 있다.

순서만 바꿀 수 있으면 사본은 유한하고 띄엄띄엄 놓인다. 회전까지 허용하면 사본이 끊김 없이 이어지고 고를 수 있는 폭이 크게 넓어진다.

장벽직선 경로가 언덕을 넘는다B순서만 바꾼B의 사본들AA의 골짜기

(가) 순열만 쓸 때

π(B): 돌린 B직선 경로가 골짜기 안에 머문다돌려서 얻는B의 사본들AA의 골짜기

(나) 회전까지 쓸 때

B와 똑같은 함수를 내는 가중치(분홍)는 여러 개다. 순열만 허용하면 그 사본들이 띄엄띄엄 놓여 A의 낮은 골짜기(파랑)를 비켜 가기 쉽고, A에서 가장 가까운 사본까지 직선으로 가도 중간에 손실이 높은 언덕(장벽)을 넘는다(가). 직교 변환을 허용하면 사본이 끊김 없이 이어진 집합이 되어, 그 가운데 A의 골짜기 안에 있는 점 π(B)를 고를 수 있다(나). 순열은 직교 행렬의 일부라서, (가)의 점들은 (나)의 원 위에 있다. 수많은 차원을 2차원으로 줄인 개념도다.

방법: 트랜스포머에 숨어 있는 네 가지 대칭

논문은 함수를 보존하는 변환을 네 단계로 나눈다. 앞 단계는 뒤 단계에 포함된다(3.1절, 표 1).

  • 순열(permutation). GELU처럼 원소마다 따로 작동하는 활성화 함수는 입력 순서를 바꾸면 출력도 같은 순서로 바뀔 뿐이다. 그래서 피드포워드 층의 은닉 뉴런은 \(W_1' = PW_1\), \(b_1' = Pb_1\), \(W_2' = W_2P^\top\)로 순서를 바꿀 수 있다(3.2.1절).
  • 반순열(semi-permutation). ReLU처럼 모든 \(\alpha\in[0,1]\)에서 \(f(x) = f(\alpha x) + f((1-\alpha)x)\)가 성립하는 함수는 뉴런 하나를 합이 1인 여러 조각으로 나눠도 함수가 같다. 행렬로는 열마다 합이 1이고 행마다 양수가 많아야 하나인 꼴이다. 어텐션 헤드도 여기에 든다. 헤드는 더해질 뿐이라 순서를 바꿀 수 있고, OV 회로를 \(\alpha\)와 \(1-\alpha\)로 나눠 두 헤드로 쪼갤 수도 있다(3.2.2절).
  • 직교(orthogonal). RMSNorm은 벡터를 길이로 나누기만 하므로, 돌린 뒤 정규화하든 정규화한 뒤 돌리든 결과가 같다. 잔차 흐름에서 비선형인 부품은 정규화뿐이라, 잔차 흐름에 쓰는 행렬에는 \(O\)를, 읽는 행렬에는 \(O^\top\)를 곱하면 모델 전체의 함수가 그대로다(SliceGPT, Ashkboos 외, 2024). LayerNorm은 평균을 빼는 행렬과 크기 계수를 앞뒤 선형층에 흡수시켜 RMSNorm 꼴로 바꾼다(3.2.3절).
  • 가역(invertible). 헤드 안에서 함수를 정하는 것은 쿼리와 키 행렬의 곱(QK 회로)과 값과 출력 행렬의 곱(OV 회로)뿐이다(Elhage 외, 2021). 그 사이에 가역 행렬과 그 역행렬을 끼워 넣어도 곱은 변하지 않는다(3.2.2절).
가역 행렬헤드 안의 QK, OV 회로직교 행렬잔차 흐름 (RMSNorm)반순열 행렬어텐션 헤드, ReLU 뉴런순열 행렬GELU 뉴런

(가) 네 단계의 대칭

잔차 흐름어텐션헤드 순서QKOVQKOVQKOVQKOV피드포워드뉴런 순서++읽기읽기

(나) 트랜스포머 한 층에서의 자리

(가) 함수를 그대로 두고 가중치만 바꾸는 변환(대칭)의 네 단계(표 1). 안쪽 집합일수록 작고, 바깥 집합은 안쪽을 모두 품는다. 작은 격자는 각 변환 행렬의 모양이다. 순열은 행과 열마다 1이 하나씩이고, 반순열은 한 열의 1을 여러 행에 나눠 싣는다(열의 합은 1). 직교와 가역 행렬은 꽉 차 있다. (나) 잔차 흐름(청록 화살표)에 쓰는 행렬에는 O를, 읽는 행렬에는 그 전치를 곱하면 함수가 그대로다(3.2.3절). 헤드는 통째로 순서를 바꿀 수 있고(3.2.2절), 헤드 안에서는 QK와 OV 곱만 함수를 정하므로 그 사이에 어떤 가역 행렬을 끼워도 된다. 피드포워드의 GELU 뉴런은 순서만 바꿀 수 있다(3.2.1절).

실제로 맞추는 것은 잔차 흐름 전체에 걸친 직교 행렬 \(O\) 하나와 층마다 피드포워드 뉴런 순서, 헤드 순서다(4절). 헤드 안의 가역 대칭은 헤드끼리 QK와 OV 곱을 비교하는 방식으로 흡수한다. 찾는 방법은 셋이다. 활성 맞춤(activation matching)은 중간 활성값을 비교하는 기존 방법이고(Verma와 Elbayad), 가중치 맞춤(weight matching)은 Git Re-Basin을 넓혀 자료 없이 가중치만 보며(4.1절), 학습 맞춤(learned matching)은 섞은 모델의 손실을 직접 줄이도록 변환을 학습한다(4.2절).

수식: 회전은 닫힌 해로, 미세 조정은 경사로

가중치 맞춤에서 뉴런 순서는 앞뒤 층 가중치의 내적이 가장 커지는 할당 문제로(식 3), 헤드 순서는 QK, OV 회로 차이의 노름을 비용으로 구한다. 잔차 흐름의 회전은 직교 프로크루스테스(orthogonal Procrustes) 문제다(식 4).

\[ O = \arg\min_{O^\top O = I}\; \big\| R^{(A)} - R^{(B)} O \big\|_F^2 \]

\(R^{(A)}\), \(R^{(B)}\)는 두 모델에서 잔차 흐름에 닿는 가중치를 모은 행렬이고, 해는 \(R^{(B)\top}R^{(A)} = U\Sigma V^\top\)에서 \(O = UV^\top\)로 바로 나온다.

학습 맞춤(알고리즘 1)은 가중치 맞춤의 결과에서 출발한다. 제약 없는 행렬 \(Z\)를 순전파 때마다 순열(헝가리안 알고리즘)이나 직교 행렬(\(UV^\top\))로 투영하고, 미분할 수 없는 순열 투영은 직통 추정(straight-through estimator)으로 넘긴다. 섞는 비율은 0.4~0.6에서 고르게 뽑아 다음을 줄인다.

\[ \min_{\pi}\; \mathbb{E}_{\lambda\sim\mathcal{U}(0.4,\,0.6)} \Big[\mathcal{L}_{\mathrm{CE}}\big(\lambda\theta_A + (1-\lambda)\,\pi(\theta_B)\big)\Big] \]

장벽은 대개 한가운데서 가장 높아서 그 근처를 누른다. 0~1 전체에서 뽑거나 0.5로 고정하면 결과가 나빴다(부록 C.1.1, 그림 6). 가중치가 아니라 변환만 학습하므로, 어떤 변환을 찾든 끝점 \(\pi(\theta_B)\)는 B와 같은 함수다.

너비가 다른 모델끼리도 맞출 수 있다. \(O\)를 열들이 정규직교인 직사각형 행렬(\(M \ge N\))로 잡으면 작은 모델의 잔차 흐름을 넓은 공간으로 함수 그대로 옮길 수 있기 때문이다(부록 E, 식 6~8).

결과 해설

두 모델 정렬(표 2). ViT는 CIFAR-10, CIFAR-100, Tiny ImageNet으로, GPT-2는 Tiny Shakespeare와 BookCorpus로 시드만 바꿔 두 번 학습하고 시험 자료로 장벽을 쟀다(값은 평균).

방법 CIFAR-10 CIFAR-100 Tiny ImageNet Tiny Shakespeare BookCorpus
그냥 평균 1.69 2.46 2.84 2.02 4.34
활성 맞춤 1.27 2.11 1.86 1.43 4.05
가중치 맞춤 0.36 0.69 0.47 0.34 1.56
학습 맞춤 (순열만) 0.45 0.53 0.29 0.63 1.60
학습 맞춤 0.00 0.00 0.00 0.02 0.42

순열만 학습한 행은 Git Re-Basin의 직통 추정 방식에 가깝다. 같은 절차라도 회전을 빼면 장벽이 0.29~1.60에 머물고, 회전을 쓰면 이미지 세 설정에서 0.00이 된다. 자료를 쓰지 않는 가중치 맞춤도 다섯 설정 중 셋에서 순열만 학습한 쪽보다 낮다. CIFAR-10과 Tiny ImageNet 모델의 시험 정확도는 83.81%와 44.19%다(부록 B).

너비가 다른 모델과 세 모델(그림 3c, 그림 4). 임베딩 512인 GPT-2에 임베딩을 절반에서 16분의 1까지 줄인 모델들을 맞춰도 장벽은 0에 가까웠다. CIFAR-10 ViT 세 개를 함께 맞추면, 세 모델이 만드는 삼각형 위에서 손실이 기준선에 가까운 영역이 학습 맞춤에서 가장 넓다(5절).

차이는 회전에 몰려 있다(6절, 그림 5). 가중치 맞춤과 학습 맞춤이 찾은 변환을 비교하면 헤드와 뉴런 순서는 거의 같고, 차이는 잔차 흐름의 회전에 있었다. 가중치 맞춤이 찾은 \(O_{\mathrm{WM}}\)의 고윳값 각도는 0부터 \(2\pi\)까지 넓게 퍼져 거의 임의의 회전에 가깝지만, 학습 맞춤이 덧붙인 보정 \(O_{\mathrm{LM}}O_{\mathrm{WM}}^\top\)의 고윳값 각도는 0 근처에 모인다. 학습 맞춤은 회전을 조금 다듬을 뿐이다. 가중치 맞춤을 되풀이하면 회전을 쓸 때는 장벽이 줄어 다섯 번 만에 수렴하지만 순열만 쓰면 나아지지 않는다(부록 C.2, 그림 7). 학습 맞춤은 가중치 맞춤에서 시작하면 한두 에폭 만에 시험 장벽이 0이 되지만, 항등 변환에서 시작하면 15에폭 뒤에도 장벽이 남는다(부록 C.1.2, 그림 8).

작은 신경망으로 다시 보기. 잔차 흐름과 RMSNorm을 갖춘 두 블록짜리 신경망을 손글씨 숫자 자료로 시드만 바꿔 여섯 쌍 학습하고 섞어 보면, 장벽 평균이 그냥 평균 1.40, 순열로 가중치 맞춤 1.01, 직교로 가중치 맞춤 0.47, 순열로 학습 맞춤 0.14, 직교로 학습 맞춤 0.02다. 순서만 맞춰서는 남는 장벽 대부분이 회전을 허용하자 풀린다.

00.511.5A0.5π(B)섞는 비율 λ시험 손실그냥 평균순열, 가중치 맞춤직교, 가중치 맞춤직교, 학습 맞춤

(가) 직선 경로의 손실 (여섯 쌍 평균)

00.511.5손실 장벽그냥 평균1.40순열, 가중치 맞춤1.01순열, 학습 맞춤0.14직교, 가중치 맞춤0.47직교, 학습 맞춤0.02

(나) 방법별 장벽

잔차 흐름과 RMSNorm을 갖춘 작은 신경망(잔차 폭 32, 블록 2개, 블록마다 GELU 뉴런 64개)을 손글씨 숫자 8×8 자료(학습 1,300장, 시험 497장)로 시드만 바꿔 두 번 학습하고, 두 모델 사이 직선 위의 시험 손실을 잰 결과다. 두 모델의 시험 정확도는 98~99%다. 가중치 맞춤은 잔차 흐름 변환(순열 또는 직교 행렬 O, 식 4)과 GELU 뉴런 순열을 번갈아 열 번 구했고, 학습 맞춤은 그 결과에서 출발해 λ를 0.4~0.6에서 뽑아 섞은 모델의 학습 손실을 600걸음 줄였다(알고리즘 1). 장벽은 식 1대로 직선 위 손실과 양 끝 손실을 이은 선의 최대 차이다. 모든 변환은 B의 함수를 그대로 둔다.

의심해볼 점

  • 장벽을 손실로만 쟀다. 저자들은 심사 답변에서 CIFAR-10 모델의 정확도가 약 85%, 한가운데에서 섞은 모델은 약 84%라고 밝혔다. BookCorpus 모델은 손실 3.55(퍼플렉서티 34.8)가 섞으면 3.91(51.9)로 오른다고 했다. 언어 쪽은 아직 손해가 크다.
  • 정렬 자체가 손실을 줄이는 최적화다. 학습 맞춤은 섞은 모델의 학습 손실을 직접 줄인다. 장벽을 시험 자료로 재니 외운 결과는 아니지만, 고를 수 있는 사본이 많을수록 장벽을 낮추기 쉬워진다. 임베딩 256짜리 잔차 흐름의 회전만 해도 자유도가 32,640개다. 같은 골짜기라는 결론을 정렬의 최적화 능력과 가르려면, 다르게 작동하도록 만든 모델 쌍에서 장벽이 얼마나 내려가는지 보는 기준선이 필요한데 논문에는 없다(블로그의 해석).
  • 직선은 바꿔 적은 좌표에서의 직선이다. 회전 대칭을 쓰려고 LayerNorm을 RMSNorm 꼴로 바꾸고, 정규화의 크기 계수는 다음 선형층에 흡수시켜 1로 둔다(3.2.3절, 부록 E 식 7). 함수는 같아도 좌표가 달라지므로 원래 좌표의 직선과는 다른 경로다. 저자들도 이 점을 한계로 적었다(부록 A).
  • 큰 규모 실험은 빠졌다. 저자들은 심사 답변에서 ImageNet-1k 결과를 최종본에 넣겠다고 했지만, arXiv 2판과 OpenReview 최종본 어디에도 없다.
  • 언어 모델에 남은 장벽. 저자들은 BookCorpus의 0.42를 Juneja 외(2023)에 비춰 해석한다. 같은 과제로 미세조정한 언어 모델도 일반화 전략이 다르면 다른 골짜기에 머문다는 결과다. 다만 정렬이 덜 된 탓인지 정말 다른 해법인지 가리는 실험은 없다(5절).
  • 위치 인코딩. 최종본 부록 F는 RoPE가 잔차 흐름의 직교 행렬에 블록 대각 제약을 건다고 적었다. 그런데 RoPE는 쿼리와 키를 만든 뒤 헤드 차원에서 회전을 걸기 때문에, 잔차 흐름의 \(O\)는 쿼리와 키 가중치에 흡수되어 그대로 남는다. RoPE가 실제로 좁히는 쪽은 헤드 안 QK 회로의 가역 대칭으로 보인다(블로그의 해석). 어느 쪽이든 RoPE와 SwiGLU를 쓰는 요즘 언어 모델 구조는 시험하지 않았다.

리뷰어들이 짚은 점

OpenReview에 공개된 네 리뷰어의 최종 점수는 4, 5, 5, 4였고, 토론 뒤 셋이 점수를 올렸다.

  • 처음으로 0에 이르렀다는 평가. 한 리뷰어는 Git Re-Basin 뒤 몇 년 만에 트랜스포머 사이의 장벽을 0으로 만든 첫 결과라고 평했다. 그는 일반화된 것은 연결성이 아니라 대칭이라며 제목을 지적했고, 저자들이 대안을 내놓았지만 최종 제목은 그대로다.
  • 비용. 가장 좋은 결과가 비용이 큰 학습 맞춤에서 나온다는 지적에, 저자들은 두 방법의 차이가 잔차 흐름의 회전에만 있다는 분석으로 답했다. 이것이 최종본의 6절이 됐다.
  • 평가 범위와 성능 지표. 세 리뷰어가 CIFAR 중심의 작은 실험을, 한 리뷰어가 손실만 쓴 지표를 지적했다. 저자들은 Tiny ImageNet과 세 모델 정렬을 더하고 위의 수치를 내놓았다.
  • 선행 연구와의 차이. Wortsman 외(2021)의 부분공간 학습과 무엇이 다르냐는 질문에, 저자들은 그쪽은 직선 위의 모델들을 처음부터 함께 학습하고 이쪽은 학습이 끝난 모델의 변환만 찾는다고 답했다.

계보

  • 모드 연결성. Garipov 외(2018)와 Draxler 외(2018)는 따로 학습한 해답들이 손실이 거의 일정한 곡선으로 이어짐을 보였고, Frankle 외(2020)가 기준을 직선으로 좁혔다.
  • 재정렬(re-basin). 최적 수송으로 뉴런을 짝지은 Singh과 Jaggi(2020)에서 Git Re-Basin(Ainsworth 외, 2023)으로 이어졌고, 가중치 맞춤의 원리는 Ito 외(2025)가 분석했다. 여러 모델을 공통 기준에 맞추는 방식은 Crisostomi 외(2024)에서 가져왔다.
  • 트랜스포머로 넓히기. Imfeld 외(2024)와 Verma와 Elbayad(2024)가 트랜스포머 정렬을 시도했고, 잔차 흐름의 직교 대칭은 SliceGPT(Ashkboos 외, 2024)에서 왔다. 트랜스포머의 회전 대칭을 모델 융합에 쓴 Zhang 외(ICML 2025)도 가까운 연구다.
  • 후속 연구. Semantic Scholar 기준 2026년 10월까지 18편이 인용했다. Li와 Shen(arXiv 2606.23607)은 이 틀을 10억 개 매개변수 규모의 사전학습 트랜스포머로 넓혔고, Sweeney(arXiv 2606.31963)는 RMSNorm 트랜스포머의 부호 있는 순열 대칭을, Bürgin 외(ICML 2026)는 구조적 대칭 너머의 뉴런 식별 가능성을 다뤘다.

열린 질문

  1. 언어 모델에 남은 장벽은 정렬이 덜 된 탓인가, 서로 다른 해법이라서인가. 둘을 가를 수 있는 측정은 무엇인가.
  2. 대칭을 넓힐수록 고를 수 있는 사본도 늘어난다. 장벽이 사라진 것이 지형의 성질이지 정렬 최적화의 힘이 아님을 보이려면 어떤 기준선이 필요한가.
  3. 자료 없이 잔차 흐름의 회전을 학습 맞춤 수준으로 맞출 수 있을까. RoPE와 SwiGLU를 쓰는 요즘 언어 모델에서는 대칭 목록이 어떻게 달라지는가.

이해 확인

1. 트랜스포머의 잔차 흐름은 회전까지 허용하는데, 피드포워드의 GELU 뉴런은 순서 바꾸기만 허용한다. 까닭은?

  1. 잔차 흐름의 차원이 피드포워드 은닉 차원보다 작아서
  2. 잔차 흐름에 걸린 비선형 부품은 길이만 보는 RMSNorm뿐이라 회전과 맞바꿔도 함수가 같지만, GELU는 원소마다 따로 작동해 좌표를 섞는 회전과 맞바꿀 수 없어서
  3. 어텐션의 소프트맥스가 회전에 대해 불변이라서
  4. 잔차 연결은 더하기라서 어떤 가역 행렬과도 맞바꿀 수 있어서

회전은 길이를 보존하므로 RMSNorm(Oz) = O RMSNorm(z)이고, 나머지 선형층이 O를 흡수한다(3.2.3절, 부록 E). GELU는 순열과만 맞바꿀 수 있다(3.2.1절). 더하기만 있다면 가역 행렬도 되겠지만, 정규화 때문에 길이를 보존하는 직교 행렬만 남는다.

2. 가중치 맞춤과 학습 맞춤이 찾은 변환을 비교하자 무엇이 드러났나(6절)?

  1. 학습 맞춤이 헤드 순서를 대부분 다시 짰다
  2. 학습 맞춤이 전혀 다른 회전을 찾았다
  3. 순열은 거의 그대로였고, 차이는 잔차 흐름의 회전을 조금 고친 데 몰려 있었다
  4. 피드포워드 뉴런 순서가 차이의 대부분을 만들었다

보정 행렬 O_LM O_WMᵀ의 고윳값 각도가 0 근처에 모인다(그림 5). 그래서 저자들은 자료 없이 회전을 더 잘 추정하면 차이를 대부분 메울 수 있다고 본다.

3. 임베딩 512인 GPT-2와 그보다 좁은 GPT-2를 직선으로 이을 수 있었던 근거는?

  1. O를 열들이 정규직교인 직사각형 행렬로 잡으면 작은 모델의 잔차 흐름을 넓은 공간으로 함수 그대로 옮길 수 있다
  2. 큰 모델에서 덜 중요한 차원을 잘라 작은 모델 크기로 줄인다
  3. 작은 모델을 큰 모델의 출력으로 다시 증류한다
  4. 피드포워드 뉴런 자리에 0을 채워 너비만 맞춘다

OᵀO = I인 M × N 행렬(M ≥ N)은 벡터 길이를 보존하므로, RMSNorm의 차원 수에 맞춰 상수만 고치면 넓힌 모델이 원래 함수를 그대로 낸다(부록 E, 식 6~8).

논문 정보

  • 제목: Generalized Linear Mode Connectivity for Transformers
  • 저자: Alexander Theus, Alessandro Cabodi, Sotiris Anagnostidis, Antonio Orvieto, Sidak Pal Singh, Valentina Boeva (ETH Zürich 등)
  • 학회: NeurIPS 2025 Oral
  • 링크: arXiv 2506.22712, OpenReview, 코드