ICML 2026 Spotlight

mHC: Manifold-Constrained Hyper-Connections

잔차 흐름을 네 줄로 넓히면 무엇을 묶어야 할까

하이퍼 커넥션의 섞기 행렬을 싱크혼 정규화로 이중 확률 행렬에 묶어, 층을 거듭 곱해도 신호가 불어나지 않게 한 ICML 2026 스포트라이트 논문

깊이 읽기
이론과 최적화
하이퍼 커넥션은 잔차 흐름을 여러 줄로 넓히고 학습하는 행렬로 섞어 성능을 올리지만, 그 행렬이 층마다 곱해지면서 항등 경로가 깨진다. DeepSeek 연구진은 섞기 행렬을 행 합과 열 합이 1인 이중 확률 행렬로 묶어 27B 모델까지 안정하게 학습했다. 이 제약이 왜 통하는지, 무엇을 대가로 치르는지, 증거가 어디까지인지 따져 읽는다.
공개

2026년 11월 4일

키워드

잔차 연결, 하이퍼 커넥션, 이중 확률 행렬, 싱크혼 정규화, 학습 안정성

3줄 요약

  • 하이퍼 커넥션(Hyper-Connections, HC)은 트랜스포머의 잔차 흐름(residual stream)을 n줄로 넓히고, 줄 사이를 학습하는 n×n 행렬로 섞는다. 성능은 오르지만 이 섞기 행렬이 층마다 곱해지면서 잔차 연결의 항등 경로가 깨진다. 27B 모델에서 여러 층을 거친 행렬의 최대 배율이 3,000 가까이 치솟았다(3.1절, 그림 3).
  • mHC는 섞기 행렬을 원소가 양수이고 행 합과 열 합이 모두 1인 이중 확률 행렬(doubly stochastic matrix)로 묶는다. 이런 행렬은 스펙트럼 노름이 1을 넘지 않고, 서로 곱해도 이중 확률 행렬로 남는다. 묶는 방법은 지수 함수를 씌운 뒤 행과 열을 번갈아 정규화하는 싱크혼 크노프(Sinkhorn-Knopp) 반복 20번이다(4.1절, 식 9).
  • 27B MoE에서 기준 모델보다 손실이 0.021 낮았고, 여덟 개 벤치마크 중 일곱에서 HC보다 높았다(그림 4, 표 3). 전용 커널과 재계산, 파이프라인 일정 조정으로 학습 시간 증가를 6.7%로 줄였다(4.3절). 다만 설정마다 실행이 하나이고, 섞기 행렬을 단위행렬로 고정해도 이득의 대부분이 남는다(부록 A.4).

선정 이유

ICML 2026 스포트라이트(spotlight) 논문이다. LLM 논문은 일주일에 한 편, 원리를 밝히는 경우만 다루는데, 이 논문이 묻는 것이 결국 “잔차 연결은 왜 안정한가”라는 오래된 질문이라 이번 주의 한 편으로 골랐다.

  1. 전후로 아는 것이 달라졌나. 달라졌다. 잔차 흐름을 넓히는 시도는 많았지만 왜 대규모에서 흔들리는지는 막연했다. 이 논문은 원인을 섞기 행렬의 곱으로 좁히고, 곱의 배율을 재는 지표로 그 원인을 보였다.
  2. 새 질문을 여는가. 연다. 어떤 행렬 집합이 안정성과 표현력을 함께 주는지가 질문이 됐고, 반년 사이 대안이 줄지어 나왔다.
  3. 일반화될 근거가 있나. 제약 자체는 구조와 무관한 선형대수라 옮기기 쉽다. 실험은 DeepSeek-V3 계열 MoE 언어 모델 한 가지뿐이다.
  4. 증거가 주장만큼 강한가. 안정성의 증거는 탄탄하다. 성능 이득이 섞기 행렬에서 온다는 주장은 약하다. 아래에서 자세히 본다.

왜 중요한가

잔차 연결은 층의 출력을 입력에 더한다. \(\mathbf{x}_{l+1} = \mathbf{x}_l + \mathcal{F}(\mathbf{x}_l)\)을 여러 층 펼치면 \(\mathbf{x}_L = \mathbf{x}_l + \sum_i \mathcal{F}(\mathbf{x}_i)\)가 된다(식 1, 2). 얕은 층의 신호 \(\mathbf{x}_l\)이 아무것도 곱해지지 않은 채 깊은 층에 닿는다. He 외(2016)가 항등 사상(identity mapping)이라 부른 이 성질이 깊은 망을 안정하게 학습시키는 바탕이다.

하이퍼 커넥션(Zhu 외, ICLR 2025)은 이 한 줄짜리 길을 n줄로 넓혔다. 은닉 상태를 n벌 복사해 \(n \times C\) 행렬로 들고 다니고, 층마다 세 행렬을 쓴다(식 3).

\[ \mathbf{x}_{l+1} = \mathcal{H}^{\mathrm{res}}_l \mathbf{x}_l + \mathcal{H}^{\mathrm{post}\top}_l \mathcal{F}\big(\mathcal{H}^{\mathrm{pre}}_l \mathbf{x}_l\big) \]

\(\mathcal{H}^{\mathrm{pre}}\)는 n줄을 가중합해 층에 넣을 입력 하나를 만들고, \(\mathcal{H}^{\mathrm{post}}\)는 층의 출력을 n줄에 나눠 쓰고, \(\mathcal{H}^{\mathrm{res}}\)는 n줄을 서로 섞는다. 계수는 토큰마다 입력에서 새로 계산한다(식 5). n이 4 정도로 작으니 계산량(FLOPs)은 거의 늘지 않는다. 저자들이 HC의 세 행렬을 하나씩 빼 보니 섞기 행렬 \(\mathcal{H}^{\mathrm{res}}\) 하나만으로 손실이 0.022 내려갔고, 셋을 다 쓰면 0.027이었다(표 1).

x(l)x(l+1)층 F+항등 경로곱하는 것 없이그대로 올라간다

(가) 잔차 연결

x(l): 네 줄x(l+1)H_resH_pre: 넷을 하나로 읽기층 FH_post: 넷에 나눠 쓰기네 줄을섞는다

(나) 하이퍼 커넥션 (n = 4)

(가) 잔차 연결은 입력 x(l)을 아무것도 곱하지 않고 위층으로 넘긴다(식 1). (나) 하이퍼 커넥션은 잔차 흐름을 n줄로 넓힌다. 층에 넣을 입력은 H_pre가 n줄을 가중합해 만들고, 층의 출력은 H_post가 n줄에 나눠 더하며, 잔차 흐름 자체는 n×n 행렬 H_res가 섞는다(식 3). mHC는 이 배선을 그대로 두고 H_res를 이중 확률 행렬로, H_pre와 H_post를 0 이상의 값으로 묶는다(4.1절). 계수는 모두 토큰마다 입력에서 새로 계산된다(식 7). 배선만 단순화해 그린 개념도다.

문제는 여러 층을 펼쳤을 때 드러난다(식 4).

\[ \mathbf{x}_L = \Big(\prod_{i=1}^{L-l} \mathcal{H}^{\mathrm{res}}_{L-i}\Big)\mathbf{x}_l + \sum_{i=l}^{L-1} \Big(\prod_{j=1}^{L-1-i} \mathcal{H}^{\mathrm{res}}_{L-j}\Big)\mathcal{H}^{\mathrm{post}\top}_i \mathcal{F}(\cdot) \]

얕은 층의 신호에 이제 섞기 행렬의 곱이 붙는다. 행렬마다 신호를 조금씩 키우거나 줄이면 그 효과가 깊이를 따라 거듭제곱으로 쌓인다. 저자들은 곱한 행렬의 행 합 절댓값 중 최댓값(앞으로 가는 신호)과 열 합 절댓값 중 최댓값(뒤로 가는 기울기)을 ’Amax 이득’이라 부르고 27B HC 모델에서 쟀다. 한 층짜리 행렬은 대개 1 근처였지만 곱은 3,000 가까이 치솟았다(그림 3). 이 값은 학습이 진행될수록 커져서 5만 걸음째에는 앞으로 가는 쪽이 509, 뒤로 가는 쪽이 2,825였다(그림 7, 심사 답변 표 R2.1). 손실도 1만 2천 걸음 무렵 튀어 올랐고 기울기 노름이 함께 흔들렸다(그림 2).

핵심 아이디어

직관: 물을 나눠 붓되 총량은 지킨다

컵 네 개의 물을 서로 나눠 붓는다고 하자. 각 컵의 물을 남김없이 어딘가로 보내고(열 합 1), 각 컵이 받는 비율의 합도 1이면(행 합 1), 몇 번을 부어도 총량은 그대로다. mHC가 섞기 행렬에 거는 조건이 이것이다. 섞기를 아예 단위행렬로 고정하면 가장 안전하지만 줄 사이의 교환이 사라진다. 저자들은 그 중간을 원했다(4.1절).

1.010.410.37-0.15-0.090.840.17-0.020.22-0.551.47-0.030.20-0.04-0.111.14행 합1.630.911.111.19H_res = I + 0.3 G앞으로 가는 신호의 최대 배율 1.63층을 지날 때마다 이런 배율이 곱해진다

(가) 하이퍼 커넥션의 섞기 행렬

0.430.260.180.140.170.470.170.190.200.100.540.160.200.170.110.52행 합1.001.001.001.00열 합1.001.001.001.00싱크혼으로 사영한 H_res출력 하나하나가 입력 네 줄의 가중 평균곱해도 이중 확률 행렬로 남는다

(나) mHC의 섞기 행렬

같은 4×4 무작위 수(R = I + 0.3G, G는 표준 정규분포)를 두 방식으로 쓴 결과. (가) 하이퍼 커넥션은 R을 그대로 섞기 행렬로 쓴다. 음수가 섞이고 행 합이 1이 아니어서, 신호의 크기가 층마다 그 배율로 바뀐다. (나) mHC는 같은 수를 지수 함수에 넣어 양수로 만든 뒤 열과 행을 번갈아 합이 1이 되게 나누기를 20번 한다(싱크혼 크노프 알고리즘, 식 9). 결과는 행 합과 열 합이 모두 1인 이중 확률 행렬이다. 칸의 색이 진할수록 절댓값이 크고, 빨간 칸은 음수다.

방법: 세 행렬에 각각 다른 제약

섞기 행렬은 이중 확률 행렬의 집합, 곧 버코프 다면체(Birkhoff polytope)의 내부로 묶는다(식 6). 층마다 입력에서 계산한 \(n \times n\) 로짓 \(\tilde{\mathcal{H}}^{\mathrm{res}}\)에 지수 함수를 씌워 양수로 만든 다음, 열 합과 행 합이 1이 되도록 번갈아 나누기를 20번 한다(식 8, 9). 반복을 무한히 하면 정확한 이중 확률 행렬에 수렴하고, 20번에서 멈추면 마지막에 맞춘 행 합만 정확히 1이다. 읽기와 쓰기 행렬은 시그모이드로 0 이상이 되게 한다. \(\mathcal{H}^{\mathrm{pre}} = \sigma(\cdot)\), \(\mathcal{H}^{\mathrm{post}} = 2\sigma(\cdot)\)이다(식 8). 양수와 음수 계수가 섞여 신호가 서로 지워지지 않게 하려는 조치다(4.1절).

HC와 달라진 점이 제약만은 아니다. HC는 줄마다 따로 계수를 계산했지만 mHC는 n줄을 한 벡터(\(nC\)차원)로 이어 붙여 계수를 계산하고, HC가 계수에 씌우던 tanh를 뺐다(식 7, 5.5절). 초기값은 섞기 행렬이 단위행렬에, 읽기가 한 줄만 고르는 원핫 벡터에, 쓰기가 모두 1에 가깝도록 잡았다(5.1절). 부록 A.6의 코드대로 계산하면 처음 섞기 행렬의 대각 원소는 약 0.99다.

수식: 왜 곱해도 터지지 않나

저자들이 드는 근거는 두 성질이다(4.1절). 첫째, 이중 확률 행렬의 스펙트럼 노름은 1 이하다. 버코프 폰 노이만 정리에 따라 이중 확률 행렬은 순열 행렬들의 볼록 결합이고, 순열 행렬의 노름은 정확히 1이니 삼각 부등식으로 결합도 1을 넘지 못한다. 둘째, 이중 확률 행렬끼리 곱해도 이중 확률 행렬이다. \(A\mathbf{1}=\mathbf{1}\), \(B\mathbf{1}=\mathbf{1}\)이면 \(AB\mathbf{1}=\mathbf{1}\)이고 열 쪽도 같다. 그래서 식 4의 곱이 몇 층이든 노름이 1을 넘지 않는다. 행 합이 1이니 각 출력 줄은 입력 줄들의 가중 평균이고, 열 합이 1이니 줄들의 평균은 그대로 보존된다. n이 1이면 이 조건은 스칼라 1이 되어 보통의 잔차 연결로 돌아간다.

아래 (가)는 이 차이를 작은 예로 계산한 것이다. 단위행렬 근처의 무작위 행렬(\(I + \varepsilon G\))도 60개를 곱하면 배율이 \(\varepsilon=0.3\)에서 수백 배로 불어나고, 싱크혼으로 사영한 행렬은 1에 머문다.

1101001,0001204060곱한 층 수 L최대 행 합제약 없음 ε = 0.3제약 없음 ε = 0.2제약 없음 ε = 0.1이중 확률 (mHC)

(가) 배율이 쌓이는가

00.511204060곱한 층 수 L스트림 차이가 남는 비율 (σ₂)대각 평균 0.99대각 평균 0.81대각 평균 0.43

(나) 스트림의 차이는 남는가

n = 4인 섞기 행렬을 L개 곱한 결과, 무작위 400번의 중앙값. (가) 세로축은 논문의 Amax 이득처럼 곱한 행렬의 행 합 절댓값 중 최댓값이다(3.1절, 로그 눈금). 제약 없는 행렬(I + εG)은 단위행렬 근처에서 시작해도 곱할수록 배율이 불어나고, 싱크혼으로 사영한 행렬(로짓 3I + G)은 몇 층을 곱해도 1에 머문다. (나) 이중 확률 행렬의 곱은 네 줄의 평균을 그대로 두고, 줄 사이의 차이는 두 번째 특잇값 σ₂만큼만 남긴다. 로짓을 6I + G, 3I + G, I + G로 두어 대각 원소의 크기를 바꿨다. 대각이 1에 가까우면 차이가 오래 남고, 섞임이 강하면 몇 층 만에 네 줄이 같아진다.

(나)는 같은 성질의 뒷면이다. 블로그의 해석으로는, 이중 확률 행렬이 보존하는 것은 네 줄의 평균이지 네 줄 각각이 아니다. 평균에서 벗어난 부분, 곧 줄 사이의 차이는 층마다 두 번째 특잇값만큼 줄어든다. 대각이 1에 가까우면 차이가 오래 남고, 섞임이 강하면 몇 층 만에 네 줄이 똑같아진다. mHC가 되살린 항등 경로는 정확히 말하면 평균 방향의 항등 경로다.

결과 해설

모델은 DeepSeek-V3 구조를 줄인 MoE 세 가지(3B, 9B, 27B)와 1조 토큰으로 오래 학습한 3B 하나다(5.1절, 표 7). 27B는 30개 블록, 활성 매개변수 41억 4천만 개이고 2,620억 토큰을 학습했다. HC와 mHC 모두 n=4다.

안정성(그림 4, 6, 7). 27B에서 HC는 기준 모델보다 손실이 낮기는 했지만 1만 2천 걸음 이후 mHC와 벌어졌고, mHC는 끝까지 기준보다 0.021 낮았다. 그림 4 (가)로 읽으면 HC의 최종 이득은 0.016 안팎이다. 곱한 섞기 행렬의 Amax 이득은 HC의 3,000 가까이에서 mHC의 최대 1.6 안팎으로 세 자릿수 줄었다(그림 6). 1이 아니라 1.6까지 가는 것은 싱크혼을 20번에서 멈춰 열 합이 조금씩 어긋나기 때문이다.

벤치마크(표 3). 27B mHC는 기준 모델보다 여덟 개 모두에서 높았다. BBH는 43.8에서 51.0, MMLU는 59.0에서 63.4로 올랐다. HC와 견주면 MATH만 26.4 대 26.0으로 뒤졌고 나머지 차이는 0.4에서 2.3점이다.

규모(그림 5). 기준 모델 대비 손실 차이는 3B, 9B, 27B에서 대략 0.029, 0.023, 0.021로 줄었지만 상대 비율로는 98.5%에서 98.7% 안팎을 유지했다. 1조 토큰짜리 3B의 학습 중 추이에서는 차이가 0.024에서 0.015로 좁혀졌다. 이 그림에는 HC가 없다.

절제 실험(표 4, 그림 8, 3B). tanh를 되살리면 손실이 0.005, 계수를 줄마다 따로 계산하면 0.004 올랐다. 싱크혼 반복을 10번이나 40번으로 바꿔도 손실은 같았다. 반복을 한 번만 해도 앞으로 가는 배율은 1로 내려왔고, 뒤로 가는 배율은 반복을 늘릴수록 천천히 1에 다가갔다(그림 8, 심사 답변 표 R1.3: 1번 2.6, 20번 1.3).

비용(4.3절, 표 5). n줄 잔차 흐름은 메모리 입출력이 n에 비례해 는다. 잔차 연결이 토큰마다 원소 \(2C\)개를 읽고 \(C\)개를 쓰는 동안 HC는 \((6n+1)C\)를 읽고 \((4n+1)C\)를 쓴다. 저자들은 계수 계산, 읽기, 쓰기와 섞기를 TileLang 커널로 묶어 이를 \((3n+1)C\)와 \((n+1)C\)로 줄였다. n=4면 읽기 13C, 쓰기 5C다. 활성값은 버렸다가 역전파 때 다시 계산하고(식 10), n배로 커진 파이프라인 단계 간 통신은 DualPipe 일정을 고쳐 계산 뒤에 숨겼다. 이렇게 해서 n=4일 때 학습 시간이 6.7% 늘었다고 한다(4.3절).

의심해볼 점

이득은 섞기 행렬에서 오는가

가장 눈여겨볼 실험은 부록 A.4에 있다. mHC의 틀은 그대로 두고 섞기 행렬만 단위행렬로 고정한 ’항등 HC’를 견줬다. 단위행렬도 버코프 다면체의 꼭짓점이라 안정성 조건을 모두 만족한다. 심사 답변의 수치로 3B에서는 두 모델의 손실이 1.942로 같았고, 9B에서는 mHC가 0.002 낮았고, 1B에서는 오히려 항등 HC가 0.002 낮았다(표 R1.2). 27B에서는 mHC가 앞섰는데 그림 12로 읽으면 0.003 안팎이다. 기준 모델 대비 이득(0.021)의 대부분은 줄을 넓히고 양수 계수로 읽고 쓰는 데서 나온다는 뜻이다. 블로그의 해석으로는 논문이 내세운 것은 “섞기를 안전하게 만들었다”인데, 데이터가 강하게 받치는 것은 “넓힌 잔차 흐름을 안전하게 만들었다”이다. 섞기 행렬의 몫을 가르는 0.002에서 0.003의 차이는 실행 하나씩으로 잰 값이라 시드에 따른 흔들림과 구별할 근거가 없다.

HC가 큰 규모에서 무너진다는 것은 외삽이다

27B HC는 완전히 무너지지 않았다(심사 답변). 손실이 튄 폭은 1천분의 몇이고 최종적으로도 기준 모델보다 나았다. 더 큰 규모에서 HC가 실패할 것이라는 말은 Amax 이득이 커지는 추세에서 나온 예측이고, 규모별 비교(그림 5)에는 HC가 빠져 있다. 초록의 ’더 나은 확장성’은 기준 모델과의 비교로만 뒷받침된다. 또 mHC는 tanh 제거, 이어 붙인 입력, 초기값까지 함께 바꿨으니 27B의 HC 대 mHC 비교에는 제약 말고도 여러 변경이 섞여 있다.

평균은 지키고 차이는 지운다

이중 확률 행렬을 거듭 곱하면 모든 원소가 \(1/n\)인 행렬로 수렴한다. 리뷰어 한 명이 이를 짚었고, 실제로 27B mHC에서 60층을 곱한 행렬은 원소가 모두 0.25 안팎이었다(부록 그림 10). 저자들은 열 층씩 묶은 곱은 균일 행렬과 꽤 다르다고 답했다. 균일 행렬이 0, 순열 행렬이 1인 지표로 층 1~10이 0.09, 21~30이 0.70이었다(표 6). 블로그의 해석으로는 위 계산 그래프 (나)와 맞아떨어지는 결과다. 먼 층 사이에서는 평균만 전달되고, 가까운 층 사이에서만 줄마다 다른 정보가 오간다. 이것이 의도한 설계인지, 표현력을 깎는 대가인지는 이 논문만으로 가를 수 없다.

6.7%는 DeepSeek의 학습 장비 위에서의 숫자다

추가 시간 6.7%는 ’대규모 학습’의 값으로만 적혀 있고, 하드웨어와 병렬 설정, 시간과 메모리의 내역이 없다. 전용 커널, 재계산, DualPipe 수정이 모두 있어야 나오는 수치라 이런 기반이 없는 곳에서 그대로 기대하기는 어렵다.

리뷰어들이 짚은 점

세 리뷰어의 종합 점수는 6, 5, 5점이었고 모두 답변 뒤 우려가 풀렸다고 표시했다.

  • 균일 행렬로의 수렴과 빠진 절제. 가장 날카로운 리뷰어는 위의 수렴 문제와 함께 항등 HC 비교를 요구했다. 저자들은 표 R1.2를 내고, 섞기 행렬을 처음부터 균일 행렬로 두면 손실이 0.004 나빠지지만 여전히 기준보다 0.023 낫다고 답했다. 9B에서 벌어지기 시작한 차이가 더 큰 규모에서 커질 것이라는 해석은 저자들의 가설이다.
  • 싱크혼 근사. 이중 확률이 정확하지 않은데 보장이 성립하느냐는 지적에, 저자들은 반복 한 번으로도 안정성이 크게 좋아지고 반복 수에 성능이 둔감하다는 점이 “정확한 사영이 아니라 버코프 다면체 쪽으로 끌어당기는 것”이 핵심이라는 증거라고 답했다. 블로그의 해석으로는 같은 사실이 반대로도 읽힌다. 이중 확률성의 정도가 성능을 가르지 않는다면, 성능에 듣는 것은 이중 확률이라는 특정 집합보다 ’양수이고 배율이 묶인 거의 단위행렬’이라는 더 느슨한 조건일 수 있다.
  • 그 밖에. 읽기와 쓰기 행렬을 덜 묶는 까닭으로는 층을 따라 곱해지지 않는다는 점을(식 4), MATH에서 HC보다 낮은 점에는 벤치마크의 분산이 크다는 점을 들었다.
  • 5.2절의 “BBH에서 2.1%, DROP에서 2.3% 향상”은 표 3에서 51.0 대 48.9, 53.9 대 51.6의 차이라 퍼센트가 아니라 퍼센트포인트다.
  • 부록 A.1은 융합 커널로 읽기를 2배, 쓰기를 4배 줄였다고 적었다. 표 5로 n=4를 계산하면 읽기는 \(25C\)에서 \(13C\)로 약 1.9배, 쓰기는 \(17C\)에서 \(5C\)로 3.4배다. 4배는 n이 클 때의 극한값이다.
  • 표 3의 DROP은 카메라 레디에 1샷, arXiv v2의 같은 표(표 4)에 3샷으로 적혀 있고 점수는 같다.
  • 식 9는 행 정규화로 끝나지만 부록 A.6의 코드는 열 정규화로 끝난다. 코드가 \(\mathcal{H}^{\mathrm{res}}\)를 전치해 곱하므로(einsum ‘blmn,blmc->blnc’) 앞으로 가는 신호의 합이 정확히 1이라는 점은 같고, 그림 6에서 앞으로 가는 배율만 정확히 1인 것과도 맞는다.

계보

  • 잔차 연결과 그 확장. He 외(2016)의 잔차 연결과 항등 사상 분석, 고속도로망(Highway Network), DenseNet이 출발점이다. 잔차 흐름을 넓히거나 층 사이를 촘촘히 잇는 시도도 DenseFormer, MUDDFormer 등 여럿 있었다(2.2절). 바로 앞선 연구가 Zhu 외의 하이퍼 커넥션(ICLR 2025)이다. 싱크혼 크노프 알고리즘(1967)은 양수 행렬을 이중 확률 행렬로 바꾸는 고전적 방법이다.
  • 채택. DeepSeek은 1.6T 매개변수의 DeepSeek-V4에 mHC를 넣었다(arXiv 2606.19348). DeepSeek-V4-Flash를 분석한 Zhao 외(arXiv 2609.05309)에 따르면 섞임은 주로 앞쪽 층에서 일어나, 뒤쪽 층의 섞기 행렬을 단위행렬로 바꾸면 C4 퍼플렉서티가 1.9%, 앞쪽 층을 바꾸면 41% 올랐다.
  • 대안 제약. 싱크혼의 근사 오차를 없애려는 정확한 매개변수화로 KromHC(arXiv 2601.21579), go-mHC(arXiv 2604.02309), TBP-mHC(arXiv 2605.21724)가 나왔다. s²HC(NeurIPS 2026, arXiv 2603.20896)는 이중 확률 제약이 단위행렬 근처에 갇히고 두 번째 이하 스펙트럼을 자유롭게 고르지 못한다고 보고, 섞기 행렬을 스펙트럼 노름 구 위에 둔다. Li 외(arXiv 2610.06653)는 이중 확률 섞기를 평균 채널과 차이 채널로 나눠, 차이 채널이 층마다 두 번째 특잇값만큼 줄어드는 ’사라지는 기억’임을 정리했다.
  • 이 블로그의 이전 글. 1,024층 강화학습 논문에서는 잔차 연결을 빼고 32층을 쌓자 점수가 0.02로 무너졌다. 블로그의 해석으로는 두 논문 모두 깊이가 통하려면 무언가가 곱해지지 않고 위층까지 닿아야 한다는 같은 원리를 다른 쪽에서 보여 준다.

열린 질문

  1. 넓힌 잔차 흐름의 이득은 어디서 오나. 줄을 넓히는 것, 양수 계수로 읽고 쓰는 것, 줄 사이를 섞는 것의 몫은 각각 얼마이고, 섞기의 몫은 정말 규모와 함께 커지는가.
  2. 이중 확률이어야 하나. 앞으로 가는 쪽과 뒤로 가는 쪽의 배율을 묶는 데 행 합과 열 합 조건이 각각 얼마나 필요한지, 줄 사이의 차이를 덜 지우면서 안정한 다른 행렬 집합이 있는지.
  3. 사라지는 차이는 대가인가 설계인가. 먼 층 사이에 평균만 전달되는 구조가 표현력을 깎는지, 아니면 깊은 망에서 오히려 필요한 성질인지.

이해 확인

1. 하이퍼 커넥션이 깊이를 따라 불안정해지는 까닭으로 논문이 지목한 것은?

  1. 층마다 계산량이 n배로 늘어 기울기에 잡음이 많아져서
  2. 읽기 행렬 H_pre가 음수 계수를 써서 층 입력이 0이 되기 때문에
  3. 얕은 층의 신호에 섞기 행렬 H_res의 곱이 붙고, 한 층의 작은 배율 차이가 깊이를 따라 거듭제곱으로 쌓여서
  4. 잔차 흐름이 넓어져 RMSNorm이 제대로 작동하지 않아서

식 4에서 x_l에 붙는 것은 H_res의 곱이고, 27B HC에서 그 곱의 Amax 이득이 3,000 가까이 갔다(3.1절, 그림 3). FLOPs는 거의 늘지 않으며(3장), H_pre와 H_post는 층을 따라 곱해지지 않는다(식 4).

2. 이중 확률 행렬을 여러 개 곱해도 신호가 불어나지 않는 이유로 맞는 것은?

  1. 싱크혼 반복을 20번 하면 행렬이 단위행렬이 되기 때문에
  2. 각 행렬의 스펙트럼 노름이 1 이하이고, 곱해도 이중 확률 행렬로 남기 때문에
  3. 원소가 모두 양수라 신호가 서로 지워지지 않기 때문에
  4. 행렬의 행렬식이 늘 1이기 때문에

버코프 다면체의 원소는 순열 행렬의 볼록 결합이라 노름이 1을 넘지 않고, 곱셈에 닫혀 있다(4.1절). 싱크혼 결과는 단위행렬이 아니며, 양수 조건만으로는 노름이 묶이지 않는다. 행렬식은 균일 행렬처럼 0일 수도 있다.

3. 섞기 행렬을 단위행렬로 고정한 ’항등 HC’를 mHC의 틀에서 학습한 결과(부록 A.4)가 보여 주는 것은?

  1. 섞기 행렬이 없으면 학습이 무너진다
  2. 항등 HC가 모든 규모에서 mHC보다 확실히 낫다
  3. 항등 HC는 기준 모델보다도 손실이 높다
  4. 3B에서는 mHC와 같고 9B와 27B에서 mHC가 조금 앞서, 기준 대비 이득의 대부분은 섞기 행렬 없이도 남는다

항등 HC는 3B에서 mHC와 손실이 같았고(1.942), 9B에서 0.002, 27B에서 0.003 안팎 뒤졌다(표 R1.2, 그림 12). 기준 대비 이득 0.021에 견주면 섞기 행렬의 몫은 작다. 학습이 무너진 것은 원래 HC 틀에서 H_res를 단위행렬로 둔 경우다.

논문 정보

  • 제목: mHC: Manifold-Constrained Hyper-Connections
  • 저자: Zhenda Xie, Yixuan Wei, Huanqi Cao, Chenggang Zhao, Chengqi Deng, Jiashi Li, Damai Dai, Huazuo Gao, Mingyu Xu, Kuai Yu, Liang Zhao, Shangyan Zhou, Zhean Xu, Zhengyan Zhang, Wangding Zeng, Shengding Hu, Yuqing Wang, Jingyang Yuan, Lean Wang, Wenfeng Liang (DeepSeek-AI, 북경대)
  • 학회: ICML 2026 스포트라이트(Spotlight)
  • 링크: arXiv 2512.24880, OpenReview