NeurIPS 2025 Oral, Best Paper Award

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

읽을 것이 없을 때 어텐션 헤드는 어디를 볼까

어텐션 출력에 헤드마다 다른 시그모이드 게이트를 곱하면 성능과 학습 안정성이 오르고 첫 토큰 쏠림이 사라진다는 것을 대규모 실험으로 보인 NeurIPS 2025 최우수 논문

깊이 읽기
딥러닝의 과학
소프트맥스 어텐션의 출력에 헤드마다 다른 시그모이드 게이트를 곱하는 작은 변경이 15B MoE와 1.7B 밀집 모델의 성능과 학습 안정성을 높이고, 첫 토큰에 어텐션이 몰리는 어텐션 싱크를 없앴다. 저자들이 내놓은 비선형성과 희소성이라는 두 설명이 실험으로 얼마나 뒷받침되는지 따져 읽는다.
공개

2026년 10월 23일

키워드

어텐션 싱크, 게이트 어텐션, 거대 활성값, 학습 안정성

3줄 요약

  • 소프트맥스 어텐션의 출력(SDPA 출력)에 헤드마다 따로 계산한 시그모이드 게이트를 곱하는 변경을 15B MoE(활성 2.54B)와 1.7B 밀집 모델에서 30가지 넘는 변형과 견줬다. SDPA 출력 뒤가 가장 좋은 자리였고, MoE에서 평균 PPL이 6.026에서 5.761로 내려가고 MMLU가 58.79에서 60.82로 올랐다(표 1).
  • 저자들은 이득을 두 가지로 설명한다. 값 투영과 출력 투영이 이루는 낮은 랭크의 선형 경로에 비선형성이 들어가고, 지금 출력을 만드는 토큰(질의)에 따라 정해지는 게이트 값이 대부분 0 가까이 있어(평균 0.116) 필요 없는 출력을 꺼 버린다(4.1절, 4.2절).
  • 게이트 모델에서는 첫 토큰이 받는 어텐션이 층 평균 46.7%에서 4.8%로, 층마다 잰 최대 활성값의 평균이 1,053에서 94로 줄었다(그림 2, 표 4). 큰 학습률에서도 발산하지 않았고 128k 문맥에서 RULER 점수가 58.82로 기준 모델(31.65)을 크게 앞섰다(표 2, 표 5). 성능의 증거는 탄탄하지만 메커니즘 설명은 대부분 상관과 절제 실험에 기댄다.

선정 이유

NeurIPS 2025 최우수 논문상(Best Paper Award) 네 편 가운데 하나이고 구두 발표(oral) 논문이다. 선정위원회는 4,000억에서 3조 5천억 토큰으로 학습한 30여 개 실험과 꼼꼼한 분석이 발견을 뒷받침한다고 보고, 구현이 쉬워 널리 쓰일 것이라 내다봤다. 산업 규모의 자원으로 얻은 결과를 공개한 점도 높이 샀다.

LLM 논문이지만 어텐션이 왜 첫 토큰에 쏠리는가라는 원리 질문에 답하려 해서 골랐다. 블로그의 연구 여지 지도에서는 ‘희소, 선형 어텐션 설계’ 주제에 속하고, LLM 중심 주제를 뺀 109개 주제 중 20위다.

  1. 전후로 아는 것이 달라졌나. 달라졌다. 비슷한 게이트는 전에도 있었지만, 이 논문은 자리와 모양을 하나씩 바꿔 효과를 떼어 냈고 대규모 학습에서 싱크가 작은 구조 변경으로 사라짐을 보였다. 이 게이트는 Qwen3-Next에 들어갔다.
  2. 새 질문을 여는가. 연다. 싱크가 하던 일은 누가 맡는지, 거대 활성값과 싱크는 어떤 관계인지, 게이트를 나중에 달면 왜 싱크가 남는지가 질문이 됐다. 2026년 10월 기준 Semantic Scholar 인용은 342편이다.
  3. 일반화될 근거가 있나. 어느 정도 있다. 밀집 모델과 MoE, 28층과 48층, 4,000억에서 3조 5천억 토큰까지 같은 방향이었다(표 1, 표 2). 다만 모두 Qwen3 계열 구조와 한 연구진의 데이터다.
  4. 증거가 주장만큼 강한가. 성능은 그렇다. 매개변수를 같은 만큼 늘린 기준선보다 낫다. 메커니즘 설명은 상관과 몇 가지 절제 실험에 기대고, 설정마다 실행이 하나라 오차 막대가 없다(NeurIPS 체크리스트 7번).

왜 중요한가

LLM의 어텐션 지도를 보면 많은 헤드가 뜻 없는 첫 토큰에 어텐션의 대부분을 준다. Xiao 외(ICLR 2024)가 이를 어텐션 싱크(attention sink)라 불렀고, 싱크 토큰의 은닉 상태에 아주 큰 값, 곧 거대 활성값(massive activation)이 함께 나타난다는 보고(Sun 외, 2024)가 뒤따랐다. 이 논문의 기준 모델에서도 첫 토큰이 받는 어텐션은 층 평균 46.7%, 21번 층에서는 83%였다(그림 2).

흔한 설명은 소프트맥스에서 출발한다. 어텐션 가중치는 음수가 될 수 없고 합이 1이어야 하므로, 지금 토큰에 필요한 정보가 문맥에 없는 헤드도 가중치를 어딘가에 줘야 한다. 그래서 출력에 거의 보태지 않는 토큰 하나에 남는 가중치를 모아 두게 된다(1장, 5.2절). 거대 활성값 같은 이상치는 양자화를 어렵게 하고(Bondarenko 외, 2023), 싱크는 문맥을 늘릴 때 걸림돌이 될 수 있다(4.4절). 소프트맥스 분모에 1을 더하거나 시그모이드로 바꾸거나, 학습 가능한 싱크를 따로 두는 처방이 나온 까닭이다(5.2절).

게이트는 LSTM부터 Mamba까지 곳곳에 쓰이지만, 게이트 자체의 효과는 다른 설계와 섞여 따로 재지 않았다. 예를 들어 헤드를 전문가처럼 골라 쓰는 Switch Heads에서 전문가를 하나로 줄이면 값 출력에 게이트만 남는데, 이때 PPL(5.808)이 여러 전문가를 고를 때보다 오히려 낮았다(부록 A.1, 표 6). 그래서 저자들은 게이트만 떼어 놓고 자리와 모양을 하나씩 바꿔 본다.

핵심 아이디어

직관: 합이 1인 가중치로는 아무것도 읽지 않을 수 없다

소프트맥스 헤드의 출력은 값 벡터들의 가중 평균이다. 가중 평균을 0에 가깝게 만들려면 값이 거의 0인 토큰에 가중치를 몰아야 한다. 게이트는 이 가중 평균에 0과 1 사이의 수를 곱하므로, 어텐션 분포는 그대로 두고 출력만 줄일 수 있다. 아래 (가)는 이 차이를 작은 예로 계산한 것이다. 게이트가 없을 때 출력을 한 토큰 분량의 5% 아래로 낮추려면 첫 토큰에 어텐션을 86% 넘게 줘야 한다. 게이트가 0.1이면 그럴 필요가 없다. 게이트가 0.5 아래로 내려가지 못하게 묶으면 다시 73%가 필요하다.

0.10.20.30.40%25%50%75%100%첫 토큰에 준 어텐션 몫출력 크기5% 아래게이트 없음86%게이트 0.573%게이트 0.1

(가) 합이 1인 가중치로 아무것도 읽지 않기

0%10%20%30%40%50%00.250.50.751평균 게이트 값첫 토큰 어텐션 몫SDPA 원소별: 게이트 0.116, 첫 토큰 0.048, 최대 활성값 94SDPA 원소별SDPA 헤드별: 게이트 0.172, 첫 토큰 0.073, 최대 활성값 98SDPA 헤드별값 투영 뒤(G2): 게이트 0.221, 첫 토큰 0.297, 최대 활성값 125값 투영 뒤(G2)헤드 공유: 게이트 0.271, 첫 토큰 0.301, 최대 활성값 286헤드 공유입력 무관: 게이트 0.335, 첫 토큰 0.364, 최대 활성값 471입력 무관하한 0.5: 게이트 0.653, 첫 토큰 0.451, 최대 활성값 892하한 0.5게이트 없음: 게이트 1.0, 첫 토큰 0.467, 최대 활성값 1053게이트 없음게이트 없음은 1에 표시

(나) 게이트 값과 첫 토큰 쏠림 (표 4)

(가) 읽을 것이 없는 헤드가 출력을 거의 0으로 만들려면 무엇이 필요한지 계산한 장난감 예. 첫 토큰의 값 벡터는 0이고 나머지 15개 토큰의 값은 무작위(차원 64, 한 토큰만 읽으면 출력 크기가 약 1)이며, 나머지 몫은 무작위 유사도의 지수에 비례해 나눈다. 출력 크기는 게이트 값 × (1 − 첫 토큰 몫) × 0.37이다. 게이트가 없으면 출력을 5% 아래로 낮추는 길은 첫 토큰에 몫을 몰아주는 것뿐이고, 게이트가 0.1이면 어텐션을 그대로 둔 채 출력이 작아진다. (나) 논문 표 4의 일곱 모델에서 층 평균 게이트 값과 첫 토큰이 받은 어텐션 몫. 값 투영 뒤 게이트(G2)와 헤드 공유 게이트는 평균이 0.3 아래인데도 몫이 30%로 남는다. 최대 활성값은 게이트 없음 1,053, SDPA 원소별 94다.

실제 모델도 비슷했다. SDPA 출력의 층 평균 절댓값은 게이트 앞 0.71에서 게이트 뒤 0.05로 줄어, 게이트 없는 모델의 SDPA 출력(0.04)과 거의 같아진다(부록 A.3, 그림 4). 저자들도 게이트가 싱크처럼 무관한 정보를 거르는 것 같다고 적었다. 블로그의 해석으로는 두 모델이 출력을 작게 유지하는 같은 일을, 한쪽은 첫 토큰에 어텐션을 몰아서, 다른 쪽은 작은 수를 곱해서 하는 셈이다.

방법: 다섯 자리와 네 가지 모양

게이트는 조절할 출력 \(Y\)에, 사전 정규화(pre-norm)를 거친 현재 토큰의 은닉 상태 \(X\)로 계산한 점수를 원소별로 곱한다(식 5).

\[ Y' = Y \odot \sigma(XW_\theta) \]

자리는 질의, 키, 값 투영 바로 뒤(\(G_4\), \(G_3\), \(G_2\)), SDPA 출력 뒤(\(G_1\)), 헤드를 이어 붙여 출력 투영 \(W_O\)를 지난 뒤(\(G_5\))의 다섯 곳이다. 모양은 네 갈래로 바꿨다. 점수를 원소마다 둘지 헤드마다 하나만 둘지, 헤드마다 다르게 할지 함께 쓸지, 곱할지 더할지, 활성화 함수를 시그모이드로 할지 SiLU로 할지다. 기본값은 헤드마다 다른 점수를 곱하는 시그모이드 게이트다(2.2절).

입력 X (정규화 뒤)질의 투영키 투영값 투영σG4 5.981σG3 6.016σG2 5.820SDPA: softmax(QKᵀ/√d)V, 헤드마다σG1 5.761가장 낮음헤드 이어 붙이기, 출력 투영 W_OσG5 6.017게이트 없음 6.026

(가) 게이트를 넣어 본 다섯 자리

Xⱼ2,048vⱼ128Σⱼ Sᵢⱼvⱼ128oᵢ2,048W_V섞기σW_O질의 토큰 Xᵢ로 계산게이트가 없으면 W_V W_O는 행렬 하나랭크가 128을 넘지 못한다GQA에서는 질의 헤드 8개가 W_V 하나를 함께 쓴다

(나) 값에서 출력까지 좁은 길

(가) 논문이 시그모이드 게이트 σ(XWθ)를 곱해 본 다섯 자리와, 15B MoE 모델을 4,000억 토큰으로 학습했을 때의 평균 PPL(낮을수록 좋음, 표 1). SDPA 출력 뒤(G1)와 값 투영 뒤(G2)만 뚜렷이 낮아진다. (나) 한 헤드가 토큰 j의 값을 읽어 출력으로 보내는 길(식 6~8). 2,048차원이 헤드 차원 128로 좁아졌다가 WO에서 다시 넓어지는데, 그 사이가 선형이면 두 행렬은 랭크 128 이하의 행렬 하나로 합쳐진다. G1 게이트는 이 사이에서, 지금 출력을 만드는 질의 토큰의 은닉 상태로 계산된다. 차원은 MoE 모델의 값이다(표 7).

주 실험에 쓴 MoE는 전문가 128개 중 8개를 고르고, 질의 헤드 32개가 키와 값 헤드 4개를 나눠 쓰는 그룹 질의 어텐션(GQA)을 쓴다(표 7). 변형마다 4,000억 토큰을 학습했다(3.2.1절). 밀집 모델은 28층과 48층의 1.7B이고, 게이트를 달면 FFN 폭을 줄여 매개변수 수를 맞췄다(3.2.2절). 원소별 \(G_1\) 게이트는 MoE에 매개변수 2억 100만 개를 더하고 계산 시간은 2% 미만 늘린다(표 1, 3.1절).

수식: 값과 출력 사이의 좁은 길

첫 번째 설명은 비선형성이다. \(k\)번째 헤드가 토큰 \(i\)에서 내는 출력은 다음과 같이 쓸 수 있다(식 6). \(S^k_{ij}\)는 토큰 \(i\)가 토큰 \(j\)에 주는 어텐션 가중치다.

\[ o^k_i = \Big(\sum_{j\le i} S^k_{ij}\, X_j W^k_V\Big) W^k_O = \sum_{j\le i} S^k_{ij}\, X_j \big(W^k_V W^k_O\big) \]

\(W^k_V W^k_O\)는 은닉 차원 2,048을 헤드 차원 128로 좁혔다 되돌리는 행렬이라 랭크가 128을 넘지 못하고, GQA에서는 질의 헤드 8개가 \(W_V\) 하나를 나눠 쓴다(4.1절). 두 행렬 사이에 비선형성을 넣으면 이 제약이 풀린다. 토큰마다 값에 넣거나(식 7, \(G_2\)), 섞은 결과에 넣는다(식 8, \(G_1\)).

\[ o^k_i = \Big(\sum_{j\le i} S^k_{ij}\, \mathrm{NL}\big(X_j W^k_V\big)\Big) W^k_O, \qquad o^k_i = \mathrm{NL}\Big(\sum_{j\le i} S^k_{ij}\, X_j W^k_V\Big) W^k_O \]

\(W_O\) 뒤의 \(G_5\)는 두 행렬 사이에 들어가지 않으므로 이 설명대로라면 효과가 없어야 한다.

두 번째 설명은 희소성이다. 식 7의 게이트는 문맥의 각 토큰 \(X_j\)로 계산하고, 식 8의 게이트는 지금 출력을 만드는 질의 토큰 \(X_i\)로 계산한다. 그래서 \(G_1\) 게이트만 “이 토큰에서는 이 헤드의 출력이 필요 없다”를 직접 표현할 수 있다. 시그모이드는 0까지 내려갈 수 있으니 그런 판단이 출력을 실제로 지운다(4.2절).

결과 해설

자리가 가른다(표 1). MoE의 평균 PPL은 \(G_1\) 5.761, \(G_2\) 5.820이었고 나머지 자리는 기준 모델(6.026)과 거의 같았다. 매개변수만 늘린 기준선은 질의 헤드를 48개로 늘린 경우(2억 100만 개 추가) 5.953, 전문가를 4개 더한 경우(4억 개) 5.964에 그쳤다. 헤드별 스칼라 게이트는 매개변수 160만 개로 5.792를 냈다.

비선형성만으로는 일부다(표 3). 매개변수 없이 \(G_1\) 자리에 헤드마다 RMSNorm을 넣으면 5.847, SiLU를 넣으면 5.975로 PPL이 내려갔지만 SiLU의 경우 벤치마크는 대부분 그대로였다. \(G_5\)가 효과가 없는 것은 비선형성 설명과 맞지만, 같은 비선형성을 넣는 \(G_2\)와 \(G_1\)의 차이는 이 설명으로 나오지 않는다(4.1절).

성긴 게이트일수록 싱크가 없다(표 4). 위 그림의 (나)가 표 4다. 평균 게이트 값이 가장 낮은 원소별 \(G_1\)(0.116)은 첫 토큰 어텐션이 0.467에서 0.048로 줄었다. 저자들은 두 가지 개입으로 희소성을 따로 시험했다. 게이트를 \(0.5+0.5\,\sigma(x)\)로 바꿔(식 9) 0.5 아래로 못 내려가게 하면 PPL이 5.900으로 오르고 첫 토큰 어텐션은 0.451로 돌아왔다. 입력과 무관한 상수 게이트는 PPL 5.917, 첫 토큰 어텐션 0.364였다. 값 투영 뒤 게이트(\(G_2\))는 최대 활성값을 125로 줄였는데도 첫 토큰 어텐션이 0.297로 남아, 저자들은 거대 활성값이 싱크의 필요조건이 아니라고 본다(4.3절).

큰 학습률을 견딘다(표 2, 그림 1). 48층 모델의 최대 학습률을 \(4\times10^{-3}\)에서 \(8\times10^{-3}\)으로 올리면 기준 모델의 PPL은 7.421에서 9.195로 무너졌지만 게이트 모델은 7.288에서 7.325로 버텼고 MMLU는 52.44에서 54.47로 올랐다. 1조 토큰 학습에서는 기준 모델이 \(8\times10^{-3}\)에서 발산했고, 3조 토큰 넘게 학습한 28층 모델에서는 손실 급등이 거의 사라졌다(그림 1 오른쪽). 저자들은 거대 활성값이 줄어 BF16 수치 오차에 덜 민감해졌기 때문일 수 있다고 본다(4.3절).

문맥을 늘려도 덜 무너진다(표 5). 3조 5천억 토큰 모델을 RoPE 기저 100만, 32k 길이로 800억 토큰 더 학습하고 YaRN으로 128k까지 늘렸다. 32k 안에서는 RULER 점수가 비슷했지만(79.50 대 79.77), YaRN을 적용하자 기준 모델은 32k에서 37.94로 떨어졌고 게이트 모델은 72.88을 지켰다. 128k에서는 31.65 대 58.82였다. 저자들은 기준 모델이 싱크로 어텐션 분포를 조절하는데 RoPE가 바뀌면 그 패턴이 따라가지 못한다고 추측한다(4.4절).

의심해볼 점

설명마다 증거의 무게

아래 등급은 블로그의 해석이다.

  • 비선형성: 중간. \(G_5\)가 듣지 않고 RMSNorm이 일부 효과를 내는 것은 설명과 맞지만, SiLU만으로는 벤치마크가 거의 움직이지 않으니 이득의 일부만 설명한다.
  • 질의에 따른 희소성: 중간에서 강함. 하한 0.5 게이트와 입력 무관 게이트라는 두 개입이 있어 단순 상관보다 낫다. 다만 하한은 출력 크기도 함께 바꾸므로 성긴 정도와 크기의 효과를 떼어 내지 못했다.
  • 싱크 제거: 현상은 강하고 원인은 열려 있다. 싱크가 사라진다는 관찰은 여러 변형에서 일관된다. 그런데 이미 학습된 모델에 게이트를 달아 이어 학습하면 싱크와 거대 활성값이 그대로 남았다(부록 A.7). 폭 96의 작은 모델을 1,500걸음 학습한 후속 재현에서는 게이트 평균이 0.686으로 열린 채 남았고 싱크도 뚜렷이 줄지 않았다(Rizwan 외, arXiv 2609.08574). 블로그의 해석으로는 게이트가 싱크를 필요 없게 만든다는 것만으로는 부족하고, 학습 중에 게이트가 실제로 닫히느냐가 관건이다.
  • 거대 활성값과 학습 안정성: 약함. 저자들도 ’그럴 수 있다’는 수준으로 적었다. 어텐션과 FFN 출력을 ±300이나 ±100 안으로 잘라 큰 활성값을 막아도 학습률 \(8\times10^{-3}\)에서 여전히 수렴하지 못했으니(부록 A.6), 큰 활성값만으로는 불안정을 설명하지 못한다.
  • 긴 문맥: 가설. 한계 절에서 저자들 스스로 싱크가 길이 일반화에 어떻게 영향을 주는지 이론적 설명이 없다고 적었다(6장).

실험 설계에서 볼 점

  • 실행이 하나씩이다. 헤드별 5.792 대 헤드 공유 5.801처럼 0.01에서 0.03 차이의 비교는 시드에 따른 흔들림과 구별할 근거가 없다.
  • 곱하기와 더하기. 곱하는 시그모이드(5.761)와 더하는 SiLU(5.821)를 견줘 곱하기가 낫다고 했지만 활성화 함수가 함께 바뀌었다. 같은 SiLU끼리는 5.822 대 5.821로 차이가 없다(표 1의 14, 15행).
  • 매개변수 차이. 원소별 \(G_1\)은 \(G_2\)보다 매개변수를 여덟 배 더한다. 심사 답변에서 1억 개로 맞추자 5.842 대 5.900으로 차이가 줄었지만 순서는 같았다.
  • 표기 불일치. 4.3절은 거대 활성값이 싱크의 필요조건이 아니라고 하지만 5.2절은 필요조건이라고 적었다. 하한 0.5 게이트의 첫 토큰 어텐션도 표 4는 0.451, 부록 그림 6은 0.481이다.

리뷰어들이 짚은 점

공개된 심사의 최종 점수는 6, 6, 5, 4점(6점 만점)이다.

  • 배치 크기와 토큰 수가 함께 바뀐다. 가장 낮은 점수를 준 리뷰어는 표 2에서 토큰 수와 배치가 함께 커져 배치의 효과를 따로 볼 수 없고, PPL 0.2를 큰 개선이라 하기 어렵다고 했다. 저자들은 답변에서 배치만 키운 실험(기준 7.538, 게이트 7.487)과 28층 모델의 큰 학습률 실험(기준 8.941, 게이트 7.425)을 제시했고, 기준 MoE는 6,000억 토큰(5.704)을 학습해야 4,000억 토큰의 게이트 모델(5.761)을 앞선다고 보였다. 리뷰어는 3점을 4점으로 올렸다.
  • 다른 기준선. 층 하나를 더한 MoE(전체 6억 2,500만 개 추가)는 5.871로 게이트에 못 미쳤다. 밀집 모델에서도 다섯 자리를 비교했다(\(G_1\) 7.404, \(G_2\) 7.453, 나머지 7.466~7.489). 답변의 추가 실험은 모두 최종본에 실리지 않았다.

계보

  • 게이트의 흐름. 소프트맥스 어텐션 출력에 다는 게이트는 AlphaFold2, Forgetting Transformer(Lin 외, 2025), 질의에 따라 출력을 거르는 Attention on Attention(Huang 외, ICCV 2019)에 이미 있었다(5.1절).
  • 가장 가까운 선행 연구. Bondarenko, Nagel, Blankevoort(NeurIPS 2023)는 BERT와 ViT에서 어텐션 게이트와 잘린 소프트맥스로 이상치를 없애 양자화를 쉽게 했다. 부제가 ’어텐션 헤드가 아무것도 하지 않도록 돕기’다. 이 논문은 그 생각을 LLM 사전 학습 규모로 키웠다.
  • 후속. 이 게이트는 Qwen3-Next에 쓰였다(논문 초록). 같은 연구진(Qiu 외, arXiv 2601.22966)은 싱크와 잔차 흐름의 이상치를 정규화와 짝을 이뤄 다른 성분의 크기를 조절하는 장치로 읽고, 학습 가능한 매개변수나 명시적 게이트로 대신하게 했다. Ran-Milo(ACL 2026)는 신호가 있을 때만 읽고 없으면 0을 내야 하는 과제에서 소프트맥스 어텐션에는 싱크가 반드시 생기고 ReLU 어텐션에는 생기지 않음을 증명했다. Sun 외(arXiv 2603.05498)는 거대 활성값과 싱크가 함께 나타나는 것이 사전 정규화 구조 탓이라고 봤다.
  • 이 블로그의 이전 글. BF16 플래시 어텐션의 손실 폭발 논문은 이 게이트를 저정밀 학습의 배경 처방으로 들었다. 블로그의 해석으로는 두 논문 모두 큰 값이 몰리는 곳에서 학습이 흔들린다는 데서 만나지만, 그쪽은 반올림 오차의 누적으로, 이 논문은 출력을 줄일 수단의 부재로 설명한다.

열린 질문

  1. 싱크는 무슨 일을 하고 있었나. 게이트가 ’아무것도 읽지 않기’를 맡는다면, 싱크와 거대 활성값의 다른 역할로 거론되는 크기 조정이나 위치 기준점은 어디로 가는가. 어떤 헤드에 싱크가 꼭 필요한가.
  2. 구조의 문제인가, 학습 경로의 문제인가. 게이트를 나중에 달면 이미 생긴 싱크가 사라지지 않았다. 같은 구조에서 싱크가 생기느냐 마느냐를 무엇이 가르는가.
  3. 안정성과 긴 문맥 이득은 어디서 오나. 큰 활성값을 잘라도 안정성이 돌아오지 않았다. 게이트의 어떤 성질이 큰 학습률을 견디게 하고 문맥 확장에 강하게 만드는가.

이해 확인

1. 읽을 정보가 문맥에 없을 때 게이트 없는 헤드가 첫 토큰에 어텐션을 몰아주는 까닭으로 논문이 따르는 설명은?

  1. 첫 토큰이 문장 전체의 뜻을 요약해 담고 있어서
  2. 가중치가 음수가 아니고 합이 1이라, 출력을 0 가까이 만들려면 출력에 거의 보태지 않는 토큰에 가중치를 모아야 해서
  3. RoPE가 먼 토큰보다 가까운 토큰을 선호하도록 만들기 때문에
  4. 거대 활성값이 있는 토큰에는 어텐션이 반드시 몰리기 때문에

소프트맥스 출력은 값 벡터의 가중 평균이라 가중치를 줄여 출력을 끌 수 없다(1장, 5.2절). 게이트는 출력에 0에 가까운 수를 곱해 같은 일을 한다. 값 투영 뒤 게이트는 거대 활성값을 125로 줄였는데도 싱크(0.297)가 남았으니 4번은 맞지 않는다(표 4).

2. 출력 투영 W_O 뒤에 둔 게이트(G5)가 거의 효과가 없었던 까닭으로 논문이 드는 것은?

  1. 더한 매개변수가 가장 적어서
  2. 게이트 점수를 질의 토큰이 아니라 문맥 토큰으로 계산해서
  3. W_V와 W_O 사이에 들어가지 않아, 두 행렬이 합쳐진 랭크 128 이하의 선형 사상이 그대로 남아서
  4. 시그모이드 대신 SiLU를 써서

식 6에서 W_V W_O는 한 행렬로 합쳐지고, 비선형성은 그 사이(G1, G2)에 들어가야 이 제약을 푼다(4.1절). G5는 매개변수가 G2보다 많고 시그모이드를 쓰며, 문맥 토큰으로 점수를 계산하는 것은 G2다(표 1).

3. 게이트 값을 0.5에서 1 사이로 묶은 실험(식 9)이 따로 보여 주려 한 것은?

  1. 비선형성은 그대로 두고 희소성만 빼도 이득이 줄고 싱크가 돌아온다는 것
  2. 게이트 매개변수를 줄여도 성능이 유지된다는 것
  3. 시그모이드보다 SiLU가 더 성긴 게이트를 만든다는 것
  4. 게이트가 학습률을 키울 수 있게 해 준다는 것

0.5 + 0.5σ(x)도 비선형이지만 0 근처로 내려가지 못한다. 이 모델은 PPL 5.900, 첫 토큰 어텐션 0.451로 원래 게이트(5.761, 0.048)보다 기준 모델에 가까웠다(표 4). 다만 하한은 출력 크기도 함께 바꾼다.

논문 정보

  • 제목: Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
  • 저자: Zihan Qiu, Zekun Wang, Bo Zheng, Zeyu Huang, Kaiyue Wen, Songlin Yang, Rui Men, Le Yu, Fei Huang, Suozhi Huang, Dayiheng Liu, Jingren Zhou, Junyang Lin (Qwen Team Alibaba Group, Edinburgh, Stanford, MIT, Tsinghua)
  • 학회: NeurIPS 2025 구두 발표(Oral), 최우수 논문상(Best Paper Award)
  • 링크: arXiv 2505.06708, OpenReview, 코드, 모델