ICML 2026 Spotlight

The Relative Instability of Model Comparison with Cross-validation

각자 안정한 두 모델도 비교하면 흔들린다

짧은 읽기
확률과 인과
교차 검증으로 두 모델의 오차 차이에 신뢰구간을 붙이려면 비교 자체가 상대적으로 안정해야 하는데, 각자 안정한 Lasso 두 개를 비교하는 유리한 설정에서도 이 조건이 깨져 명목 95% 구간이 참값을 덜 담는다는 것을 증명한 ICML 2026 스포트라이트 논문을 짧게 읽는다.
공개

2026년 10월 27일

키워드

교차 검증, 알고리즘 안정성, 모델 비교

한 줄 요약

교차 검증(cross-validation, CV)으로 두 모델의 오차 차이에 신뢰구간을 붙이려면 모델 하나하나가 아니라 비교 자체가 안정해야 한다. 이 논문은 각자 안정한 Lasso 두 개를 견주는, 거의 가장 유리한 설정에서도 이 조건이 깨져 명목 95% 구간이 참값을 훨씬 덜 담는다는 것을 보였다.

무엇이 달라졌나

CV 오차에 구간을 붙이는 이론은 Austern, Zhou(2020)와 Bayle 외(2020)가 정리했다. 학습점 하나를 바꿔도 손실이 크게 흔들리지 않으면 CV 오차는 정규분포로 다가가고, 겹(fold) 안 분산 추정치를 쓰면 점근적으로 정확한 구간이 나온다(1절, 4절, 식 7). 실무에서는 같은 구간을 두 모델의 오차 차이에도 쓰고, 구간이 0을 비켜 가면 한쪽이 낫다고 판단한다.

논문이 따지는 조건은 상대 손실 안정성(relative loss stability)이다(정의 2.1). 시험점 하나에 대한 성능을 \(h_n\)이라 하자. 학습점 하나를 갈아 끼울 때, 학습 집합별 평균을 뺀 \(h_n\)이 바뀌는 양을 제곱해 평균한 값이 손실 안정성 \(\gamma(h_n)\)다. 시험점에 따라 기대 성능이 달라지는 정도는 \(\sigma^2(h_n)=\mathrm{Var}(\mathbb{E}[h_n\mid Z_0])\)다. 비 \(r(h_n)=n\gamma(h_n)/\sigma^2(h_n)\)이 0으로 가면 상대적으로 안정하다고 한다. 이 조건은 Bayle 외(2020)가 중심극한정리와 분산 추정치의 일치성을 얻을 때 쓴 충분조건과 같다(4절). \(\sigma^2\)로 나누는 까닭을 저자들은 리뷰 답변에서 이렇게 설명했다. \(\gamma\)는 척도에 따라 값이 바뀌므로, 평균하는 항들이 실제로 출렁이는 크기에 견줘 재야 한다.

모델 하나를 평가할 때는 \(\sigma^2\)가 상수에 머물러 \(\gamma\)만 \(1/n\)보다 빨리 줄면 된다. 비교에서는 \(h_n\)이 두 손실의 차이고, 두 모델이 같은 답으로 수렴하면 \(\sigma^2\)도 0으로 간다(보조정리 4.1). 분모가 주는 속도까지 따져야 한다는 뜻이다.

핵심 결과는 이렇다. \(Y=X^\top\beta^\star+\varepsilon\), \(X\sim N(0,I)\)이고 \(\beta^\star\)에 0인 계수가 하나라도 있으면, 벌점이 \(\lambda_n\)인 소프트 임계값(soft-thresholding, ST)과 \(\lambda_n+\delta_n\)인 ST를 비교할 때 \(\sigma^2\)는 \(1/n^2\)로 주는데 \(\gamma\)는 \(n^{-2.5}\)보다 빨리 줄지 못해 \(r=\Omega(\sqrt n)\)이다(\(\lambda_n\)은 커지되 \(\sqrt n\) 차수를 넘지 않고 \(\delta_n\)은 상수 차수, 정리 3.1). 같은 조건에서 ST 하나는 \(r\sim C/(2\tau^4 n)\to 0\)으로 안정하다(정리 3.2). Lasso에서도 결론이 같다(정리 3.3, 3.4). 5절의 설정에서 구간이 실제로 참값을 얼마나 담는지 계산하면 아래와 같다.

80%85%90%95%100%10²10³10⁴10⁵전체 표본 수 N실제 포함률ST 하나0 없는 β의 ST 비교ST 비교Lasso 비교목표 95%

(가) 명목 95% 구간의 실제 포함률

1.01.21.41.610²10³10⁴10⁵전체 표본 수 N실제 흩어짐 ÷ 추정치Lasso 비교ST 비교ST 하나0 없는 β의 ST 비교

(나) 실제 흩어짐과 분산 추정치의 비

명목 95% 교차 검증 신뢰구간이 시험 오차를 실제로 얼마나 담는지 5절의 설정에서 계산한 그래프. X는 10차원 표준정규, 잡음 표준편차 τ = 10, β = (3, 1, −5, 3, 0, 0, 0, 0, 0, 0), 10겹 교차 검증이고, 학습 표본 n에 λn = √n, δn = 1을 쓴다. ST 비교는 ST(λn)와 ST(λn + 1)을, Lasso 비교는 같은 두 벌점의 Lasso를 견주고, 0 없는 β의 ST 비교는 0인 계수가 없는 β = (3, 1, −5, 3, 4, −3, 10, 8, 5, 2)에서 같은 두 ST를 견준다. 구간은 교차 검증 오차 ± 1.96 × (겹 안 분산 추정치의 제곱근) ÷ √N이고, 표본 크기마다 4,000번 되풀이했다. (나)는 √N × (교차 검증 오차 − 시험 오차)의 실제 표준편차를 분산 추정치 제곱근의 평균으로 나눈 값으로, 1이면 구간 폭이 맞다. N = 10만에서 포함률은 ST 하나 95.5%, 0 없는 β의 ST 비교 95.1%, ST 비교 84.7%, Lasso 비교 84.6%다.

어떻게 보였나

ST는 최소제곱 추정치의 좌표마다 절댓값을 \(\lambda_n/n\)만큼 줄이고, 그보다 작은 좌표는 0으로 만든다(정의 2.2). 닫힌 꼴이라 \(\sigma^2\)와 \(\gamma\)를 직접 계산할 수 있다. 부록 F의 증명을 줄여 말하면 이렇다. 0이 아닌 계수는 추정치가 문턱에서 멀어 두 ST의 차이가 거의 늘 \(\delta_n/n\)이고, 학습점 하나로는 바뀌지 않는다. 참값이 0인 계수는 추정치가 \(1/\sqrt n\) 크기로 출렁이고, 문턱 \(\lambda_n/n\)은 그보다 크지 않다. 추정치가 문턱 바로 아래, 폭 \(\delta_n/n\)인 띠에 들어갈 확률은 \(1/\sqrt n\) 수준이다. 이때는 학습점 하나만 바꿔도 두 ST의 차이가 0에서 \(\delta_n/n\)으로 뛸 수 있다. 그래서 \(\gamma\)는 \((\delta_n/n)^2/\sqrt n\) 차수 아래로 내려가지 못한다. Lasso로는 보조정리 2.3을 써서 옮긴다. \(X^\top X/n\)이 단위행렬에 가까우면 두 추정치가 거의 같다는 내용이다. 정리 3.1은 하한이라서 선형, 희소, 가우시안 같은 깐깐한 가정이 결론을 약하게 하지 않는다. 오히려 가장 유리한 경우에도 깨진다는 뜻이 된다(3절).

5절 실험(\(\beta^\star=(3,1,-5,3,0,\dots,0)\), \(\tau=10\), 10겹, \(\lambda_n=\sqrt n\), \(\delta_n=1\))에서 비교의 표준화 오차는 정규 모양이지만 분산이 1로 가지 않고, 겹 안 분산 추정치는 필요한 분산보다 작게 나온다(5절, 그림 2, 3). 그래서 ST 비교의 명목 95% 구간은 전체 표본 100에서 10만까지 참값을 83~85%쯤만 담는다(그림 6 왼쪽). 참 \(\sigma\)를 넣어도 나아지지 않는다. Lasso 비교에서 참 \(\sigma\)로 만든 구간은 목표 95%일 때 실제로 약 65%만 담는다(그림 1).

눈여겨볼 점

첫째, 상대 안정성은 모델이 아니라 비교마다 따로 따질 성질이다. 릿지 회귀의 비교나 0인 계수가 없는 \(\beta^\star\)에서의 ST 비교는 실험에서 \(\gamma\)가 \(1/n^4\)로 줄어 안정했다(5절, 그림 4, 5). 저자들은 리뷰 답변에서 계수를 0으로 자르는 지점의 꺾임을 원인으로 짐작했다.

둘째, 처방은 보수적이다. 두 모델 각각의 \((1-\alpha/2)\) 구간 \([L_1,U_1]\), \([L_2,U_2]\)로 \([L_1-U_2,\ U_1-L_2]\)를 만들면 비교가 불안정해도 점근적으로 \(1-\alpha\) 이상의 확률로 참값을 담는다(명제 6.1). 하지만 두 CV 오차의 강한 양의 상관을 버리는 탓에, 포함률은 거의 100%이고 폭은 몇 자릿수 넓다(그림 6). 한 리뷰어도 느슨한 합집합 한계라 실용성이 떨어진다고 지적했다. 저자들은 CV 검정을 쓰기 전에 비교의 상대 안정성부터 확인하라고 권한다(6절). 분석이 이 분포와 두 모델에 한정된다는 점도 밝혔고, 상대 불안정이 늘 구간의 실패로 이어지는지는 열린 문제로 남겼다(6절).

블로그의 해석으로는, 이 결과가 겨누는 곳은 튜닝값만 조금 다른 두 설정을 CV로 가르는 흔한 습관이다. 두 모델이 가까울수록 \(\sigma^2\)가 작아 구간이 아주 좁게 나오는데(그림 6 오른쪽), 바로 그 좁은 구간을 믿을 수 없다.

열린 질문

  1. 데이터만으로 비교의 상대 안정성을 진단할 수 있을까. 특히 나무 모델이나 특징 선택을 끼운 파이프라인처럼 학습 결과가 데이터에 매끄럽지 않게 반응하는 모델끼리 비교할 때.

이해 확인

벌점만 조금 다른 두 ST의 비교가 상대적으로 불안정해지는 까닭으로 맞는 것은?

  1. 비교의 손실 안정성 \(\gamma\)가 표본이 늘어도 줄지 않는다
  2. 두 ST 가운데 하나가 이미 상대적으로 불안정하다
  3. \(\gamma\)도 줄지만 분모 \(\sigma^2\)가 \(1/n^2\)로 더 빨리 줄어 \(n\gamma/\sigma^2\)가 커진다
  4. 참 \(\beta^\star\)에 0인 계수가 하나도 없다

비교의 \(\gamma\)는 절대 기준으로는 작아지지만(4절), 두 모델이 같은 답으로 수렴해 \(\sigma^2\)가 \(1/n^2\)로 줄기 때문에 비가 \(\sqrt n\) 이상으로 커진다(정리 3.1). 두 ST는 각자 안정하고(정리 3.2), 0인 계수가 없으면 오히려 비교가 안정하다(5절).

논문 정보