ICML 2026 Spotlight

Many Experiments, Few Repetitions, Unpaired Data, and Sparse Effects: Is Causal Inference Possible?

실험은 많고 반복은 적을 때, 짝 없는 자료로 인과 효과를 잴 수 있을까

실험별 평균끼리 회귀하면 실험을 아무리 늘려도 효과가 0 쪽으로 줄어 보이지만, 같은 실험의 반복을 둘로 나눠 곱하면 그 편향이 사라지고 효과가 희소하면 미지수가 식보다 많아도 식별된다는 것을 보인 ICML 2026 스포트라이트 논문

X를 잰 단위와 Y를 잰 단위가 서로 다르고, 실험은 수천 개인데 실험마다 반복은 몇 번뿐이다. 이런 자료에서 표준 이표본 도구변수 추정량이 왜 일관성을 잃는지, 반복을 나눠 곱하는 SplitUP이 어떻게 고치는지, 희소성이 식별을 어디까지 넓히는지 읽는다.

키워드

도구변수, 짝 없는 자료, 이표본 도구변수, 희소 추정, 멘델 무작위화

3줄 요약

• 실험 조건마다 어떤 단위에서는 공변량 \(X\)만, 다른 단위에서는 결과 \(Y\)만 재는 짝 없는(unpaired) 자료가 있다. 실험 조건을 도구변수(instrumental variable)로 보면 숨은 교란이 있어도 인과 효과 \(\beta^*\)를 식별할 수 있다(3장). 다만 실험은 많고 실험마다 반복이 몇 번뿐이면, 표준 이표본 도구변수(two-sample IV, TS-IV) 추정량은 \(\beta^* Q/(Q+b/\tilde r)\)로 수렴해 효과를 늘 0 쪽으로 줄여 잰다(보조정리 4.3).
• 원인은 분모의 측정 오차다. 실험마다 몇 번 잰 \(X\)의 평균에는 잡음이 남고, 그 제곱을 더하면 잡음도 제곱되어 분모에 쌓인다. 같은 실험의 \(X\) 반복을 둘로 나눠 서로 곱하면 잡음의 곱은 평균이 0이라 사라진다. 이렇게 만든 SplitUP은 반복 수를 고정하고 실험 수만 늘려도 일관적이다(정리 4.5).
• 효과가 희소하면 식보다 미지수가 많아도 된다. 가장 희소한 해가 참값이 될 필요충분조건을 영공간 조건으로 주고(정리 3.2, 3.4), \(\ell_1\) 벌점을 더한 SplitUP의 오차가 \(O_p(\sqrt{s^*/m})\)임을 보였다(정리 4.6). 증거는 정리와 모의실험, 그리고 짝을 일부러 지운 물리 장치 실험 하나다.

선정 이유

ICML 2026 스포트라이트 논문이다. 네 리뷰어가 모두 수락 쪽 점수(5, 6, 5, 5)를 줬고, 한 리뷰어는 하이라이트로 추천했다. 영역 의장은 1단계 교차공분산 자체는 일관되게 추정할 수 없어도 그 곱은 추정할 수 있다는 관찰을 높이 샀다.

1. 전후로 아는 것이 달라졌나. 달라졌다. 실험별 평균을 낸 뒤 평균끼리 회귀하는 방법은 짝 있는 자료와 짝 없는 자료 모두에서 흔히 쓰인다(1장). 이 논문은 그 방법이 정확히 TS-IV와 같고(부록 D), 실험 수가 늘고 반복이 고정된 영역에서는 일관성을 잃는다는 것을 보였다.
2. 새 질문을 여는가, 닫는가. 연다. “실험은 많고 반복은 적고 짝이 없다”는 설정을 추정 문제로 처음 정식화했고, 고차원 영역의 불확실성 정량화와 비선형 효과는 저자들도 남은 과제로 꼽았다(6장).
3. 일반화될 근거가 있나. 어느 정도 있다. 범주형 도구와 연속형 도구 모두에서 같은 결론이 나왔다(부록 I.3). 다만 인과 효과가 선형이라는 가정은 그대로다.
4. 증거가 주장만큼 강한가. 일관성과 수렴 속도는 증명했지만 하한(lower bound)은 없다. 실제 자료 실험은 효과가 하나뿐인 빛 터널 장치에서 짝을 일부러 지운 것이라, 생물학 자료에서의 성능은 아직 모른다.

왜 중요한가

유전자를 하나씩 끄는 교란 실험(perturbation screen)을 수천 번 한다고 하자. 알고 싶은 것은 유전자 발현 \(X\)가 세포 성장 같은 표현형 \(Y\)에 주는 효과다. 그런데 발현을 재려면 세포를 터뜨려야 하는 경우가 많아서, 발현을 잰 세포와 표현형을 잰 세포가 다르다(1장). 같은 실험 조건에서 나온 두 무리의 세포가 있을 뿐, 세포 단위로는 \(X\)와 \(Y\)의 짝이 없다. 실험실 세포의 약물 반응과 환자의 치료 결과를 잇는 연구도 같은 꼴이다.

(가) 짝 없는 자료

(나) 실험별 평균으로 본 감쇠

(가) 논문 표 1의 형식이다. 실험마다 몇몇 단위에서는 X만, 다른 단위에서는 Y만 잰다. (나) 실험 70개, 실험마다 X와 Y를 두 번씩 잰 모의 자료에서 실험별 평균을 찍었다. X 평균에는 실험 안의 잡음이 남아 점이 가로로 퍼지고, 평균끼리 회귀하면(파랑) 기울기가 참값(검은 점선)보다 완만해진다. 같은 실험의 X 반복을 둘로 나눠 서로 곱하면 분모에서 잡음의 제곱이 빠진다(주황 점선). 효과 β=1, 실험 평균의 분산 1, 실험 안 X의 분산 1로 둔 예시다.

숨은 교란 \(U\)가 \(X\)와 \(Y\)를 함께 움직이므로, 짝이 있어도 \(Y\)를 \(X\)에 회귀하면 편향되는데, 짝이 없으니 그 회귀조차 못 한다. 논문은 두 무리를 따로 둔다. 하나는 \((I, Y)\)만 보이고 다른 하나는 \((\tilde I, \tilde X)\)만 보인다. 구조식은 \(Y = X^\top\beta^* + \varepsilon\)이고(식 2.1), \(\varepsilon\)은 \(X\)와 상관되어도 된다. 두 가정이 다리를 놓는다(가정 1).

\[ \text{(i)}\ \ \mathrm{Cov}(\tilde I, \tilde X) = \mathrm{Cov}(I, X), \qquad \text{(ii)}\ \ \mathbb E[\varepsilon \mid I] = 0 \]

(ii)는 도구변수의 배제 제약(exclusion restriction)으로, 실험 조건이 \(X\)를 거치지 않고는 \(Y\)에 닿지 않는다는 뜻이다. (i)은 두 무리에서 실험 조건이 \(X\)를 같은 방식으로 움직인다는 뜻이고, 실험마다 \(X\)의 기댓값이 두 무리에서 같으면 충분하다(2.2절). 둘을 합치면 \(\mathrm{Cov}(I,Y) = \mathrm{Cov}(\tilde I,\tilde X)\beta^*\)가 되어(식 3.1), 좌변은 \(Y\) 무리에서, 우변의 행렬은 \(X\) 무리에서 추정할 수 있다. 부록 C는 두 가정 중 하나만 빠져도 같은 관측 분포를 내면서 효과가 다른 모형을 만들 수 있음을 보인다(정리 C.1).

실험 조건을 원-핫 벡터로 쓰면 고전적인 2단계 최소제곱이 “실험마다 \(X\)와 \(Y\)를 평균 내고, \(m\)개의 평균 쌍으로 회귀한다”는 절차와 같아진다. 이 절차는 짝을 쓰지 않으므로 짝 없는 자료에도 그대로 쓸 수 있고, 그것이 TS-IV다(1장, 부록 D). 고전 이론은 실험마다 관측이 무한히 많아질 때 이 추정량이 참값으로 간다고 보장한다. 하지만 실제로는 실험이 수천 개이고 실험마다 반복이 두세 번인 경우가 많다. 이 논문의 질문은 반복 수 \(r = n/m\)을 고정하고 실험 수 \(m\)만 늘릴 때 무엇이 가능한가다.

핵심 아이디어

직관: 잡음을 제곱하지 말 것

효과가 하나뿐(\(d=1\))이고 실험마다 \(X\)를 \(r\)번 잰다고 하자. 실험 \(e\)의 \(X\) 평균은 \(\bar X_e = \mu_e + \eta_e\)이고, \(\eta_e\)의 분산은 \(\sigma^2/r\)이다. TS-IV의 분자 \(\sum_e \bar X_e \bar Y_e\)에서는 \(X\) 무리의 잡음과 \(Y\) 무리의 잡음이 서로 독립이라 곱이 평균 0으로 사라진다. 그런데 분모 \(\sum_e \bar X_e^2\)에는 \(\sum_e \eta_e^2\)이 남는다. 이 값은 실험이 늘수록 신호 \(\sum_e \mu_e^2\)와 같은 속도로 커지므로, 비율이 1로 돌아오지 않는다. 측정 오차가 낳는 고전적인 감쇠 편향(attenuation bias)이다.

블로그의 해석으로 셈을 해 보면, 실험마다 반복 수가 같은 균형 설계에서는 TS-IV가 \(\beta^* \cdot Q/(Q + \sigma^2/r)\)로 간다. \(Q\)는 실험 평균들의 분산, 곧 실험 조건이 \(X\)를 얼마나 크게 흔드는가다. 반복이 2번이고 \(Q = \sigma^2\)이면 효과를 3분의 2로 잰다. 논문의 보조정리 4.3은 관측마다 실험 조건을 독립으로 뽑는 설정에서 같은 꼴 \(\beta^* Q/(Q + b/\tilde r)\)를 증명했다. \(b\)는 1단계 공분산 추정의 잡음 크기 \(\mathrm{tr}(\Sigma_{IX})\)의 극한이고, 반복 수 \(\tilde r = \tilde n/m\)이 무한대로 가야 편향이 사라진다.

짝 있는 자료에서도 실험이 많으면 2단계 최소제곱은 편향된다. 하지만 그때는 분자의 \(\widehat{\mathrm{Cov}}(I,\varepsilon)\)이 0으로 가지 않아서 생기는, 교란된 최소제곱 쪽으로 끌리는 편향(many-instrument bias)이다(4.2절). 짝 없는 자료의 편향은 분모에서 생기고 효과를 0 쪽으로 줄인다. 원인도 방향도 다르다.

방법: 반복을 나눠 서로 곱한다

고치는 방법은 간단하다. \(X\) 무리를 \(K \ge 2\)개 묶음으로 나누고, 분모를 서로 다른 묶음끼리의 곱으로만 만든다(4.2절).

\[ C_{XX} = \frac{m}{K(K-1)} \sum_{k \ne h} \widehat{\mathrm{Cov}}_h(\tilde I, \tilde X)^\top \widehat{\mathrm{Cov}}_k(\tilde I, \tilde X), \qquad C_{XY} = m\, \widehat{\mathrm{Cov}}(\tilde I, \tilde X)^\top \widehat{\mathrm{Cov}}(I, Y) \]

SplitUP은 \(C_{XY} - C_{XX}\beta\)를 0에 가깝게 하는 \(\beta\)다. 묶음 \(A\)와 \(B\)의 오차 \(E_A\), \(E_B\)는 독립이라 \(E_A^\top E_B\)가 0으로 가고, 분모에서 잡음의 제곱이 빠진다. 범주형 도구라면 같은 실험의 반복을 두 묶음에 나눠 담는 셈이다. 위 그림 (나)에서 평균끼리 회귀한 기울기는 0.57이었지만, 같은 자료의 \(X\) 반복을 나눠 곱하면 1.00이 된다.

나누는 방법이 무작위라 분산이 늘어나므로, 저자들은 여러 번 나눈 결과를 평균한다. 모든 나눔을 평균한 극한은 닫힌 꼴이다(4.3절 끝, 부록 F).

\[ \lim_{H\to\infty}\frac1H\sum_{h=1}^H C_{XX}(A_h, B_h) = \frac{\tilde n}{\tilde n - 1}\big\lVert \widehat{\mathrm{Cov}}(\tilde I,\tilde X)\big\rVert_F^2 - \frac{1}{\tilde n(\tilde n-1)}\sum_{i=1}^{\tilde n} \lVert \tilde I_i \tilde X_i^\top \rVert_F^2 \]

늘 쓰던 제곱합에서 관측 하나가 자기 자신과 곱해진 항만 빼는 보정이다. 블로그의 해석으로는 U-통계량의 대각선을 빼는 것과 같고, 반복이 2번일 때 범주형 자료에서는 \(\bar X_e^2\) 대신 두 측정값의 곱 \(X_{e1}X_{e2}\)를 쓰는 것과 같다. 그래서 범주형 도구라면 실험마다 \(X\)를 두 번 이상 재야 한다. \(Y\) 쪽은 한 번이어도 된다는 것이 저자들의 심사 답변이다.

수식: 희소한 효과의 식별과 수렴 속도

공변량이 많으면 또 다른 벽이 있다. 모멘트 식 \(\mathrm{Cov}(I,Y) = \mathrm{Cov}(I,X)\beta\)에서 식의 수는 행렬의 계수이고, 미지수는 \(d\)개다. 계수가 \(d\)보다 작으면 해가 무수히 많다(명제 3.1). 그런데 인과 효과가 \(s^*\)개 성분에서만 0이 아니라면, 해 가운데 가장 희소한 것을 고를 수 있다.

정리 3.2 (희소한 효과의 식별). 가정 1 아래에서, 0이 아닌 성분이 \(s^*\)개 이하인 모든 \(\beta^*\)에 대해 가장 희소한 해가 \(\beta^*\) 하나뿐일 필요충분조건은 \(\ker(\mathrm{Cov}(I,X)) \cap \Sigma_{2s^*} = \{0\}\)이다. \(\Sigma_t\)는 0이 아닌 성분이 \(t\)개 이하인 벡터의 모임이다. 특히 \(m \ge \min(d, 2s^*)\)가 필요하다.

\(2s^*\)인 까닭은 두 희소 해의 차가 영공간에 들어가고, 그 차의 성분이 \(2s^*\)개까지 될 수 있어서다. 압축 센싱(compressed sensing)의 영공간 조건을 그대로 옮긴 꼴이다. 실험 수가 무한대로 가는 경우에는 \(Q = \lim_m m\,\mathrm{Cov}(\tilde I,\tilde X)^\top \mathrm{Cov}(\tilde I,\tilde X)\)에 대해 같은 조건이 성립한다(정리 3.3, 3.4).

(가) 미지수 둘, 식 하나

(나) 미지수 셋, 식 둘

효과가 하나뿐인(s=1) 경우의 식별. 모멘트 식 Cov(I,Y)=Cov(I,X)β의 해는 참값에 영공간 방향을 더한 직선이다. (가) 식이 하나면 이 직선이 두 축을 모두 지나, 0이 아닌 성분이 하나인 해가 둘 생긴다. (나) 식이 둘이고 영공간 방향의 성분이 셋 모두 0이 아니면, 직선이 축과 만나는 곳은 참값뿐이다. 가장 희소한 해가 참값이 되려면 성분 2s개 이하인 영공간 벡터가 없어야 한다는 정리 3.2의 조건을 작은 차원에서 그린 개념도다.

추정은 SplitUP의 모멘트에 \(\ell_1\) 벌점을 더해서 한다. 제한 고윳값(restricted eigenvalue) 조건(가정 5)과 \(\lambda_m \asymp 1/\sqrt m\) 아래에서

\[ \big\lVert \hat\beta^{\mathrm{SplitUP}}_{\ell_1} - \beta^* \big\rVert_2 = O_p\Big(\sqrt{s^*/m}\Big) \]

이고, 0이 아닌 성분이 일정 크기 이상이면 지지집합도 맞힌다(정리 4.6). 실험 수가 고정된 경우의 \(\ell_1\) 벌점 GMM(UP-GMM)은 \(O_p(\sqrt{s^*/N})\)이고(정리 4.2), 선택한 지지집합에서 다시 적합하면 점근 정규성과 신뢰구간을 얻는다(정리 E.1). 여기서 희소성은 \(d \to \infty\)라는 뜻의 고차원이 아니다. \(d\)는 고정되어 있고, 희소성은 식보다 미지수가 많은 식별 문제를 풀려고 쓴다(3장).

결과 해설

실험만 늘려서는 TS-IV가 고쳐지지 않는다. 그림 1은 실험 수 \(m\)을 50개에서 3,200개까지, 실험당 관측 수를 2에서 32까지 바꾼 오차 지도다(설정 2, 효과 2개, 10번 반복). TS-IV의 오차는 행마다 거의 일정해서, 실험을 늘려도 줄지 않고 반복을 늘려야만 준다. SplitUP은 어느 행에서나 오른쪽으로 갈수록 오차가 준다. 다만 실험 50개, 반복 2번인 칸에서는 SplitUP이 TS-IV보다 나쁘다. 그림 3에서도 반복 수가 4에서 32 사이 어느 값이든 TS-IV와 UP-GMM은 일정한 오차에서 멈추고, SplitUP만 0으로 내려간다.

아래 그림은 같은 현상을 작은 모의실험으로 다시 본 것이다. 반복 2번에서 실험을 1만 개까지 늘려도 평균끼리 회귀한 값은 0.67에 머물고, 나눠 곱한 값은 1로 모인다. 대신 실험이 20개일 때는 나눠 곱한 값의 10~90 백분위수 폭이 0.57에서 1.83까지 넓다. 편향을 없앤 대신 분산을 치르는 셈이다.

(가) 실험을 늘릴 때

(나) 반복을 늘릴 때

부록 H.1과 같은 꼴의 균형 설계(효과 하나, β=1)에서 두 추정량을 계산한 값. 실험 평균의 분산 Q=1, 실험 안 X의 분산 σ²=1이고, 교란 U가 X와 Y에 함께 들어간다. 평균끼리 회귀는 TS-IV와 같고(부록 D), 나눠 곱하기는 같은 실험의 X 반복을 두 묶음으로 나눈 SplitUP이다. (가) 반복 2번에서 실험 수를 늘렸다. 선은 중앙값, 띠는 10~90 백분위수(실험 1,000개 이하는 400번, 그보다 크면 120번 반복). 평균끼리 회귀는 Q/(Q+σ²/r)=0.67 근처로 모이고, 나눠 곱하기는 1로 모이지만 실험이 적을 때는 더 크게 흔들린다. (나) 실험 2,000개에서 반복 r을 늘렸다(60번 반복의 중앙값).

희소성이 필요한 설정. 설정 1은 실험 100개에 공변량 200개, 효과는 10개만 0이 아니다(부록 H.3). 행렬의 계수가 공변량 수보다 작아 벌점 없는 TS-IV는 표본이 커져도 오차가 남지만, \(\ell_1\) 벌점을 쓴 두 추정량은 참값으로 간다(그림 10). 분모 편향이 없는 이 설정에서는 UP-GMM이 조금 낫다. 설정 3은 실험 수가 늘면서 1단계가 계수 60인 저계수 구조를 갖는 경우다(공변량 100개, 효과 10개). 두 문제가 겹치자 SplitUP(\(\ell_1\))만 오차가 계속 준다(그림 4). TS-IV는 중간 표본 크기에서 오차가 치솟는데, 저자들은 실험 수가 공변량 수에 가까워질 때 잡음 행렬의 작은 특잇값이 증폭된다는 가설로 설명한다(부록 J).

물리 장치 실험. 인과 실험실(Causal Chambers, Gamella 외 2025)의 빛 터널은 컴퓨터로 조작하는 광원과 센서로 된 장치다(5.2절). 광원의 빨간색 세기가 숨은 교란 \(U\), 두 적외선 센서가 \(X\)와 \(Y\), 상류 적외선 LED 세기가 도구다. \(X\)가 \(Y\)에 주는 효과는 제어기가 \(X\)를 읽어 다른 LED 세기를 \(0.0625 \cdot X\)로 정하게 해서 만들었다(부록 H.4). 원래 짝이 있는 자료에서 관측마다 \(X\)나 \(Y\) 하나를 지워 짝을 없앴고, 기록해 둔 \(U\)로 보정한 값을 정답으로 쓴다. 실험당 8번 반복하고 실험 수를 25개에서 750개까지 늘리자 SplitUP의 오차는 줄고 TS-IV와 UP-GMM은 줄지 않았다(그림 5).

의심해볼 점

• 증거의 무게는 모의실험에 있다. 실제 자료는 효과 하나(\(d=1\)), 장치가 만든 선형 효과, 일부러 지운 짝이라는, 이론에 가장 유리한 조건이다. 저자들도 비선형성과 배제 제약 위반이 거의 없음을 확인했다(부록 H.4). 동기로 든 유전자 교란 실험 자료의 평가는 저자들이 준비 중이라고만 답했다.
• 가정 1이 실제로 성립할까. 유전자 하나를 끄면 측정하지 않은 다른 유전자를 거쳐서도 표현형이 바뀔 수 있다. 그러면 배제 제약이 깨진다. 발현을 잰 세포와 표현형을 잰 세포가 실험 조건에 같은 방식으로 반응한다는 가정 (i)도 실험 환경이 다르면 깨진다. 부록 C.2의 민감도 분석은 위반이 커질수록 오차가 매끄럽게 커진다는 것을 보여 주지만, 얼마나 작은 위반까지 견디는지를 이론으로 묶지는 않았다.
• 고차원 영역의 신뢰구간이 없다. 4장 첫머리는 SplitUP을 “일관적이고 점근 정규인” 추정량이라고 소개하지만, 증명된 것은 일관성(정리 4.5)과 오차 속도(정리 4.6)까지다. 점근 정규성과 신뢰구간은 실험 수가 고정된 경우에만 있다(명제 K.1, 정리 E.1). 저자들도 고차원의 불확실성 정량화를 남은 과제로 적었다(6장). 실험이 많고 반복이 적은 바로 그 영역에서 효과가 0인지 검정할 도구가 아직 없다.
• 반복이 아주 적을 때의 분산. 그림 1에서 실험 50개, 반복 2번인 칸의 SplitUP 오차가 TS-IV보다 크다. 실험이 몇 개면 SplitUP이 이기는지는 수렴 속도에 상수가 없어 정리에서 읽을 수 없다.
• 멘델 무작위화 문헌과의 거리. 블로그의 해석으로는, 닫힌 꼴의 보정(분모의 제곱합에서 자기 곱을 빼기)은 요약 통계 멘델 무작위화에서 약한 도구 편향을 고치려고 분모에서 추정 분산을 빼는 방법과 닮았다. 논문은 이 갈래에서 MR-RAPS(Zhao 외 2020)를 인용하지만 편향 보정 IVW(Ye, Shao, Kang 2021)와의 비교는 없다. 새로움은 개별 관측 자료, 범주형 실험 조건, 희소 효과를 한 틀에 묶은 데 있다고 보는 편이 정확하다.

리뷰어들이 짚은 점

• 선형성. 두 리뷰어가 선형 모형에 기대는 점을 물었다. 저자들은 \(X\)가 \(Y\)에 주는 효과만 선형이고 1단계와 교란은 비선형이어도 된다고 답했고, 알려진 특징 변환 \(\phi(X)\)를 쓰면 비선형 효과로 넓힐 수 있다고 했다.
• 신뢰구간의 실제 포함률. 한 리뷰어의 요청에 저자들은 실험 수가 고정된 설정에서 95% 신뢰구간의 포함률을 보고했다. 전체 표본 400에서 33%, 3,200에서 90%, 6,400에서 94%였다. 표본이 작으면 구간이 실제보다 좁다.
• 벌점 고르기. 짝이 없으면 예측 오차로 교차 검증을 할 수 없다. 저자들은 잔차가 잡음으로 설명되는 가장 큰 \(\lambda\)를 부트스트랩으로 고르는 규칙을 최종본에 넣었다(부록 I.5). 설정 3에서는 손으로 정한 벌점과 비슷한 성능을 냈다(그림 15).

노트원문 검산 메모

• 적률 조건의 부등호. 보조정리 4.3과 그 증명은 \(\sup_m \mathbb E[\lVert IX - c\rVert_2^4] \leqslant \infty\)라고 적는데, 유계라는 뜻이므로 \(< \infty\)여야 한다.
• 가중 노름 표기. 각주 2는 \(\lVert a\rVert_W := a^\top W a\)로 정의하지만 가정 3(iii)과 가정 5(iv)는 \(\lVert\cdot\rVert_W^2\)를 쓴다. 정의를 따르면 제곱이 두 번 들어간다. \(\lVert a\rVert_W^2 := a^\top W a\)로 읽으면 맞는다.
• 가중 행렬의 방향. 4.2절의 SplitUP은 \(\hat g^\top W_N^{-1} \hat g\)를, 4.3절의 \(\ell_1\)판은 \(\lVert W_m^{1/2}(\cdot)\rVert^2\)을 최소화해 가중 행렬을 쓰는 방향이 서로 반대다. 본 실험은 단위 가중을 써서(5장) 결과에는 영향이 없다.

계보

• 이표본 도구변수. Angrist, Krueger(1992, 1995)가 도구와 공변량, 도구와 결과를 서로 다른 표본에서 얻는 이표본 IV와 표본 분할 IV를 냈고, Inoue, Solon(2010)이 추정량을 정리했다. 유전학에서는 유전 변이를 도구로 쓰는 이표본 멘델 무작위화(Mendelian randomization)가 같은 구조다(Hartwig 외 2016, Zhao 외 2020).
• 많은 도구와 약한 도구. Bekker(1994)의 많은 도구 점근론과 Staiger, Stock(1997)의 약한 도구 이론이 도구 수가 표본과 함께 느는 영역을 다뤘다. 저자들은 그 영역의 짝 없는 판이 거의 다뤄지지 않았다고 본다.
• 희소한 인과 효과. Pfister, Peters(2022)는 짝 있는 자료에서 도구 수보다 공변량이 많아도 희소한 효과를 식별하는 조건과 spaceIV를 냈고, Huang 외(2024)가 요약 자료로 옮겼다. 이 논문은 짝 없는 자료에서 가장 희소한 해의 식별 조건과 \(\ell_1\) 추정의 수렴 속도를 준다.

열린 질문

1. 실험마다 X를 한 번만 잰 실험이 섞여 있을 때. 반복 수가 실험마다 다르고 상당수가 한 번뿐인 불균형 설계에서, 측정 오차 편향을 지우면서 한 번뿐인 실험의 정보도 버리지 않는 추정량을 만들 수 있을까.
2. 실험이 많고 반복이 적은 영역의 추론. SplitUP에 대해 점근 정규성이나 유효한 신뢰구간을 얻을 수 있을까. 그리고 실험 수가 몇 개일 때부터 편향 제거의 이득이 분산 증가를 넘어설까.
3. 실제 교란 실험에서의 검증. 대규모 유전자 교란 실험의 발현 자료와 별도로 잰 표현형 자료를 이을 때, 배제 제약 위반을 어떻게 진단하고 결과를 어디까지 믿을 수 있을까.

이해 확인

1. 실험마다 X와 Y를 두 번씩 잰 짝 없는 자료에서 실험 수를 1만 개로 늘렸다. 실험별 평균끼리 회귀한 추정값(TS-IV)은 어떻게 되는가?

1. 실험이 늘수록 표준오차가 줄어 참값으로 간다
2. 숨은 교란 때문에 교란된 최소제곱 쪽으로, 곧 참값보다 크게 끌린다
3. 분모에 X 평균의 잡음 제곱이 쌓여, 참값보다 0에 가까운 값에서 멈춘다
4. 짝이 없으므로 값이 정해지지 않고 실행마다 크게 달라진다

X 무리와 Y 무리의 잡음은 서로 독립이라 분자에서는 사라지지만, 분모의 제곱합에는 X 평균의 잡음 제곱이 신호와 같은 속도로 쌓인다. 그래서 β*Q/(Q+b/r̃)로 수렴한다(보조정리 4.3). 교란된 최소제곱 쪽으로 끌리는 것은 짝 있는 자료의 많은 도구 편향이다(4.2절).

2. SplitUP이 X 무리를 두 묶음으로 나눠 분모를 묶음끼리의 곱으로 만드는 까닭은?

1. 표본을 반으로 줄여 계산량을 줄이려고
2. 두 묶음의 추정 오차가 독립이라 그 곱의 평균이 0이어서, 분모에 잡음의 제곱이 남지 않게 하려고
3. 한 묶음으로 효과를 추정하고 다른 묶음으로 검증해 과적합을 막으려고
4. 두 묶음에서 실험 조건이 X를 같은 방식으로 움직인다는 가정 1(i)을 시험하려고

분모를 같은 추정값의 제곱으로 만들면 E^T E가 0으로 가지 않지만, 독립인 두 묶음의 곱 E_A^T E_B는 0으로 간다(4.2절). 모든 나눔을 평균하면 제곱합에서 관측마다 자기 자신과의 곱을 빼는 닫힌 꼴이 된다(부록 F). 그래서 범주형 도구에서는 실험마다 X를 두 번 이상 재야 한다.

**3. 공변량이 3개, 인과 효과는 그중 하나에서만 0이 아니고(s*=1), 모멘트 식이 2개다. 정리 3.2에 따르면 가장 희소한 해가 참값 하나로 정해질 조건은?**

1. 식의 수가 공변량 수 이상이어야 하므로 이 경우는 불가능하다
2. 식의 수가 s*보다 크기만 하면 언제나 된다
3. Cov(I,X)가 정방 행렬이고 역행렬이 있어야 한다
4. Cov(I,X)의 영공간에 0이 아닌 성분이 2개 이하인 벡터가 0벡터 말고 없어야 한다

두 희소 해의 차는 영공간에 들고 성분이 2s개까지 될 수 있으므로, 영공간이 Σ_2s와 0에서만 만나야 한다(정리 3.2). 식 2개는 필요조건 m ≥ min(d, 2s*) = 2를 채우지만 그것만으로는 충분하지 않다. 공변량 수 이상의 식이 필요한 것은 효과가 희소하지 않을 때다(명제 3.1).

논문 정보

• 제목: Many Experiments, Few Repetitions, Unpaired Data, and Sparse Effects: Is Causal Inference Possible?
• 저자: Felix Schur (ETH Zurich), Niklas Pfister (Lakera AI), Peng Ding (UC Berkeley), Sach Mukherjee (DZNE, University of Bonn, MRC Biostatistics Unit), Jonas Peters (ETH Zurich)
• 학회: ICML 2026 Spotlight
• 링크: arXiv 2601.15254, OpenReview, 코드