NeurIPS 2025 Oral
ImageNet으로 학습한 CNN은 질감보다 부분 모양에 기댄다
질감 편향, 특징 의존, 사람과 모델 비교
한 줄 요약
ImageNet으로 학습한 CNN이 질감(texture)에 치우쳐 있다는 통념은 모양과 질감을 맞붙여 하나를 고르게 하는 시험에서 나왔다. 단서를 하나씩 지우고 정확도가 얼마나 남는지 재 보니, 기본 증강만 쓴 ResNet50은 질감보다 부분 모양(local shape)을 지울 때 훨씬 크게 무너졌고 이 의존은 학습법을 바꾸면 크게 줄었다.
무엇이 달라졌나
Geirhos 외(2019)는 신경 스타일 전이(neural style transfer)로 한 범주의 모양에 다른 범주의 질감을 입힌 이미지를 보여 주고, CNN은 질감 쪽으로 사람은 모양 쪽으로 답한다고 보고했다. 이 단서 충돌(cue-conflict) 시험은 이후 특징 편향을 재는 사실상의 표준이 됐다(3절). 이 논문은 설계에 세 가지 문제가 있다고 본다(3절). 합성한 질감에는 색과 윤곽, 부분 실루엣이 섞여 있다. 질감이 배경까지 덮으니 공간 전체의 통계를 모으는 CNN에는 질감 쪽 신호가 커진다. 사람은 실루엣 아이콘 버튼으로 답해 모양 쪽으로 기울 수 있다. 무엇에 더 끌리는지와 무엇에 기대는지를 섞는다는 점도 짚는다(1절).
(가) 단서 충돌: 둘 중 하나를 고르게 한다
(나) 통제된 억제: 하나씩 지우고 잰다
사람 20명과 모델 12개가 같은 이미지 800장을 보았다(5.1절). 기본 학습 ResNet50은 질감을 지워도 정확도의 80%를, 전체 모양을 흐트러뜨려도 83%를 지켰지만 부분 모양을 지우자 28%만 남겼다(표 3). 사람도 부분 모양을 지울 때 가장 많이 잃었지만 76%를 남겼다. 같은 구조를 최신 학습법으로 학습하면 62%, ConvNeXtV2는 65%다(표 3). 저자들은 단서 충돌 시험에서 질감 편향으로 보였던 행동이 실은 부분 모양 의존이었을 수 있다고 결론짓는다(5.1절).
어떻게 보였나
단서마다 그 단서만 깎는 변환을 두 가지씩 정했다(4절, 표 1). 모양은 이미지를 격자로 잘라 조각 자리를 섞거나(Patch Shuffle) 조각을 돌리고, 질감은 윤곽을 살리면서 잔무늬를 뭉개는 양방향 필터(bilateral filter)나 가우시안 흐림으로, 색은 회색조 변환이나 채널 섞기로 지운다. 변환이 겨냥한 단서만 깎는지는 ImageNet 검증 이미지 800장에서 질감 지표와 모양 보존 지표로 따졌다(4.1절, 표 2). 사람에게는 이미지를 200ms만 보여 준 뒤 잡음으로 가렸고, 답은 범주 이름을 알파벳순으로 늘어놓은 4×4 격자에서 고르게 했다(5.1절). 아이콘 대신 이름을 쓴 셈이다.
학습법만으로 다 풀리지는 않는다. EfficientNet과 MobileNet 계열, ConvMixer는 개선된 학습법으로 만든 체크포인트인데도 부분 모양 값이 0.22에서 0.44에 머물렀다(5.1절, 표 3). ViT는 최신 학습 ResNet50과 거의 같은 모습이라 트랜스포머가 본래 모양을 더 본다는 생각과도 맞지 않았고, 사람과 가장 가까운 모델은 이미지와 글을 함께 학습한 CLIP ViT였다(5.1절).
영역을 바꾸면 기대는 단서도 바뀐다(5.2절). 영역마다 데이터셋 다섯 개로 ResNet50을 학습시키고 지우는 세기를 키워 가며 견주니, 일반 사진 모델은 조각 섞기에, 의료 영상 모델은 회색조 변환에, 원격 탐사 모델은 양방향 필터에 가장 민감했다(그림 4, 그림 5). 저자들은 색이 진단 단서인 병리와 피부 영상, 논밭과 주거지처럼 무늬로 정해지는 토지 범주를 까닭으로 든다.
눈여겨볼 점
단서마다 지운 세기가 같지 않다. 양방향 필터는 질감 지표를 원본의 절반쯤(국소 분산 0.548, 고주파 에너지 0.493) 남기지만, 6×6 조각 섞기는 모양 지표를 0.176까지 떨어뜨린다(표 2). 한 리뷰어도 질감을 지운 이미지에 질감이 꽤 남아 보인다고 짚었다(OpenReview). 블로그의 해석: 부분 모양을 지울 때 더 많이 잃는다는 비교에는 더 세게 지운 몫이 섞일 수 있다. 같은 변환을 영역끼리 견준 5.2절의 비교가 단서끼리 순위를 매긴 비교보다 단단하다.
조각 섞기는 블록 경계라는 새 무늬도 만든다. 원본에 8×8 격자의 경계선만 덧그려도 두 ResNet50의 값은 0.54와 0.55에 그쳤고, 실제로 섞으면 0.07과 0.34였다(부록 J, 표 8). 섞기의 효과가 더 크지만, 부분 모양 의존으로 읽은 값에 낯선 경계에 대한 민감도가 섞여 있을 수 있다. 질감 편향이 부분 모양 의존이었다는 해석도 단서 충돌 시험을 고쳐 다시 돌려 본 결과가 아니라 두 시험을 나란히 놓고 한 추론이다.
열린 질문
- 단서 충돌 이미지에서 배경의 질감과 질감 속 부분 모양을 따로 걷어 내면, 같은 모델의 질감 편향 점수는 지우기 시험의 결과와 맞아떨어질까.
이해 확인
논문이 단서 충돌 시험에서 CNN이 질감 쪽으로 답한 결과를 부분 모양 의존으로 다시 읽는 근거로 가장 알맞은 것은?
- 질감을 지운 CNN이 전체 모양을 흐트러뜨린 CNN보다 정확도를 훨씬 많이 잃었다
- 합성한 질감에 다른 범주의 부분 모양과 색이 섞여 있고, 부분 모양을 지우면 CNN의 정확도가 가장 크게 떨어졌다
- 같은 ResNet50 구조는 학습법을 바꿔도 부분 모양을 지웠을 때 남는 정확도가 그대로였다
- 사람도 부분 모양을 지우면 기본 학습 ResNet50만큼 정확도를 잃었다
기본 학습 ResNet50은 질감을 지워도 80%, 전체 모양을 흐트러뜨려도 83%를 지켜 1번은 틀렸다. 같은 구조가 학습법에 따라 28%에서 62%로 바뀌니 3번도 틀렸고, 사람은 76%를 남겨 4번도 틀렸다(표 3). 3절은 합성 질감에 부분 모양과 색이 섞여 있다고 짚고, 5.1절은 부분 모양을 지울 때 가장 크게 무너진다는 결과와 이를 잇는다.
논문 정보
- 제목: ImageNet-trained CNNs are not biased towards texture: Revisiting feature reliance through controlled suppression
- 저자: Tom Burgert (BIFOLD and TU Berlin), Oliver Stoll (BIFOLD and TU Berlin), Paolo Rota (University of Trento), Begüm Demir (BIFOLD and TU Berlin)
- 학회: NeurIPS 2025 구두 발표(Oral)
- 링크: arXiv, OpenReview, 코드