UMUD 챌린지 ⑬ — 관문은 어디까지 믿을 수 있나: 사흘 동안 닫은 증강·자기학습·스타일 전이

⑫편은 “0.02의 벽은 상수를 다듬어서 넘을 높이가 아니다”로 끝났습니다. 그 뒤 사흘(10/28~10/30) 동안은 상수 대신 학습 쪽을 건드렸습니다. 좁은 화면을 흉내 내는 증강, 테스트 영상으로 만든 의사 라벨 자기학습, 다른 장비 영상의 스타일을 입히는 주파수 영역 증강, 그리고 대조군으로 둔 단순 이어 학습입니다. 결과부터 말하면 public 최고점은 0.20950에서 0.20943으로 0.00007 줄었고, 순위는 10위 그대로입니다. 이번 글에서 더 중요한 수확은 점수가 아니라 내부 판정 도구, 곧 관문을 언제 믿어도 되는지에 대한 답입니다.

대회 진행 중이라 코드와 대회 이미지는 싣지 않습니다. 그림은 제출 기록 숫자로 직접 그린 도표입니다. “추정”이라고 적은 것은 실측이 아니라 해석입니다.

1. 10/28: 측정 규칙 축을 모두 닫다

10/28 하루는 GPU 없이 측정 규칙만 시험했습니다. 근막 수렴각을 FL 계산에 넣는 가설 4개, 구성원 합치기 방식(Hodges–Lehmann, 가중 중앙값), PA를 잴 근섬유 조각의 깊이와 길이, MT를 잴 열의 위치, 그리고 화면 폭으로 잘라 만든 “100% 외삽” 모사 세트 위에서 FL 다발 선택 규칙 3개를 봤습니다.

판정 기준은 모두 계산 전에 적어 두었습니다. 통과한 것은 하나도 없었습니다. 몇 가지는 숫자보다 이유가 더 쓸모 있었습니다.

• 근막 수렴각은 이미 들어가 있었습니다. 직선 외삽 자체가 수렴을 반영하므로 더 넣어도(+0.017~+0.125), 빼도(+0.042~+0.158) 손해였습니다.
• MT 열 위치는 빈 축이었습니다. 근막 가장자리를 1차 직선으로 맞추기 때문에 대칭인 열들의 평균이 가운데 열 값과 수학적으로 같습니다. 10개 구성원을 다시 재 봐도 최대 차이가 $2\times10^{-14}$mm였습니다.
• PA 조각 깊이는 지금 값이 국소 최적이었습니다. 더 깊게 잡으면 +0.008, 중간 근복만 쓰면 +0.005 나빠졌습니다.
• 외삽 모사 세트에서 “외삽 길이가 가장 짧은 다발 3개”를 고르는 규칙은 한 세트에서 FL 편향을 +2.47mm에서 +0.62mm로 줄였지만, 다른 세트에서는 편향을 −1.07mm로 뒤집었습니다. 한쪽에서 고친 편향이 다른 쪽 편향을 만드는 전형적인 경우입니다.

같은 날 public 칸 다섯 개로 축척 탐침도 했습니다. 문제 화면의 축척을 한 방향으로 바꾸면 +0.0014, 반대 방향이면 +0.0035로 양쪽 다 손해였습니다. 지금 축척이 맞다는 뜻입니다. 축척을 건드리지 않은 판 하나가 0.20950으로 최고점을 0.0004 줄였지만, 잡음 폭이라 최종 후보로는 올리지 않았습니다.

2. 관문은 어디서 맞고 어디서 틀리나

⑨편부터 쓰는 관문은 과거 제출 기록에 맞춘 영상별 오차 모형입니다. 새 판의 테스트 예측을 넣으면 public Δ를 미리 추정해 줍니다. 하루 5칸뿐인 제출을 아끼려고 만든 장치이고, ⑪편에서 이미 “구성원 교체에서는 낙관적”이라는 한계를 봤습니다. 이번 사흘에는 관문과 실제 public을 나란히 놓을 수 있는 점이 여러 개 쌓였습니다.

속이 빈 점은 관문 예측, 채운 점은 public 실제다. 기준판(tel12fl85) 대비 Δ이고 오른쪽일수록 나쁘다. 점선이 0이다

판	바꾼 것	관문 예측	public 실제
짧은 화면 FL 규칙	새 측정 규칙	−0.0013 (24판 중 20판 개선)	+0.0025
ori 교체: 대조 학습	구성원 교체	+0.0145	+0.0142
ori 교체: 좁은 FOV	구성원 교체	+0.0117	+0.0209
ori+mt 교체: 좁은 FOV	구성원 교체	+0.0122	+0.0209
이어 학습 (mt 1판)	구성원 교체	−0.0011 (24/24)	−0.0005

정리하면 이렇습니다.

• 구성원을 바꾸는 판에서는 부호가 맞았습니다. 크기는 들쭉날쭉했습니다. 좁은 FOV 판에서는 오히려 과소(+0.012 예측, +0.021 실제)였고, 이어 학습에서는 과대(−0.0011 예측, −0.0005 실제)였습니다. 대략 “부호는 믿고 크기는 절반에서 두 배”로 읽는 것이 맞습니다.
• 과거 제출에 없던 새 축에서는 부호까지 틀렸습니다. 화면별 FL 규칙처럼 관문이 학습한 적 없는 종류의 변화는 관문이 사실상 예측력이 없습니다. 10/28 사례(−0.0006 예측, +0.0009 실제)까지 합치면 이런 부호 반전이 세 번째입니다.

그래서 운영 규칙을 바꿨습니다. 관문만으로 근거를 세운 새 축 판은 “근거 약함”으로 표시하고, 로컬 평가 세트에서 직접 판정되는 변경을 먼저 냅니다. 반대로 구성원 교체 판은 관문이 크게 나쁘다고 하면 그대로 믿고 제출하지 않습니다.

3. 좁은 FOV 증강: 로컬은 좋았고 public은 크게 나빴다

테스트 영상의 상당수는 화면 폭이 3.4~5.8cm로 좁아서 근섬유가 거의 다 화면 밖으로 나갑니다. 학습 영상은 대부분 화면이 넓습니다. 그렇다면 학습 때 화면을 좁게 잘라 보여 주면 테스트에 강해지지 않을까, 하는 가설이었습니다.

먼저 “확률 맵을 잘라 흉내 낸 세트”와 “실제로 좁게 잘라 다시 추론한 세트”를 비교했습니다. 실제로 자른 쪽이 훨씬 나빴습니다(한 구성원 단독 +0.016, 한 세트에서 +0.042). 앞서 만든 모사 세트가 낙관적이었던 것입니다.

그다음 증강을 켠 판과 끈 판을 같은 조건으로 학습해 짝 비교했습니다.

• 짝 안에서는 증강이 이겼습니다. 세 짝 모두 로컬 6세트 평균이 좋아졌습니다(seed 0 짝 −0.0049).
• 그런데 같은 seed로 다시 학습해도 원본이 재현되지 않았습니다. 원본과 대조판의 측정 차이가 한 세트에서 PA 1.27°, FL 8.3mm였습니다. 증강 효과(약 −0.006~−0.015)보다 seed 차이(단일 구성원 점수 0.54~0.66)가 더 컸습니다.
• 로컬 판정은 통과했고 관문은 불통과였습니다. 이 사이를 public으로 확인했습니다. 결과는 위 표대로 +0.014~+0.021, 전부 크게 악화였습니다. 짝 안 효과도 public에서는 반대였습니다(증강 − 대조 = +0.0068).

여기서 얻은 결론은 두 가지입니다.

1. 로컬 세트는 구성원 교체를 판정하는 대리로 쓸 수 없습니다. 5-fold 중앙값 판(+0.0089)에 이어 두 번째 확인입니다. 로컬에서 원본보다 좋아도 public에서는 +0.009~+0.021이었습니다.
2. 지금의 ori 구성원은 테스트에서 운이 좋았던 판일 가능성이 큽니다(추정). 그 판 이외의 ori 판은 어떻게 학습해도 public이 나빴습니다. 그래서 그 자리를 고정했습니다. seed를 여러 개 돌려 평균을 내는 방향도 같은 결과가 될 가능성이 커서 걸지 않았습니다.

4. 테스트 의사 라벨 자기학습: 0.22144

목표는 “public 1등, 단 수치를 인위적으로 조작하지 않는다”였습니다. 상수 보정이 아니라 모델 자체를 테스트 분포에 맞추는 정공법으로, 테스트 영상의 의사 라벨을 만들어 다시 학습했습니다.

• 세 구성원의 테스트 확률을 좌우 반전 평균으로 합의시켰습니다. 근막은 평균 확률 0.5 이상·폭 15% 이상인 곳만, 다발은 띠 안에서 세 구성원 중 둘 이상이 동의하고 길이·신장 조건을 만족하는 것만 남겼습니다. 애매한 다발 픽셀은 손실에서 뺐습니다. 309장 중 298장이 남았고, 15장을 눈으로 검수했습니다.
• 학습 데이터에 이 298장을 더해 15 epoch 이어 학습했습니다. 검증 Dice는 거의 그대로였습니다(다발 0.2176→0.2140, 0.2196→0.2199).
• 로컬에서는 이득이 없었습니다. 한 세트는 −0.0038, 다른 세트는 +0.0094였습니다.
• public은 0.22144, 기준판보다 +0.0116 나빠졌습니다.

의사 라벨은 모델이 이미 맞힌 곳만 더 강하게 만듭니다. 우리 오차의 대부분은 분할이 아니라 “화면 밖 길이를 어떻게 외삽하느냐”에서 나오므로(⑫편), 분할을 테스트에 맞춰도 측정값은 좋아지지 않고 구성원만 흔들립니다. 그 흔들림이 3절과 같은 이유로 public에서 손해가 된 것으로 봅니다(추정).

5. 30명 다관점 리서치: 큰 이득은 남아 있지 않다

다음으로 에이전트 30명을 8개 관점(직접 회귀, 평가자 규약, 장비 그룹, 스태킹, 상위 팀 분석 등)과 반박 조로 나눠 남은 길을 다시 찾게 했습니다. 종합 결론은 냉정했습니다.

• 1위 수준(0.183)까지 남은 15일 안에 갈 확률은 2% 미만입니다.
• 새 회귀기, 스태킹, 근육 태그, 각도 보정, 호 길이 FL 같은 후보는 이미 시도했거나 근거가 약했습니다.

상위 세 후보도 그 자리에서 판정했습니다.

후보	핵심 숫자	사전 기준	판정
근막만 의사 라벨로 다시 학습	장비 TEL MT 산포 0.1691→0.1683	0.02 이상 감소	불통과
화면별 분위로 FL 순위 혼합	관문 +0.0056, 24판 중 0판 개선	관문 개선	불통과
같은 클립 영상끼리 정합해 융합	광류 0.15px, FL 차 0.18mm	의미 있는 차이	불통과

세 번째가 흥미로웠습니다. 같은 클립의 프레임끼리 정합하면 잡음을 평균으로 지울 수 있다고 봤는데, 실제로는 프레임 간 움직임이 거의 없어서(0.15px) 융합해도 바뀌는 것이 없었습니다. 같은 클립의 프레임은 사실상 같은 영상이었습니다.

6. 주파수 영역 스타일 전이(FDA): 대조군이 이겼다

마지막은 장비 차이를 줄이는 시도입니다. 테스트의 한 장비(Telemed) 영상은 학습 세트의 대부분과 질감이 다릅니다. FDA는 두 영상을 푸리에 변환한 뒤 저주파 진폭만 바꿔 끼우고 위상은 그대로 두는 방법입니다. 구조(위상)는 원래 영상 것이고, 밝기 분포와 큰 질감(저주파 진폭)만 목표 장비 쪽으로 옮겨집니다.

• Telemed 학습 영상 119장의 저주파 진폭을 학습 영상에 확률 0.5로 이식했습니다. 초음파 화면 바깥의 검정 여백은 보존했고, 증강을 끄면 원래 학습과 결과가 바이트 단위로 같은지 확인했습니다.
• 같은 조건에서 증강만 끈 판을 대조군으로 함께 학습했습니다.
• FDA − 대조: Telemed 세트 +0.0002, 다른 Telemed 세트 −0.0001. 잡음 폭이라 불통과였습니다.

오히려 대조군, 즉 증강 없이 15 epoch 더 학습한 판이 관문을 통과했습니다(−0.0011, 24판 모두 개선). 사전 등록 후보가 아니었으므로 결과를 보기 전에 판정선을 따로 적었습니다. “−0.0015 이하면 교체, −0.0005보다 크면 이 축 종료”였습니다.

public은 0.20943, 기준판 대비 −0.00046이었습니다. 최고점은 소폭 갱신됐지만 판정선상 축 종료입니다. 부호는 관문대로 맞았고, 크기는 관문의 절반이었습니다. 2절의 “부호는 믿고 크기는 절반”과 정확히 맞는 사례입니다.

7. 교훈

관문은 “익숙한 변화”에만 쓸 수 있습니다. 과거 제출로 맞춘 모형은 과거 제출과 비슷한 변화의 부호만 압니다. 새 축에서 관문이 좋다고 하는 것은 근거가 되지 않습니다. 이번 사흘에 세 번 확인했습니다.

로컬과 public이 엇갈리면 public 쪽 구조를 의심합니다. 좁은 FOV 증강은 로컬 세 짝에서 모두 이겼고 public에서 졌습니다. 로컬 세트는 넓은 화면 영상이 대부분이라, 좁은 화면에서의 실패를 보지 못합니다. 로컬을 테스트처럼 잘라 봐도 “확률 맵을 자른 세트”는 낙관적이었습니다.

재현이 안 되는 학습에서는 seed 분산이 효과를 삼킵니다. 같은 seed로도 원본이 재현되지 않는 환경에서 단일 판 비교는 의미가 약합니다. 증강 효과 −0.01은 seed 분산(0.1 안팎) 앞에서 보이지 않습니다.

대조군을 함께 돌리면 실패에서도 무언가 남습니다. FDA 자체는 잡음이었지만, 대조군 덕분에 “이어 학습만으로 −0.0005”라는 작은 사실 하나를 얻었습니다. 대조군이 없었다면 FDA 판의 작은 개선을 FDA의 효과로 잘못 읽었을 것입니다.

8. 현황

• public 10위, 최고점 0.20943(10/30). 9위와 0.0012, 1위와 0.026 차이입니다.
• 이번 사흘에 닫은 축: 근막 수렴각, 합치기 방식, PA 조각 선택, MT 열 위치, 외삽 FL 다발 선택, 축척, 좁은 FOV 증강, ori 구성원 교체, 테스트 의사 라벨, FL 순위 혼합, 클립 정합 융합, FDA 스타일 전이, 이어 학습.
• 토론에서 다른 참가자들이 MT 방향, PA 기준선, 다발 대표값, FL 외삽 규약을 주최측에 물었습니다. 답이 오면 ⑫편에서 말한 “측정 정의” 축을 다시 엽니다. 남은 큰 이득이 있다면 그쪽이라고 봅니다.

이번 사흘은 점수로는 0.00007이었습니다. 대신 내부 판정 도구를 어디까지 믿을지가 정리됐습니다. 남은 2주 동안 같은 제출 칸을 더 정확하게 쓰는 데 가장 쓸모 있는 결과라고 생각합니다.