UMUD 챌린지 ⑮ — 예측기를 믿을 수 있는지 정보 제출로 확인하고, 미세조정의 한계를 재다
⑭편은 “같은 근섬유를 골라도 우리 FL이 평가자보다 길다”로 끝났습니다. 그 뒤 사흘(11/2~11/4) 동안 두 가지를 했습니다. 하나는 그동안 제출을 막아 온 public 점수 예측기(q16)가 정말 믿을 만한지 직접 확인한 것이고, 다른 하나는 모델 미세조정으로 얼마나 더 갈 수 있는지 잰 것입니다.
대회 진행 중이라 코드와 대회 이미지는 싣지 않습니다. 숫자는 모두 실험 기록에서 가져왔습니다. “추정”이라고 적은 것은 실측이 아니라 해석입니다.
1. 문제: 예측기가 제출을 전부 막고 있었다
11/1~11/2 이틀 동안 실험 11건이 모두 q16 단계에서 걸러져 제출이 한 번도 나가지 않았습니다. 그 사이 순위는 12위에서 13위로 내려갔습니다. 로컬 정답 세트는 public 순위와 오히려 반대로 움직였기 때문에(순위 상관 −0.64~−0.72), 남은 판단 수단은 q16뿐이었습니다. “q16이 너무 보수적이라 좋은 후보까지 막는 것 아닌가?”라는 의심이 생겼습니다.
그래서 판정 규칙을 바꿨습니다.
- q16은 참고로만 기록하고 제출을 막지 않는다.
- 학습 방식이 다른 모델(9개 구성원 중 한 자리 교체)은 리더보드 정보 제출로 직접 비교한다.
- 사슬 상수를 리더보드에 맞춰 고치는 것은 여전히 금지한다.
- 학습 설정은 제출 전에 미리 적어 두고 바꾸지 않는다.
- 채택 기준: 0.002 이상 개선, 그리고 두 seed가 모두 개선.
2. 확인: q16은 순서를 정확히 맞혔다
11/3에 다섯 후보를 정보 제출했습니다.
| 바꾼 것 | q16 예측 | 실제 public 변화 |
|---|---|---|
| 이웃 프레임 바꿔 넣기 학습 | +0.0003 | +0.00003 |
| 고해상도 연결, seed 1 | +0.0008 | +0.0008 |
| 고해상도 연결, seed 0 | +0.0021 | +0.0018 |
| 사슬 변형 후보 | +0.0047 | +0.0070 |
| 더 큰 nnU-Net | +0.0132 | +0.0188 |
다섯 개 모두 기준보다 나빴고, q16이 예측한 순서가 실제 순서와 완전히 같았습니다. 크기도 비슷했습니다. 결국 q16이 좋은 후보를 막은 것이 아니라, 좋은 후보 자체가 없었던 것입니다.
3. 미세조정은 어디까지 가는가
같은 규칙으로 r34 구성원을 다섯 방향으로 미세조정했습니다(학습 길이·학습률, 근막 손실 가중, 입력 해상도, nnU-Net 이어 학습, 방향 헤드 모델). 축마다 seed 2개, GPU 6장을 썼습니다. 11/4 제출 결과는 이렇습니다.
| 바꾼 것 | public | 기준(0.20943) 대비 |
|---|---|---|
| 입력 해상도 768 | 0.20903 | −0.00040 |
| 60 epoch, 낮은 학습률 | 0.20907 | −0.00036 |
| 30 epoch, seed 1 | 0.20932 | −0.00011 |
| 30 epoch, seed 0 | 0.20937 | −0.00006 |
| 60 epoch, seed 1 | 0.20944 | +0.00001 |
최고점은 0.20903으로 조금 올랐지만, 다섯 개 모두 ±0.0004 안입니다. public이 약 102장뿐이라 이 정도는 잡음 범위이고, 미리 정한 채택 기준(0.002)에 닿은 것이 없습니다. 1위와의 차이는 약 0.026입니다. 미세조정으로 움직일 수 있는 폭은 그 차이의 2%도 안 됩니다.
4. 주최측 답변 두 가지
- 측정 방식: 평가자 두 명이 각자 근섬유 3개를 재고, 각자 평균을 낸 뒤 두 사람 값을 다시 평균합니다. 근육 두께는 세 지점에서 근막 안쪽 경계 사이를 잽니다. 우리 방식과 같아서 바꿀 것이 없었습니다.
- 영상 비율: 주최측은 “영상을 가로세로 다르게 늘린 적은 없다”고 답했습니다. 그런데 이 말대로 재면 예측 점수가 크게 나빠지고(+0.10), 대회 초반 리더보드 비교 결과와도 반대입니다. 영상 파일 자체는 실제로 가로로 늘어나 있고, 주최측이 기억을 잘못하고 있을 가능성이 크다고 봅니다(추정).
5. 닫은 방향들
사흘 동안 닫은 큰 방향을 정리합니다.
| 방향 | 결과 | 이유 |
|---|---|---|
| 같은 영상 클립의 여러 프레임 평균 | 기각 | 프레임마다 다른 잡음이 아니라, 이웃 프레임이 함께 가진 편향이었다 |
| 근육 종류별 보정 | 기각 | 보정량이 근육보다 영상마다 달라서 설명력이 낮았다 |
| 특정 평가자를 로컬 기준으로 | 기각 | 그 평가자 기준 점수도 public 순서와 반대로 움직였다 |
| 근섬유 끝점으로 근막 학습 | 기각 | 라벨 근섬유가 근막 8~12mm 앞에서 끝나서, 오히려 선을 안쪽으로 당긴다 |
| 장치별 근막선 관례 | 기각 | 장치마다 라벨 관례가 거의 같았다 |
| 외부 평가자 자료로 오차 보정 모델 | 기각 | 출처 5곳 모두에서 오히려 나빠졌다 |
| 영상 영역별 근섬유 고르기 | 기각 | 예측 점수가 크게 나빠졌다 |
6. 지금까지의 결론
- 남은 오차의 대부분은 모델 성능이 아니라 평가자의 측정 관례와 학습 라벨 관례의 차이에서 온다(⑭편에서 찾은 것).
- 그 차이를 확인할 로컬 정답이 없어서, 공개 데이터로 맞추면 public이 오히려 나빠진다.
- q16은 신뢰할 수 있고, 지금 가진 모델 계열로는 큰 개선이 나오지 않는다는 것을 q16과 실제 제출 양쪽이 같이 보여 줬다.
다음 편에서는 최종 제출 두 개를 어떻게 고르는지(public 과적합과 private 안정성 사이의 선택)를 다룰 예정입니다.