Эволюция методов маскирования в компьютерном зрении: от случайного скрытия патчей к адаптивному и пространственно-согласованному маскированию значимых признаков для улучшения обобщающей способности (Zero-Shot и Low-Shot)

Задачи визуального распознавания, стоящие перед современными моделями компьютерного зрения, всё чаще выходят за рамки привычного сценария «обучение на большом размеченном датасете — оценка на том же распределении». В прикладных областях, от автономного вождения до embodied AI, системам приходится адаптироваться к новым, редким или вовсе невиданным ранее ситуациям, причём объём размеченных данных оказывается существенно ограничен [1]. Как представляется, именно этот сдвиг парадигмы и обусловил повышенное внимание исследователей к методам регуляризации, среди которых маскирование входных данных занимает особое место. С одной стороны, маскирование — это форма аугментации, принудительно обучающая модель инвариантным признакам; с другой, правильно организованное сокрытие частей изображения заставляет сеть рассуждать на основе остаточной информации, что напрямую связано с улучшением обобщающей способности.

Целью настоящей работы является систематизация эволюции методов маскирования в компьютерном зрении: от ранних стохастических схем, удаляющих случайные патчи, до современных адаптивных подходов, целенаправленно скрывающих семантически значимые регионы. Мы ставим перед собой задачу проследить, как менялись мотивация, математическое обоснование и практическая реализация этих методов, и оценить, насколько каждый из шагов эволюции способствовал улучшению производительности в Zero-Shot [14] и Low-Shot [15] сценариях. Ключевая гипотеза, которую мы проверяем, состоит в том, что переход от случайного к адаптивному маскированию — это не просто инженерное усовершенствование, а качественный скачок, имеющий строгое теоретическое обоснование через анализ сложности гипотез.

Теоретическую основу маскирования составляет идея, родственная dropout и другим методам регуляризации: принудительное «выключение» части входной информации не даёт модели переобучиться на тривиальных признаках и заставляет искать более устойчивые зависимости. Формально маскирование задаётся бинарной или мягкой маской, применяемой к входному тензору на уровне пикселей, патчей или признаков, и критерием качества становится способность модели сохранять низкие ошибки на тестовом распределении. Для оценки эффективности традиционно используются метрики Zero-Shot accuracy на невиданных классах (бенчмарки ODinW_13 и ODinW_35), Low-Shot performance при обучении на подвыборках COCO [13], а также closed-set evaluation с расчётом Average Precision (AP).

Первые шаги в развитии методов маскирования были связаны с интуитивно простой идеей: случайным образом удалять прямоугольные области изображения. Работы CutOut [2] и Random Erasing [3] показали, что даже такая незамысловатая стратегия даёт заметный прирост робастности, поскольку модель перестаёт полагаться на отдельные «зацепки» в кадре. Позднее эта логика была перенесена на уровень патчей в архитектуре Vision Transformers (ViT) [4]: в seminal работе Masked Autoencoders (MAE) [5] было продемонстрировано, что случайное маскирование до 75% патчей с последующей реконструкцией позволяет обучать масштабируемые визуальные представления. Параллельно развивались BERT-подобные подходы, такие как BEiT [6], адаптировавшие концепцию masked language modeling к задачам компьютерного зрения.

Однако у всех этих методов есть общий и весьма существенный недостаток: они не учитывают семантическую значимость регионов. Случайное маскирование с равной вероятностью может как скрыть фоновые области, так и уничтожить ключевые дискриминативные части объекта. Попытки частично исправить эту ситуацию предпринимались в работах MaskCLIP [7], CenterMask [8] и ClusterMask [9], где маскирование направлялось на исключение периферийных или фоновых регионов с целью снизить вычислительные затраты и сфокусировать внимание модели на основном объекте. Но простое удаление нерелевантных областей не учит модель рассуждать о частично наблюдаемых признаках, а именно это и требуется в Zero-Shot и Low-Shot сценариях.

Качественный сдвиг произошёл с появлением метода IMAGE (Interpretative MAsking with Gaussian Radiation ModEling) [10], который знаменует собой переход к принципиально новой парадигме. Ключевая идея IMAGE состоит в том, чтобы намеренно скрывать наиболее значимые (salient) области изображения. Если мы заставим модель восстанавливать объект по остаточным признакам, она будет вынуждена строить более глубокие контекстные зависимости, имитируя человеческое восприятие, способное опознать объект по его частичным признакам. Архитектурно IMAGE опирается на два блока: Importance Prior Generation Block, оценивающий значимость каждого патча через глобальные контекстные взаимодействия с помощью механизма self-attention [17], и Adaptive Mask Generation Block, формирующий маску на основе полученного приоритета. Нормализованные importance scores , затем используются для ранжирования патчей и маскирования top-% наиболее значимых.

Следующим важным шагом стало осознание того, что пороговое (threshold-based) маскирование, несмотря на всю свою эффективность, порождает дискретные границы, не использующие пространственную непрерывность семантических структур. Для преодоления этого ограничения в работе [10] предложен механизм RFGAM (Radiance Field Gaussian Adaptive Masking), моделирующий пространственный ландшафт значимости как непрерывное поле излучения, параметризованное обучаемыми гауссовскими ядрами. Интенсивность поля в точке(x,y) вычисляется как 
, где дисперсии ​ обучаются совместно с cross-attention выходами. На основе этого поля строятся два порога —  и   — разделяющих пространство на три зоны: полностью замаскированную, частично замаскированную (soft mask) и полностью видимую. Параметр 𝑘 при этом плавно затухает от 0.5 до нуля в течение обучения, реализуя progressive training strategy. Как показывают визуализации, такой подход даёт значительно более плавные и семантически согласованные переходы между регионами, нежели жёсткое пороговое маскирование, и позволяет эффективно локализовать дискриминативные регионы [18].

Теоретическое обоснование эффективности адаптивного маскирования было получено в работе [10] через анализ сложности Радемахера. Авторы формализуют три класса гипотез:  (без маскирования), ​(случайное маскирование всех признаков, включая значимые) и ​ (адаптивное маскирование, при котором значимые признаки маскируются с высокой вероятностью). По определению выполняется вложение

 , откуда в силу монотонности сложности Радемахера следует . Стандартная граница обобщения , тогда непосредственно влечёт, что при равных эмпирических потерях граница обобщения для адаптивного маскирования строго уже, чем для случайного или отсутствия маскирования. Это, на наш взгляд, и есть тот самый теоретический фундамент, которого так не хватало ранним эвристическим методам.

Экспериментальная валидация подтверждает теоретические выводы. На бенчмарке ODinW_13 (Zero-Shot) метод IMAGE(RG) достигает 0.251 AP, превосходя базовую линию без маскирования на 4.3%, а лучшие существующие подходы — MaskCLIP на 2.6%, CenterMask на 2.1% и ClusterMask на 1.8% [10]. В Low-Shot сценарии на COCO val2017 IMAGE(RG) показывает 0.437 AP (+3.7% к baseline). Особенно показателен результат в ultra-low data режиме (1% размеченных данных): если baseline даёт 1.90 AP, а Random Mask — 0.95 AP, то IMAGE(RG) достигает 3.30 AP, что ярко демонстрирует эффективность целенаправленного маскирования в условиях экстремальной нехватки данных. В closed-set оценке на COCO val2017 IMAGE(RG) превосходит даже семантически-ориентированные методы, такие как SemMAE [16], достигая 0.481 AP против 0.469 AP, причём без привлечения внешних семантических priors.

Важным результатом является архитектурная универсальность подхода. Если основные эксперименты в работе [10] проводились на Grounding DINO [12] со Swin-T backbone, то дополнительная серия опытов на YOLO-World показала сопоставимые приросты. Это убедительно доказывает, что предложенная парадигма не привязана к конкретному типу архитектуры. Вычислительные накладные расходы при этом оказываются умеренными: время обучения увеличивается примерно на 10%, потребление памяти — на ~100 МБ, но на этапе инференса дополнительные затраты полностью отсутствуют.

Подводя итоги, можно констатировать, что эволюция методов маскирования в компьютерном зрении прошла путь от интуитивных стохастических приёмов до строго обоснованных адаптивных стратегий. Случайное удаление патчей уступило место целенаправленному сокрытию значимых регионов, что, на первый взгляд парадоксально, но на деле оказывается естественным следствием требования к модели рассуждать на основе частичной информации. Метод IMAGE и его гауссовская модификация RFGAM демонстрируют, что такое маскирование не только улучшает Zero-Shot и Low-Shot производительность, но и имеет строгое теоретическое обоснование через сужение класса гипотез.

Вместе с тем, ряд вопросов остаётся открытым. Во-первых, отсутствует единая теоретическая framework, объединяющая различные подходы к маскированию. Во-вторых, масштабируемость методов на очень большие модели и высокие разрешения требует дополнительной проверки. В-третьих, перспективным представляется распространение идеи адаптивного маскирования на мультимодальные vision-language модели, такие как CLIP [11], а также на 3D- и видео-данные. Как нам представляется, именно в этих направлениях и будет продолжаться развитие области в ближайшие годы.