Команда исследователей с факультета ВМК МГУ разработала новый метод оценки качества изображений, который помогает обнаружить их слабые стороны в случае атак на метрики качества. Эта инновационная методика включает индекс устойчивости изображений и модель, прогнозирующую их чувствительность к изменениям. Эти открытия помогут сделать современные алгоритмы обработки изображений более надежными. Об этом «Жуковский.Life» рассказали в пресс-службе университета. Работа была опубликована в EUSIPCO 2024.
Метрики качества — важная часть разработки методов обработки визуальной информации и компьютерного зрения. Однако современные алгоритмы машинного обучения могут подвергаться атакам, которые искусственно завышают показатели качества, искажают восприятие изображений. Такие атаки могут использоваться, например, для фальсификации данных или рекламы.
Учёные предложили метод автоматического определения устойчивости изображений к подобным атакам. Основой подхода является индекс устойчивости (IRI), который оценивает, насколько легко можно ввести метрику в заблуждение.
«Атаки на метрики качества — серьёзная проблема, поскольку системы компьютерного зрения всё больше зависят от автоматической оценки. Обман алгоритмов может привести к искажению контента и уязвимостям в системах безопасности», — отметил Дмитрий Ватолин, руководитель лаборатории факультета ВМК МГУ.
Исследователи протестировали различные метрики качества и оценили их устойчивость к атакам. В ходе экспериментов с популярными методами атак, такими как FGSM и IFGSM, был разработан индекс устойчивости (IRI) и модель IRAA (Image Robustness to Adversarial Attacks), которая прогнозирует изменение оценки качества изображения без влияния на его восприятие человеком.
Этот подход позволяет заранее выявлять уязвимые изображения и защищать системы анализа от манипуляций. Тестирование модели на данных MS COCO и других показало её высокую точность — 90,6%, что делает её мощным инструментом для оценки устойчивости изображений к атакам.
Результаты исследования могут быть применены в различных областях. В компьютерном зрении метод повысит надёжность нейросетей, анализирующих изображения, что важно для систем идентификации и распознавания. В сфере защиты данных он предотвратит фальсификацию визуальной информации. В обработке фото и видео обеспечит создание более объективных алгоритмов улучшения изображений. В мультимедийных системах обеспечит точную оценку качества, что критично для потоковых сервисов и платформ. Использование метода повысит доверие к системам анализа изображений и защитит их от манипуляций, делая технологии обработки более устойчивыми и надёжными.