AI4CSLab: Пространственно-временное обнаружение дипфейков с помощью Deep Neural Networks

Дипфейки, генерируемые GANs (генеративно-состязательными нейронными сетями), могут угрожать не только отдельным гражданам, но и представлять общественную угрозу.

В связи с этим выявление манипуляций с видеоконтентом является актуальной задачей, и исследователи предлагают различные методы ее решения. Тем не менее, проблема остается. В исследовании российских ученых оцениваются существующие подходы и предлагается новый метод обнаружения дипфейков на видео. Учитывая, что дипфейки вставляются в видео кадр за кадром, при его просмотре даже невооруженным глазом заметны флуктуации и временные искажения, которые не учитываются многими алгоритмами обнаружения дипфейков, использующих информацию из одного кадра для поиска подделки вне контекста с соседними кадрами. Предложено анализировать информацию из цепочки нескольких последовательных кадров для обнаружения дипфейков в видеоконтенте путем обработки видео с использованием подхода скользящего окна с учетом не только пространственных внутрикадровых зависимостей, но и межкадровых временных зависимостей. Эксперименты показали преимущество и потенциал для дальнейшего развития предлагаемого подхода по сравнению с простым внутрикадровым распознаванием.

Полный текст исследования опубликован в научном журнале Lecture Notes in Computer Science.

Алексей Осипов, руководитель Департамента информационной безопасности Финансового университета: одной из задач нейросетевого анализа является выявление подмены видеоконтента. Для обнаружения манипулируемого цифрового контента необходимо знать возможные методы манипулирования, определять, какие инструменты использовались, теоретическую базу, а также практический опыт и знания. В настоящее время описываются четыре группы манипуляций с изображениями человеческого лица: синтез всего лица, моделирование всех черт лица; Identity Swap, известный в литературе как DeepFake; Attribute Manipulation – манипулирование атрибутами лица; Expression Swap – обмен мимикой. Большинство созданных методов, распознающих дипфейки, опираются на наборы данных, сгенерированные без учета того, что существуют методики выявления дипфейков, то есть соответствующие GANs не были обучены современным методам распознавания в качестве дискриминатора (или, другими словами, состязательная подготовка не использовалась).

Екатерина Плешакова, первый заместитель руководителя Департамента информационной безопасности по проектам Финансового университета: манипулирование видеоконтентом является одной из угроз для кибербезопасности. Многое сделано исследователями в поиске путей решения данной проблемы, но злоумышленники продолжают совершенствовать методы и зачастую оказываются на шаг впереди. Дальнейшие исследования могут быть сосредоточены на различных областях — расширенная оценка большего количества наборов данных, возможности предварительного обучения сети, возможности передачи обучения, улучшение архитектуры, многомасштабный анализ, устойчивость к атакам со стороны, артефактам сжатия, искажениям и т. д.

Владимир Соловьев, Декан Факультета информационных технологий и анализа больших данных Финансового университета: исследователями предложен новый подход к решению задачи распознавания дипфейков. Пространственно-временной подход учитывает не только пространственные внутрикадровые зависимости (Spatial Features), но и временные межкадровые зависимости (Temporal Features). Результаты исследования подтверждают преимущества предлагаемого метода. Тема идентификации дипфейков стала центральной на международной конференции iConference 2021 в Китае.