Ловец дипфейков: студенты из Санкт-Петербурга создали технологию разоблачения цифровых двойников

Студент Санкт-Петербургского национального исследовательского университета ИТМО Виталий Роговой вместе с командой работает над программой распознавания дипфейков, изображений и аудиофайлов, созданных или измененных нейросетью. Программа поможет распознавать цифровых двойников и бороться с киберпреступностью. Корреспондент Эльмира Низамова в программе «[Не]Фантастика» выяснила, на чем основан принцип работы технологии.

«Мы анализируем все скрытые шумы в изображении, которые являются побочным продуктом генерации нейросетью контента. Также анализируются различные частотные спектры, взаимодействие между кадрами и так далее. Для голоса выделяем 15 характеристик», – рассказывает Виталий Роговой.

Как чаще всего мошенники используют дипфейки? Могут ли нейросети самообучаться? И какие есть слабые места у технологии распознавания дипфейков?