Безличный опыт: появился способ обходить распознавание лиц
Появились программы для обработки фотографий, которые позволяют сделать людей на снимке неузнаваемыми для системы распознавания лиц в интернете. При этом на изображении не видно изменений внешности человека. Обработка фотографий сводится к добавлению на фото комбинации пикселей, которые воспринимаются алгоритмами глубинного машинного обучения как характерные шаблоны и приводят к искажению признаков, применяемых для классификации. Подобные изменения чрезвычайно трудно обнаружить и удалить. Опрошенные «Известиями» эксперты считают, что эти программы пока несовершенны и не окажут никакого влияния на распознание лиц госорганами. А вот сбор данных частными структурами может быть пресечен.
Новые шаблоны
В даркнете, а затем и в общедоступной Сети появились программы, которые позволяют защитить фотографию от системы распознавания лиц в интернете. Один из таких сервисов называется Fawkes, он есть в открытом доступе. Разработчики дислоцируются в лаборатории SAND Чикагского университета.
— С некоторого времени такие программы стали появляться для всеобщего пользования, то есть ими может воспользоваться каждый, — отметил в беседе с «Известиями» независимый исследователь даркнета Олег Бахтадзе-Карнаухов. — Речь идет не о том, чтобы испортить уже существующую фотографию, а о том, чтобы загружать их уже с изменениями. Кроме Fawkes, есть еще алгоритм EqualAIs, который разработали сотрудники Гарварда. Концептуально их продукт работает идентично. Их код также находится в открытом доступе.
По словам Олега Бахтадзе-Карнаухова, созданием подобных алгоритмов занимается также коллектив с факультета прикладных наук и инженерии Университета Торонто.
Обработка фотографий сводится к добавлению в изображение комбинации пикселей, которые воспринимаются алгоритмами глубинного машинного обучения как характерные для изображаемого объекта шаблоны. В результате происходит искажение признаков, применяемых для классификации. Эти изменения не выделяются из общего набора и их чрезвычайно трудно обнаружить и удалить.
Как пишут на странице лаборатории разработчики Fawkes, «программа берет личные изображения и вносит крошечные изменения на уровне пикселей, невидимые человеческому глазу, в процессе, который мы называем маскировкой изображения. Затем вы можете использовать эти «замаскированные» фотографии как обычно: делиться ими в социальных сетях, отправлять друзьям, распечатывать их или отображать на цифровых устройствах, как любую другую фотографию. Однако если кто-то попытается использовать эти фотографии для построения модели распознавания лиц, «замаскированные» изображения «научат» модель сильно искаженной версии того, что делает вас похожими на вас».
Проверка показала
Fawkes «на 100% эффективен против современных моделей распознавания лиц (Microsoft Azure Face API, Amazon Rekognition и Face ++», указали разработчики в своей научной статье.
Алгоритм Fawkes проверяли и в Центре технологий искусственного интеллекта национального исследовательского центра «Институт им. Н.Е. Жуковского», выяснили «Известия». Он не сработал ни разу, рассказал доктор физико-математических наук, профессор РАН, начальник подразделения ФГУП «ГосНИИАС» Юрий Вильзитер.
— Мы пробовали этот алгоритм на нашей системе распознавания лиц (речь идет о Biometric Access Control (BAC), распространяется дочерней компанией ЦТИИ. — «Известия») и на официальном демо NtechLab у них на сайте. Обработанные Fawkes изображения распознавались точно так же, как и не обработанные, — отметил Юрий Вильзитер.
Авторы разработки озабочены тем, что сегодня кто угодно может запустить бота для сбора снимков в интернете и скачать с разных сайтов фотографии пользователей без их ведома. Это создает угрозу тайне частной жизни, заметил Юрий Вильзитер. Программа Fawkes и ей подобные — один из вариантов «отравления данных» при обучении или в более широком смысле «атак» на распознающие нейронные сети, указал эксперт.
По словам Юрия Вильзитера, алгоритм неприменим к фото, которые используются, например, для камер с распознаванием лиц, которые установлены в Москве на подъездах. Ведь базы изображений для распознавания берут не из интернета, а из легальных баз — паспортных и других.
Будущее за фейками
Хотя сейчас алгоритмы несовершенны, в дальнейшем они будут развиваться и совершенствоваться, уверен Юрий Вильзитер. С ним согласен эксперт по кибербезопасности в «Лаборатории Касперского» Дмитрий Галов. По его мнению, алгоритмы типа Fawkes уже включились в предсказуемую гонку, которая в результате приведет к усовершенствованию как систем искажения фото, так и систем их поиска.
— Между исследователями, которые создают алгоритмы deepfake, и теми, кто анализирует способы их обнаружения, идет своего рода гонка. Когда обнаруживается несовершенство deepfake, на его основе создают способ обнаружения, но следующее поколение алгоритмов уже исправляет эти недостатки. Например, в 2018 году исследователи обнаружили, что deepfake-видео можно определять по тому, что люди в них очень редко моргают. В современных deepfake-видео «проблем» с морганием уже может не наблюдаться, — пояснил Дмитрий Галов.
Он подчеркнул, что сами по себе технологии deepfake не несут вреда: важно, с какой целью их используют.
