Как обмануть робота: обзор уязвимостей современных нейросетей

Нейронные сети вошли в нашу жизнь, являясь одновременно и необходимым инструментом, и источником информационных угроз. Многие пока не слишком хорошо осведомлены, как всё это работает, что, конечно, не останавливает практического использования: смартфоны оснащаются различными системами биометрии, в основе которых лежат эти самые нейронные сети — распознавание лиц или радужки глаз, отпечатки пальцев и другие. Об уязвимостях нейросетевых технологий EADaily рассказал исполнительный директор, начальник управления статистического анализа банка «Ренессанс Кредит» Сергей Афанасьев.

Известный писатель-фантаст Артур Кларк однажды сказал:

«Если знаменитый, но старый ученый утверждает, что нечто возможно, он почти определенно прав. Если он утверждает, что нечто невозможно, он, очень вероятно, ошибается».

Если перевести эту цитату на современный бизнес-язык, то она может звучать примерно так:

«Если известные эксперты или крупные компании заявляют, что нечто невозможно, — они, очень вероятно, ошибаются».

В этом можно убедиться на практических примерах. Но сначала давайте попробуем разобраться, как работает фотобиометрия.

Пару лет назад в небольшом американском городе Ланкастер произошла необычная бытовая история. В полицию обратились пострадавшие покупатели, которых на местном рынке обманывал мошенник. Пока продавцы отлучались от своих прилавков, мошенник представлялся хозяином товара, брал деньги с покупателей и исчезал. Один из свидетелей нарисовал очень схематичный портрет мошенника, но уже на следующий день полиция поймала преступника.

В заявлении ведомства говорилось: «Хоть портрет, предоставленный свидетелем, мог показаться неумелым и карикатурным, он, вместе с описанием физических особенностей подозреваемого, помог сотруднику полиции вспомнить его имя». Преступником оказался бездомный по имени Хунг Фыок Нгуен.

Да, возможно, портрет преступника получился очень схематичным и не все черты лица похожи, но какое-то сходство с оригинальной фотографией все-таки есть.

Примерно так работает наш мозг, когда распознает лица — нам не нужна глубокая детализация, достаточно каких-то неуловимых грубых паттернов. И примерно так же работают фотобиометрические системы, в основе которых лежат свёрточные нейронные сети.

Принципы работы свёрточных нейронных сетей достаточно просты — есть слои «свёрток» и слои «пулинга», с помощью которых выделяются контрастные участки на фотографиях. За счет такой архитектуры нейросеть обрабатывает контуры на изображении лица, не вдаваясь в глубокую детализацию.

В результате обработки изображения нейросеть формирует несколько карт признаков. Первая карта содержит набор простых черточек. Вторая — более сложных линий. Следующая карта, более высокого уровня, выделяет целые формы — глаз, ухо, нос и прочее. И так далее до полных лиц.

Такая архитектура нейронной сети позволяет добиться очень высокой точности распознавания лиц за счет двух основных свойств.

Первое свойство — это иерархичность. Операция «свёртки» позволяет создавать иерархичные карты признаков — от черточек к сложным объектам.

Второе свойство — это отсеивание шумов с помощью операции «пулинг».

Итак, свёрточная нейронная сеть обрабатывает контуры на изображении лица, не вдаваясь в глубокую детализацию.

Григорий Бакунов из компании «Яндекс», хорошо понимающий эти принципы, придумал алгоритм, генерирующий случайный макияж, который ломает системы распознавания лиц. Принципы работы алгоритма те же, что у свёрточных нейронных сетей, — на лицо добавляется несколько ярких полосок или точек, которые нейросеть считает за контуры лица. В результате «нейронка» не может сравнить разрисованное лицо с базовой фотографией.

Таким способом Григорий Бакунов продемонстрировал, что системы распознавания лиц уязвимы и легко обходятся. Но с таким макияжем вы вряд ли придете в банк и вам вряд ли одобрят кредит. Более того, такой макияж уже стал объектом внимания полицейских и скоро, возможно, окажется вне закона.

Однако это не единственный способ обойти систему распознавания лиц. Продолжение темы — в последующих публикациях об уязвимостях нейронных сетей на EADaily.