Распознавание лиц своими руками

Добавил пользователь Алексей Ф.
Обновлено: 17.08.2024

М ы являемся свидетелями грандиозных событий, большинство из которых еще не наступили, но уже прорастают сквозь асфальт настоящего. Одно из таких событий это технология распознавания лиц. В 2017 году мы стали свидетелями выхода ее в массовый продакшн, где она уже успела показать фантастическую эффективность! И до дрожи в коленках напугать целые государства. Весь страх и трепет систем распознавания лиц, в нашей статье.

Что такое распознавание лиц?

Распознавание лиц (Face Recognition - англ.) - это одни из наиболее перспективных методов биометрической бесконтактной идентификации человека по лицу.

Первые системы распознавания лиц были реализованы как программы устанавливаемые на компьютер. В наше время технология распознавания лиц наиболее часто используется в системах видеонаблюдения, контроля доступа, на разнообразных мобильных и облачных платформах. Журнал Массачусетского технологического института - MIT Technology Review включил технологию распознавания лиц в список 10 прорывных технологий 2017 года.

Если вы думаете что про фантастическую эффективность я для красного словца сболтнул, то не на самом деле я затруднился подобрать должный эпитет. Но вот проиллюстрировать затруднений нет никаких. В Китае в базе данных единой системы слежения и распознавания более миллиарда человек. В реальном времени система использует 170 миллионов камер.

Журналист британской BBC решил проверить (на всякий случай, без излишней самодеятельности, договорившись с властями) - сколько времени потребуется на задержание, если он будет перемещаться по Пекину, находясь в базе опасных лиц.
Ответ получен: 7 минут.

Видео на английском, но там и без перевода все понятно, посмотрите это действительно интересно.

Китайцы, конечно, не считают систему совершенной: они хотят в ближайшие три года добавить ещё каких-то 400 миллионов камер. Чтобы был настоящий китайский масштаб: полмиллиарда камер в реальном времени мониторят 1,4 млрд человек. Ждём реакции Яровой.

По оценке Bloomberg , мировой рынок распознавания лиц вырастет с 4,05 млрд. долларов в 2017 году до 7,76 млрд. долларов США к 2022 году.

Как работает система распознавания лиц?

В принципе, система распознавания лиц может быть описана как процесс сопоставления лиц, попавших в объектив камеры с базой данных ранее сохраненных и идентифицированных изображений лиц эталонов.
По структурной реализации системы распознавания лиц можно выделить три распространенные схемы.

Наиболее распространенная схема реализации — IP-камера передает видеопоток на сервер, на сервере специализированное программное обеспечение для выполняет анализ видеопотока и сравнение полученных из видеопотока изображений лиц, с базой лиц эталонов.

Недостатками такой схемы будут, высокая нагрузка на сеть, высокая стоимость сервера, даже к самому мощному серверу можно подключить ограниченное количество IP-камер, т.е. чем больше система тем больше серверов.
Преимуществом является возможность использовать уже существующую систему видеонаблюдения.

В данном случае анализ изображения будет производится на самой камере, а на сервер будут передаваться обработанные метаданные.

Недостатки — нужны специальные камеры, выбор которых в данный момент крайне мал, стоимость камер выше чем обычных. Также в системах разных производителей будет по разному решаться вопрос хранения и размера базы данных распознанных лиц эталонов, а также вопросов взаимодействия софта на камере и софта на сервере.
Преимущества — подключение практически неограниченного количества камер к одному серверу.

В отличии от первых двух схем где используются IP-камеры, в данном случае камера встроена в устройство контроля доступа, которое кроме распознавания лица которое естественно происходит на устройстве, выполняет функции управления доступом как правило через турникет или электрозамок установленный на дверь. База данных лиц эталонов хранится на устройстве, и как правило уже не в виде фотоизображений.

Недостатки — как правило все такие устройства выпускаются для использования в помещениях.
Преимущества — низкая стоимость систем по сравнению с системами видеонаблюдения используемыми для распознавания лиц.

В любом случае успех реализации проектов по распознаванию лиц зависит от трех важных факторов:
• Алгоритм распознавания
• Базы данных распознанных лиц (эталонов)
• Быстродействие алгоритма

Технология распознавания лиц

Недостатки
Более высокие коэффициенты ошибок FAR и FRR по сравнению с 3D распознаванием лиц.

3D-распознавание лиц
3D распознавание (Three-dimensional face recognition - англ.) производится как правило по реконструированным трехмерным образам. Технология 3D распознавания лиц имеет более высокие качественные характеристики. Хотя конечно и она не является идеальной.

Существует несколько разнообразных технологиях 3D сканирования. Это могут быть лазерные сканеры с оценкой дальности от сканера до элементов поверхности объекта, специальные сканеры со структурированной подсветкой поверхности объекта и математической обработкой изгибов полос, либо это могут быть сканеры, обрабатывающие фотограмметрическим методом синхронные стереопары изображений лиц.

Одним из наиболее исследованных потребителями и экспертами 3D сканеров является знаменитый Face ID, от компании Apple. Опыт использования Face ID крайне интересен и показателен, потому что по сути это единственное устройство с технологией 3D распознавания лиц выпущенное на масс маркет, если конечно можно считать телефон за сотку устройством для масс маркета.

3D технология от Apple единственная в мире использует - вертикально-излучающие лазеры (VCSEL), по слухам суммарно потратив на разработку Face ID от 1,5 до 2 миллиардов долларов. Поставщиком VCSEL для Apple выступают две компании Finisar Corp (инвестиции Apple - 390 млн. долларов ) и Lumentum Holdings . И судя по тому что другие 3D технологии, не показывают такой эффективности как Face ID, разблокировка по лицу на смартфонах на Android, появится не скоро.

Естественно с задачами идентификации близнецов Face ID не справляется, хотя этого никто и не ожидал, но даже с близкими родственниками случаются фейлы .
Ну и скорее комичный момент, но по началу Face ID не различал азиатов , но проблему настолько быстро пофиксили, что Apple даже не успели вчинить ни одного иска за расизм.

Преимущества 3D
Большая точность и меньшее количество ошибок пока недостижимое для 2D систем распознавания лиц.

Недостатки 3D
Достаточно легко подделать для профессионалов
Даже Face ID несмотря на всю крутость был взломан вьетнамской компанией Bkav сразу после поступления в продажу. Маска была создана с помощью 3D принтера. Себестоимость создания маски всего $150. Создание маски достаточно сложно для обычного человека, и ваша мама вряд ли сможет это повторить, но для профессионалов это как два пальца об асфальт.

Не используйте 3D распознавания лиц для защиты от несанкционированного доступа к ноутбукам, смартфонам, помещениям с особым уровнем секретности, все они могут быть с легкостью взломаны профессионалами.

• 3D распознавание требует специальных камер для сканирования, которые в несколько раз дороже обычных камер видеонаблюдения которые используется в 2D распознавании.
• Отсутствие готовых баз данных идентифицированных лиц, по сравнению с 2D распознаванием
• Распознавание близнецов, остается сложной задачей для алгоритмов распознавания лиц. В среднем в мире рождается 13.1 близнецов на 1000 новорожденных , и эта цифра сильно колеблется в зависимости от географического региона.

Технология достаточно перспективная так как позволяет нивелировать болевые точки 2D-распознавания.

• Распознавания лиц в полной темноте и в условиях недостаточного освещения
• Макияж, прическа, борода, шляпа, очки — не являются проблемой для тепловизионных камер
• Позволяют распознавать близнецов

Можно выделить два направления, в которых ведется разработка:
• Идентификация по заранее созданным термограммам идентифицированных лиц. Здесь проблемы те же что и с 3D-распознавание, готовых баз данных эталонов нет, оборудование дорогое.
• Идентификация человека по изображениям полученным с тепловизионной камеры, а в качестве лиц эталонов используются база данных обычных двумерных изображений. Решается задача как вы наверное уже догадались использованием глубоких нейронных сетей.

Распознавание лиц по текстуре кожи и по тепловизионному изображению. работает, только в лаборатории, и то не идеально. Но мы внимательно наблюдаем, и если что сразу дадим вам знать.

Качество программного обеспечения

Большинство алгоритмов распознавания лиц, которые вы найдете в Интернете и в научных статьях, страдают от фото-атак. Эти методы очень хорошо работают при обнаружении и распознавании лиц на изображениях, видео и видеопотоках с веб-камеры. Однако они не могут различить реальные лица и лица на фотографии. Эта неспособность распознавать лица связана с тем, что эти алгоритмы работают на 2D кадрах.

Теперь давайте представим, что мы хотим внедрить устройство открывания дверей для распознавания лиц. Система будет работать хорошо, чтобы различать известные лица и неизвестные лица, так что только уполномоченные лица имеют доступ. Тем не менее злоумышленнику было бы легко войти, показав только фотографию уполномоченного лица. Именно здесь в игру вступают 3D-детекторы, аналогичные Apple FaceID. Но что, если у нас нет 3D-детекторов?

Цель этой статьи - реализовать алгоритм обнаружения живучести лица на основе обнаружения моргания глаз, чтобы предотвратить фото-атаки. Алгоритм работает в режиме реального времени через веб-камеру и отображает имя человека, только если он моргнул. С точки зрения непрофессионала, программа работает следующим образом:

Обнаружение лиц в каждом кадре, сгенерированном веб-камерой.
Для каждого обнаруженного лица определяют глаза.
Для каждого обнаруженного глаза определите, являются ли глаза открытыми или закрытыми.
Если в какой-то момент было обнаружено, что глаза были открыты, а затем закрыты, а затем открыты, мы заключаем, что человек моргнул, и программа отображает его имя (в случае устройства для открывания дверей с распознаванием лиц мы бы разрешили человеку войти).

Для обнаружения и распознавания лиц вам необходимо установитьраспознавание лицабиблиотека, которая предоставляет очень полезные методы глубокого обучения для поиска и идентификации лиц на изображении. В частности,face_locations, face_encodingsа такжеcompare_facesфункции являются 3 наиболее полезными,face_locationsМетод может обнаружить лица с помощью двух методов: Гистограмма ориентированных градиентов (HoG)и CИнволюционная нейронная сеть (CNN).Из-за нехватки времени боровметод был выбран.face_encodingsФункция представляет собой предварительно обученную сверточную нейронную сеть, способную кодировать изображение в вектор из 128 объектов. Этот вектор внедрения должен представлять достаточно информации, чтобы различать двух разных людей. Наконец,compare_facesвычисляет расстояние между двумя векторами вложения,Это позволит алгоритму распознавать лицо, извлеченное из кадра веб-камеры, и сравнивать его вектор встраивания со всеми закодированными лицами в нашем наборе данных. Ближайшие векторы должны соответствовать одному человеку.

1. Известное кодирование набора данных лица

В моем случае алгоритм способен распознать себя и Барака Обаму. Я выбрал около 10 фотографий каждого. Ниже приведен код для обработки и кодирования нашей базы данных известных лиц.

Теперь, когда мы знаем кодировки для каждого человека, которого хотим распознать, мы можем попытаться идентифицировать и распознать лица с помощью веб-камеры. Однако, прежде чем перейти к этой части, мы должны провести различие между фотографией лица и лицом живого человека.

2. Обнаружение живого лица

Оценивая модель, я достиг94%точность.

Каждый раз, когда мы обнаруживаем глаз, мы прогнозируем его состояние с помощью нашей модели и отслеживаем состояние глаз для каждого человека. Следовательно, становится действительно легко обнаружить моргание глаза благодаря функции ниже, которая пытается найти шаблон закрыто-открыто-закрыто в истории состояния глаз.

3. Распознавание лиц живых людей

Функция выше - это код, используемый для обнаружения и распознавания реальных лиц. Это принимает в аргументах:

Opencv (Open Source Computer Vision Library или библиотека компьютерного зрения с открытым исходным кодом) – это модуль Python, используемый для решения задач с помощью компьютерного зрения. Это огромный модуль с исключительными возможностями. Используя компьютерное зрение, мы можем решать самые разные задачи. Примером таких задач может быть распознавание лиц и движения.

Сегодня мы с вами научимся писать код для обнаружения лиц на изображениях, видео и для распознавания движения.

Посмотрите другие статьи "Python простым языком":

Распознавание лиц на изображениях

В файле GitHub OpenCV есть подкаталог (opencv-master\samples\data) с именем data, в котором доступны образцы изображений и видео для работы. Мы будем использовать фотографии и видео из этого каталога. В частности, давайте возьмем файл lena.jpg. Скопируем и вставим его в свой рабочий каталог в PyCharm (или в любом другом редакторе). Теперь приступим к распознаванию лиц на этом изображении.

Для начала загрузим необходимые нам модули:

Файл, который мы будем использовать, находится по адресу opencv-master\data\haarcascades\haarcascade_frontalface_default.xml в файле, загруженном с GitHub. Разместим ссылку на файл haarcascade следующим образом:

Загрузим фотографию, чтобы выполнить распознавание лица с помощью метода imread () библиотеки cv2 .

Наша следующая цель – превратить фотографию в оттенки серого. Сделаем это с помощью метода cv2.cvtColor ().

Этот метод принимает два аргумента. Первый – имя файла, который нужно преобразовать, а второй – формат, в который нужно преобразовать этот файл. В данном случае мы будем использовать формат cv2. COLOR_BGR2GRAY .

Затем воспользуемся функцией detectMultiScale () для обнаружения объектов (в нашем случае — лиц). Здесь мы напишем face_cascade . detectMultiScale (), который будет обнаруживать лица (это указано параметром face_cascade).

Функция detectMultiScale() принимает несколько аргументов: изображение, коэффициент масштабирования, минимальное количество соседей, флаги, минимальный и максимальный размер. Мы укажем только первые 3 аргумента.

Чтобы разместить прямоугольную рамку вокруг лица, нам нужно использовать метод cv2. rectangle (). Он принимает несколько аргументов. Первый – это наше изображение, второй – начальная точка прямоугольника, третий – конечная точка прямоугольника, четвертый – цвет прямоугольника, а пятый – его толщина. В данном случае w – ширина, h – высота, x и y – координаты начальной точки.

Наконец, мы выводим изображение на экран с помощью метода cv2. imshow (). Мы также используем cv2. waitKey (0), чтобы установить бесконечное время ожидания, и cv2. destroyAllWindows (), чтобы закрыть окно.

В Гонконге протестующие уничтожают уличные камеры, чтобы избежать распознавания лиц. Неужели эта технология уже настолько эффективна, что с ней нужно бороться? Я купил камеру с датчиком глубины, чтобы попробовать самостоятельно реализовать алгоритм сравнения лиц. Вот что у меня получилось.

Зачем нужна аутентификация по лицу

Существует несколько вариантов аутентификации с помощью биометрии, и каждый из них имеет свои недостатки.

Камера

Я выбрал недорогую, но при этом функциональную камеру Intel RealSense SR305, которая может снимать и цветное изображение, и глубинное изображение в разрешении 640 на 480 пикселей с частотой до 60 кадров в секунду.

Чтобы получать трехмерное изображение, камера использует маленький инфракрасный излучатель, который проецирует равномерные линии на предметы перед ней. По искривлению этих линий камера понимает, насколько далеко или близко находятся эти объекты.

Так выглядит камера, установленная на треногу

Рабочее расстояние камеры небольшое: излучатель расположен так, что объекты, которые находятся ближе двадцати сантиметров, не будут освещены и, соответственно, не будут просканированы. Слишком далеко расположенные предметы — дальше двух метров — тоже окажутся не видны, поскольку мощность лазера не позволит спроецировать на них инфракрасную сетку.

В комплекте с камерой идет провод USB и инструкция со ссылкой на официальный SDK в репозитории на GitHub.

Установка SDK

В первую очередь нужно установить программное обеспечение, чтобы камера заработала. Пользователи Windows могут просто скачать и установить программу. Если же у тебя Linux, но не Ubuntu 16 или 18, то придется собирать проект самостоятельно.

Для начала скачаем исходный код и подготовим площадку для сборки.

Теперь можно собрать проект, чтобы посмотреть, как работает камера.

Запуск в macOS

Если ты пользователь macOS, для запуска графических программ тебе придется использовать Xcode и соответствующий флаг при конфигурации. Так ты сможешь сгенерировать проект Xcode, чтобы запустить каждую утилиту по отдельности.

Откроется окно Xcode. Выбери необходимую программу, собери проект комбинацией клавиш Command + B и нажми кнопку Build and run.

Окно Xcode с файлами сборки для macOS

Для пробного запуска нам понадобится утилита RealSense Viewer, которая показывает на экране, что видит камера.

Таким будет окно RealSense Viewer, если подключить камеру Примерно так выглядит трансляция глубины

На GitHub ты можешь найти подробную инструкцию по сборке для Linux и для macOS.

Подключаем Python

Мы попробуем написать свою программу для идентификации по трехмерному изображению лица. И для начала нам нужно подключить библиотеку RealSense, например к Python 3. Пользователям Windows и некоторых дистрибутивов Linux не придется напрягаться — можно взять официальный пакет pyrealsense2 в PyPI.

Остальных же ждет еще одно приключение: необходимо пересобрать весь проект, добавив во флаги враппер для Python.

В папке wrappers/python/ появятся два файла и четыре символические ссылки. Чтобы использовать эти файлы как библиотеку для Python, их необходимо скопировать в папку, из которой ты будешь запускать скрипты.

Так выглядят файлы модуля для Python 3.7

Продолжение доступно только участникам

Систему камер с распознаванием лиц в Москве признали одной из самых развитых в мире. Чем это нам грозит? Как работают алгоритмы и можно ли их обмануть? И какое будущее у этой технологии?

Что такое распознавание лиц?

Распознавание лиц — это технология, которая позволяет автоматически идентифицировать (распознать, кто на фото) или верифицировать (подтвердить, что на фото именно этот человек) человека на фото, видео или вживую. Для распознавания используют нейросети, которые умеют считывать и анализировать уникальные черты человеческого лица, а затем сверять их с базой.

Об эксперте: Татьяна Гайнцева, преподаватель Deep Learning School (МФТИ), автор блога об искусственном интеллекте и нейронных сетях.

Как развивалась технология распознавания лиц

Первые эксперименты в области машинного распознавания лиц представил в 1960-х годах Вуди Бледсо — профессор Техасского университета в Остине, исследователь искусственного интеллекта. Его рабочая группа создала базу из 800 снимков людей в разных ракурсах. Далее ученые размечали лица 46 точками-координатами с помощью прототипа современного планшета. Посредством специального алгоритма система разворачивала лица под разными углами, увеличивала и уменьшала масштаб. На втором этапе алгоритм использовал 22 измерения, действуя согласно байесовской теории принятия решений — чтобы общий вывод был максимально точным. В итоге система, разработанная Бледсо, справлялась в 100 раз быстрее, чем человек.
В 1988 году Майкл Кирби и Лоуренс Сирович из Университета Брауна применили подход Eigenface с использованием линейной алгебры для анализа изображений. Для разметки лиц они применяли менее 100 различных значений.
В 1991 году Алекс Пентланд и Мэтью Терк из MIT усовершенствовали технологию Eigenfaces, задействуя факторы окружающей среды. Им удалось автоматизировать процесс распознавания.
В конце 1990-х годов Управление перспективных исследовательских проектов при Минобороне США (DAPRA) и Национальный институт стандартов и технологий выпустили программу FERET с самой обширной базой лиц — более 14 тыс. изображений. Изначально ее использовали, чтобы находить и распознавать преступников по всему миру, но затем представили для открытого доступа.
С 2010 года Facebook начал использовать функцию распознавания лиц, чтобы находить пользователей на публикуемых фото и предлагать их отметить.
В 2011 году власти Панамы и США запустили совместный проект FaceFirst. Это технология распознавания лиц, которую использовали для пресечения незаконной деятельности в аэропорту Токумен в Панаме. В том же году полиция и спецслужбы США начали применять распознавание лиц для опознания трупов — включая Усаму бен Ладена.
С 2014 года распознавание лиц используют в камерах мобильных телефонов, а с 2017 — в ретейле.

Как работает распознавание лиц?

В основе технологии — две нейросети:

Вот как это выглядит:

Программа вырезает обнаруженные лица (те, что плотно расположены друг к другу, повернуты в профиль или просто очень маленькие и нечеткие, система может не распознать).

Затем она их выравнивает: детектирует на лице точки глаз, носа и рта.

Наконец, поворачивает и подгоняет размер фото так, чтобы точки глаз, носа и рта находились в определенных местах.

Некоторые алгоритмы используют больше семи точек — то есть, обводят контуры лица. Это может понадобиться, к примеру, для создания дипфейков.

На похожие лица сеть выдает похожие векторы и наоборот.

Возьмем одно фото Анджелины Джоли и два изображения Брэда Питта и прогоним их через сеть. На выходе получим три вектора. Измерим расстояние между вектором Анджелины Джоли и вектором первого Брэда Питта, а также между векторами двух Брэдов Питтов. В первом случае расстояние будет большим — это разные люди, а во втором — маленьким: это один человек.

Чтобы обучить нейросети, используют огромные базы данных с лицами людей. Нейросети на входе сообщают, кому принадлежит это лицо, а затем, в ходе обучения, добиваются, чтобы она выдавала максимально точные результаты. Обучившись на миллионах разных людей, нейросеть начинает распознавать и новые лица — те, которых не было в базе.

Технология Face ID в смартфонах устроена немного иначе. Алгоритм распознает вас не по фото, а с помощью инфракрасных точек, которые проецируются на ваше лицо через камеру. После этого создается трехмерная модель и сравнивается с той, что вы уже внесли ранее.

Где применяют распознавание лиц?

? Безопасность

Криминалисты, полиция и спецслужбы используют автоматизированные системы биометрической идентификации (ABIS) для поиска преступников, доказательства преступлений и их предотвращения — например, терактов или мошенничества с документами.

Камеры с распознаванием лиц применяют для обеспечения безопасности на массовых мероприятиях, для прохождения контроля в аэропортах, контроля доступа в различных организациях. Системы помогают находить пропавших детей, дезориентированных взрослых или людей, которых держат в рабстве.

? Здравоохранение и медицина

Распознавание лиц в больницах и домах престарелых помогает отслеживать, принимают ли пациенты лекарства и следить за их состоянием через специальный монитор. Нейросети даже умеют обнаруживать по лицу генетические заболевания по характерным признакам на лице — такие, как синдром Ди Джорджи, — и оценивать общее состояние пациента.

? Ретейл, общепит и банки

Технология распознавания лиц помогает идентифицировать клиента и предотвратить мошенничество во время покупки в магазине, анализировать поведение покупателей и оптимизировать сервис так, чтобы продавать больше.

Еще одно перспективное направление — распознавание эмоций. Например, чтобы улучшить взаимодействие с клиентами и сотрудниками, работая онлайн, или анализировать, как пользователи реагируют на контент. В России подобными разработками занимается компания Neurodata Lab.

? Образование

Сервисы на базе распознавания лиц помогают во время онлайн-обучения: следят, чтобы ученик не отвлекался во время экзамена, не списывал и не пользовался устными подсказками.

Самые продвинутые разработки в этой области

С 2016 по 2020 год точность распознавания лиц нейросетями улучшилась в 50 раз: коэффициент ошибок составил 0,8%. Согласно исследованию Facial Recognition Market 2019 года, мировой рынок распознавания лиц тогда оценивали в $3,2 млрд. Прогноз на 2024 год — $7 млрд, при ежегодном росте в 16%.

Самые масштабные разработки в области распознавания лиц — у Google, Apple, Facebook, Amazon и Microsoft (GAFAM).

В 2014 году Facebook запустил сервис DeepFace, который определяет, принадлежат ли два сфотографированных лица одному и тому же человеку с точностью 97,25%.

В 2015 Google представила свою разработку — FaceNet. Благодаря огромному массиву данных, которые собирают сервисы Google, FaceNet достигла рекордной точности — 99,63%. Технологию, в частности, используют в Google Фото для сортировки изображений и автоматических отметок людей на них.

Amazon с 2018 года активно продвигает свой облачный сервис распознавания лиц под названием Rekognition, которым пользуются правоохранительные органы США. Система умеет распознавать до 100 человек на одном фото и искать их в базах данных, содержащих десятки миллионов лиц.

По данным Центра стратегических и международных исследований, а также Управления по науке и технологиям МВД США, лучшим решением в 2020 году было признано FRT: его точность распознавания составила 99,97%.

В России есть пять крупных игроков на рынке распознавания лиц:

NTechLab;
VisionLabs;
Sensemaking Lab;
Группа ЦРТ.

Что не так с распознаванием лиц в Москве?

В Москве действует одна из крупнейших в мире сетей с распознаванием лиц — более 200 тыс. камер общей стоимостью около 5 млрд руб.

Российскую технологию NTechLab признали лучшей в результате тестирования Национального института стандартов и технологий США. NTechLab вели совместные разработки с Genetec — поставщиком систем видеонаблюдения для американского правительства и спецслужб.

Московскую систему видеонаблюдения использовали во время пандемии в 2020 году. С ее помощью выявили более 200 нарушителей карантина и самоизоляции, которым пришлось выплатить штрафы.

Правозащитники указывают на опасность технологии для обычных граждан. Например, юрист Алена Попова неоднократно подавала иски к управлению МВД Москвы и московскому Департаменту информационных технологий с требованием запретить систему распознавания лиц на митингах.

Распознавание лиц и правда используют на митингах?

В феврале 2021-го появилась информация о том, что с помощью камер власти отслеживали участников митингов в Москве и привлекали их к ответственности. Полицейские останавливали людей на входе в метро или приходили к ним домой. Такое бывало и в других странах.

Во время протестов в Гонконге 2019-20 годов власти тоже использовали распознавание лиц, чтобы вычислять активистов. Для борьбы с этим протестующие использовали лазерные указки, маски с чужими лицами и проекторы для лица, а также громили столбы с камерами.

По мнению оппозиции, для распознавания используют программу Face++ от китайского стартапа Megvii. Эта система, предположительно, попала в черный список властей США за нарушение прав человека.

Еще один недавний пример — сайт Faces of the Riot, созданный студентом из Вашингтона. Он использовал приложение с открытым исходным кодом, чтобы извлечь лица из 827 видео, размещенных в соцсети Parler во время штурма Капитолия 6 января 2021 года. Затем он применил нейросеть для распознавания лиц, обученную на 200 тыс. фото из базы ФБР, и идентифицировал людей.

Какие еще проблемы есть у технологии сегодня?

??? Утечки. В данном случае в сеть утекают доступы к камерам наблюдения и результатам распознавания. За деньги можно проверить по фотографии, где и когда камеры засекли конкретного человека.

? Ошибки в распознавании. В 2018 году технология распознавания лиц от Amazon ошибочно опознала 28 членов Конгресса США как преступников. Недавний пример — москвич Сергей Межуев, которого система распознавания лиц в метро ошибочно приняла за преступника в розыске. В итоге мужчину задержали, собрали все данные и не сняли подозрения, пока реальный подозреваемый не нашелся.

? Использование лиц без согласия. В США до недавнего времени для обучения нейросетей распознаванию лиц использовали датасеты с лицами из открытых источников. Готовые датасеты тоже были в открытом доступе. Однако сейчас их убрали, так как это нарушает законы о защите персональных данных. Теперь доступ к ним можно получить по запросу и только для исследовательских (некоммерческих) целей.

? Дискриминация и расизм. Для обучения нейросетей используют датасеты, которые содержат, в основном, фото людей титульной нации и расы. В итоге системы распознавания лиц плохо распознают азиатов, латиноамериканцев или афроамериканцев. Системы, которые используют в криминалистике, чаще указывают на чернокожих людей как на потенциальных преступников.

Исследование MIT от 2018 года показало, что алгоритмы Microsoft, IBM и китайского Megvii (FACE ++) очень часто ошибаются при идентификации темнокожих женщин по сравнению со светлокожими мужчинами.

Есть примеры дискриминации по полу: например, нейросеть, которая дорисовывает женским фото тело в бикини, а мужским — в костюме. Просто потому, что в сети большинство изображений именно такие.

? Использование технологии для манипуляции людьми. Оказавшись в руках властей, системы с распознаванием лиц вместе с базами персональных данных дают неограниченные возможности. Самый радикальный пример того, к чему это может привести — Китай.

Распознавание лиц в Китае: социальная антиутопия

В Китае распознавание лиц используют в полиции, аэропортах, на улицах, в общественном транспорте. Государство планирует распространить систему по всей стране: по данным CNBC, в конце 2018 года в Китае использовали более 200 млн камер наблюдения, а к концу 2021-го их число достигнет более 500 млн.

Одна из главных причин — внедрение системы социального рейтинга или кредита. Каждый гражданин страны получает положительные баллы за общественно-полезную деятельность, отсутствие нарушений, своевременную уплату налогов. За проступки баллы снимаются. Низкий или отрицательный рейтинг влечет разные последствия: отказ в выдаче кредита и социальных выплатах, запрет на вылет из страны и работу в определенных организациях.

Также при помощи этой технологии правительство Китая следит за представителями уйгурского этнического меньшинства. Сотни тысяч уйгуров поместили в города-гетто и лагеря для политзаключенных и всячески ограничивают их в перемещении.

Можно ли обмануть систему распознавания лиц?

Однако все эти способы вряд ли помогут. Во-первых, мы до конца не знаем, по каким именно приметам нейросети распознают лица. Во-вторых, алгоритмы обучают по разным схемам и на разных датасетах. Чтобы их обмануть, нужно точно знать, как устроена конкретная нейросеть.

Можно, конечно, полностью скрыть лицо в публичных местах и на массовых мероприятиях. Но во многих странах — включая Россию и Китай — это запрещено законом.

Есть способы, которые помогают изменить уже готовые фото. Например, компания Generated Media создала Anonymizer: приложение, которое генерирует серию портретов на основе ваших фото и делает их неузнаваемыми для нейросетей.

Можно использовать специальную маску. К примеру, возьмем фото, на котором нейросеть опознала актрису Еву Лонгорию и немного изменим его:

Слева — исходное фото, справа — маска, наложенная на него, посредине — результат. Теперь алгоритм его не узнает, хотя для нас очевидно, что это та же самая женщина. Но и этот способ можно применить только если у вас есть доступ к архитектуре нейросети.

Как регулируют распознавание лиц в разных странах?

В ЕС и Великобритании действует самый жесткий регламент по защите данных — GDPR. Он запрещает любое посягательство на личную жизнь человека со стороны частных компаний и госорганов без его согласия. Это касается и систем распознавания лиц.

В США нет единого закона, который бы регулировал использование технологии. Ближе всех к европейскому GDPR по сути стоит Закон о конфиденциальности потребителей в Калифорнии (CCPA). В некоторых штатах действуют ограничения для полиции и других органов — например, в Орегоне, Вашингтоне, Техасе, Иллинойсе, Массачусетсе, Вермонте.

ИТ-корпорации настаивают на принятии законов на федеральном уровне. В 2020 году IBM объявила о прекращении продаж своих продуктов для распознавания лиц. Вслед за ними Amazon и Microsoft временно приостановили сотрудничество с госорганами в этой области. А в июле правозащитники из ACLU подали иск против ClearviewAI за нарушение закона штата Иллинойс о конфиденциальности биометрической информации.

В Китае распознавание лиц используют повсеместно, и у госорганов есть неограниченные возможности по применению технологии. С недавних пор биометрия является обязательной даже при регистрации телефонного номера.

В России есть закон о защите персональных данных. Но он направлен, в первую очередь, на сохранность самих данных: их необходимо защищать, чтобы предотвратить утечки. Права самих граждан, чьи данные используются, никак не защищены. Безопасность биометрических данных в частной сфере пока не регулируется, но у властей с 2019 года есть право использовать распознавание лиц без согласия граждан.

Какое будущее у этой технологии?

Читайте также: