Как действует распознавание лиц в смартфонах

Зачем мы выбираем разблокирование по фейсу

В прошлые времена идентификация лиц стало одной из самых популярных функций для открытия умных телефонов. Всего пару лет назад основная часть пользователей довольствовались пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает эту функцию настолько популярной? Прежде всего, это комфортно: не нужно запоминать сложные пароли или отыскивать верный палец в тьме. Также, это оперативно: современные программы идентифицируют лицо практически за мгновение. В-третью очередь, это ощущение футуристичности — будто в кинофильмах про вулкан автомат агентов.

Впрочем за этой видимой несложностью скрывается целый вселенная трудных техник и инженерных концепций. Попробуем разобраться, как точно работает распознавание лиц в новейших мобильных телефонах, какие бывают технологии, насколько они защищены и что нас предстоит.

Короткая хроника развития инноваций

Распознавание лиц как технология присутствует уже более пятидесяти годов. Изначальные попытки машинного анализа лиц были предприняты еще в 1960-х годы в лабораториях США. Тогда компьютеры способны были лишь определять контуры черепа и вычислять расстояния между очами и губами на черно-белых фотографиях.

Начальные коммерческие системы появились в 90-х, но они были несовершенны: работали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких площадок, как вулкан россии, сильных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Ключевые стадии функционирования системы определения

Процесс идентификации лица можно условно разделить на несколько ключевых этапов:

Идентификация лиц — устройство определяет наличие гуманного лица в изображении.
Выделение особенностей — алгоритм анализирует контуры физиономии: очертания глаз, обонятельного органа, губ, положение бровей.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с эталоном — созданный образец сверяется с сохранённой при учёте биометрической данными владельца.
Принятие решения — если совпадение достаточно значительное, смартфон разблокируется.

Всякий из указанных шагов нуждается в специальных процедур и оптимизаций для скорой работы прямо на устройстве.

Технические компоненты: что находится в их недрах

Стандартная селфи камера.

Самый простой легкий вариант распознавания облика использует только лицевую камеру смартфона. Данный подход внедрён во многочисленных недорогих вариантах Android-девайсов.

Достоинства:

Не нуждается в внешних датчиков.
Шустро работает при достаточном освещённости.

Отрицательные стороны:

Легко одурачить снимком или видеозаписью.
Неправильно действует при низком освещении или необычных углах обзора.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика составляет базу Face ID от Apple.

Каким способом это действует:

Точечный проектор отображает на облик юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 меток).
Инфракрасная устройство регистрирует изменение формы этой сетки по плоскости лица.
Формируется трёхмерная карта глубинности, что почти что невозможна для фальсификации обычной фото или маскировкой.

Преимущества

Надёжная деятельность даже в полной темноте.
Высокая сопротивляемость к имитациям.
Точность идентификации свыше 99%.

Добавочные сенсоры

В определённых устройствах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют время движения света до объекта и обратно; Цветные-датчики дальности; специальные оптические измерители расстояния для создания более аккуратной 3D-модели лица.

Эти инновации применяются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искуственный интеллект на исполнении

Текущие системы идентификации физиономий невозможны при отсутствии эксплуатации ИИ и машинного обучения. Именно из-за таким инновациям, как вулкан россии, аппарат способно узнавать владельца даже при изменениях внешнего вида: новая причёска, борода, линзы или грим не становятся помехой для деблокировки.

Обнаружение лиц

При стартовом стадии система должна быстро найти лицо в пределах целого кадра с камеры. Для этой задачи используются последовательные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии находить физиономию даже при неполном перекрытии (например, платком или рукой).

Выделение важных точек

После идентификации лица механизм, такая как вулкан россии, устанавливает местоположение основных точек: уголки глаз, конец носа, края губ и так далее. Часто используется от 68 до 128 основных точек на лицевой поверхности.

Данное требуется для стабилизации картинки: если пользователь удерживает смартфон под наклоненным, или наклонил головку, программа исправляет изображение до обычного угла для дальнейшего анализа.

Построение биометрического шаблона

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный формат очень затруднительно имитировать: он не удерживает непосредственно фото пользователя, а лишь особенные особенности его внешности, что делает его оптимальным для таких систем, как vulkan russia.

Сравнительный анализ и вынесение выбора

Когда юзер намеревается разблокировать смартфон взором, система повторяет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Приспособление к метаморфозам внешнего вида

Занимательная особенность актуальных систем — способность самостоятельного обучения. Если вы постоянно доступаете к смартфон с обновленной прической или очками, алгоритм постепенно обновляет эталонный образец вашего облика для повышения точности работы без снижения уровня безопасности.

Защита биометрии информации.

Множество юзеры беспокоятся держать свои биометрические данные на смартфоне из-за угрозы утечки данных или взлома гаджета. Иные организации, такие как vulkan russia, предоставляют решения для улучшения защиты сведений юзеров.

Локальное сохранение: Преимущественно аппаратов сохраняет биометричные модели исключительно внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не покидают устройство и закрыты даже производителю.
Шифрование: Все данные сберегаются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних девелоперов не обладают непосредственного возможности доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.

Стоит подчеркнуть значимую особенность: в случае, если какой-то человек достанет физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют защиту от автоматического разблокирования — в частности, заставляют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды идентификации лиц на изображениях?

На сегодняшний день можно определить три главных подхода к осуществлению этой функции:

Софтверное плоское идентификация

Эксплуатируется только фронтальная камера без экстра детекторов дистанции. Подобный способ используется наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; низкая стоимость; быстрая работа при достаточном свете.
Минусы: несложно обмануть фотографией; неустойчивая функционирование ночью; низкая безопасность.

Аппаратное трёхмерное сканирование

Задействует инфракрасную камеру + проектор пикселей + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: высокая достоверность; нельзя исказить изображение/видеозапись; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с интеграцией ИИ

Используют комбинацию программируемых методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock современных версий, объединяют фронталку c ИК датчиком движения Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Образцы эксплуатации разнообразных методов

iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID среди Android.
Samsung Galaxy S10 версия/S20 поддерживают как программное двухмерное распознавание по изображению селфи-камерой, так и сканер глазного ириса.
Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Проблемы безопасности и ложные сигналы

Несмотря на поразительный успехи инноваций за недавние годы, безупречных систем пока не имеется:

Возможность обмана: Доступные телефоны без труда “разблокируются” четкой изображением владельца либо роликом с экрана другого устройства.
Идентичные двойняшки: Даже самые безупречные системы могут перепутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
Трансформации внешнего вида: Резкое похудение/набор веса, пластические операции либо повреждения иногда необходимы для повторной регистрации биометрических данных.
Условия съёмки: Сильная засветка солнечным светом или глубокая затенение могут уменьшить верность идентификации признаков.

Здесь пара подсказок для надёжному эксплуатации:

Для значимых операций всегда применяйте двухфакторную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
Постоянно апгрейдите программное обеспечение телефона для защиты от актуальных атак;
Включайте опцию “Требовать раскрытых глаз” в тех местах, где она имеется.

В каких областях дополнительно находится применение технология помимо смартфонов?

Несмотря на то, что тема нашей работы сосредоточена на конкретно смартфонам и планшетам, следует отметить других сферах применения технологии:

Управление доступа в деловых центрах и многоквартирных зданиях;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Цифровые паспорта нового образца;
Установки видеомониторинга муниципальных подразделений;
Автоматизирование отслеживания присутствия образовательных учреждений/институтов;
Вход участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без пластика или телефона! Аналогичные инициативы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом трансформируется технический процесс сегодня?

Каждый годик появляются свежие идеи для улучшения стандарта работы систем идентификации лиц:

Увеличивается разрешение сенсоров — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше риск неточности;
Улучшаются нейронные сети — передовые архитектуры типа MobileNetV3 позволяют быстро обучаться новым чертам облика владельца напрямую на гаджете без отправки данных в облако.
Совершенствуются методы антиспуфинга — теперь мобильные устройства способны распознавать подлинные живые облики от неподвижных фотографий/масок по мельчайшим движениям кожи.
Интеграция со смарт-гаджетами — смарт-часы могут автоматически блокировать смартфон, если владелец удалился на значительное расстояние.
Возникают комбинированные системы — например объединяющие речевую идентификацию + облик + отпечаток пальца.

Итак, какие направления особенно актуальны на сегодняшний день:

1) Сокращение элементов

Компании намереваются минимизировать величину отверстия (“чёлки”) под сенсоры на дисплее за счёт внедрения маленьких ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для улучшения приватности всё больше обработки данных выполняется на месте без пересылки информации во сторонний облачный сервис.

3) Унификация регламентов

Google энергично пропагандирует стандарт BiometricPrompt API, чтобы подобные площадки, вроде вулкан россия, и любые Android-приложения могли взаимодействовать с любыми видами биометрии стандартизированно.

Какое подобрать сегодня?

Когда вам всем нужна наивысшая сохранность информации, подбирайте топовые модели с интегрированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих новейших версий
Huawei Mate/Series P серии
Mix Professional
Vivo X линейки
Oppo Обнаружить Икс серии.

Если средства невелик – лучше выбирать традиционным средствам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как дополнительную опцию комфорта.

Каким образом повысить удобство использования опции?

Есть несколько советов для людей, кто уже пользуется функцию распознавания лица:

Регулярно обновляйте свою фото-шаблон, если сильно изменяется облик.
Не упускайте из виду очищать линзу передней камеры – пятна могут снизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает фотоаппарат если вы берёте его в руки.
Во время регистрации постарайтесь держать лицевую часть прямо впереди объектива без сильного наклона головы.
Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвели взгляд от дисплея.

Перспективы прогресса технологии

В предстоящие времена можно предвкушать развития полностью дистанционных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + звучание + манера ходьбы + манипуляции руками!

Также возможно развитие свежих способов защиты конфиденциальности – скажем, переменное модификация электронного паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень увлекательных техник нашего периода! Она обеспечивает общение со телефоном проще чем когда-либо прежде, и такие аппы, как vulkan russia, могут значительно повысить ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как работает эта методика в деталях, – сможете более осмысленно выбирать свой очередной устройство!