Каким образом работает определение лиц в мобильных устройствах

Для чего мы останавливаемся на разблокирование по лицевому распознаванию

В прошлые времена распознавание лиц превратилось в одной из наиболее востребованных опций для открытия смартфонов. Всего некоторые годов назад основная масса юзеров довольствовались PIN-кодами, паролями или сканерами отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь превращает данную особенность очень нужной? Во-первых, это комфортно: не нужно помнить сложные пароли или искать верный палец в тьме. Во-вторых, это быстро: современные алгоритмы узнают лицо буквально за мгновения ока. В-третью очередь, это ощущение футуристичности — будто в кинолентах про вулкан автомат шпионов.

Тем не менее за данной на первый взгляд простотой прячется весь мир трудных методов и инженерных разработок. Попробуем исследовать, как конкретно функционирует распознавание лиц в современных мобильных телефонах, какие существуют технологии, насколько они надёжны и что нас ожидает в будущем.

Короткая хроника развития технологии

Идентификация лиц как методика имеется уже более пятидесяти годов. Изначальные пробы автоматизированного изучения облика были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь определять контуры лица и измерять расстояния между глазами и ртом на монохромных снимках.

Изначальные бизнес платформы появились в 1990-х годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с эволюцией нейронных сетей и таких платформ, как вулкан россии, мощных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои разработки.

Ключевые стадии работы устройства определения

Процесс определения лица можно условно разделить на несколько важных этапов:

1. Распознавание лица — камера выявляет присутствие гуманного образа в снимке.
2. Выделение характеристик — алгоритм исследует особенности облика: форму глаз, обонятельного органа, уст, расположение надбровных дуг.
3. Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с эталоном — полученный шаблон сверяется со сохранённой при регистрации биометрической информацией владельца.
5. Принятие решения — если соответствие достаточно существенное, смартфон деблокируется.

Каждый из указанных шагов запрашивает особых методов и оптимизаций для быстрой работы прямо на устройстве.

Технические элементы: что прячется внутри

Стандартная фронтальная камера.

Самый простой несложный способ распознавания лица использует исключительно лицевую видеокамеру смартфона. Подобный подход реализован во многочисленных бюджетных моделях Android-девайсов.

Положительные стороны:

• Не потребляет дополнительных сенсоров.
• Шустро работает при достаточном освещении.

Слабые стороны:

• Несложно обмануть изображением или видеозаписью.
• Неудачно действует при слабом освещении или нестандартных углах обзора.

Инфракрасная камера и пунктирный проектор

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология лежит в основе Face ID от Apple.

Каким образом это работает:

• Точечный проектор проецирует на облик использующего невидимую структуру из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство фиксирует искривление данной решетки по плоскости лица.
• Формируется 3D глубинная карта глубинности, которая почти что невозможна для подделки стандартной фото или маскировкой.

Преимущества

• Надёжная работа даже в полной темноте.
• Большая сопротивляемость к фальсификациям.
• Точность идентификации более 99%.

Добавочные сенсоры

В некоторых аппаратах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые определяют время распространения света до объекта и обратно; Цветные-датчики дальности; специальные световые измерители расстояния для построения более аккуратной 3D-модели лица.

Эти инновации применяются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный интеллект в работе

Текущие механизмы опознания лиц неосуществимы без эксплуатации artificial intelligence и машинного обучения. Именно из-за таким инновациям, как вулкан россии, гаджет может идентифицировать владельца даже при трансформациях внешности: новая укладка, борода, оптика или макияж не становятся помехой для деблокировки.

Обнаружение физиономии

На первом шаге система необходимо оперативно найти образ лица среди полного кадра с камеры. Для этого применяются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые “обучены” распознавать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN способен находить облик даже при частичном закрытии (например, платком или рукой).

Выделение ключевых моментов

После идентификации лица система, такая как вулкан россии, определяет расположение ключевых точек: уголки глаз, конец носа, контуры губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лице.

Это действие требуется для стабилизации изображения: если человек держит телефон под наклоном, или наклонил голову, программа “выпрямляет” изображение до стандартного положения для последующего изучения.

Построение биометрии модели

Далее искусственная сеть строит компактное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой образец весьма трудно сфальсифицировать: он не удерживает само фото юзера, а лишь исключительные характеристики его вида, что делает его идеальным для таких платформ, как vulkan russia.

Сопоставление и принятие решения

Если юзер желает разблокировать мобильник взором, механизм воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный порог (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ не предоставляется.

Адаптация к изменениям облика

Занимательная особенность современных систем — возможность самообучения. Если ты регулярно разблокируете телефон с свежей стрижкой или очками, программа постепенно модернизирует основной шаблон вашего облика для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических данных информации.

Большинство юзеры боятся сохранять свои биометрические идентификационные данные на мобильном устройстве из-за угрозы утечки данных или взлома устройства. Определенные фирмы, такие как vulkan russia, предоставляют решения для повышения сохранности сведений клиентов.

• Локальное сбережение: Большинство аппаратов сохраняет био-идентификационные модели исключительно в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не выходят из устройство и недоступны включая производителю.

• Шифрование: Все информация сберегаются только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Необходимо подчеркнуть значимую особенность: в случае, если какой-то человек сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство производители внедряют меры безопасности от автоматического разблокирования — в частности, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы распознавания лиц?

В настоящее время можно выделить определить три ключевых способа к реализации этой операции:

Программируемое 2D идентификация

Применяется только лицевая видеокамера без экстра детекторов дистанции. Подобный подход встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость реализации; минимальная цена; скоростная работа при достаточном освещении.
Минусы: несложно одурачить снимком; неустойчивая деятельность ночью; низкая безопасность.

Техническое 3D сканирование

Задействует ИК камеру + проектор пикселей + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: значительная достоверность; нельзя подделать фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock современных версий, комбинируют фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации эксплуатации различных методов

• iPhone серии X/11/12/13/14 задействуют только техническое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition в первый раз представил аналог Face ID в ряду Android.
• Samsung Galaxy S10/S20 обеспечивают как программное двухмерное идентификацию по снимку фронтальной камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ложные срабатывания

Несмотря на поразительный прогресс инноваций за прошедшие годы, идеальных механизмов пока не наблюдается:

1. Шанс подвоха: Бюджетные смартфоны без труда “разблокируются” высококачественной фотографией хозяина или роликом с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные системы могут перепутать между монозиготными близнецами либо семьями с очень аналогичной внешностью.
3. Метаморфозы облика: Резкое похудение/набор веса, косметические процедуры или повреждения иногда необходимы для обновления данных биометрии.
4. Условия фотографирования: Интенсивная подсветка солнечным светом либо глубокая тень могут снизить аккуратность распознавания признаков.

Ниже некоторые подсказок для защищённому применению:

• Для важных операций всегда внедряйте двухэтапную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Постоянно апгрейдите ПО смартфона для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать распахнутых глаз” там, где она есть.

В каких местах дополнительно находится применение технологии кроме смартфонов?

Пускай основная мысль этой статьи касается именно портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

• Мониторинг доступа в рабочих помещениях и жилых домах;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Электронные удостоверения личности современного образца;
• Установки видеомониторинга городских служб;
• Механизация отслеживания явки образовательных учреждений/вузов;
• Авторизация участников компьютеров/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Похожие программы реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом меняется технический процесс в нынешнее время?

Любой год проявляются современные концепции для усовершенствования стандарта работы систем идентификации лиц:

1. Увеличивается разрешение датчиков — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс неточности;
2. Развиваются нейронные сети — новейшие структуры модели MobileNetV3 обеспечивают возможность быстро обучаться дополнительным характеристикам внешности пользователя прямо на устройстве без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь смартфоны умеют отличать настоящие живые лица от фиксированных фотографий/масок по незаметным микродвижениям.
4. Синхронизация со смарт-гаджетами — умные часы могут автоматически закрыть доступ к мобильный телефон, если владелец отошёл далеко.
5. Проявляются гибридные системы — например комбинирующие голосовую идентификацию + лицо + дактилоскопический след.

Итак, которые тенденции особенно актуальны на сегодняшний день:

1) Миниатюризация деталей

Производители стараются минимизировать габариты выреза (“чёлки”) для сенсоры на экране за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для увеличения личной безопасности всё больше расчётов происходит локально без передачи информации во внешний облачный сервис.

3) Стандартизация регламентов

Google активно продвигает стандарт BiometricPrompt API, с целью чтобы подобные платформы, вроде вулкан россия, и все Android-программы были совместимы с различными типами биометрии единообразно.

Что выбрать сегодня?

Когда вам нужна максимальная защита данных, выбирайте передовые устройства с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех существующих последних поколений
• Huawei Partner/Series P серии
• Mi Professional
• Vivo X модели
• Oppo Find Икс серий.

Если финансы ограничен – лучше отдавать предпочтение классическим способам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, применять только как второстепенную возможность удобства.

Как повысить практичность использования функции?

Есть некоторые советов для пользователей, кто уже пользуется функцию распознавания лица:

1. Часто обновляйте свою фото-шаблон, если кардинально изменяется внешний вид.
2. Не забывайте чистить линзу передней камеры – пятна могут понизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам запускает камеру когда вы берёте его в руки.
4. При записи старайтесь держать лицо прямо впереди объектива исключая значительного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвернулись от экрана.

Будущее прогресса инноваций

В скоро наступающие времена можно ожидать появления полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + звучание + походка + движения рук!

Также вероятно возникновение новых методов защиты приватности – например, переменное изменение электронного паттерна после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из самых захватывающих технологий нашего эпохи! Она обеспечивает общение со телефоном удобнее чем раньше, и такие программы, как vulkan russia, могут существенно улучшить ваш опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как работает эта система изнутри, – будете в состоянии осознаннее подбирать свой будущий гаджет!