Как работает распознавание лицевых образов в смартфонах

Для чего мы останавливаемся на разлочивание по лицевому распознаванию

В последние годы распознавание лиц стало одной из наиболее востребованных опций для разблокировки умных телефонов. Лишь некоторые годов назад основная масса юзеров удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Что делает данную особенность очень нужной? Прежде всего, это удобно: не нужно удерживать в памяти трудные пароли или искать правильный палец в тьме. Во-вторых, это оперативно: современные алгоритмы идентифицируют лицо буквально за мгновение. В-третьем пункте, это ощущение будущего — словно в кинолентах про вулкан казино шпионов.

Тем не менее за этой кажущейся простотой прячется целый универсум комплексных методов и инженерных концепций. Давайте понять, как точно действует идентификация по лицу в актуальных мобильных телефонах, какие бывают способы, насколько они надёжны и что нас предстоит.

Короткая повествование развития техники

Распознавание лиц как технология существует уже более 50 годов. Первые попытки машинного анализа лица были осуществлены еще в 1960-х годах в лабораториях США. Тогда вычислительные машины могли лишь обозначать очертания головы и измерять расстояния между зрачками и устами на монохромных снимках.

Первые бизнес установки возникли в 90-х, но они были несовершенны: функционировали медленно и часто ошибались. Только с прогрессом искусственных сетей и таких систем, как вулкан россии, сильных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Основные этапы действия механизма идентификации

Процесс определения лица можно условно сегментировать на несколько важных этапов:

Идентификация лиц — устройство определяет существование людского лица в кадре.
Определение характеристик — алгоритм исследует черты облика: форму зрительных органов, носа, губ, положение бровей.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с стандартом — созданный модель сопоставляется с зафиксированной при учёте биометрической сведениями владельца.
Принятие определения — если сходство достаточно значительное, смартфон открывается.

Каждый из этих этапов запрашивает специальных методов и улучшений для быстрой работы непосредственно на девайсе.

Аппаратные компоненты: что прячется в их недрах

Стандартная селфи камера.

Наиболее простой метод определения физиономии использует лишь лицевую камеру мобильного устройства. Подобный метод осуществлён во различных доступных вариантах Android-девайсов.

Положительные стороны:

Не нуждается в дополнительных сенсоров.
Быстро работает при хорошем освещении.

Слабые стороны:

Легко обмануть изображением или видео.
Неудачно действует при плохом свете или необычных точках зрения.

ИК камера и точечный проектор

Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким способом это работает:

Точечный проектор отображает на лицо юзера невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
Инфракрасная камера записывает искривление этой решетки по поверхности физиономии.
Создаётся трёхмерная карта глубинности, что практически неосуществима для фальсификации типичной фото или маской.

Плюсы

Надёжная работа даже в полной неосвещённости.
Высокая сопротивляемость к имитациям.
Точность идентификации выше 99%.

Добавочные сенсорные устройства

В определённых аппаратах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период прохождения света до цели и обратно; Трехцветные-датчики дальности; специальные оптические дальномеры для создания более детализированной 3D-модели лица.

Эти разработки применяются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный ум на действии

Нынешние системы распознавания физиономий немыслимы при отсутствии эксплуатации искусственного интеллекта и machine learning. Именно вследствие таким инновациям, как вулкан россии, аппарат способно идентифицировать юзера даже при трансформациях внешности: новая причёска, щетина, линзы или грим не становятся помехой для открытия.

Распознавание лиц

В начальном шаге программа должна оперативно распознать лицо в пределах всего кадра камеры. Для этого задействуются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые “обучены” идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии находить физиономию даже при неполном перекрытии (например, шалью или ладонью).

Выделение важных моментов

После идентификации лица система, такая как вулкан россии, определяет расположение главных точек: уголки глаз, конец носа, контуры губ и так далее. Как правило задействуется от 68 до 128 основных точек на лицевой поверхности.

Это необходимо для выравнивания картинки: если юзер удерживает телефон под углом, или наклонил головку, программа исправляет изображение до нормального состояния для последующего изучения.

Построение биометрического модели

Далее нейронная сеть строит уплотненное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Такой формат крайне затруднительно подделать: он не сохраняет непосредственно картинку юзера, а лишь особенные особенности его внешности, что делает его идеальным для таких систем, как vulkan russia.

Сопоставление и вынесение выбора

Если пользователь хочет разблокировать смартфон взглядом, программа воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ блокируется.

Адаптация к изменениям внешнего вида

Интересная особенность нынешних систем — способность самостоятельного обучения. Если ты постоянно открываете телефон с новой стрижкой или очками, программа постепенно освежает эталонный модель вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрии данных.

Большинство клиенты опасаются сохранять свои биометрические данные на телефоне из-за риска потери данных или взлома устройства. Определенные фирмы, такие как vulkan russia, предоставляют решения для увеличения защиты информации клиентов.

Локальное хранение: Основная часть аппаратов записывает биометрические шаблоны исключительно в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и недоступны в том числе изготовителю.
Шифрование: Все информация сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Программы третьих девелоперов не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать подтверждение подтверждения личности через системный API.

Следует подчеркнуть существенную подробность: в случае, если кто-либо сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют защиту от неосознанного разблокирования — в частности, заставляют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы распознавания лиц на изображениях?

Сегодня можно различить 3 ключевых подхода к осуществлению этой задачи:

Софтверное плоское идентификация

Используется только лицевая видеокамера без вспомогательных детекторов дистанции. Подобный способ наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; умеренная цена; быстрая деятельность при достаточном свете.
Минусы: несложно ввести в заблуждение фотографией; неустойчивая деятельность ночью; низкая защищенность.

Оборудование для 3D сканирование

Задействует ИК камеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Достоинства: большая достоверность; нельзя обмануть фото/видео; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Задействуют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например вулкан россии и Google Pixel Face Unlock новейших поколений, объединяют фронтальную камеру c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации использования различных способов

iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые предложил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение плоское распознавание по фото селфи-камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Проблемы охраны и неверные тревоги

Несмотря на поразительный прогресс технологий за прошедшие годы, совершенных системы пока не имеется:

Вероятность обмана: Бюджетные мобильники легко открываются качественной снимком владельца либо видеозаписью с дисплея иного гаджета.
Идентичные близнецы: Даже самые совершенные системы могут спутать между монозиготными близнецами либо родичами с очень похожей внешностью.
Метаморфозы внешнего вида: Стремительное утрата веса/увеличение массы тела, пластические операции либо травмы иногда необходимы для перерегистрации биометрических данных.
Условия съёмки: Сильная засветка солнцем либо глубокая тень могут снизить точность определения признаков.

Ниже некоторые подсказок по защищённому эксплуатации:

Для критически важных операций всегда применяйте двухфакторную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Систематически обновляйте прошивку программное обеспечение мобильного устройства для обеспечения безопасности от современных угроз;
Включайте настройку “Требовать открытых глаз” в тех местах, где она доступна.

В каких областях также находится применение технология кроме мобильных телефонов?

Несмотря на то, что предмет нашей статьи посвящена конкретно портативным гаджетам, следует отметить альтернативных областях использования технологии:

Мониторинг прохода в деловых центрах и резиденциях;
Платёжные устройства банков (“Face Pay”);
Виртуальные удостоверения личности нового типа;
Системы видеоконтроля городских сервисов;
Автоматизирование учёта присутствия школ/университетов;
Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как меняется технический процесс в наше время?

Любой годочек появляются современные мысли для усовершенствования уровня деятельности систем идентификации лиц:

Увеличивается детализация сенсоров — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс ошибки;
Совершенствуются нейросети — современные архитектуры типа MobileNetV3 дают возможность оперативно адаптироваться к новым чертам вида обладателя напрямую на гаджете без отправки данных в облако.
Развиваются способы антиспуфинга — теперь смартфоны способны распознавать реальные анимированные лица от неподвижных фото/масок по мельчайшим микродвижениям.
Интеграция со умными устройствами — умные часы могут автоматически блокировать мобильный телефон, если обладатель ушёл далеко.
Проявляются гибридные механизмы — к примеру совмещающие голосовую идентификацию + физиономию + отпечаток пальца.

Вот, какие тренды очень актуальны в данный момент:

1) Сокращение элементов

Изготовители пытаются сократить величину отверстия (“чёлки”) для датчики на дисплее за счёт интеграции компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для повышения приватности всё больше обработки данных осуществляется внутри устройства без отправки данных во сторонний облачный услугу.

3) Унификация регламентов

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, для того чтобы такие платформы, вроде вулкан россия, и каждые Android-программы могли работать с различными типами биометрии унифицированно.

Что выбрать сегодня?

В случае если вам важна максимальная защита информации, остановите выбор на флагманские устройства со встроенным ИК-проектором либо ToF-датчиком глубины.

iPhone каждого последних моделей
Huawei Mate/Series P линейки
Mi Pro
Vivo X серии
Oppo Обнаружить Х серии.

Если финансы ограничен – лучше предпочесть классическим методам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, задействовать только как дополнительную опцию удобства.

Как улучшить удобство работы возможности?

Есть некоторые хитростей для пользователей, кто уже использует разблокировку по лицу:

Часто обновляйте свою фотографию-шаблон, если сильно изменяется внешность.
Не пренебрегайте протирать объектив фронтальной камеры – разводы могут уменьшить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует камеру когда вы поднимаете его.
В процессе регистрационного процесса старайтесь удерживать лицо неподвижно перед объектива не допуская значительного наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Перспективы эволюции технологии

В ближайшие времена можно предвкушать появления полностью дистанционных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: облик + звучание + шаги + движения рук!

Также предполагается появление свежих методов обеспечения конфиденциальности – скажем, динамическое изменение электронного образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень интересных техник нашего периода! Она предоставляет общение со мобильным устройством удобнее чем до этого, и такие аппы, как vulkan russia, могут существенно оптимизировать ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как функционирует эта методика изнутри, – сумеете более осмысленно определять свой следующий девайс!