Каким способом работает распознавание лицевых образов в телефонах

Для чего мы выбираем разблокирование по лицу

В недавние годы распознавание лиц стало одной из наиболее востребованных функций для разблокировки умных телефонов. Лишь несколько годов тому назад большинство пользователей довольствовались PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Что делает данную особенность такой востребованной? Для начала, это практично: не нужно помнить трудные пароли или искать нужный палец в мраке. Также, это мгновенно: современные системы распознают лицо буквально за мгновения ока. В-третью очередь, это ощущение будущего — словно в фильмах про казино вулкан разведчиков.

Однако за такой на первый взгляд простотой таится целый универсум трудных методов и инженерных концепций. Давайте разобраться, как конкретно действует распознавание лиц в современных мобильных телефонах, какие существуют технологии, насколько они защищены и что нас ожидает в будущем.

Сжатая хроника эволюции техники

Распознавание лиц как технология имеется уже более 50 годов. Первые попытки автоматического анализа лица были сделаны еще в 1960-х годах в лабораториях США. Тогда вычислительные машины способны были лишь выделять контуры лица и вычислять дистанции между зрачками и ртом на черно-белых снимках.

Первые бизнес платформы возникли в 1990-х годах, но они были несовершенны: работали медленно и часто давали сбои. Только с прогрессом нейронных сетей и таких площадок, как вулкан россии, сильных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои разработки.

Ключевые шаги работы системы распознавания

Процесс определения лица можно условно поделить на несколько основных этапов:

1. Обнаружение лица — устройство выявляет наличие гуманного лица в изображении.
2. Определение особенностей — механизм анализирует особенности физиономии: форму зрительных органов, носа, губ, позицию бровей.
3. Построение структуры — создаётся особенный цифровой отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с стандартом — сформированный образец сверяется со зафиксированной при регистрации биометрической сведениями владельца.
5. Принятие выбора — если сходство достаточно значительное, смартфон деблокируется.

Любой из указанных шагов нуждается в индивидуальных алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Технические компоненты: что скрыто внутри них

Типичная фронтальная камера.

Простейший легкий способ распознавания лица задействует только фронтальную видеокамеру смартфона. Подобный метод осуществлён во различных доступных вариантах Android-устройств.

Достоинства:

• Не потребляет дополнительные датчиков.
• Шустро функционирует при достаточном освещении.

Недостатки:

• Просто ввести в заблуждение фотографией или видео.
• Неправильно функционирует при плохом свете или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким образом это работает:

• Точечный проекционный прибор проецирует на облик использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
• ИК камера записывает деформацию данной сетки по плоскости физиономии.
• Создаётся 3D карта глубины, которая практически неподвластна для имитации стандартной снимком или маской.

Плюсы

• Надёжная функционирование даже в полной неосвещённости.
• Большая сопротивляемость к фальсификациям.
• Точность определения более 99%.

Добавочные сенсорные устройства

В отдельных девайсах задействуются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время движения луча до цели и обратно; RGB-датчики дальности; специальные оптические дальномеры для построения более аккуратной 3D-модели лица.

Эти инновации применяются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический разум на действии

Нынешние устройства опознания лиц неосуществимы в отсутствие эксплуатации artificial intelligence и machine learning. Именно вследствие таким разработкам, как вулкан россии, гаджет способно узнавать юзера даже при изменениях внешнего вида: новая стрижка, растительность на лице, очки или макияж не становятся помехой для деблокировки.

Распознавание лиц

При первом этапе алгоритм необходимо мгновенно найти ликовое изображение в пределах всего изображения с камеры. Для данной цели используются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать облик даже при частичном закрытии (например, платком или рукой).

Идентификация важных аспектов

После обнаружения лица устройство, такая как вулкан россии, вычисляет расположение ключевых точек: края глаз, кончик носа, края губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лице.

Это требуется для стабилизации картинки: если пользователь держит телефон под наклоном, или склонил голову, программа исправляет изображение до обычного угла для последующего изучения.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит сжатое числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Данный формат крайне затруднительно сфальсифицировать: он не удерживает непосредственно картинку пользователя, а лишь уникальные черты его внешности, что делает его идеальным для таких площадок, как vulkan russia.

Сравнение и вынесение заключения

В случае, когда юзер намеревается разблокировать смартфон взором, механизм осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Адаптация к метаморфозам облика

Увлекательная черта современных системы — возможность самостоятельного обучения. Если вы регулярно доступаете к мобильное устройство с новой укладкой или оптикой, программа постепенно освежает эталонный шаблон вашего облика для повышения точности работы без ухудшения безопасности.

Защита биометрии данных.

Большинство юзеры опасаются держать свои биометрические данные на телефоне из-за риска утечки информации или хакерской атаки. Некоторые фирмы, такие как vulkan russia, предлагают методы для увеличения безопасности информации юзеров.

• Локальное сохранение: Основная часть девайсов хранит биометричные шаблоны только в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают аппарат и закрыты в том числе производителю.

• Шифрование: Все данные хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних девелоперов не обладают прямого доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Следует упомянуть значимую деталь: в случае, если кто-либо достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют систему защиты от неосознанного разблокирования — например, заставляют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды идентификации лиц на изображениях?

В настоящее время можно выделить различить 3 главных метода к выполнению этой задачи:

Программное 2D определение

Используется только фронтальная камера без экстра сенсоров глубины. Этот способ используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; низкая цена; быстрая функционирование при достаточном освещении.
Минусы: легко одурачить снимком; нестабильная работа ночью; недостаточная охрана.

Аппаратное объёмное сканирование

Применяет инфракрасную видеокамеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая надежность; невозможно обмануть изображение/видеозапись; постоянная деятельность при любом освещении.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с дополнением ИИ

Применяют комбинацию программных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock новейших поколений, сочетают фронтальную камеру c инфракрасным датчиком мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Образцы использования различных техник

• iPhone модели X/11/12/13/14 применяют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 поддерживают как программное двухмерное определение по изображению фронталкой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности защиты и неверные срабатывания

Несмотря на замечательный прогресс инноваций за недавние годы, безупречных системы пока не имеется:

1. Шанс подвоха: Бюджетные смартфоны легко доступны качественной изображением хозяина или же роликом с экрана другого устройства.
2. Идентичные близнецы: Даже самые безупречные устройства могут перепутать между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Метаморфозы внешности: Стремительное утрата веса/набор веса, пластические операции или травмы порой необходимы для перерегистрации биометрических данных.
4. Условия съёмки: Сильная освещённость солнцем или же интенсивная темнота могут понизить верность идентификации признаков.

Вот пара подсказок по безопасному эксплуатации:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
• Систематически апгрейдите программное обеспечение мобильного устройства для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать открытых глаз” в тех местах, где она есть.

Где ещё находится применение технологии за исключением мобильных телефонов?

Хотя основная мысль нашей статьи сосредоточена на именно мобильным устройствам, следует отметить других сферах применения технологии:

• Контроль входа в офисах и резиденциях;
• Платёжные устройства банков (“Face Pay”);
• Цифровые паспорта современного образца;
• Установки видеомониторинга городских подразделений;
• Механизация регистрации посещаемости учебных заведений/вузов;
• Авторизация пользователей ПК/ноутбуков.

Например: В городском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Похожие инициативы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется технология в наше время?

Любой годик возникают свежие мысли для усовершенствования качества работы систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше риск погрешности;
2. Совершенствуются нейросети — передовые структуры модели MobileNetV3 позволяют скоростно осваивать дополнительным характеристикам вида пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Развиваются способы антиспуфинга — теперь телефоны способны распознавать настоящие движущиеся облики от статичных фото/масок по микроскопическим микродвижениям.
4. Интеграция со смарт-гаджетами — умные часы могут самостоятельно закрыть доступ к телефон, если владелец удалился на значительное расстояние.
5. Проявляются гибридные устройства — к примеру совмещающие речевую опознание + облик + отпечаток пальца.

Итак, какие тенденции в особенности актуальны сейчас:

1) Сокращение элементов

Производители намереваются уменьшить размер прорези (“чёлки”) под датчики на экране за счёт встраивания миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для увеличения приватности всё больше обработки данных осуществляется на месте без пересылки информации во сторонний облачный сервис.

3) Упорядочивание норм

Гугл активно продвигает норму BiometricPrompt API, с целью чтобы аналогичные платформы, например как вулкан россия, и каждые Android-аппы были совместимы с различными типами биометрии унифицированно.

Какое решить сегодня?

Когда вам всем необходима наивысшая защита данных, выбирайте флагманские устройства с вмонтированным ИК-проектором или ToF-сенсором глубины.

• iPhone всех существующих актуальных моделей
• Huawei Companion/P линейки
• Mi Pro
• Vivo X линейки
• Oppo Найти Икс линейки.

Если бюджет скромен – лучше предпочесть обычным способам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную возможность удобства.

Каким способом улучшить комфорт функционирования функции?

Есть пара хитростей для тех, кто уже пользуется разблокировку через лицо:

1. Регулярно обновляйте свою фотографию-шаблон, если сильно меняется внешность.
2. Не пренебрегайте чистить линзу фронтальной камеры – пятна могут понизить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает фотоаппарат если вы поднимаете его.
4. При регистрационного процесса пытайтесь сохранять лицевую часть неподвижно напротив камеры без значительного наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвели взгляд от дисплея.

Возможности развития технологии

В предстоящие периоды можно предвкушать развития полностью дистанционных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: облик + звучание + манера ходьбы + движения рук!

Также возможно развитие свежих методов защиты конфиденциальности – скажем, динамическое корректировка электронного шаблона после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень интересных техник нашего времени! Она предоставляет взаимодействие со телефоном удобнее чем до этого, и такие программы, как vulkan russia, могут существенно улучшить ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как работает эта технология в деталях, – сможете более осмысленно определять свой будущий девайс!