Как работает идентификация лиц в смартфонах

Зачем мы предпочитаем разлочивание по лицевому распознаванию

В недавние времена распознавание физиономий стало одной из самых распространённых опций для разблокировки мобильных телефонов. Лишь некоторые годков назад основная масса использующих довольствовались пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект превращает данную особенность такой востребованной? Для начала, это комфортно: не нужно запоминать трудные пароли или искать нужный палец в тьме. Кроме того, это быстро: современные системы распознают лицо фактически за мгновение. В-третьем пункте, это ощущение футуризма — как будто в фильмах про адмирал x агентов.

Однако за этой кажущейся легкостью таится полный мир трудных техник и инженерных разработок. Позвольте нам разобраться, как точно действует идентификация по лицу в современных мобильных телефонах, какие существуют методы, насколько они надёжны и что нас ожидает в будущем.

Краткая история эволюции техники

Распознавание лиц как технология присутствует уже более пятидесяти годов. Изначальные эксперименты автоматизированного анализа облика были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда ЭВМ умели лишь определять силуэты головы и определять дистанции между глазами и губами на ахроматических изображениях.

Начальные торговые платформы появились в девяностых годах, но они были далеки от совершенства: работали медленно и часто давали сбои. Только с развитием синтетических сетей и таких площадок, как адмирал х, мощных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Главные этапы действия системы распознавания

Процесс распознавания лица можно ориентировочно разделить на несколько основных этапов:

Распознавание лиц — камера распознает наличие людского образа в снимке.
Извлечение характеристик — система исследует черты лица: форму глаз, обонятельного органа, уст, положение надбровных дуг.
Построение структуры — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
Сравнение со эталоном — полученный шаблон сверяется с зафиксированной при внесении биометрической информацией владельца.
Принятие выбора — если соответствие достаточно существенное, смартфон открывается.

Всякий из указанных шагов запрашивает индивидуальных алгоритмов и улучшений для быстрой работы прямо на устройстве.

Железные составляющие: что скрыто внутри них

Обычная передняя камера.

Самый простой несложный метод определения облика использует исключительно фронтальную камеру мобильного устройства. Такой метод внедрён во различных недорогих вариантах Android-устройств.

Достоинства:

Не нуждается в внешних сенсоров.
Шустро действует при достаточном освещённости.

Недостатки:

Легко ввести в заблуждение снимком или видеозаписью.
Плохо функционирует при плохом освещённости или непривычных точках зрения.

Инфракрасная фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Как это работает:

Точечный устройство проекции отображает на облик юзера невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
ИК устройство фиксирует изменение формы данной решетки по плоскости лица.
Формируется трехмерная карта глубины глубинности, которая почти невозможна для подделки обычной фото или маской.

Плюсы

Надёжная функционирование даже в полной тьме.
Большая устойчивость к подделкам.
Точность определения выше 99%.

Добавочные датчики

В определённых девайсах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые определяют время прохождения света до цели и обратно; Цветные-датчики дальности; специальные лазерные дальномеры для формирования более детализированной 3D-модели физиономии.

Эти технологии встречаются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический ум в работе

Нынешние системы опознания лиц немыслимы в отсутствие использования artificial intelligence и машинного обучения. Именно из-за таким разработкам, как адмирал х, аппарат способно узнавать владельца даже при изменениях внешнего вида: новая укладка, растительность на лице, линзы или косметика не становятся барьером для открытия.

Обнаружение физиономии

В стартовом этапе программа должна оперативно обнаружить образ лица в пределах всего снимка камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии обнаруживать лицо даже при частичном перекрытии (например, шарфом или рукой).

Выделение основных точек

После идентификации лица устройство, такая как адмирал х, вычисляет положение главных точек: кончики глаз, верхушка носа, границы губ и так далее. Обычно применяется от 68 до 128 основных точек на лицевой области.

Это требуется для стабилизации картинки: если человек находится с мобильник под углом, или склонил головку, программа исправляет изображение до стандартного положения для дальнейшего анализа.

Создание биометрии образца

Далее нейросеть строит компактное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Такой шаблон крайне трудно подделать: он не сохраняет само картинку пользователя, а лишь особенные характеристики его вида, что делает его совершенным для таких площадок, как admiral-x.

Сравнение и вынесение решения

Если юзер намеревается разлочить мобильник глазами, программа повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый порог (обычно больше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ запрещается.

Приспособление к изменениям внешнего вида

Интересная характеристика нынешних систем — возможность самообучения. Если вы регулярно разблокируете мобильное устройство с обновленной прической или оптикой, система постепенно освежает эталонный шаблон вашего облика для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных данных.

Большинство пользователи опасаются хранить свои биометрические данные на смартфоне из-за вероятности потери данных или хакерской атаки. Некоторые фирмы, вроде admiral-x, предлагают варианты для повышения сохранности данных пользователей.

Локальное сбережение: Большинство аппаратов хранит биометрические модели исключительно в пределах безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не оставляют гаджет и недоступны включая производителю.
Шифрование: Все информация хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних разработчиков не обладают непосредственного возможности доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Следует подчеркнуть существенную подробность: если какой-то человек получит физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители осуществляют меры безопасности от “слепого” разблокирования — к примеру, заставляют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды определения лиц?

Сегодня можно выделить выделить 3 основных способа к осуществлению этой функции:

Софтверное двухмерное идентификация

Эксплуатируется только лицевая камера без экстра сенсоров дистанции. Этот метод наблюдается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; минимальная цена; оперативная деятельность при качественном освещении.
Минусы: несложно обмануть фотографией; ненадежная работа ночью; низкая защищенность.

Оборудование для трёхмерное оцифровка

Использует ИК видеокамеру + проектор точек + датчики дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Достоинства: большая надежность; не получится подделать изображение/видеозапись; устойчивая работа при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с дополнением ИИ

Применяют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например адмирал х и Google Pixel Face Unlock последних версий, сочетают фронтальную камеру c инфракрасным сенсором движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Примеры использования различных способов

iPhone модели X/11/12/13/14 используют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые внедрил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 имеют как программное обеспечение двухмерное идентификацию по снимку фронталкой, так и датчик радужки глаза.
Huawei Mate20 Pro задействует комплекс из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы охраны и ложные срабатывания

Несмотря на впечатляющий развитие технологий за последние годы, безупречных механизмов пока не существует:

Возможность подвоха: Бюджетные смартфоны легко открываются четкой фотографией владельца либо видео с дисплея иного гаджета.
Идентичные близняшки: Даже самые совершенные механизмы могут спутать между монозиготными близнецами либо родичами с очень похожей внешностью.
Метаморфозы внешности: Резкое снижение веса/увеличение массы тела, хирургические вмешательства либо травмы порой требуют обновления данных биометрии.
Условия записи: Сильная засветка солнцем или же плотная затенение могут снизить аккуратность определения признаков.

Здесь некоторые советов для защищённому использованию:

Для критически важных операций всегда применяйте двухфакторную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Систематически обновляйте прошивку прошивку телефона для предотвращения угроз от новых видов атак;
Включайте функцию “Требовать раскрытых глаз” везде, где она доступна.

В каких местах дополнительно используется технология помимо смартфонов?

Хотя тема этой статьи касается именно портативным гаджетам, следует отметить других сферах применения технологии:

Мониторинг прохода в рабочих помещениях и жилых домах;
Платёжные аппараты банков (“Face Pay”);
Виртуальные паспорта последнего поколения;
Установки видеомониторинга муниципальных сервисов;
Механизация отслеживания присутствия учебных заведений/институтов;
Вход пользователей компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без карты или мобильника! Аналогичные проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом изменяется технология в нынешнее время?

Любой годочек появляются свежие идеи для улучшения качества работы систем лицевого распознавания:

Увеличивается разрешение сенсоров — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше шанс неточности;
Улучшаются искусственные интеллекты — передовые структуры модели MobileNetV3 обеспечивают возможность оперативно осваивать свежим особенностям вида обладателя напрямую на гаджете без отправки данных в облако.
Развиваются способы антиспуфинга — теперь смартфоны умеют распознавать реальные движущиеся лица от статичных фото/маскировок по микроскопическим микродвижениям.
Синхронизация со умными устройствами — интеллектуальные часы могут самостоятельно закрыть доступ к телефон, если владелец отошёл далеко.
Возникают комбинированные системы — например объединяющие речевую идентификацию + лицо + пальцевой отпечаток.

Итак, которые тренды очень популярны в данный момент:

1) Уменьшение элементов

Изготовители пытаются минимизировать габариты выреза (“чёлки”) под сенсоры на экране за счёт интеграции маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения личной безопасности всё больше обработки данных происходит локально без передачи данных во внешний облачный услугу.

3) Унификация стандартов

Google интенсивно продвигает эталон BiometricPrompt API, чтобы аналогичные платформы, вроде admiral x, и все Android-программы могли взаимодействовать с всеми формами биометрии унифицированно.

Какое решить на сегодня?

Когда вам важна предельная безопасность данных, подбирайте топовые устройства со встроенным ИК-излучателем или ToF-датчиком глубины.

iPhone всех существующих новейших моделей
Huawei Partner/Series P ряда
Mix Expert
Vivo X модели
Oppo Найти Икс серий.

Если финансы ограничен – лучше выбирать традиционным средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную опцию комфорта.

Как увеличить практичность функционирования функции?

Есть некоторые хитростей для пользователей, кто уже применяет разблокировку через лицо:

Часто обновляйте свою фото-шаблон, если значительно изменяется внешний вид.
Не забывайте очищать объектив фронтальной камеры – загрязнения могут снизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам активирует фотоаппарат как только вы поднимаете его.
Во время регистрации старайтесь сохранять голову ровно перед видеоустройства исключая сильного наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от экрана.

Перспективы развития инноваций

В скоро наступающие времена можно ожидать появления полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим параметрам одновременно: физиономия + звучание + походка + жесты рук!

Также предполагается появление свежих методов охраны приватности – например, переменное корректировка диджитал образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее интересных техник нашего периода! Она предоставляет общение со мобильным устройством комфортнее чем когда-либо прежде, и такие приложения, как admiral-x, могут в разы улучшить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как работает эта технология изнутри, – будете в состоянии более осмысленно выбирать свой следующий устройство!