Как работает определение лиц в смартфонах

Зачем мы выбираем разблокирование по лицу

В последние времена идентификация физиономий стало одной из наиболее востребованных возможностей для разблокировки смартфонов. Еще несколько годков ранее основная масса использующих обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, например Spinto, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что обуславливает эту функцию настолько популярной? Во-первых, это практично: не нужно запоминать сложные пароли или отыскивать верный палец в темноте. Также, это мгновенно: современные программы узнают лицо практически за доли секунды. В-третьем пункте, это чувство футуристичности — словно в фильмах про russles.ru разведчиков.

Тем не менее за этой на первый взгляд несложностью прячется весь универсум трудных технологий и инженерных разработок. Позвольте нам разобраться, как точно действует фейсканирование в новейших смартфонах, какие применяются методы, насколько они защищены и что нас предстоит.

Сжатая история развития техники

Распознавание лиц как техника имеется уже более 50 лет. Изначальные пробы автоматического анализа облика были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ могли лишь обозначать контуры лица и определять промежутки между очами и губами на монохромных изображениях.

Изначальные коммерческие системы появились в девяностых годах, но они были далеки от совершенства: функционировали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как Спинто, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные решения.

Основные стадии действия механизма идентификации

Процесс распознавания лица можно примерно поделить на несколько важных этапов:

1. Распознавание лица — камера выявляет существование гуманного лица в изображении.
2. Извлечение характеристик — алгоритм изучает черты лица: очертания зрительных органов, носа, губ, позицию бровей.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с стандартом — сформированный шаблон сравнивается с зафиксированной при регистрации биометрической информацией владельца.
5. Принятие решения — если соответствие достаточно существенное, смартфон деблокируется.

Любой из этих стадий требует специальных алгоритмов и улучшений для оперативной работы непосредственно на девайсе.

Железные компоненты: что прячется внутри

Стандартная фронтальная камера.

Самый легкий метод идентификации физиономии использует лишь лицевую камеру смартфона смартфона. Данный метод внедрён во многочисленных доступных моделях Android-девайсов.

Плюсы:

• Не требует внешних датчиков.
• Шустро функционирует при качественном свете.

Слабые стороны:

• Просто обмануть снимком или видеозаписью.
• Неудачно работает при низком свете или нестандартных углах обзора.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как Спинто, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс составляет базу Face ID от Apple.

Как это работает:

• Точечный проектор отображает на лицо юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID использует около 30 000 точек).
• ИК устройство фиксирует искривление данной решетки по плоскости лица.
• Создаётся трёхмерная карта глубины глубины, которая почти неподвластна для имитации типичной снимком или маской.

Преимущества

• Надёжная работа даже в полной темноте.
• Сильная защита к подделкам.
• Точность распознавания выше 99%.

Добавочные датчики

В отдельных девайсах применяются также вспомогательные датчики: ToF (Time-of-Flight), которые фиксируют период распространения света до предмета и обратно; RGB-датчики глубины; специальные оптические измерители расстояния для создания более детализированной 3D-модели лица.

Эти разработки используются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный ум на исполнении

Текущие устройства идентификации лиц немыслимы в отсутствие применения искусственного интеллекта и machine learning. Именно вследствие таким разработкам, как Спинто, гаджет способно узнавать юзера даже при трансформациях облика: новая укладка, растительность на лице, очки или макияж не становятся препятствием для открытия.

Детектирование лиц

В первом стадии алгоритм обязана мгновенно распознать лицо в пределах всего изображения с камеры. Для данной цели применяются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN может находить облик даже в случае частичном перекрытии (например, шарфом или ладонью).

Определение важных моментов

После распознавания лица система, такая как Спинто, вычисляет расположение основных точек: кончики глаз, верхушка носа, контуры губ и так далее. Обычно задействуется от 68 до 128 основных маркеров на лицевой поверхности.

Данное требуется для стабилизации визуала: если пользователь находится с телефон под углом, или склонил головку, программа корректирует изображение до стандартного положения для последующего изучения.

Построение биометрии образца

Далее искусственная сеть строит уплотненное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный образец очень трудно подделать: он не хранит само изображение юзера, а лишь уникальные особенности его облика, что делает его совершенным для таких систем, как Спинто казино.

Сравнительный анализ и осуществление выбора

Если пользователь хочет разблокировать мобильник глазами, механизм осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный уровень (обычно превышает 99%), телефон, как и платформа Спинто казино, доступен; если нет — доступ блокируется.

Привыкание к метаморфозам облика

Интересная характеристика нынешних системы — возможность самообучения. Если ты часто доступаете к телефон с обновленной стрижкой или очками, алгоритм постепенно освежает эталонный образец вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных информации.

Большинство юзеры опасаются хранить свои биометрические данные на мобильном устройстве из-за риска утечки данных или взлома гаджета. Некоторые компании, вроде Спинто казино, предоставляют решения для повышения сохранности данных клиентов.

• Локальное хранение: Преимущественно аппаратов хранит био-идентификационные модели лишь внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из устройство и недоступны в том числе производителю.

• Шифрование: Все данные сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних девелоперов не обладают непосредственного доступа к биометрическим; они могут лишь требовать факт подтверждения личности через системный API.

Необходимо подчеркнуть существенную особенность: в случае, если кто-либо получит доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют защиту от автоматического разблокирования — к примеру, заставляют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории распознавания лиц?

Сегодня можно различить три ключевых способа к осуществлению этой задачи:

Программное 2D определение

Используется только лицевая камера без экстра сенсоров глубины. Такой способ наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; умеренная стоимость; скоростная деятельность при хорошем свете.
Минусы: несложно одурачить фотографией; неустойчивая работа ночью; низкая охрана.

Аппаратное 3D сканирование

Использует ИК видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: высокая надежность; невозможно обмануть фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Используют комбинацию софтверных методов + техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как Спинто и Google Pixel Face Unlock последних версий, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации использования разнообразных методов

• iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые представил эквивалент Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 имеют как программное 2D распознавание по снимку фронтальной камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro использует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности безопасности и неверные тревоги

Несмотря на поразительный успехи инноваций за прошедшие годы, безупречных системы пока не имеется:

1. Возможность обмана: Бюджетные смартфоны просто открываются четкой фотографией владельца или же роликом с экрана другого устройства.
2. Идентичные близняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
3. Изменения внешнего вида: Внезапное похудение/набор веса, хирургические вмешательства или травмы иногда необходимы для перерегистрации биометрии.
4. Условия съёмки: Сильная освещённость солнечным светом или же глубокая темнота могут понизить точность распознавания признаков.

Вот пара подсказок для надёжному использованию:

• Для значимых операций всегда используйте дополнительную аутентификацию;
• Не запускайте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение телефона для защиты от новых видов атак;
• Включайте опцию “Требовать открытых глаз” везде, где она имеется.

В каких местах также находится применение технологии помимо мобильных телефонов?

Хотя тема данной работы посвящена конкретно мобильным устройствам, следует отметить других сферах применения технологии:

• Управление доступа в рабочих помещениях и жилых домах;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Электронные идентификационные документы современного образца;
• Комплексы видеомониторинга городских служб;
• Автоматизирование отслеживания присутствия образовательных учреждений/университетов;
• Авторизация пользователей компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Схожие проекты развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом меняется технический процесс в нынешнее время?

Любой годик появляются современные мысли для повышения уровня работы систем идентификации лиц:

1. Увеличивается чёткость датчиков — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Развиваются нейронные сети — передовые архитектуры типа MobileNetV3 обеспечивают возможность скоростно адаптироваться к дополнительным чертам вида владельца непосредственно на девайсе без отправки данных в облако.
3. Совершенствуются способы антиспуфинга — теперь телефоны способны распознавать подлинные живые лица от фиксированных фотографий/масок по мельчайшим микродвижениям.
4. Интеграция со смарт-гаджетами — умные часы могут автоматически закрыть доступ к смартфон, если пользователь ушёл далеко.
5. Возникают смешанные механизмы — в частности объединяющие голосовую аутентификацию + облик + пальцевой отпечаток.

Итак, которые направления очень актуальны на сегодняшний день:

1) Миниатюризация компонентов

Компании стараются уменьшить величину отверстия (“чёлки”) под датчики на экране за счёт внедрения маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения личной безопасности всё больше вычислений происходит внутри устройства без передачи информации во внешний облачный сервис.

3) Стандартизация стандартов

Google интенсивно продвигает стандарт BiometricPrompt API, для того чтобы подобные площадки, как Spinto, и каждые Android-аппы были совместимы с любыми видами биометрии стандартизированно.

Что выбрать сегодня?

В случае если вам всем необходима максимальная безопасность данных, остановите выбор на передовые устройства с вмонтированным ИК-проектором либо ToF-датчиком глубины.

• iPhone каждого новейших поколений
• Huawei Mate/Series P серии
• Mi Pro
• Vivo X линейки
• Oppo Обнаружить Х линейки.

Если бюджет ограничен – лучше выбирать обычным способам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Spinto, применять только как опциональную опцию удобства.

Как улучшить практичность использования возможности?

Есть пара хитростей для пользователей, кто уже применяет разблокировку по лицу:

1. Регулярно меняйте свою фотографию-шаблон, если значительно меняется внешний вид.
2. Не забывайте очищать объектив передней камеры – разводы могут снизить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает камеру когда вы поднимаете его.
4. Во время записи пытайтесь держать лицо прямо перед камеры без сильного наклона головы.
5. Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвернулись от дисплея.

Перспективы развития техники

В скоро наступающие годы можно ожидать появления полностью дистанционных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + голос + манера ходьбы + манипуляции руками!

Также вероятно появление свежих подходов охраны приватности – к примеру, изменяющееся изменение диджитал шаблона после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень захватывающих технологий нашего эпохи! Она делает интеракцию со смартфоном комфортнее чем раньше, и такие приложения, как Спинто казино, могут существенно улучшить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как устроена эта система изнутри, – будете в состоянии осознаннее выбирать свой будущий устройство!