Как работает определение лиц в мобильных устройствах

Почему мы предпочитаем разблокировку по лицевому распознаванию

В прошлые годы идентификация лиц является одной из самых популярных функций для открытия мобильных телефонов. Еще несколько годков ранее большинство использующих удовлетворялись пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь делает данную особенность такой востребованной? Во-первых, это практично: не нужно помнить замысловатые пароли или находить правильный палец в тьме. Во-вторых, это оперативно: современные алгоритмы идентифицируют лицо фактически за мгновения ока. В-третьем пункте, это впечатление футуризма — будто в фильмах про адмирал х казино шпионов.

Однако за данной видимой несложностью таится весь вселенная сложных методов и инженерных решений. Попробуем разобраться, как конкретно работает идентификация по лицу в актуальных мобильных телефонах, какие бывают методы, насколько они защищены и что нас ждёт впереди.

Короткая история эволюции техники

Распознавание лиц как технология присутствует уже более пятидесяти годов. Начальные эксперименты автоматического изучения лица были осуществлены еще в 1960-х годы в лабораториях США. Тогда компьютеры могли лишь обозначать очертания лица и вычислять расстояния между зрачками и устами на черно-белых снимках.

Первые бизнес системы появились в 1990-х годах, но они были несовершенны: работали медленно и часто ошибались. Только с эволюцией искусственных сетей и таких площадок, как адмирал х, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные решения.

Главные шаги действия механизма определения

Процесс определения лица можно примерно сегментировать на несколько основных этапов:

1. Распознавание лиц — устройство распознает наличие людского лица в изображении.
2. Определение характеристик — механизм анализирует особенности физиономии: очертания зрительных органов, носа, уст, расположение надбровных дуг.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со эталоном — полученный образец сравнивается со сохранённой при внесении биометрической данными владельца.
5. Принятие решения — если сходство достаточно существенное, смартфон разблокируется.

Всякий из указанных шагов запрашивает специальных процедур и оптимизаций для скорой работы непосредственно на девайсе.

Аппаратные компоненты: что скрыто в их недрах

Типичная передняя камера.

Простейший простой метод определения облика задействует лишь переднюю видеокамеру мобильного устройства. Такой подход внедрён во многочисленных бюджетных моделях Android-девайсов.

Сильные стороны:

• Не нуждается в потребляет внешних сенсоров.
• Шустро функционирует при достаточном освещённости.

Минусы:

• Легко одурачить снимком или видеозаписью.
• Неудачно функционирует при слабом освещении или необычных углах обзора.

ИК камера и пунктирный проектор

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Как это работает:

• Точечный устройство проекции показывает на лицо использующего невидимую структуру из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство записывает изменение формы этой сетки по поверхности физиономии.
• Получается трёхмерная глубинная карта глубины, что почти невозможна для имитации типичной фото или маской.

Преимущества

• Надёжная работа даже в полной неосвещённости.
• Большая защита к подделкам.
• Точность определения выше 99%.

Добавочные датчики

В некоторых устройствах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые измеряют период прохождения луча до цели и обратно; RGB-датчики глубины; специальные лазерные лидары для формирования более точной 3D-модели лица.

Эти инновации применяются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный интеллект в работе

Современные механизмы распознавания физиономий неосуществимы при отсутствии эксплуатации artificial intelligence и машинного обучения. Именно вследствие таким разработкам, как адмирал х, устройство способно идентифицировать юзера даже при изменениях облика: новая стрижка, борода, очки или косметика не становятся помехой для деблокировки.

Обнаружение лица

В стартовом стадии программа обязана быстро обнаружить ликовое изображение среди всего снимка камеры. Для этого задействуются каскадные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может обнаруживать облик даже с неполном перекрытии (например, платком или рукой).

Идентификация важных моментов

После идентификации лица механизм, такая как адмирал х, вычисляет местоположение основных точек: кончики глаз, верхушка носа, границы губ и так далее. Обычно задействуется от 68 до 128 ключевых маркеров на лицевой области.

Это действие требуется для нормализации картинки: если человек держит смартфон под наклоненным, или повернул голову, программа корректирует картинку до обычного угла для дальнейшего анализа.

Создание биометрии шаблона

Далее нейросеть строит уплотненное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Этот формат весьма затруднительно подделать: он не удерживает непосредственно фото пользователя, а лишь исключительные характеристики его вида, что делает его оптимальным для таких площадок, как admiral-x.

Сопоставление и осуществление выбора

Когда человек желает разлочить смартфон взором, система осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Привыкание к метаморфозам облика

Занимательная черта нынешних систем — способность самостоятельного обучения. Если вы постоянно открываете смартфон с новой прической или оптикой, система постепенно обновляет эталонный образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных данных.

Большинство пользователи беспокоятся сохранять свои биометрические идентификационные данные на телефоне из-за угрозы утечки данных или взлома устройства. Иные фирмы, вроде admiral-x, предлагают решения для увеличения сохранности информации юзеров.

• Локальное сбережение: Преимущественно аппаратов записывает био-идентификационные образцы лишь в пределах безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют аппарат и закрыты в том числе производителю.

• Шифрование: Все данные сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних разработчиков не обладают прямого доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Необходимо отметить существенную особенность: если какой-то человек получит доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании реализуют систему защиты от автоматического разблокирования — к примеру, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы идентификации лиц на изображениях?

В настоящее время можно определить выделить три главных метода к осуществлению этой операции:

Программируемое двухмерное распознавание

Применяется только передняя камера без вспомогательных сенсоров глубины. Такой метод используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность воплощения; низкая стоимость; оперативная работа при качественном свете.
Минусы: несложно одурачить фотографией; нестабильная работа ночью; недостаточная безопасность.

Оборудование для трёхмерное сканирование

Применяет инфракрасную видеокамеру + проектор пикселей + датчики глубины (Face ID у Apple; аналогичные решения у Huawei Mate).
Плюсы: значительная достоверность; нельзя подделать фото/видео; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с интеграцией ИИ

Задействуют комбинацию программируемых методов + техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как адмирал х и Google Pixel Face Unlock последних поколений, объединяют фронтальную камеру c инфракрасным датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Иллюстрации использования различных методов

• iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID в ряду Android.
• Samsung Galaxy S10/S20 обеспечивают как программное обеспечение 2D распознавание по снимку фронталкой, так и сенсор глазного ириса.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы защиты и неверные сигналы

Несмотря на впечатляющий прогресс техники за прошедшие лет, безупречных механизмов пока не наблюдается:

1. Возможность мошенничества: Доступные мобильники легко открываются качественной фотографией пользователя либо видеозаписью с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые совершенные устройства могут перепутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы облика: Внезапное похудение/увеличение массы тела, косметические процедуры или травмы порой требуют перерегистрации биометрических данных.
4. Условия фотографирования: Яркая освещённость солнечным светом или интенсивная затенение могут уменьшить точность распознавания признаков.

Вот несколько подсказок для безопасному эксплуатации:

• Для значимых операций всегда внедряйте двухэтапную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте программное обеспечение смартфона для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать раскрытых глаз” в тех местах, где она доступна.

В каких местах ещё используется технология помимо мобильных телефонов?

Пускай тема этой работы касается конкретно смартфонам и планшетам, следует отметить прочих направлениях внедрения технологии:

• Управление доступа в офисах и резиденциях;
• Платёжные аппараты банков (“Face Pay”);
• Электронные удостоверения личности нового поколения;
• Системы видеонаблюдения городских сервисов;
• Механизация регистрации явки образовательных учреждений/институтов;
• Аутентификация юзеров компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без пластика или телефона! Схожие проекты реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом изменяется технология сегодня?

Каждый год появляются свежие мысли для повышения стандарта работы систем лицевого распознавания:

1. Увеличивается чёткость сенсоров — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше риск погрешности;
2. Совершенствуются искусственные интеллекты — современные структуры вида MobileNetV3 обеспечивают возможность быстро адаптироваться к дополнительным характеристикам вида пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь смартфоны умеют отличать настоящие движущиеся лица от неподвижных фото/масок по мельчайшим движениям кожи.
4. Интеграция со интеллектуальными приборами — умные часы могут авто блокировать телефон, если пользователь ушёл далеко.
5. Проявляются смешанные системы — в частности объединяющие аудио идентификацию + лицо + пальцевой отпечаток.

Здесь, те тренды особенно популярны сейчас:

1) Миниатюризация элементов

Компании пытаются минимизировать размер выреза (“чёлки”) под датчики на дисплее за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения конфиденциальности всё более расчётов выполняется на месте без пересылки данных во дополнительный облачный сервис.

3) Стандартизация стандартов

Гугл энергично продвигает эталон BiometricPrompt API, для того чтобы подобные платформы, как admiral x, и каждые Android-приложения были совместимы с любыми видами биометрии унифицированно.

Что выбрать на сегодня?

Если вам необходима наивысшая безопасность информации, выбирайте передовые аппараты с интегрированным ИК-излучателем или же ToF-сенсором глубины.

• iPhone всех новейших моделей
• Huawei Mate/P Series ряда
• Xiaomi Pro
• Vivo X модели
• Oppo Find Икс серий.

Если бюджет ограничен – лучше отдавать предпочтение классическим способам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как дополнительную опцию комфорта.

Каким образом повысить удобство использования функции?

Есть некоторые лайфхаков для людей, кто уже использует разблокировку по лицу:

1. Регулярно обновляйте свою изображение-шаблон, если значительно изменяется облик.
2. Не забывайте чистить линзу фронтальной камеры – пятна могут снизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам запускает фотоаппарат когда вы поднимаете его.
4. Во время регистрации старайтесь удерживать лицо ровно перед объектива исключая резкого наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от экрана.

Перспективы прогресса техники

В скоро наступающие времена можно предполагать развития полностью безконтактных способов идентификации человека сразу по нескольким биометрическим параметрам одновременно: лицо + речь + манера ходьбы + манипуляции руками!

Также вероятно появление свежих способов охраны конфиденциальности – скажем, динамическое корректировка цифрового паттерна после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых интересных техник нашего эпохи! Она предоставляет интеракцию со мобильным устройством удобнее чем до этого, и такие приложения, как admiral-x, могут существенно повысить ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как функционирует эта методика изнутри, – будете в состоянии более осмысленно выбирать свой следующий устройство!