Как работает распознавание лиц в смартфонах
Почему мы выбираем разблокирование по фейсу
В последние годы определение лиц стало одной из самых распространённых возможностей для деблокировки смартфонов. Всего некоторые лет назад основная часть использующих обходились PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.
Какой аспект делает эту конкретную возможность настолько популярной? Во-первых, это практично: не нужно запоминать замысловатые пароли или находить нужный палец в тьме. Также, это оперативно: современные алгоритмы узнают лицо фактически за мгновения ока. В-третьем пункте, это чувство футуризма — будто в кинофильмах про вулкан казино шпионов.
Однако за данной кажущейся легкостью прячется полный вселенная сложных техник и инженерных разработок. Давайте понять, как точно работает распознавание лиц в современных мобильных телефонах, какие бывают технологии, насколько они надёжны и что нас ждёт впереди.
Сжатая история эволюции техники
Идентификация лиц как техника имеется уже более пятидесяти лет. Начальные пробы автоматического анализа облика были осуществлены еще в 1960-х годы в лабораториях США. Тогда вычислительные машины умели лишь обозначать силуэты лица и вычислять промежутки между глазами и губами на ахроматических фотографиях.
Изначальные коммерческие системы стали доступны в 90-х, но они были неидеальны: действовали неспешно и нередко ошибались. Только с эволюцией синтетических сетей и таких площадок, как вулкан россии, мощных мобильных чипов распознавание лиц стало по-настоящему широко распространённым явлением.
В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать личные решения.
Основные стадии работы устройства определения
Процесс распознавания лица можно ориентировочно сегментировать на несколько ключевых этапов:
- Распознавание лица — аппарат распознает существование людского образа в снимке.
- Определение признаков — алгоритм исследует контуры облика: форму глаз, обонятельного органа, уст, расположение бровей.
- Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе выделенных признаков.
- Сравнение со эталоном — полученный модель сопоставляется с зафиксированной при регистрации биометрической данными владельца.
- Принятие выбора — если сходство достаточно существенное, смартфон открывается.
Каждый из этих шагов нуждается в особых методов и усовершенствований для оперативной работы непосредственно на девайсе.
Железные компоненты: что находится внутри
Типичная селфи камера.
Наиболее несложный вариант распознавания физиономии применяет только переднюю камеру мобильного устройства. Данный подход осуществлён во многочисленных доступных вариантах Android-устройств.
Преимущества:
- Не нуждается в дополнительных сенсоров.
- Шустро действует при качественном свете.
Отрицательные стороны:
- Легко ввести в заблуждение изображением или видеозаписью.
- Неправильно действует при низком освещении или необычных ракурсах.
Инфракрасная камера и пунктирный проекционный аппарат
Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс лежит в основе Face ID от Apple.
Каким способом это работает:
- Точечный устройство проекции отображает на лицо юзера невидимую структуру из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
- Инфракрасная устройство регистрирует изменение формы данной решетки по плоскости лица.
- Формируется трёхмерная карта глубины, которая почти неподвластна для имитации стандартной фотографией или маской.
Плюсы
- Надёжная деятельность даже в полной темноте.
- Сильная сопротивляемость к имитациям.
- Точность распознавания более 99%.
Дополнительные датчики
В некоторых девайсах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые определяют период распространения света до предмета и обратно; Трехцветные-датчики глубины; специальные лазерные дальномеры для построения более детализированной 3D-модели физиономии.
Эти технологии встречаются наиболее часто во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).
Софтверные алгоритмы: искуственный интеллект на работе
Текущие системы идентификации физиономий неосуществимы при отсутствии эксплуатации ИИ и machine learning. Именно из-за таким технологиям, как вулкан россии, устройство может узнавать владельца даже при трансформациях внешности: новая причёска, борода, оптика или грим не становятся помехой для разблокировки.
Распознавание физиономии
На начальном шаге алгоритм обязана быстро обнаружить образ лица среди всего изображения с камеры. Для данной цели задействуются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены находить человеческие лица среди множества других объектов.
Пример: процесс MTCNN в состоянии распознавать физиономию даже при неполном перекрытии (например, шарфом или рукой).
Определение важных моментов
После распознавания лица устройство, такая как вулкан россии, определяет расположение главных точек: края глаз, кончик носа, края губ и так далее. Часто применяется от 68 до 128 ключевых меток на лицевой поверхности.
Это действие необходимо для нормализации изображения: если юзер держит смартфон под наклоненным, или наклонил головку, программа корректирует изображение до обычного угла для дальнейшего анализа.
Построение биометрии образца
Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 вещественных чисел.
Данный формат крайне затруднительно подделать: он не сохраняет непосредственно картинку пользователя, а лишь особенные черты его внешности, что делает его совершенным для таких площадок, как vulkan russia.
Сравнительный анализ и осуществление решения
Если юзер намеревается разблокировать мобильник глазами, программа повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.
Если схожесть превышает заданный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.
Привыкание к трансформациям облика
Занимательная черта актуальных систем — способность самообучения. Если ты регулярно открываете смартфон с обновленной прической или оптикой, алгоритм постепенно освежает эталонный шаблон вашего облика для повышения точности работы без ухудшения безопасности.
Защита биометрических данных данных.
Многие клиенты опасаются сохранять свои био-идентификационные данные на телефоне из-за риска потери данных или хакерской атаки. Некоторые компании, вроде vulkan russia, предлагают методы для улучшения защиты данных юзеров.
-
Локальное хранение: Основная часть аппаратов сохраняет биометрические образцы только в пределах безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из гаджет и закрыты включая производителю.
-
Шифрование: Все данные сохраняются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.
-
Изоляция приложений: Программы внешних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.
Следует подчеркнуть важную особенность: в случае, если кто-то сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители осуществляют систему защиты от неосознанного разблокирования — например, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.
Какие существуют имеются типы идентификации лиц на изображениях?
На сегодняшний день можно определить выделить 3 ключевых метода к реализации этой функции:
Программное 2D идентификация
Используется только фронтальная камера без вспомогательных сенсоров дистанции. Такой способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).
Плюсы: легкость осуществления; минимальная цена; быстрая функционирование при хорошем освещении.
Минусы: легко обмануть фотографией; неустойчивая деятельность ночью; недостаточная защищенность.
Техническое объёмное сканирование
Задействует ИК видеокамеру + проекционный модуль пикселей + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: значительная надежность; невозможно подделать изображение/видеозапись; устойчивая функционирование в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)
Комбинированные подходы с дополнением ИИ
Применяют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронтальную камеру c инфракрасным датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами чужих устройств.
Примеры использования разных методов
- iPhone модели X/11/12/13/14 применяют только физическое трёхмерное сканирование
- Xiaomi Mi8 Explorer Edition первый раз представил эквивалент Face ID среди Android.
- Samsung Galaxy S10/S20 обеспечивают как программное плоское распознавание по изображению фронталкой, так и сенсор радужки глаза.
- Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент
Проблемы защиты и ложные сигналы
Несмотря на поразительный успехи технологий за прошедшие лет, совершенных систем пока не наблюдается:
- Возможность подвоха: Бюджетные смартфоны легко “разблокируются” качественной изображением хозяина либо видео с дисплея иного гаджета.
- Идентичные близняшки: Даже самые совершенные устройства могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
- Метаморфозы внешности: Внезапное похудение/набор веса, косметические процедуры либо повреждения в некоторых случаях необходимы для перерегистрации биометрии.
- Условия съёмки: Сильная засветка солнечным светом либо интенсивная затенение могут понизить верность определения признаков.
Ниже несколько советов по защищённому использованию:
- Для важных операций всегда используйте двухэтапную аутентификацию;
- Не включайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
- Систематически обновляйте прошивку смартфона для обеспечения безопасности от современных угроз;
- Включайте функцию “Требовать распахнутых глаз” везде, где она есть.
Где дополнительно используется технологии кроме мобильных телефонов?
Несмотря на то, что предмет нашей работы посвящена именно смартфонам и планшетам, стоит упомянуть о прочих направлениях внедрения технологии:
- Контроль входа в рабочих помещениях и многоквартирных зданиях;
- Платёжные аппараты финансовых учреждений (“Face Pay”);
- Виртуальные паспорта нового образца;
- Установки видеомониторинга городских служб;
- Механизация регистрации посещаемости учебных заведений/университетов;
- Вход участников персональных компьютеров/ноутбуков.
Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без пластика или мобильника! Похожие инициативы осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.
Каким образом трансформируется технический процесс в нынешнее время?
Всякий годик возникают современные идеи для усовершенствования уровня функционирования систем распознавания лиц:
- Увеличивается чёткость сенсорных устройств — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
- Улучшаются искусственные интеллекты — современные конструкции типа MobileNetV3 дают возможность быстро обучаться дополнительным особенностям облика владельца непосредственно на девайсе без отправки данных в облако.
- Развиваются способы антиспуфинга — теперь смартфоны умеют отличать реальные анимированные лица от фиксированных снимков/масок по незаметным движениям кожи.
- Синхронизация со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к телефон, если пользователь ушёл далеко.
- Появляются гибридные устройства — например комбинирующие аудио аутентификацию + физиономию + отпечаток пальца.
Вот, какие направления очень актуальны на сегодняшний день:
1) Уменьшение деталей
Компании стараются уменьшить габариты выреза (“чёлки”) для сенсоры на экране за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.
2) Обработка прямо на аппарате
Для увеличения конфиденциальности всё более обработки данных происходит внутри устройства без отправки данных во сторонний облачный сервис.
3) Унификация стандартов
Гугл интенсивно продвигает эталон BiometricPrompt API, с целью чтобы аналогичные платформы, например как вулкан россия, и любые Android-аппы могли работать с всеми формами биометрии унифицированно.
Какое решить на сегодня?
Когда вам необходима максимальная защита информации, остановите выбор на флагманские аппараты со встроенным ИК-проектором либо ToF-датчиком глубины.
- iPhone каждого последних моделей
- Huawei Companion/P линейки
- Xiaomi Pro
- Vivo X линейки
- Оппо Обнаружить X серий.
Если финансы скромен – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в вулкан россия, задействовать только как второстепенную возможность комфорта.
Как улучшить практичность функционирования возможности?
Есть несколько лайфхаков для людей, кто уже пользуется функцию распознавания лица:
- Периодически обновляйте свою фото-шаблон, если сильно меняется внешность.
- Не пренебрегайте чистить линзу фронтальной камеры – пятна могут уменьшить четкость!
- Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует фотоаппарат когда вы поднимаете его.
- Во время записи старайтесь удерживать лицо ровно перед видеоустройства не допуская значительного наклона головы.
- Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.
Перспективы развития инноваций
В скоро наступающие годы можно ожидать развития полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + голос + походка + манипуляции руками!
Также предполагается развитие новых способов защиты конфиденциальности – к примеру, переменное модификация электронного образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.
Идентификация лиц – одна из наиболее интересных инноваций нашего времени! Она обеспечивает взаимодействие со мобильным устройством удобнее чем до этого, и такие приложения, как vulkan russia, могут в разы повысить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.
Теперь, раз вы понимаете, как устроена эта методика в деталях, – будете в состоянии более осмысленно выбирать свой очередной девайс!