Инструментальный комплекс анализа движения глаз для задач интерактивной рефлекторной идентификации

Интерактивная рефлекторная идентификация. Источник методов биометрической идентификации – криминалистика, одной их задач которой и является идентификация субъектов, не расположенных к сотрудничеству [1].  При этом применяются хорошо разработанные методы, основанные на использовании статических характеристик и доверенных устройств. С развитием информационных систем цифровой экономики меняется сама суть подхода – клиентские устройства (смартфоны) не являются доверенными и вряд ли когда-нибудь такими станут. Методы удаленной (дистанционной) биометрической идентификации, основанные на статических биометрических характеристиках (паппилярный узор, венозный рисунок, радужная оболочка глаза, сетчатка и др.), принципиально уязвимы из-за возможности копирования и подмены любого из показателей, что не составит труда для злоумышленника при использовании недоверенных клиентских устройств.

Для получения услуг в цифровом виде криминалистические методы неприменимы. Изменилась основная задача – из криминалистической она стала цифровой – в цифровом обществе субъект готов к сотрудничеству, чтобы получить необходимую ему услугу. Необходима разработка нового подхода к идентификации, свободного от уязвимостей, присущих известным методам.

В [2,3,4] предложена общая схема работы системы интерактивной рефлекторной идентификации (ИРИ), устойчивой к подмене идентификатора даже при использовании недоверенных терминалов. В графическом виде схема работы отображена на рисунке 1.

 

Рисунок 1. Общая схема работы системы рефлекторной интерактивной идентификации.

В иллюстрируемом сценарии пользователь хочет воспользоваться удаленным сервисом: совершить банковскую транзакцию или проголосовать. Центр обработки данных считается доверенным, в то время как доверенность пользовательского устройства гарантировать нельзя. Процедура интерактивной идентификации для наглядности условно разделена на 6 шагов. Белый текст на схеме отображает названия шагов. Промежуточный обмен данными обозначен пунктирными стрелками, их направление и последовательность указывают на порядок выполнения основных шагов. Здесь предполагается, что пользователь следит взглядом за стимулом на экране, и рассогласование положения стимула и взгляда характеризуют пользователя.

Использование рандомизированных стимулов исключает возможность атаки имитацией (запись реакции и воспроизведение ее в другой раз). В предложенной схеме задача злоумышленника (осуществить подмену идентификатора) оказывается эквивалентна по сложности задаче построения вычислительно реализуемой предсказательной модели поведения нервной системы человека. На сегодняшний день подобных моделей не существует.

Основой для реализации самого механизма идентификации должна стать новая модель идентификации человека по паре «Стимул-Реакция». Вопрос о том, содержится ли в данных о реакциях зрачков человека на визуальные стимулы информация, достаточная для его идентификации обсуждался в литературе. В частности, в работе [5] показана возможность создания нейросетевой модели, позволяющей идентифицировать человека с оценкой частоты правильной идентификации 60% на данных активного устройства слежения за направлением взгляда при частоте кадров 1000 Гц.

Заметим, что невысокая, казалось бы, точность, достаточна для признания того, что в движениях глаз содержится информация, необходимая для идентификации. Точность можно повышать, но главное – информация есть.

Отметим при этом, что частота кадров в использованном активном устройстве слежения очень высока, и пока недостижима для смартфонов.

Для повышения точности, снижения требований к частоте кадров при регистрации реакций и анализа устойчивости модели к атакам на биометрическое предъявление необходима разработка инструментального комплекса (ИК) для сбора данных о реакциях людей при наблюдении за случайными стимулами, и анализа движений глаз (АДГ) как носителя информации для идентификации.

Основные задачи ИК можно сформулировать следующим образом:

Задача 1. Оценить возможность идентификации человека по активно стимулированному движению глаз, а также иметь возможность проводить исследования по выбору наилучшего семейства стимулов для использования в системе ИРИ.

Задача 2. Производить регистрацию необходимой информации с помощью пассивного оборудования (RGB камеры) параллельно с регистрацией информации с активного сенсора (инфракрасного трекера) – что бы впоследствии перейти к съему данных с использованием камеры смартфона. 

Задача 3. Осуществлять предварительную обработку данных и их визуализацию для устранения систематических погрешностей и формировать наборы данных для разработки улучшенных моделей идентификации.

На основе описанных задач можно предъявить набор основных требований к экспериментальному образцу комплекса. Ниже перечислены указанные требования, сгруппированные по принадлежности к различным информационным объектам и процессам.

Т1. Требования к данным.

Т1.1. ИК должен поддерживать работу с различными типами стимулов, а также сохранять ассоциированную с данными АДГ информацию о стимулах. Выполнение данного требования обеспечит для исследователей возможность выбора наиболее подходящего набора стимулов, а также использование автоматически генерируемых стимулов, необходимых для защиты от атак имитации.

T1.2. Должна быть обеспечена возможность регистрации информации о реакциях испытуемого на стимулы с использованием пассивных и активных сенсоров.

В реальных условиях для идентификации будет использоваться камера смартфона, но эти камеры не обладают достаточной точностью. В составе ИК АДГ ИРИ мы используем активные сенсоры (трекеры) для получения наиболее точной информации о реакциях пользователя, а информацию из пассивных (камера) используем для моделирования условий реальной эксплуатации.

Т1.3. При одновременной работе активных и пассивных сенсоров в составе инструментального комплекса должна сохраняться информация, достаточная для синхронизации данных о стимуле и регистрируемых реакциях. 

Для анализа необходимо использовать сенсоры разной частоты, а также стимулы динамической природы. При этом крайне важной становится задача синхронизации измерений. Корректно собранная информация о времени регистрации каждого состояния важна для дальнейшего использования данных в процессе исследования.

Т2. Требования к организации процедуры сбора данных.

Т2.1. Архитектура комплекса должна предусматривать сбор данных на большом количестве разных стационарных пунктов.

Выполнение требования обеспечивает осуществление параллельного сбора больших наборов данных.

Т2.2. В процессе испытаний требуется сохранять информацию, достаточную для определения ассоциированности данных с конкретным экспериментом и испытуемым, а также особенности конфигурации стенда.

Это позволит учесть особенности конфигурации конкретного стенда и устранение возможных систематических погрешностей, а также обеспечит сбор информации о реакциях одного и того же испытуемого в разное время.

Т3. Требования к хранению и предварительной обработке данных.

Т3.1. Внутренние форматы хранения должны содержать полную информацию об эксперименте и «сырые» данные, без обработки, в том числе полные видеозаписи и демонстрируемые стимулы.

Наличие данных непосредственно с сенсоров позволит быть уверенными в том, что в процессе предобработки не будет потеряна информация, необходимая для идентификации. «Сырые» данные позволят вырабатывать механизмы предобработки, не снижающие качество идентификации.

Т3.2. Осуществление поиска, визуализации, предобработки с целью устранения систематических погрешностей, а также обработку для выделения информации о реакции испытуемого из видеозаписей.

Реализация требований обеспечит подготовку набора данных с целью его публикации.  В свою очередь, доступность наборов данных для широкого круга исследователей значительно расширит возможности анализа – так как сбор данных представляет собой длительный и трудоемкий процесс, не всегда доступный при проведении дальнейших исследований.

Т3.3. Способы выделения информации о реакциях из видеопотока должны допускать использование различных алгоритмов обработки изображений.

Набор алгоритмов обработки определяется задачами исследования. ИК АДГ ИРИ должен позволять применение любых доступных алгоритмов обработки изображения для выявления информации о реакциях.

Т3.4. Исследователю – пользователю комплекса должна быть предоставлена возможность выбора набора полей для выгрузки данных при дальнейшем анализе.

Выполнение этого требования позволяет деперсонализировать данные при необходимости публикации во внешних источниках, а также сократить размер данных для дальнейшего анализа.

Архитектура комплекса

 

Рисунок 2. Архитектура ИК АДГ ИРИ

На рисунке 2 отображена функциональная декомпозиция ИК. Компоненты комплекса разделены между стендом сбора данных и автоматизированным рабочим местом (АРМ) исследователя. Такая декомпозиция позволяет организовать несколько пунктов сбора данных (Т2.1).

Обмен данными между стендом сбора данных и АРМ исследователя выполняется посредствам передачи файлов во внутреннем формате, который позволяет сохранить полную информацию о реакциях испытуемых и соответствующих стимулах в файловой системе стенда (Т3.1). Конвенция наименований в структуре директорий позволяет определить дату и стенд, на котором проводился сбор данных, при этом в отдельных файлах сохраняются анкетные данные испытуемого (Т2.2).

Использование в составе комплекса RGB камеры и инфракрасного трекера позволяет осуществлять запись информации о реакциях с использованием пассивного и активного сенсоров (Т1.2).

Выделение функции локализации радужной оболочки глаза и определения направления взгляда по данным с пассивного сенсора в отдельный компонент позволяет при необходимости организовать замену алгоритмов обработки изображении для ее реализации (Т3.3). При достижении достаточного качества реализации указанной функции архитектура позволяет полностью отказаться от использования активного сенсора, что существенно упростит и удешевит сбор данных.

Технический и программный состав ИК АДГ ИРИ

В соответствии с архитектурой в состав ИК входит входят стенды сбора данных и рабочие места исследователей.

На рисунке 3 представлено схематическое изображение стенда сбора данных. Участники эксперимента должны размещаться на расстоянии 50-90 см. от экрана. Экран должен иметь диагональ не менее 14 дюймов и разрешением 1920 x 1080 пикселей.

 

Рисунок 3. Общая структура аппаратных компонентов стенда сбора данных.

Функциональные компоненты комплекса реализованы с помощью нескольких программных модулей. Ниже приведены наименования основных модулей и реализуемые ими функциональные компоненты[1].

Модуль генерации стимулов: компоненты генерации стимулов и рандомизации параметров стимуляции.

Модуль отображения стимулов и регистрации реакций: компоненты регистрации видеопотока; стимуляции; регистрации истинного положения глаз и направления взгляда; синхронизации регистрации и сохранения данных; анкетирования участников; конфигурации стенда.

Модуль пакетной обработки и экспорта: компоненты поиска и выбора данных в локальном хранилище; совместной визуализации направления взгляда и стимула; визуализации зарегистрированных данных.

Модуль генерации стимулов позволяет создавать визуальные стимулы разных типов для последующего использования в записи реакции испытуемого. Стимулы могут быть трёх разных типов: статичный текст, матрица с буквами, точка, движущаяся по заданной траектории с заданной (переменной) скоростью. Модуль позволяет настраивать скорость перемещения траектории, длительность стимула и разрешение демонстрируемого изображения. Также модуль позволяет создавать из отдельных стимулов серии, настраивать последовательность стимулов в ней, длительность отдельных стимулов где это необходимо, а также сохранять все результаты работы в удобном человекочитаемом формате (Т1.1). На рисунке 4 представлен пользовательский интерфейс модуля генерации стимулов.

 

Рисунок 4. Пользовательский интерфейс генерации стимулов (стимул стимул-траектория)

 Модуль отображения стимулов и регистрации реакций принимает на вход серии со стимулами, созданные генератором, воспроизводит их и записывает реакцию испытуемого, а именно: видеопоток с камеры и данные с инфракрасного трекера Tobi4C. Для синхронизации регистрации реакций с использованием сенсоров разной частоты и одновременной демонстрации стимулов разработан специальный компонент синхронизации (Т1.3). На рисунке 5 представлен пользовательский интерфейс стенда сбора данных в процессе демонстрации стимула (движущаяся точка).

 

Рисунок 5. Интерфейс стенда сбора данных (экран демонстрации стимулов).

Модуль пакетной обработки и экспорта предназначен для предпросмотра, сравнения и экспорта записанных данных в формат csv, удобный для дальнейшего анализа (Т4.1). Также он позволяет осуществлять совместный просмотр данных, и для расчета матриц преобразований сохраненных координат точки взгляда для устранения систематических погрешностей, вызванных возможным некорректным размещением трекера во время записи (Т3.2). На рисунке 6 представлен пользовательский интерфейс

 

Рисунок 6 – Интерфейс АРМ исследователя (экран отображения траектории стимула и коррекции систематических погрешностей). 1- область отображения траектории; 2,3 – список выбора траекторий слежения разных испытуемых за одинаковым стимулом, 4 – слайдеры ручной коррекции систематических погрешностей; 5-8 – элементы управления основными функциями; над ними управляющий элемент перемещения по шкале времени испытания. 

Компонент обработки видеозаписи реакции позволяет осуществлять локализацию радужной оболочки глаза на кадрах видеофайлов и определять направление взгляда испытуемого. Реализация компонента в виде отдельного программного субмодуля позволяет выполнять его простую замену для улучшения качества выполнения указанных функций.

Применение ИК АДГ ИРИ

Основная решаемая задача – создание наборов данных для дальнейших исследований. Несколько наборов данных, ориентированных на изучение особенностей рефлекторных реакций и переход к трекингу с использованием пассивных сенсоров, уже создано. Открыт путь к решению многих задач, в том числе:

1. Интерактивная рефлекторная идентификация. На сегодня с использованием стимулов на основе замкнутых кривых Безье с геометрической непрерывностью типа G0 и G2 проведены успешные эксперименты по идентификации с вероятностью успешной идентификации свыше 60 процентов. Подробно об этом исследовании расскажем в следующей статье.
2. Дистанционный полиграф.
3. Дистанционная предварительная диагностика многих заболеваний определенных классов – таких, как аутизм и других.

И, конечно, множество других задач могут решаться на этой основе.

Ознакомиться и воспользоваться ИК АДГ ИРИ можно, обратившись в редакцию журнала или в МФТИ.

Литература.

1. Конявский В. А. Новая биометрия. Можно ли в новой экономике применять старые методы? // Information Sceurity\Информационная безопасность. 2018. № 4. С. 34-36.
2. Конявский В. А. Интерактивный способ биометрической аутентификации пользователя. Патент на изобретение, 2670648, 24.10.2018.
3. Бродский А. В.; Горбачев В. А.; Карпов О. Э.; Конявский В. А.; Кузнецов Н. А.; Райгородский А. М.; Тренин С. А. Идентификация в компьютерных системах цифровой экономики // Информационные процессы, 2018. Т. 18. № 4. С. 376–385.
4. Конявский В. А.; Самосюк А. В.; Тренин С. А. Рефлекторная биометрия для цифрового общества – первый шаг сделан // Information Security/Информационная безопасность. М., 2020. № 6. С. 48-50.
5. Jäger, L. A., Makowski S., Prasse P., Liehr S., Seidler M., Scheffer T. Deep Eyedentification: Biometric Identification Using Micro-movements of the Eye // Machine Learning and Knowledge Discovery in Databases, ed. Ulf Brefeld et al. Cham: Springer International Publishing, 2020. Р. 299–314.
6. Baltrusaitis T., Zadeh A., Lim Y. C., Morency L. OpenFace 2.0: Facial Behavior Analysis Toolkit // 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), Xi'an, China, 2018. Р. 59–66.

[1] В разработке использовались программные продукты сторонних производителей, в том числе:

• SDK: Tobii Pro SDK.
• Модули Python: poppler, pdfreader, json, numpy, random, sklearn, pandas.
• Фреймворк визуального интерфейса: kivy.
• Библиотеки обработки изображений: opencv, dlib.
• Приложение локализации зрачков и направления взгляда: openface [6].

 

Авторы: Конявский В. А.; Самосюк А. В.; Тренин С. А.; Петров С. Н.; Абдуллаева И. А.

Дата публикации: 13.04.2021

Библиографическая ссылка: Конявский В. А., Самосюк А. В., Тренин С. А., Петров С. Н., Абдуллаева И. А. Инструментальный комплекс анализа движения глаз для задач интерактивной рефлекторной идентификации // Защита информации. Inside. СПб., 2021. № 2. С. 18–22.

---