Инструментальный комплекс анализа движения глаз для задач интерактивной рефлекторной идентификации

Валерий Аркадьевич Конявский, доктор технических наук, ведущий научный сотрудник konyavskiy@gmail.com
Сергей Николаевич Петров petrovsnwm@gmail.com
Сергей Алексеевич Тренин s.trenin@gmail.com
Алексей Владимирович Самосюк, научный сотрудник alexeysamosyuk@gmail.com 
Московский физико-технический институт

Ирина Альбертовна Абдуллаева
a.irene.a@mail.ru
Московский государственный технический университет им. Н. Э. Баумана

Смысл цифровой экономики - оказание услуг по принципу «здесь и сей­час» - там и тогда, когда услуга нужна, а не там, где ее удобно предоставить монополисту, коммерческому или государственному. Чтобы оказать услугу, нужно, как минимум, знать, кому она оказывается. Иными словами - иден­тифицировать участника цифровой экономики.

Наиболее удобный способ идентификации - это использование биометриче­ских признаков. Но при этом мы сталкиваемся с огромной проблемой: разра­ботанные для криминалистических, целей методы биометрической идентифи­кации оказались непригодны для использования в информационных, системах цифровой экономики, так как клиентские смартфоны не являются доверенными, и поэтому статичные биометрические характеристики, привычные для крими­налистики, не могут использоваться в новой экономике.

Предложено использование движения глаз в интерактивной системе иден­тификации. Для изучения особенностей движения глаз при стимуляции слу­чайными стимулами создан инструментальный комплекс.

Интерактивная рефлекторная идентификация

Источник методов биометриче­ской идентификации - криминали­стика, одной их задач которой и яв­ляется идентификация субъектов, не расположенных к сотрудничеству [1]. При этом применяются хорошо разработанные методы, основанные на использовании статических ха­рактеристик и доверенных устройств. С развитием информационных си­стем цифровой экономики меняется сама суть подхода - клиентские устройства (смартфоны) не являются доверенными и вряд ли когда-нибудь таковыми станут. Методы удален­ной (дистанционной) биометриче­ской идентификации, основанные на статических биометрических характеристиках (папиллярном узоре, венозном рисунке, радужной оболочке и др.), принципиально уязвимы из-за возможности копирования и подмены любого из показателей, что не составит труда для злоумышленника при использовании недоверенных клиентских устройств.

Для получения услуг в цифровом виде криминалистические методы неприменимы. Изменилась основная задача: из криминалистической она стала цифровой, а в цифровом обществе субъект готов к сотрудничеству, чтобы получить необходимую ему услугу, но зато устройства - недоверенные. Необходима разработка нового подхода к идентификации, свободного от уязвимостей, присущих известным методам.

В [2-4] предложена общая схема работы системы интерактивной рефлекторной идентификации (ИРИ), устойчивой к подмене идентификатора даже при использовании недоверенных терминалов. В графическом виде эта схема отображена на рис. 1.

Рис. 1. Общая схема работы системы рефлекторной интерактивной идентификации 

В проиллюстрированном сценарии пользователь хочет воспользоваться удаленным сервисом: совершить банковскую транзакцию или проголосовать. Центр обработки данных считается доверенным, в то время как доверенность пользовательского устройства гарантировать нельзя. Процедура интерактивной идентификации для наглядности условно разделена на шесть шагов. Текст черного цвета на схеме отображает названия шагов. Промежуточный обмен данными обозначен стрелками, их направление и последовательность указывают на порядок выполнения основных шагов. Здесь предполагается, что пользователь следит взглядом за стимулом на экране, и рассогласование положения стимула и взгляда характеризуют пользователя.

Использование рандомизированных стимулов исключает возможность атаки имитацией (запись реакции и ее повторное воспроизведение). В предложенной схеме задача злоумышленника (осуществить подмену идентификатора) оказывается эквивалентна по сложности задаче построения вычислительно реализуемой предсказательной модели поведения нервной системы человека. На сегодняшний день подобных моделей не существует.

Основой для реализации самого механизма идентификации должна стать новая модель идентификации человека по паре «стимул - реакция». Вопрос о том, содержится ли в данных о реакциях зрачков человека на визуальные стимулы информация, достаточная для его идентификации, обсуждался в литературе. В частности, в работе [5] показана возможность создания нейросетевой модели, позволяющей идентифицировать человека с оценкой частоты правильной идентификации 60% на данных активного устройства слежения за направлением взгляда при частоте кадров 1000 Гц.

Подчеркнем, что невысокая, казалось бы, точность достаточна для признания того факта, что в движениях глаз содержится информация, необходимая для идентификации. Точность можно повышать, главное - информация есть. Отметим при этом, что частота кадров в использованном активном устройстве слежения очень высока, и пока недостижима для смартфонов.

Для повышения точности, снижения требований к частоте кадров при регистрации реакций и анализа устойчивости модели к атакам на биометрическое предъявление необходима разработка инструментального комплекса (ИК) для сбора данных о реакциях людей при наблюдении за случайными стимулами и анализа движений глаз (АДГ) как носителя информации для идентификации.

Основные задачи инструменталь­ного комплекса можно сформули­ровать следующим образом:

• задача 1: оценить возможность идентификации человека по актив­но стимулированному движению глаз и иметь возможность прово­дить исследования по выбору наи­лучшего семейства стимулов для использования в системе ИРИ;
• задача 2: производить регистрацию необходимой информации с по­мощью пассивного оборудования (RGB-камеры) параллельно с ре­гистрацией информации с актив­ного сенсора (инфракрасного тре­кера), чтобы впоследствии перей­ти к съему данных с использова­нием камеры смартфона;
• задача 3: осуществлять предвари­тельную обработку данных и их визуализацию с целью устранения систематических погрешностей и формировать наборы данных для разработки улучшенных моделей идентификации.

На основе описанных задач мож­но предъявить набор основных тре­бований к экспериментальному об­разцу комплекса. Эти требования, сгруппированные по принадлежно­сти к различным информационным объектам и процессам, перечисле­ны ниже.

Т1. Требования к данным

Т1.1. ИК должен поддерживать работу с различными типами сти­мулов, а также сохранять ассоции­рованную с данными АДГ инфор­мацию о стимулах. Выполнение дан­ного требования обеспечит для ис­следователей возможность выбора наиболее подходящего набора сти­мулов, а также использование автоматически генерируемых стимулов, необходимых для защиты от атак имитации.

T1.2. Должна быть обеспечена возможность регистрации инфор­мации о реакциях испытуемого на стимулы с использованием пассив­ных и активных сенсоров.

В реальных условиях для иден­тификации будет использоваться ка­мера смартфона, но эти камеры не обладают достаточной точностью. В составе ИК АДГ ИРИ активные сенсоры (трекеры) используются для получения наиболее точной инфор­мации о реакциях пользователя, а ин­формация из пассивных (камера) - для моделирования условий реаль­ной эксплуатации.

Т1.3. При одновременной работе активных и пассивных сенсоров в со­ставе инструментального комплекса должна сохраняться информация, достаточная для синхронизации дан­ных о стимуле и регистрируемых реакциях.

Для анализа необходимо исполь­зовать сенсоры разной частоты, а так­же стимулы динамической природы. При этом крайне важной становит­ся задача синхронизации измерений. Корректно собранная информация о времени регистрации каждого со­стояния важна для дальнейшего ис­пользования данных в процессе ис­следования.

Т2. Требования к организации процедуры сбора данных

Т2.1. Архитектура комплекса должна предусматривать сбор дан­ ных на большом количестве разных стационарных пунктов. Выполнение требования обеспечивает осуществ­ление параллельного сбора больших наборов данных.

Т2.2. В процессе испытаний тре­буется сохранять информацию, до­статочную для определения ассоции­рованности данных с конкретным экспериментом и испытуемым, а так­же конфигурацию стенда. Это поз­волит учесть особенности конфи­гурации конкретного стенда и устра­нение возможных систематических погрешностей, а также обеспечит сбор информации о реакциях одного и то­го же испытуемого в разное время.

Т3. Требования к хранению и предварительной обработке данных

Т3.1. Внутренние форматы хра­нения должны содержать всю ин­формацию об эксперименте и «сы­рые» (необработанные) данные, в том числе полные видеозаписи и демон­стрируемые стимулы.

Наличие данных непосредствен­но с сенсоров позволит быть уве­ренными в том, что в процессе пре­добработки не будет потеряна ин­формация, необходимая для иден­тификации. «Сырые» данные поз­волят вырабатывать механизмы пре­добработки, не снижающие качества идентификации.

Т3.2. Осуществление поиска, пре­добработки, визуализации записан­ных видеоданных и данных о дви­жении глаз с целью устранения си­стематических погрешностей, а так­ же их обработки при выделении ин­формации о реакции испытуемого.

Реализация требований обеспе­чит подготовку набора данных с це­лью его опубликования. В свою оче­редь, доступность наборов данных для широкого круга исследователей значительно расширит возможности анализа, так как сбор данных пред­ставляет собой длительный и трудо­емкий процесс, не всегда доступный при проведении дальнейших иссле­дований.

Т3.3. Способы выделения из ви­деопотока информации о реакциях должны допускать использование различных алгоритмов обработки изображений. Набор алгоритмов об­работки определяется задачами ис­следования. ИК АДГ ИРИ должен позволять применение любых до­ступных алгоритмов обработки изоб­ражения для выявления информации о реакциях.

Т3.4. Исследователю - пользова­телю комплекса - должна быть пре­доставлена возможность выбора на­бора полей для выгрузки данных при дальнейшем анализе. Выполнение этого требования позволяет депер­сонализировать данные при необхо­димости их размещения во внешних источниках, а также сократить объем данных для дальнейшего анализа.

Архитектура комплекса

На рис. 2 отображена функцио­нальная декомпозиция ИК. Компо­ненты комплекса разделены между стендом сбора данных и автоматизированным рабочим местом (АРМ) исследователя. Такая декомпозиция позволяет организовать несколько пунктов сбора данных (Т2.1).

Рис. 2. Архитектура ИК АДГ ИРИ

Обмен данными между стендом сбора данных и АРМ исследователя выполняется посредствам передачи файлов во внутреннем формате, ко­торый позволяет сохранить полную информацию о реакциях испытуе­мых и соответствующих стимулах в файловой системе стенда (Т3.1). Конвенция наименований в струк­туре директорий позволяет опреде­лить дату и стенд, на котором про­водился сбор данных, при этом в от­дельных файлах сохраняются анкет­ные данные испытуемого (Т2.2).

Использование в составе ком­плекса RGB-камеры и инфракрасного трекера позволяет осуществлять за­пись информации о реакциях с ис­пользованием пассивного и актив­ного сенсоров (Т1.2).

Выделение функции локализации радужной оболочки глаза и опреде­ления направления взгляда по дан­ным с пассивного сенсора в отдель­ный компонент дает возможность при необходимости организовать за­мену алгоритмов обработки изобра­жений для ее реализации (Т3.3). При достижении достаточного качества реализации указанной функции ар­хитектура позволяет полностью от­казаться от использования активного сенсора, что существенно упростит и удешевит сбор данных.

Технический и программный состав ИК АДГ ИРИ

В соответствии с архитектурой, в состав ИК входит входят стенды сбора данных и рабочие места ис­следователей.

На рис. 3 представлено схема­тическое изображение стенда сбо­ра данных. Участники эксперимента должны размещаться на расстоянии 50-90 см от экрана с диагональю не менее 14 дюймов и разрешением 1920x1080 пикселей.

Рис. 3. Общая структура аппаратных компонентов стенда сбора данных

Функциональные компоненты комплекса реализованы с помощью нескольких программных модулей. Ниже приведены наименования ос­новных модулей и реализуемые ими функциональные компоненты^[1].

Модуль генерации стимулов: ком­поненты генерации стимулов и ран­домизации параметров стимуляции. Позволяет создавать визуальные сти­мулы разных типов для последую­щего использования в записи реак­ции испытуемого. Стимулы могут быть трех разных типов:

• статичный текст;
• матрица с буквами;
• точка, движущаяся по заданной траектории с заданной (перемен­ной) скоростью.

Модуль позволяет настраивать скорость перемещения траектории, длительность стимула и разрешение демонстрируемого изображения. Так­же модуль позволяет создавать из от­дельных стимулов серии, настраивать последовательность стимулов в ней, длительность отдельных стимулов, где это необходимо, и сохранять все результаты работы в удобном че­ловекочитаемом формате (Т1.1). На рис. 4 представлен пользовательский интерфейс модуля.

Рис. 4. Пользовательский интерфейс генерации стимулов (стимул – траектория)

Модуль отображения стимулов и регистрации реакций: компонен­ты регистрации видеопотока, сти­муляции, регистрации истинного по­ложения глаз и направления взгляда, синхронизации регистрации и сохра­нения данных, анкетирования участ­ников, конфигурации стенда. При­нимает на вход серии со стимулами, созданные генератором, воспроиз­водит их и записывает реакцию ис­пытуемого, а именно, видеопоток с камеры и данные с инфракрасного трекера Tobi4C. Для синхронизации регистрации реакций с использова­нием сенсоров разной частоты и од­новременной демонстрации стиму­лов разработан специальный компо­нент синхронизации (Т1.3). На рис. 5 представлен пользовательский ин­терфейс стенда сбора данных в про­цессе демонстрации стимула (дви­жущаяся точка).

Рис. 5. Интерфейс стенда сбора данных (экран демонстрации стимулов)

Модуль пакетной обработки и экспорта: компоненты поиска и выбора данных в локальном хранилище, совместной визуализации направления взгляда и стимула, визуализации зарегистрированных данных. Пред­назначен для предпросмотра, сравнения и экспорта записанных данных в формат csv, удобный для дальней­шего анализа (Т4.1). Также он позво­ляет осуществлять совместный про­смотр данных и расчет матриц пре­образований сохраненных координат точки взгляда для устранения систе­матических погрешностей, вызванных возможным некорректным размещением трекера во время записи (Т3.2). На рис. 6 представлен поль­зовательский интерфейс модуля.

Рис. 6. Интерфейс АРМ исследователя (экран отображения траектории стимула и коррекции систематических погрешностей):
1 – область отображения траектории;
2, 3 – список выбора траекторий слежения разных испытуемых за одинаковым стимулом;
4 – слайдеры ручной коррекции систематических погрешностей;
5–8 – элементы управления основными функциями (над ними расположен управляющий элемент перемещения по шкале времени испытания)

Компонент обработки видеозаписи реакции позволяет осуществлять локализацию радужной оболочки глаза на кадрах видеофайлов и определять направление взгляда испытуе­мого. Реализация компонента в виде отдельного программного субмоду­ля позволяет выполнять его простую замену для улучшения качества вы­полнения указанных функций.

Применение ИК АДГ ИРИ

Основная решаемая задача - создание наборов данных для дальнейших исследований. Несколько наборов данных, ориентированных на изучение особенностей рефлектор­ных реакций и переход к трекингу с использованием пассивных сенсоров, уже создано. В результате открыт путь к решению многих задач, в том числе:

1. интерактивной рефлекторной идентификации - на сегодня с ис­пользованием стимулов на основе замкнутых кривых Безье с геомет­рической непрерывностью типа G0 и G2 проведены успешные экспе­рименты с вероятностью успешной идентификации свыше 60 % (подробно об этом исследовании расскажем в следующей статье);
2. созданию дистанционного полиграфа;
3. дистанционной предваритель­ной диагностики многих заболеваний определенных классов и др.

ЛИТЕРАТУРА

1. Конявский В. Л. Новая биометрия. Можно ли в новой экономике применять старые ме­тоды? // InformationSecurity/Информационная безопасность. — 2018. — №4. — С. 34—36.
2. Конявский В. Л. Интерактивный способ био­метрической аутентификации пользователя// Патент на изобретение 2670648. 24.10.2018. Бюл. № 30.
3. Бродский Л. В., Горбачев В. Л., Карпов О. Э., Конявский В. Л., Кузнецов Н. Л., Райгород- скийЛ. М., Тренин С. Л. Идентификация в ком­пьютерных системах цифровой экономики // Информационные процессы. — 2018. — Т. 18, № 4. - С. 376-385.
4. Конявский В. Л., Самосюк Л. В., Тренин С. Л. Рефлекторная биометрия для цифрового об­щества — первый шаг сделан // InformationSe­curity/Информационная безопасность. —2020. — № 6. - С. 48-50.
5. Jager L.Л., Makowski S., Prasse P., Liehr S., Seidler M., Scheffer T. Deep Eyedentification: Bio­metric Identification Using Micro-movements of the Eye // Machine Learning and Knowledge Discovery in Databases, ed. Ulf Brefeld etal. Cham: Springer International Publishing, 2020. Р. 299—314.
6. Baltrusaitis T., Zadeh Л., Lim Y. C., MorencyL. OpenFace 2.0: Facial Behavior Analysis Toolkit// 201813th IEEE International Conference on Auto­matic Face & Gesture Recognition (FG 2018), Xi'an, China, 2018. Р. 59—66.

^[1] В разработке использовались программные продукты сторонних производителей, в том числе инструментарий Tobii Pro SDK, модули Python (poppler, pdfreader, json, numpy,random, sklearn, pandas), фреймворк визуального интерфейса kivy, библиотеки обработки изображений (opencv, dlib), приложение локализации зрачков и направления взгляда openface [6].

Авторы: Конявский В. А.; Самосюк А. В.; Тренин С. А.; Петров С. Н.; Абдуллаева И. А.

Дата публикации: 23.03.2021

Выходные данные: Защита информации. Inside. СПб., 2021. № 2. С. 18-22.

---