Отслеживание взгляда - Eye tracking

Файл: Исследование движения глаз у пациентов с глаукомой при просмотре сцены вождения. 0009710.s001.ogv

Ученые отслеживают движения глаз у пациентов с глаукомой, чтобы проверить ухудшение зрения во время вождения.

Отслеживание взгляда - это процесс измерения точки взгляда (куда вы смотрите) или движения глаза относительно головы. Трекер глаз представляет собой устройство для измерения положения глаз и движения глаз . Айтрекеры используются в исследованиях зрительной системы , в психологии, в психолингвистике , маркетинге, в качестве устройства ввода для взаимодействия человека с компьютером , а также при разработке продуктов. Айтрекеры также все чаще используются в реабилитационных и вспомогательных целях (связанных, например, с управлением инвалидными колясками, роботизированными руками и протезами). Есть несколько методов измерения движения глаз. Самый популярный вариант использует видеоизображения, из которых извлекается положение глаз. Другие методы используют поисковые катушки или основаны на электроокулограмме .

Айтрекер Ярбуса 1960-х годов.

История

В 1800-х годах исследования движения глаз проводились с использованием прямых наблюдений. Например, Луи Эмиль Жаваль заметил в 1879 году, что чтение включает не плавное движение глазами по тексту, как предполагалось ранее, а серию коротких остановок (так называемых фиксаций) и быстрых саккад . Это наблюдение подняло важные вопросы о чтении, вопросы, которые исследовались в 1900-х годах: на каких словах останавливаются глаза? На сколько долго? Когда они возвращаются к уже увиденным словам?

Пример фиксаций и саккад над текстом. Это типичный паттерн движения глаз во время чтения. Глаза никогда не перемещаются плавно по неподвижному тексту.

Эдмунд Хьюи создал ранний айтрекер, используя своего рода контактные линзы с отверстием для зрачка . Линза была соединена с алюминиевой указкой, которая двигалась в ответ на движение глаза. Хьюи изучил и количественно оценил регрессии (регрессиями является лишь небольшая часть саккад) и показал, что некоторые слова в предложении не фиксируются.

Первые ненавязчивые айтрекинг были созданы Гаем Томасом Басвеллом в Чикаго, с использованием лучей света, которые отражались от глаза, а затем записывались на пленку. Басвелл проводил систематические исследования чтения и просмотра картинок.

В 1950-х годах Альфред Л. Ярбус провел исследование отслеживания взгляда, и его книга 1967 года часто цитируется. Он показал, что задание, данное испытуемому, имеет очень большое влияние на движение глаз испытуемого. Он также писал о связи между фиксацией и интересом:

«Все записи ... убедительно показывают, что характер движения глаз либо полностью независим, либо лишь очень незначительно зависит от материала изображения и того, как он был сделан, при условии, что он плоский или почти плоский». Цикличность при просмотре картинок «зависит не только от того, что показано на картинке, но и от проблемы, с которой сталкивается наблюдатель, и от информации, которую он надеется извлечь из картинки».

Это исследование Ярбуса (1967) часто называют доказательством того, как задание, данное человеку, влияет на движение его глаз.

«Записи движений глаз показывают, что внимание наблюдателя обычно удерживают только определенные элементы изображения ... Движение глаз отражает мыслительные процессы человека; поэтому за мыслью наблюдателя можно в некоторой степени следить по записям движения глаз (мысли сопровождая осмотр конкретного объекта). По этим записям легко определить, какие элементы привлекают взгляд наблюдателя (и, следовательно, его мысль), в каком порядке и как часто ».

«Внимание наблюдателя часто привлекают элементы, которые не дают важной информации, но, по его мнению, могут так поступать. Часто наблюдатель сосредотачивает свое внимание на элементах, которые необычны в конкретных обстоятельствах, незнакомы, непонятны и т. Д. . "

«... меняя точки фиксации, глаз наблюдателя постоянно возвращается к одним и тем же элементам изображения. Дополнительное время, затрачиваемое на восприятие, используется не для изучения второстепенных элементов, а для повторного изучения наиболее важных элементов».

В этом исследовании Hunziker (1970) по отслеживанию глаз при решении задач использовалась простая 8-миллиметровая пленка для отслеживания движения глаз путем съемки объекта через стеклянную пластину, на которой отображалась проблема со зрением.

В 1970-х годах исследования айтрекинга быстро расширились, особенно исследования чтения. Хороший обзор исследований этого периода дает Райнер .

В 1980 году Джаст и Карпентер сформулировали влиятельную гипотезу « Сильный взгляд-разум», согласно которой «нет заметного отставания между тем, что фиксируется, и тем, что обрабатывается». Если эта гипотеза верна, тогда, когда субъект смотрит на слово или объект, он или она также думают об этом (когнитивно обрабатывают), и в течение ровно столько же, сколько и зафиксированная фиксация. Гипотеза часто принимается как должное исследователями, использующими отслеживание взгляда. Однако техники контингента взгляда предлагают интересный вариант, позволяющий отделить явное и скрытое внимание, различить то, что фиксируется, а что обрабатывается.

В течение 1980-х годов гипотеза «глаз-разум» часто подвергалась сомнению в свете скрытого внимания, внимания к чему-то, на что люди не смотрят, что люди часто и делают. Если скрытое внимание является обычным явлением во время записи слежения за глазами, результирующие шаблоны траектории сканирования и фиксации часто показывают не то место, где было наше внимание, а только то, куда смотрел глаз, не указывая на когнитивную обработку.

В 1980-е годы также зародилось использование айтрекинга для ответа на вопросы, связанные с взаимодействием человека с компьютером. В частности, исследователи исследовали, как пользователи ищут команды в компьютерных меню. Кроме того, компьютеры позволили исследователям использовать результаты отслеживания взгляда в режиме реального времени, в первую очередь, для помощи пользователям с ограниченными возможностями.

В последнее время наблюдается рост использования отслеживания взгляда для изучения того, как пользователи взаимодействуют с различными компьютерными интерфейсами. Конкретные вопросы, которые задают исследователи, связаны с тем, насколько удобны различные интерфейсы для пользователей. Результаты исследования айтрекинга могут привести к изменениям в дизайне интерфейса. Еще одна недавняя область исследований сосредоточена на веб-разработке. Это может включать в себя то, как пользователи реагируют на раскрывающиеся меню или где они сосредотачивают свое внимание на веб-сайте, чтобы разработчик знал, где разместить рекламу.

Согласно Хоффману, в настоящее время принято считать, что визуальное внимание всегда немного (на 100–250 мс) опережает глаз. Но как только внимание переместится в новое положение, глаза захотят проследить за ним.

Мы по-прежнему не можем вывести конкретные когнитивные процессы непосредственно из фиксации на определенном объекте в сцене. Например, фиксация на лице на изображении может указывать на узнавание, симпатию, неприязнь, недоумение и т. Д. Поэтому отслеживание взгляда часто сочетается с другими методологиями, такими как интроспективные вербальные протоколы .

Благодаря развитию портативных электронных устройств портативные налобные айтрекеры в настоящее время могут достигать отличных характеристик и все чаще используются в исследовательских и рыночных приложениях, ориентированных на повседневную жизнь. Эти же достижения привели к увеличению количества исследований небольших движений глаз, которые происходят во время фиксации, как в лаборатории, так и в прикладных условиях.

Использование сверточных нейронных сетей для отслеживания взгляда позволяет искусственному интеллекту определять новую информацию.

В 21 веке использование искусственного интеллекта (ИИ) и искусственных нейронных сетей стало жизнеспособным способом выполнения задач отслеживания взгляда и анализа. В частности, сверточная нейронная сеть предназначена для отслеживания взгляда, поскольку она предназначена для задач, ориентированных на изображения. С помощью ИИ задачи отслеживания взгляда и исследования могут дать дополнительную информацию, которая могла быть не обнаружена людьми-наблюдателями. Практика глубокого обучения также позволяет данной нейронной сети улучшить решение данной задачи при наличии достаточного количества выборочных данных. Однако для этого требуется относительно большой объем обучающих данных.

Возможные варианты использования ИИ для отслеживания взгляда охватывают широкий спектр тем: от медицинских приложений до безопасности водителей и теории игр. Хотя структура CNN может относительно хорошо соответствовать задаче отслеживания взгляда, у исследователей есть возможность создать собственную нейронную сеть, адаптированную под конкретную задачу. В этих случаях эти собственные разработки могут превзойти уже существующие шаблоны для нейронной сети. В этом смысле еще предстоит выяснить, существует ли способ определить идеальную структуру сети для данной задачи.

Типы трекеров

Айтрекеры измеряют вращение глаза одним из нескольких способов, но в основном они попадают в одну из трех категорий: (i) измерение движения объекта (обычно специальной контактной линзы), прикрепленного к глазу; (ii) оптическое слежение без прямого контакта с глазом; и (iii) измерение электрических потенциалов с помощью электродов, размещенных вокруг глаз.

Отслеживание с привязкой к глазам

Первый тип использует насадку на глаз, такую как специальная контактная линза со встроенным зеркалом или датчиком магнитного поля, и движение насадки измеряется с предположением, что она не скользит значительно при вращении глаза. Измерения с помощью плотно прилегающих контактных линз обеспечили чрезвычайно чувствительную регистрацию движения глаз, а магнитные поисковые катушки являются методом выбора для исследователей, изучающих динамику и лежащую в основе физиологию движения глаз. Этот метод позволяет измерять движение глаз в горизонтальном, вертикальном и торсионном направлениях.

Оптическое слежение

Монтируемый на голову дисплей с отслеживанием взгляда . У каждого глаза есть светодиодный источник света (металл золотого цвета) сбоку от линзы дисплея и камера под линзой дисплея.

Вторая широкая категория использует неконтактный оптический метод измерения движения глаз. Свет, обычно инфракрасный, отражается от глаза и воспринимается видеокамерой или каким-либо другим специально разработанным оптическим датчиком. Затем информация анализируется, чтобы выделить вращение глаз из изменений отражений. Айтрекеры на основе видео обычно используют отражение в роговице (первое изображение Пуркинье ) и центр зрачка как функции, которые необходимо отслеживать во времени. Более чувствительный тип айтрекера, двойной трекер Пуркинье, использует отражения от передней части роговицы (первое изображение Пуркинье) и задней части линзы (четвертое изображение Пуркинье) в качестве функций для отслеживания. Еще более чувствительный метод отслеживания - это визуализация элементов изображения изнутри глаза, таких как кровеносные сосуды сетчатки, и отслеживание этих элементов при вращении глаза. Оптические методы, особенно основанные на видеозаписи, широко используются для отслеживания взгляда и считаются неинвазивными и недорогими.

Измерение электрического потенциала

Третья категория использует электрические потенциалы, измеряемые с помощью электродов, размещенных вокруг глаз. Глаза являются источником постоянного электрического потенциального поля, которое также можно обнаружить в полной темноте и при закрытых глазах. Его можно смоделировать так, чтобы он генерировался диполем с положительным полюсом на роговице и отрицательным полюсом на сетчатке. Электрический сигнал, который можно получить с помощью двух пар контактных электродов, размещенных на коже вокруг одного глаза, называется электроокулограммой (ЭОГ) . Если глаза перемещаются из центрального положения к периферии, сетчатка приближается к одному электроду, а роговица приближается к противоположному. Это изменение ориентации диполя и, следовательно, электрического потенциального поля приводит к изменению измеренного сигнала ЭОГ. И наоборот, анализируя эти изменения движения глаз, можно проследить. Из-за дискретизации, обеспечиваемой общей установкой электродов, можно идентифицировать две отдельные составляющие движения - горизонтальную и вертикальную. Третий компонент ЭОГ - это радиальный канал ЭОГ, который представляет собой среднее значение каналов ЭОГ относительно некоторого заднего электрода черепа. Этот радиальный канал EOG чувствителен к саккадическим импульсным потенциалам, исходящим от экстраокулярных мышц в начале саккад, и позволяет надежно обнаруживать даже миниатюрные саккады.

Из-за потенциальных дрейфов и переменных соотношений между амплитудами сигналов ЭОГ и размерами саккад сложно использовать ЭОГ для измерения медленного движения глаз и определения направления взгляда. Однако EOG является очень надежным методом измерения саккадического движения глаз, связанного со сдвигом взгляда и обнаружением морганий . В отличие от айтрекеров на основе видео, EOG позволяет записывать движения глаз даже с закрытыми глазами и, таким образом, может использоваться для исследования сна. Это очень легкий подход, который, в отличие от современных айтрекеров на основе видео, требует низкой вычислительной мощности, работает при различных условиях освещения и может быть реализован как встроенная автономная носимая система. Таким образом, это предпочтительный метод измерения движения глаз в мобильных повседневных ситуациях и фаз быстрого сна во время сна. Основным недостатком EOG является относительно низкая точность определения направления взгляда по сравнению с видеотрекером. То есть трудно определить с хорошей точностью, куда именно смотрит объект, хотя можно определить время движений глаз.

Технологии и техники

Наиболее широко используемые современные разработки - это айтрекеры на основе видео. Камера фокусируется на одном или обоих глазах и записывает движение глаз, когда зритель смотрит на какой-то стимул. Большинство современных айтрекеров используют центр зрачка и инфракрасный / ближний инфракрасный неколлимированный свет для создания роговичных отражений (CR). Вектор между центром зрачка и отражениями роговицы может использоваться для вычисления точки наблюдения на поверхности или направления взгляда. Перед использованием айтрекера обычно требуется простая процедура калибровки.

Используются два основных типа методов слежения за глазами в инфракрасном / ближнем инфракрасном диапазоне (также известном как активный свет): яркий зрачок и темный зрачок. Их различие основано на расположении источника освещения относительно оптики. Если освещение коаксиально с оптическим путем, то глаз действует как ретрорефлектор, поскольку свет отражается от сетчатки, создавая эффект яркого зрачка, подобный красному глазу . Если источник освещения смещен от оптического пути, зрачок кажется темным, потому что ретроотражение сетчатки направлено от камеры.

Отслеживание яркого зрачка создает больший контраст радужной оболочки / зрачка, обеспечивая более надежное отслеживание взгляда со всей пигментацией радужной оболочки и значительно снижает помехи, вызванные ресницами и другими скрывающими элементами. Он также позволяет отслеживать в условиях освещения от полной темноты до очень яркого.

Другой, менее используемый метод известен как пассивный свет. Он использует видимый свет для освещения, что может отвлекать пользователей. Еще одна проблема с этим методом заключается в том, что контраст зрачка меньше, чем в методах активного света, поэтому вместо этого для вычисления вектора используется центр диафрагмы . Этот расчет должен определять границу радужной оболочки и белой склеры ( отслеживание лимба ). Это представляет собой еще одну проблему для вертикальных движений глаз из-за закупорки век.

Инфракрасный / ближний инфракрасный: яркий зрачок.
Инфракрасный / ближний инфракрасный: темный зрачок и отражение роговицы.
Видимый свет: центр радужной оболочки (красный), отражение роговицы (зеленый) и выходной вектор (синий).

Настройки айтрекинга сильно различаются. Некоторые из них устанавливаются на голову, некоторые требуют, чтобы голова была устойчивой (например, с упором для подбородка), а некоторые работают дистанционно и автоматически отслеживают голову во время движения. Большинство из них используют частоту дискретизации не менее 30 Гц. Хотя 50/60 Гц более распространено, сегодня многие айтрекеры на основе видео работают с частотой 240, 350 или даже 1000/1250 Гц - скоростями, необходимыми для захвата фиксационных движений глаз или правильного измерения динамики саккад.

Движения глаз обычно делятся на фиксации и саккады - когда взгляд останавливается в определенном положении и когда он перемещается в другое положение, соответственно. Получившаяся серия фиксаций и саккад называется траекторией сканирования . Плавное преследование описывает взгляд, следующий за движущимся объектом. Фиксационные движения глаз включают микросаккады : небольшие непроизвольные саккады, возникающие при попытке фиксации. Большая часть информации из глаза становится доступной во время фиксации или плавного преследования, но не во время саккады.

Пути сканирования полезны для анализа когнитивного намерения, интереса и значимости. Другие биологические факторы (некоторые из которых такие простые, как пол) также могут влиять на путь сканирования. Отслеживание взгляда при взаимодействии человека с компьютером (HCI) обычно исследует путь сканирования для удобства использования или в качестве метода ввода данных на экранах , зависящих от взгляда , также известных как интерфейсы на основе взгляда .

Представление данных

Для интерпретации данных, записываемых различными типами айтрекеров, используется разнообразное программное обеспечение, которое их анимирует или визуально представляет, так что визуальное поведение одного или нескольких пользователей может быть графически возобновлено. Видео обычно кодируется вручную для определения AOI (области интересов) или недавно использованного искусственного интеллекта. Графическое представление редко является основой результатов исследований, поскольку они ограничены с точки зрения того, что может быть проанализировано - например, исследования, основанные на отслеживании глаз, обычно требуют количественных измерений событий движения глаз и их параметров. наиболее часто используются:

Анимированные представления точки на интерфейсе. Этот метод используется, когда визуальное поведение исследуется индивидуально, показывая, где пользователь сфокусировал свой взгляд в каждый момент, дополняется небольшим путем, который указывает предыдущие движения саккады, как видно на изображении.

Статические представления пути саккады Это довольно похоже на описанное выше, с той разницей, что это статический метод. Чтобы интерпретировать это, требуется более высокий уровень знаний, чем у анимированных.

Тепловые карты Альтернативное статическое представление, используемое в основном для агломерированного анализа шаблонов визуального исследования в группе пользователей. В этих представлениях «горячие» зоны или зоны с более высокой плотностью обозначают, где пользователи фокусировали свой взгляд (а не внимание) с большей частотой. Тепловые карты - это самый известный метод визуализации для исследования взгляда.

Карты слепых зон или фокусные карты Этот метод представляет собой упрощенную версию тепловых карт, где визуально менее посещаемые пользователями зоны отображаются четко, что позволяет легче понять наиболее важную информацию, то есть мы проинформированы о том, какие зоны не были просмотрены пользователями.

Карты значимости Подобно тепловым картам, карта значимости иллюстрирует области фокуса, ярко отображая привлекающие внимание объекты на изначально черном полотне. Чем больше внимания уделяется конкретному объекту, тем ярче он будет.

Отслеживание взгляда или отслеживание взгляда

Айтрекеры обязательно измеряют вращение глаза относительно некоторой системы отсчета. Обычно это связано с измерительной системой. Таким образом, если измерительная система закреплена на голове, как в случае с EOG или видеосистемой, установленной на шлеме, то измеряются углы между глазами и головой. Чтобы определить линию визирования в мировых координатах, голова должна оставаться в постоянном положении или ее движения также должны отслеживаться. В этих случаях направление головы добавляется к направлению «глаза в голове», чтобы определить направление взгляда.

Если измерительная система установлена на столе, как в случае со склеральными поисковыми катушками или настольными камерами («удаленными») системами, то углы взгляда измеряются непосредственно в мировых координатах. Обычно в таких ситуациях движения головой запрещены. Например, положение головы фиксируется с помощью накусочной планки или упора для лба. Тогда система отсчета с центром в голове идентична системе отсчета с центром в мире. Или, говоря языком, положение глаз в голове напрямую определяет направление взгляда.

Имеются некоторые результаты по движениям глаз человека в естественных условиях, когда движения головы также разрешены. Относительное положение глаза и головы, даже при постоянном направлении взгляда, влияет на нейронную активность в более высоких областях зрения.

Упражняться

Большое количество исследований было посвящено изучению механизмов и динамики вращения глаз, но чаще всего целью отслеживания взгляда является оценка направления взгляда. Пользователям может быть интересно, например, какие особенности изображения привлекают взгляд. Важно понимать, что айтрекер не обеспечивает абсолютное направление взгляда, а может измерять только изменения направления взгляда. Чтобы точно определить, на что смотрит объект, требуется некоторая процедура калибровки, при которой объект смотрит на точку или серию точек, а айтрекер записывает значение, соответствующее каждому положению взгляда. (Даже те методы, которые отслеживают особенности сетчатки, не могут обеспечить точное направление взгляда, потому что нет конкретной анатомической особенности, которая отмечает точную точку, где визуальная ось встречается с сетчаткой, если действительно существует такая единственная стабильная точка.) надежная калибровка важна для получения достоверных и повторяемых данных о движении глаз, и это может стать серьезной проблемой для невербальных субъектов или тех, у кого нестабильный взгляд.

Каждый метод айтрекинга имеет преимущества и недостатки, и выбор системы айтрекинга зависит от соображений стоимости и применения. Существуют офлайн-методы и онлайн-процедуры, такие как AttentionTracking . Существует компромисс между стоимостью и чувствительностью: наиболее чувствительные системы стоят многие десятки тысяч долларов и требуют значительного опыта для правильной работы. Достижения в компьютерных и видеотехнологиях привели к разработке относительно недорогих систем, которые полезны для многих приложений и довольно просты в использовании. Однако для интерпретации результатов по-прежнему требуется определенный уровень знаний, поскольку неверно выровненная или плохо откалиброванная система может давать крайне ошибочные данные.

Отслеживание взгляда при вождении автомобиля в сложной ситуации

Кадры из отслеживания взгляда на узкой дороге, описанные в этом разделе

Движение глаз двух групп водителей было снято специальной головной камерой командой Швейцарского федерального технологического института: начинающие и опытные водители записывали движение глаз при приближении к повороту узкой дороги. Серия изображений была сжата из исходных кадров пленки, чтобы показать 2 фиксации взгляда на изображение для лучшего понимания.

Каждый из этих кадров соответствует примерно 0,5 секундам в реальном времени.

В серии изображений показан пример фиксации глаз с № 9 по № 14 типичного новичка и опытного водителя.

Сравнение верхних изображений показывает, что опытный водитель проверяет поворот и даже имеет Крепление № 9, оставленное для того, чтобы смотреть в сторону, в то время как начинающему водителю необходимо проверить дорогу и оценить свое расстояние до припаркованной машины.

На средних изображениях опытный водитель теперь полностью сосредоточен на том месте, где можно было увидеть встречный автомобиль. Начинающий водитель сосредотачивает взгляд на припаркованной машине.

На нижнем изображении новичок занят оценкой расстояния между левой стеной и припаркованной машиной, в то время как опытный водитель может использовать для этого свое периферийное зрение и все же сосредоточить свой взгляд на опасной точке поворота: если там появляется машина, он должен уступить дорогу, т.е. остановиться направо вместо того, чтобы обойти припаркованную машину.

В более поздних исследованиях также использовалось отслеживание движения глаз на голове для измерения движений глаз в реальных условиях вождения.

Отслеживание взгляда молодых и пожилых людей во время ходьбы

Во время ходьбы пожилые люди больше зависят от фовеального зрения, чем более молодые. Их скорость ходьбы снижается из-за ограниченного поля зрения , вероятно, вызванного ухудшением периферического зрения.

Младшие люди во время ходьбы используют как центральное, так и периферическое зрение. Их периферийное зрение позволяет быстрее контролировать процесс ходьбы.

Приложения

Техники айтрекинга используются в самых разных дисциплинах, включая когнитивную науку ; психология (особенно психолингвистика ; парадигма визуального мира); человеко-компьютерное взаимодействие (HCI); человеческий фактор и эргономика ; маркетинговые исследования и медицинские исследования (неврологическая диагностика). Конкретные применения включают движение отслеживания глаз в чтении языка , музыки чтение , человеческое признание деятельности , восприятие рекламы, играя спорт, обнаружение отвлечения и познавательную нагрузку оценку водителей и пилотов , и как средство оперирования компьютеров людей с серьезными нарушениями двигательных .

Коммерческие приложения

В последние годы возросшая изощренность и доступность технологий отслеживания взгляда вызвали большой интерес в коммерческом секторе. Приложения включают удобство использования в Интернете , рекламу, спонсорство, дизайн упаковки и автомобильную инженерию. В общем, коммерческие исследования по отслеживанию движения глаз функционируют путем представления целевого стимула выборке потребителей, в то время как устройство отслеживания движения глаз регистрирует активность глаз. Примеры целевых стимулов могут включать веб-сайты, телевизионные программы, спортивные мероприятия, фильмы и рекламные ролики, журналы и газеты, упаковки, полки, потребительские системы (банкоматы, кассовые системы, киоски) и программное обеспечение. Полученные данные могут быть статистически проанализированы и графически отображены, чтобы предоставить доказательства определенных визуальных паттернов. Изучая фиксации, саккады , расширение зрачков, моргание и множество других форм поведения, исследователи могут многое определить об эффективности данной среды или продукта. В то время как некоторые компании проводят исследования этого типа внутри страны, есть много частных компаний, которые предлагают услуги по отслеживанию взглядов и анализу.

Одна из областей коммерческого исследования айтрекинга - это удобство использования в Интернете. В то время как традиционные методы юзабилити часто довольно эффективны в предоставлении информации о шаблонах щелчков и прокрутки, отслеживание взглядов дает возможность анализировать взаимодействие пользователя между щелчками и то, сколько времени пользователь проводит между щелчками, тем самым обеспечивая ценную информацию о том, какие функции являются наиболее важными. привлекающие внимание, особенности которых вызывают недоумение и которые вообще игнорируются. В частности, отслеживание взглядов можно использовать для оценки эффективности поиска, брендинга, онлайн-рекламы, удобства использования навигации, общего дизайна и многих других компонентов сайта. В дополнение к основному клиентскому сайту анализы могут быть нацелены на прототип или сайт конкурента.

Айтрекинг обычно используется в различных рекламных носителях. Рекламные ролики, печатная реклама, онлайн-реклама и спонсируемые программы - все это способствует анализу с помощью современной технологии отслеживания взгляда. Одним из примеров является анализ движений глаз по рекламным объявлениям в « Желтых страницах» . Одно исследование было сосредоточено на том, какие особенности заставляли людей замечать рекламу, просматривали ли они рекламу в определенном порядке и как варьировалось время просмотра. Исследование показало, что размер рекламы, графика, цвет и текст влияют на внимание к рекламе. Знание этого позволяет исследователям очень подробно оценить, как часто выборка потребителей зацикливается на целевом логотипе, продукте или рекламе. Следовательно, рекламодатель может количественно оценить успех данной кампании с точки зрения фактического визуального внимания. Другим примером этого является исследование, которое показало, что на странице результатов поисковой системы фрагментам авторства уделяется больше внимания, чем платной рекламе или даже первому органическому результату.

Еще один пример коммерческого айтрекингового исследования связан с наймом персонала. В исследовании было проанализировано, как рекрутеры просматривают профили в Linkedin и представлены результаты в виде тепловых карт.

Приложения безопасности

В 2017 году ученые построили глубокую интегрированную нейронную сеть (DINN) из глубокой нейронной сети и сверточной нейронной сети. Цель состояла в том, чтобы использовать глубокое обучение для изучения изображений водителей и определения уровня их сонливости путем «классификации состояний глаз». При наличии достаточного количества изображений предлагаемая DINN могла бы идеально определить, когда драйверы мигают, как часто они мигают и как долго. Отсюда можно было судить о том, насколько усталым кажется данный водитель, эффективно выполняя упражнение по отслеживанию глаз. DINN была обучена на данных более чем 2400 субъектов и правильно диагностировала их состояния в 96–99,5% случаев. Скорость большинства других моделей искусственного интеллекта превышает 90%. В идеале эта технология могла бы предоставить еще один способ обнаружения сонливости водителя .

Приложения теории игр

В исследовании 2019 года была построена сверточная нейронная сеть (CNN), способная идентифицировать отдельные шахматные фигуры так же, как другие CNN могут определять черты лица. Затем в него были введены данные отслеживания взгляда от 30 шахматистов разного уровня подготовки. С этими данными CNN использовала оценку взгляда, чтобы определить части шахматной доски, на которые игрок обращал пристальное внимание. Затем он создал карту значимости, чтобы проиллюстрировать эти части доски. В конечном итоге CNN объединит свои знания доски и фигур с картой значимости, чтобы предсказать следующий ход игроков. Независимо от набора обучающих данных, на котором была обучена нейросетевая система, она предсказывала следующий ход более точно, чем если бы она выбирала любое возможное движение случайным образом, а карты значимости, нарисованные для любого данного игрока и ситуации, были более чем на 54% похожи.

Вспомогательные технологии

Люди с тяжелыми двигательными нарушениями могут использовать отслеживание глаз для взаимодействия с компьютером, поскольку это быстрее, чем методы сканирования с одним переключателем, и интуитивно понятно в эксплуатации. Нарушение моторики, вызванное церебральным параличом или боковым амиотрофическим склерозом, часто влияет на речь, и пользователи с тяжелыми речевыми и моторными нарушениями (SSMI) используют тип программного обеспечения, известного как вспомогательная и альтернативная коммуникация (AAC), который отображает значки, слова и буквы на экране и использует программное обеспечение для преобразования текста в речь для создания речевого вывода. В последнее время исследователи также изучали отслеживание глаз для управления роботизированными руками и инвалидными колясками с электроприводом. Отслеживание взгляда также полезно при анализе паттернов визуального поиска, обнаружении нистагма и обнаружении ранних признаков нарушения обучаемости путем анализа движения взгляда во время чтения.

Авиационные приложения

Отслеживание взгляда уже было изучено с точки зрения безопасности полета путем сравнения траекторий сканирования и продолжительности фиксации для оценки прогресса пилотов-стажеров, для оценки навыков пилотов, для анализа совместного внимания экипажа и общей ситуационной осведомленности. Также была исследована технология отслеживания взгляда для взаимодействия с установленными на шлеме системами отображения и многофункциональными дисплеями в военных самолетах. Были проведены исследования по изучению применимости айтрекинга для захвата цели и захвата цели в системах отображения на шлеме (HMDS). Отзывы пилотов говорят о том, что, хотя технология является многообещающей, ее аппаратные и программные компоненты еще не разработаны. Исследование взаимодействия с многофункциональными дисплеями в среде симулятора показало, что отслеживание взгляда может значительно улучшить время отклика и воспринимаемую когнитивную нагрузку по сравнению с существующими системами. Кроме того, в исследовании также изучалось использование измерений фиксации и реакции зрачков для оценки когнитивной нагрузки пилота. Оценка когнитивной нагрузки может помочь в разработке адаптивных кабин нового поколения с повышенной безопасностью полета. Отслеживание взгляда также полезно для определения усталости пилота.

Автомобильные приложения

В последнее время технология айтрекинга исследуется в автомобильной сфере как пассивным, так и активным образом. Национальная администрация безопасности дорожного движения измеряла продолжительность взгляда для выполнения второстепенных задач во время вождения и использовала ее для повышения безопасности, препятствуя использованию чрезмерно отвлекающих устройств в транспортных средствах. Помимо обнаружения отвлекающих факторов, отслеживание взгляда также используется для взаимодействия с IVIS. Хотя первоначальные исследования изучали эффективность системы слежения за глазами при взаимодействии с жестким диском (Head Down Display), водители по-прежнему не отвлекались от дороги при выполнении второстепенной задачи. В недавних исследованиях изучали взаимодействие, контролируемое взглядом, с HUD (Head Up Display), которое устраняет отвлечение внимания от бездорожья. Слежение за глазами также используется для отслеживания когнитивной нагрузки водителей с целью выявления потенциальных отвлекающих факторов. Хотя исследователи изучали различные методы оценки когнитивной нагрузки водителей по различным физиологическим параметрам, использование глазных параметров исследовало новый способ использования существующих айтрекеров для мониторинга когнитивной нагрузки водителей в дополнение к взаимодействию с IVIS.

Развлекательные приложения

Видеоигра 2021 года Before Your Eyes регистрирует и считывает мигание игрока и использует его в качестве основного способа взаимодействия с игрой.

Проблемы конфиденциальности

В связи с тем, что отслеживание взгляда станет обычной функцией в различной бытовой электронике, включая смартфоны, ноутбуки и гарнитуры виртуальной реальности, высказывались опасения по поводу воздействия этой технологии на конфиденциальность потребителей. С помощью методов машинного обучения данные отслеживания взгляда могут косвенно раскрыть информацию об этнической принадлежности пользователя, его личностных качествах, страхах, эмоциях, интересах, навыках, а также состоянии физического и психического здоровья. Если такие выводы сделаны без ведома или одобрения пользователя, это можно классифицировать как атаку вывода . Глазная активность не всегда находится под контролем воли, например, «взгляды, вызванные стимулами, расширение зрачка, глазной тремор и спонтанное моргание, в основном происходят без сознательных усилий, как при пищеварении и дыхании». Поэтому пользователям системы отслеживания глаз может быть трудно оценивать или контролировать объем информации, которую они раскрывают о себе.

Languages

In other projects