В наше время бурного развития IT и появления множества интереснейших гаджетов, многие слышали о такой штуке, как eye-tracker (это такой прибор, который определяет куда люди смотрят) и даже видели разного рода «тепловые карты» и аналитику, построенные «на основе данных eye-tracker’а». Но при этом очень немногие задумываются над тем, что же именно этот прибор измеряет…

Очень наглядно это было видно во время дискуссии, развернувшейся вокруг моей с кучей иллюстраций о разнице в восприятии сайтов. Все очень бурно обсуждали достоинства и недостатки разных видов дизайна; как можно интерпретировать приведенные мной карты; достаточно ли использовать 5 респондентов или надо 10; нужны ли вообще подобные тесты… Но никто не поинтересовался, какие именно данные отображены на приведенных мной «картах внимания»!

Итак, давайте для начала определимся с тем, какие данные eye-tracker выдает, а потом поговорим об их полезности в реальной жизни.

Начнем, собственно, с самого прибора. В отличие от представляющихся многим электродов и шлемов, современный eye-tracker выглядит почти как обычный монитор, в который вмонтированы несколько камер и инфракрасные лампочки.

Во время работы камеры непрерывно снимают ваше лицо, выделяют на кадрах глаза и методом триангуляции определяют положение каждого глаза в пространстве относительно eye-trackera. Кроме того, по взаимному расположению центра зрачка и бликов от ИК подсветки определяется направление взгляда (для каждого глаза). Ну а так как глаза у разных людей несколько различаются, то для того, чтобы это направление определялось точно, перед началом тестирования проводится калибровка: eye-tracker показывает вам движущийся шарик, вы за ним следите взглядом, а приборчик рассчитывает всяческие коэффициенты, которые надо использовать при работе именно с вами. И, наконец, зная положение глаза относительно экрана и направление взгляда, рассчитывается та точка экрана, на которую в данный момент вы смотрите.

Таким образом, несколько десятков раз в секунду eye-tracker записывает данные об испытуемом – расположение каждого глаза, координаты взгляда каждого глаза, качество измерений, результирующую координату взгляда (в идеале они должны совпадать и чем ближе точки взгляда каждого глаза – тем более достоверным является измерение), временнУю метку и некоторые другие параметры. Одновременно с этим записывается и ход теста – что именно показано на экране и какие действия проводил испытуемый: нажимал на клавиши, двигал мышку и т.п. Оба этих потока данных синхронизируются по времени.

Одновременно с записью всего этого дела, происходит вычисление взглядов. Еще в 19-м веке стало известно, что взгляд человека движется не непрерывно, а рывками, перемещаясь от одной точки к другой. Быстрые движения взгляда называется саккадами (succade), а точки, на которых взгляд останавливается – точками фиксации или просто фиксациями (fixation). В русском языке чаще всего под «взглядом» (в контексте eye-tracking"а) понимаются именно фиксации.

Во время записи eye-tracker следит за координатами вашего взгляда (напомню, что это происходит несколько десятков раз в секунду) и, если они остаются неизменными, суммирует время. При превышении некоторого порогового значения – обычно 100 миллисекунд – прибор отмечает фиксацию. Координаты взгляда, правда, тоже не совсем неизменны: они могут «дрожать», например, из-за ошибок округления (мы же в пикселы пересчитываем), из-за движений испытуемого или из-за моргания. Поэтому берется еще некий пороговый радиус (обычно 30 или 50 пикселов) и, если координаты остаются внутри заданного круга, то фиксация продолжается, а если выходят – начинается отсчет новой фиксации.

В процессе тестирования оператор имеет возможность наблюдать за его ходом – на втором мониторе в реальном времени отображаются материалы, демонстрируемые испытуемому и наложенное на них изображение взгляда испытуемого.

Собственно говоря, именно последовательность фиксаций и является результатом работы eye-tracker’а. Дальше начинаются отображения, анализы и интерпретации этой последовательности. Но об этом мы подробно поговорим в следующем посте.

Исследование движений глаз – саккад и фиксаций – является одним из наиболее интересных направлений анализа в нейронауках, включающих в себя и эмоциональную проблематику. Действительно, глаза – релевантный канал для сбора данных о текущем состоянии и реакциях человека на стимулы внешней среды, важный источник информации о физиологии, эмоциях, когнитивных аспектах жизнедеятельности в естественных, повседневных условиях, в контексте коммуникаций разного рода, происходящих между людьми. Без данных видеоокулографии говорить о мультимодальности в распознавании эмоций было бы затруднительно.

Не будем забывать и о том, что айтрекинг - серьезный рыночный сегмент:
По оценкам влиятельного агентства Markets&Markets, глобальный рынок собственно айтрекинга достигнет показателя в 1,376.5 млрд. $ к 2023 году, с ежегодным ростом в 27.4% и стабильным прогнозом, отгрузки готовых единиц – айтрекеров составят порядка 756 тыс. шт./год. Разумеется, цифры возрастают в разы, когда мы рассматриваем айтрекинг в приложении к крупным отраслям (например, нейромаркетингу, AR/VR, игровой индустрии, цифровой медицине и пр.).

В целом в индустрии айтрекинга в последние несколько лет наблюдается феномен последовательного сокращения числа независимых игроков. Однако крупнейшие производители окулографических систем - вроде шведской компании Tobii и канадской SR Research (Eyelink) - успешно черпают дополнительные ресурсы из внешних источников и укрепляют свои полумонопольные позиции.
Параллельно с этим корпорации скупают компании и стартапы средних размеров. Например:
- Google приобрел Eyefluence ,
- Facebook – EyeTribe ,
- а Apple в июне 2017 года – немецкую компанию SMI с её брендированной технологией захвата и записи взгляда в режиме реального времени с частотой дискретизации до 120 Гц.

Случаются и будоражащие события. Так, совсем недавно рыночная стоимость компании Tobii всего за 48 часов ощутимо взлетела…Аналитики теряются в догадках и выдвигают конспирологические версии .

Мы в Neurodata Lab не только ведем регулярный мониторинг рынка и разрабатываем собственный софтовый айтрекер, но и накопили значительный опыт в работе со сторонними решениями. Их и обсудим подробнее.

В настоящее время айтрекинг (иначе называемый видеоокулографией) - популярный инструмент для изучения зрительного внимания человека. Многие психофизиологические процессы находят свое отражение в параметрах движений глаз, в динамике морганий и изменении ширины зрачка (усталость, когнитивная загрузка, эмоциональные реакции и др.). Сейчас в практических целях айтрекинг используется в основном для юзабилити исследований в нейромаркетинге. Кроме того, видеоокулография нашла свое применение в геймерских и ассистивных контроллерах для управления взглядом (например, Tobii4С или более ранняя модель TobiiEyeX). На базе айтрекинга активно разрабатываются системы контроля внимания водителей и диспетчеров (см. статьи Sampei et al., 2016; Dongare, Shah, 2016; Anguliar et al., 2017), элементы «умного дома» , или вот - проект создания очков для управления предметами.

Лабораторные айтрекеры представлены ограниченным числом брендов (наиболее известные среди них - EyeLink и Tobii) и не слишком доступны для широкого использования в связи с их заоблачной стоимостью. Сравнительно бюджетные коммерческие айтрекеры – это монтируемые под монитор трекеры GazePoint (стоимостью от 675$), но у них есть ряд недостатков: небольшой допустимый диапазон движений головы испытуемого - всего 25x11x15см - и достаточно «сырой» софт.
С учетом сложившейся ситуации на рынке и возрастающего интереса к видеоокулографии можно констатировать, что в наличии имеется большое разнообразие хенд-мейд решений (хардверных и софтверных) для дизайна исследований глазодвигательного поведения человека и анализа данных, а также разработки в области айтрекинга с использованием вебкамеры.

Айтрекер из подручных материалов

С практически полным списком опенсорсного софта и трекеров для самостоятельной сборки можно ознакомиться . В дополнение к нему стоит добавить Open Eyes , PupilLabs и PyGaze . Кстати, создатель PyGaze Эдвин Далмайер (Edwin Dalmaijer) опубликовал книгу “Python for experimental psychologists” c подробным руководством, рекомендуем добавить её в закладки.

Айтрекинг на базе веб-камеры

Айтрекинговые решения на базе обычной веб-камеры можно разделить на две категории: онлайн-платформы («заточенные» преимущественно на проведение юзабилити-тестирований) и любительские либо коммерческие SDK.
Онлайн-платформы предлагают создать аккаунт, сформировать эксперимент (например, загрузить набор изображений) и отправить ссылку участникам исследования. Испытуемому требуется разрешить доступ к своей веб-камере, подготовиться к эксперименту (снять очки, убрать яркие источники света подальше от камеры, провести калибровку и как можно меньше шевелиться). Очевидно, что проконтролировать поведение испытуемого и условия при таком дизайне эксперимента невозможно, поэтому точность варьируется и порой оставляет желать лучшего.
Итак, в порядке перечисления:
- EyesDecide (Xlabs) : платформа с приемлемо грубой локализацией взора (при условии, что испытуемый не шевелится). Есть детекция лица (строится 3D-модель), калибровка по 30 точкам, каждая из которых предъявляется несколько раз + дополнительная калибровка в конце теста.
- WebGazer : есть детекция лица. Калибровка осуществляется самим испытуемым посредством перемещения курсора по экрану и фиксации взора на нем. Трекер нельзя назвать точным. К тому же в том случае, когда смотришь на одну часть экрана и двигаешь курсор у другой части, трекер при прочих равных предпочитает детектировать положение взора на курсоре.
- Eyezag : на этой платформе можно поставить краткий эксперимент. Тестирование начинается с калибровки (16 точек) и завершается ею же, но уже по 9 точкам. Системы отслеживания движений головы на данной платформе нет, поэтому время возможного эксперимента ограничено несколькими минутами и обычной просьбой к испытуемому не шевелиться. Результаты демо-тестирования направляются по запросу. Вполне подходит для задачи приблизительной локализации взора при большом количестве испытуемых и потоковом тестировании.
- User zoom и Sticky – еще две платформы для юзабилити-тестирования с помощью веб-камеры, но тестовые результаты нам посмотреть пока не удалось (User zoom – высылают примеры своих юзабилити-исследований, но демо-версией софта с нами не поделились; а вот в демо-версии Sticky можно попробовать задать рамки эксперимента, выделить зоны интереса на изображениях, запустить, но оценить итоговый результат в демо-версии нельзя в принципе. Процедура тестирования начинается с вопросов о положении компьютера пользователя, освещении и т.д., после чего калибровка – во всяком случае в предложенной демо-версии – не последовала).
Имеющиеся в свободном доступе любительские проекты и коммерческие SDK работают неудовлетворительно, но взглянуть на них любопытно. Упомянем некоторые из них:
- : включает в себя систему распознавания лица, калибровку (от 5 до 17 точек). Калибровка по 17 точкам обрабатывалась довольно долго (почти 2 минуты) и уже спустя 3-5 секунд “сползла”.
-TrackEye : трекер на базе камеры, подключаемой через USB 2.0., также есть опция анализа загружаемого видео. Помимо основного видео при трекинге запускается несколько окон, показывающих работу алгоритма, на них отчетливо видно, что зрачок отслеживается некорректно.
- : есть настройки параметров детекции (зрачок, блик), контраста видео и калибровки (9, 12 и 16 точек; разрешено настраивать разную скорость). Калибровка не подстраивается под размер монитора, несмотря на то, что в опциях можно указать его разрешение. Алгоритм детекции зрачка неточный, даже если предварительно повозиться с настройками: вместо него иногда распознается что-то другое - темное и круглое, напоминающее зрачок (например, пожарная сигнализация на потолке или ноздри с определенного ракурса). Трекер не учитывает положение головы и «теряет» глаза при небольших поворотах.
- SentiGazeSDK : не учитывает положение головы, детекция лица ниже среднего. Во время моргания SDK выдает ошибку, оповещая о невозможности задетектировать лицо, вдобавок не работает при резких поворотах головы.
- InSightSDK (Sightcorp) – работает с загружаемым видео. Детектирует лицо на видео при фронтальной съемке, однако при поворотах происходит ошибочная детекция (при загрузке видео, где голова человека изначально повернута в сторону, – выдает ошибку). Детекция глаз тоже низкого качества (на загруженном видео, длительностью 18 секунд, где испытуемый был записан фронтально, - по координате Х потеряно 77,2% данных, по координате Y - 33,18%).
Несомненно, подобных проектов гораздо больше, чем перечислено в нашей статье. Пока такие разработки, конечно же, не могут заменить или превзойти лабораторные айтрекеры, однако проблема известна – и адекватное решение (по соотношению цена-качество) не за горами. Речь идет о комплексной, интересной задаче – и о рыночных перспективах, которыми не стоит пренебрегать.
Анализ движений глаз на самом обычном видео требует, как минимум, дополнительного трекинга движений головы, идеальной детекции лица, и усложняется тем, что зрачок занимает крайне небольшую площадь в кадре. Все эти нюансы несомненно будут учтены. Резюмируя, отметим, что создание такой технологии позволит досконально изучить поведение и составить детальную «карту эмоциональных реакций» человека в привычных условиях, особенно в эпизодах дву- и многосторонней коммуникации, а достичь этого при помощи айтрекеров-очков и сложных стационарных установок едва ли получится.

Над материалом работала:
Мария Константинова , научный сотрудник в Neurodata Lab , биолог, физиолог, специалист по зрительной сенсорной системе, окулографии и окуломоторике.

Литература:
Aguilar W.G., Estrella J.I., Lopez W.,Vanessa Abad V. Driver fatigue detection based on real-time eye gaze pattern analysis//International Conference on Intelligent Robotics and Applications. 2017. P. 683-694.
Dongare H., Shah S. Eye gaze tracking and eyes off the road detection for traffic safety on raspberry Pi// International journal of innovative research in electrical, electronics, instrumentation and control engineering. 2016. V.4 (6). P.154-157.
Sampei K., Ogawa M., Torres C.C.C., Sato M., Miki N. Mental fatigue monitoring using a wearable transparent eye detection system//Micromachines. 2016. V.7(2). P. 20.

AR и VR

Терминология: кальки с английского айтрекер / гейз-трекер звучат не очень, но перевод «устройство для отслеживания движений глаз» и «устройство для отслеживания взгляда» очень громоздок. Не уверен, что есть какая-то более удобная устоявшаяся терминология в русском языке – дайте знать если ошибаюсь

В последние годы Kinect (конечности, тело в целом), Siri (голос), и LeapMotion (пальцы) показали, что бесконтактное управление и ввод данных/текста может оказаться весьма удобным и интуитивным для определённых задач. Но до недавнего времени о возможности использования взгляда для таких же задач знали немногие. И основных причин было две: а) все устройства были достаточно дорогими (тысячи и десятки тысяч евро/долларов), б) а точность определения направления взгляда откровенно хромала. И если точность в топ–продуктах уже довольно-таки высока (около половины градуса – всё ещё требует доработки, хотя и никогда не выйдет на один уровень с точность позиционирования курсора мыши из-за биологической особенности глаза), то цена в нестарый автомобиль делало эти устройства весьма нишевыми: рынок был поделён на маркетинговский (юзабилити-исследования, здесь на Хабре были статьи на эту тему), академический (разносторонние исследования в университетах), медицинский (исследования пациентов), и «accessibility» (использование ай-трекеров людьми с ограниченными способностями как средство управления).

И вот несколько лет назад группа Ph.D. студентов из Копенгагенского Технического Университета задалась целью расширить нишу «accessibility» на любого пользователя вычислительных устройств. Их первый ай-трекер был бесплатной программой (ITU GazeTracker), которая вычисляла направление взгляда с видео-потока обычной веб-камеры; правда, надо было самому ставить инфракрасный LED, или покупать камеры с таковым (выбор был очень скромен). Программа работала, хотя точность была приемлемой не для всех и только с случае высокой неподвижности (использовалась некоторыми парализованными в Дании), впрочем, это касалось всех т.к. обычные камеры с самодельной подсветкой были их главным узким местом.

Создатели ITU GazeTracker (кроме самого левого) и основатели The EyeTribe

Однако на этом Javier San Agustin Martin Tall и Henrik Skovsgaard останавливаться не стали, и в соавторстве с Sune Alstrup Johansen создали стартап The EyeTribe который получил более $3М инвестиций (в том числе и от Интел). Цель стартапа – создать доступный по цене продукт по качеству приближённый к тем что продаются по $20.000, а именно – за $99 . Открыв предзаказ в сентябре и разослав первую партию устройств в декабре-январе, разработчики заявили что следующая партия будет готова к концу марта, а вообще от желающих отбоя нет.

Тут надо отметить что доминирующие в производстве ай-трекеров компании, типа Tobii Technologies и SensoMotoric Instruments к тому времени уже почувствовали куда дует ветер: например, Tobii Technologies года два назад выпустила Tobii REX «исключительно для девелоперов» (т.е. с ним запрещено проводить исследования или использовать в бизнесе) за $1000. Но, видимо, продукт остался не очень востребованным и был закрыт а остатки продаются за треть цены . Сейчас та же компания, спохватившись, пытается придержать резкий взлёт The EyeTribe усиленно разрабатывая Tobii EyeX за $95/€70 (с обещанием выслать до конца этого месяца), а заодно пробуя себя в новом качестве патентного тролля . Скорее всего, лицензия останется той же что и у Tobii REX – зачем менять, если с богатых западных университетов можно получать такие хорошие деньги…

Итак, месяц назад было получено вот это:

Очень маленькое – всего 20 x 2 x 2 см, меньше чем подобные устройства других производителей. В коробке есть ещё маленький трипод и весьма жёсткий и толстый USB 3.0 кабель. Кстати, нужен именно USB 3.0, на второй версии работать не будет. Больше ничего, но с официального сайта купившим можно скачать инсталляционный софт с сервером и SDK. И тоже больше ничего, т.е. никаких готовых программ по управлению компьютером нет (есть некоторые демки на Гитхабе , но это лишь как туториал для разработчиков), лишь в GUI версии сервера есть возможность привязать курсор к детектируемой точке взгляда. Разработчики пишут, что создание таких программ оставляют другим, а сами занимаются исключительно хардом и софтом для определения точки взгляда. Я один из них (из других), и доля пиара чуть ниже.

Тестирование данного устройства (работает на Win7+, обещана поддержка Andoid, Mac и Linux) оказало исключительно позитивное впечатление – я ожидал меньшего от того что стоит как одна сотая Tobii X2-60. После калибровки на 9 точках (это не так удобно как у Tobii с 5-ю точками, но меньше пока невозможно) точность была около 1 градуса (40–50 пикселей – немного хуже чем у топ–брендов), но с небольшой корректировкой движением головы весьма нетрудно было попасть в кнопки окна «закрыть/свернуть» в Win7/8. Долго я не тестировал, но за те 3–4 минуты точность не ухудшалась, глаза и зрачок почти всё время оставались детектируемы. В другом месте с другим освещением глаза иногда «терялись» на короткое время, но время восстановления было коротким (навскидку, 100–200 мс). В общем, это весьма достойный результат за свои деньги, и на мой взгляд по точности и надёжности лишь немногим хуже продуктов Tobii и очень близок к тем продуктам SMI с которыми мне довелось работать. Формального тестирования на точность пока не проводилось, возможно, это тема для следующей статьи.

Сейчас об SDK. Оно, как и сервер данных, пока весьма сырое (не вся заявленная функциональность работает), но активно разрабатывается (в начале февраля версия 9.20, в конце – 9.27). Процесс взаимодействия происходит через сокет и выглядит так:
0. Запускается ТЕТ сервер (сокращение от The EyeTribe).
1. клиент подключается к 127.0.0.1:6555/tcp
2. клиент шлёт запросы в формате JSON, клиент отвечает с таком же формате. Содержание пакетов расписано .
3. кроме того, клиент что 3 секунды шлёт «heartbeat» пакет – мол, я тут, живой (зачем это для TCP соединения – для меня загадка).
4. калибровочные точки клиент рисует сам, лишь уведомляя сервер когда надо начинать и заканчивать обрабатывать данные для составления калибровочный матрицы.
5. в режиме push клиент получает точки взгляда без запросов, 30 точек в секунду (есть ещё режим 60 Hz, но я не проверял пока).
5а. каждая точка содержит:
– координаты точки взгляда: усреднённые и для каждого глаза отдельно.
– координаты точки взгляда после сглаживания каким-то low-pass фильтром: усреднённые и для каждого глаза отдельно.
– размер зрачка: для каждого глаза отдельно (пока не знаю, какие единицы измерения используются).
– координаты зрачков в поле зрения камеры.
– флаг фиксации
– код состояния сервера.

На Гитхабе уже ест некоторое количество кода для разработчиков на С++ и С# чтобы не надо было, как мне, писать всё с нуля. Впрочем, есть вероятность, что формат пакетов и типы данных в будущем будут немного изменяться, делая тем самым старые программы под это устройство несовместимыми с новыми версиями сервера. Например, мне пришлось выяснить, что в официальном описании пакетов по ссылке выше было две неточности в типах данных, а некоторые пакеты могут содержать значения которые там не описаны,

Оказывается, велосипедисты, которые носят шлем, неосознанно пересчитывают риск и ведут себя более рискованно и агрессивно на дороге, чем если бы они были без шлема. Эффект наблюдался во множестве исследований, и хотя можно спорить, насколько он большой, и какие другие факторы оказывают на это влияние, он есть. Иными словами: вы надеваете шлем, у вас возникает чувство безопасности, и вы считаете, что можете делать на дороге то, что без шлема вы делать бы не стали. Интереснее то, что водители машин, при обгоне велосипедиста, дают ему меньше пространства, если он в шлеме! Таким образом, использование шлема увеличивает шансы аварии.

Но безусловно доказано, что если в ситуации аварии велосипедист в шлеме, то риск травмы мозга существенно снижается. Побочно выясняется, что это же можно сказать и про пешеходов и водителей.

Глобально, число аварий с участием велосипедистов несравнимо меньше аварий с участием автомобилей и пешеходов. Поэтому если бы водители и пешеходы носили шлемы, то число травм мозга и смертей, связанных с такими травмами, было бы существенно снижено.

Возникает небольшой, но почти квантовый парадокс : пока ты в нормальной дорожной ситуации, то ношение шлема увеличивает риск аварии, но если ты в ситуации аварии, то наличие шлема снижает риск травмы. Как быть? Логичный ответ — ездить без шлема, и только когда начала совершаться авария, быстро его надеть:) Это, однако, не каждый может делать. Возможно, оптимальный ответ – в тотальном ношении шлемов. И вот почему:

Представим себе ситуацию, когда вам совершенно честно, без манипуляций, аргументируют, используя статистические данные, что стоит носить шлем, практически всегда, если вы в городе, вне помещения, едете вы на самокате, велосипеде, в машине в качестве воителя или пассажира, или просто идете по тротуару. И вы убеждаетесь, что без шлема риск получения травмы мозга выше, чем вреда от болезней, связанных с курением. Иными словами, вам говорят: «если ты не будешь носить шлем, то можешь начать курить, это гораздо менее опасно». Вы же все равно не станете носить шлем, так ведь? Потому что это будет выглядеть странно, потому что это не принято в обществе.

Но это исправимо, и есть множество социально влиятельных людей, которые как раз любят такие сценарии, они ищут такие коллизии, считая что они могут сделать это принятым, социально обычным.

И тогда мы можем посмотреть на шлем новыми глазами. Во-первых, когда в городах появятся невероятно безопасные самоуправляемые машины, которые сведут риск аварий к нулю, — неизвестно, а наезд или паление может случиться хоть завтра, поэтому шлем можно начать использовать немедленно. Во-вторых, давайте посмотрим на смарт очки типа Google Glass , которые собираются выходить на розничный рынок в ближайшие годы. Как несравнимо больше можно встроить в шлем, нежели в очки! Как глупо выглядят эти хайтек очки на асфальте, залитые кровью из открытой травмы головы, в сравнении с едва помятым шлемом. Более того, шлем можно сделать более ударопрочным в случае коллизии за счёт многих технологий, и пусть он также следит за обстановкой, устраняет слепые пятна обзора и надвигающиеся опасности всякого рода, анализирует и предупреждает их.

Не забываем, что в шлеме есть и защитное стекло, которое работает как дисплей. Огромная практика наработана на шлемах пилотов истребителей, да даже в мотоциклетных и спортивных.

Туда же можно встроить и ЭЭГ, и ай-трекер, и гирокскопы, и другие датчики и устройства для дополненной реальности и сенсорного замещения (рекомендую почитать статью в этом блоге). Внешняя поверхность шлема – шикарное место для аэрографии и модных трендов.

То есть потенциально шлем можно сделать настолько крутым, полезным и привлекательным, что люди будут носить его и дома. Ведь ещё он будет нежно почесывать голову!

Ровно шесть лет назад я начал заниматься нейромаркетингом – то есть исследовать маркетинговые и рекламные материалы с помощью ЭЭГ, ай-трекера, автоматического распознавания эмоций и имплицитных тестов.

И вот сейчас, когда перспективы и приоритеты поменялись, бросаю этим заниматься. На него у меня нет ни желания, ни времени, а у него – нет будущего. Поясню, почему.

За это время провел много исследований, и, без ложной скромности, порой делал крутые и достойные исследования. Некоторое из них вообще уникальные, например, когда по отклонениям взгляда предсказывается последующий выбор, химичил с параметрами видео, которые могут в определенных условиях предсказывать успех видео, и прочее. Когда была возможность, проводя маркетинговые исследования, я параллельно изучал известные картины, картинки и другие интересные штукенции. Вообще доволен: многому научился, много узнал. О некоторых результатах я писал в этом блоге. Еще куча материалов не разобрана.

Область нейромаркетинга, как впрочем, и всё вокруг нас, щедро заселена веселыми ребятами. Люди пытаются определять что-то с помощью полиграфов, тестов Люшера, ZMET и прочих заклинаний. Если есть заказчик, который просит предоставить ему «архетипы охлажденного мяса», то находятся и соответствующие исполнители. Недавно мне порекомендовали посмотреть видео, где один маркетолог объяснял, что такое нейромаркетинг, и как он применил его в крупном проекте. Посоветовали посмотреть, чтоб я, типа, понял, как надо рассказывать про нейромаркетинг. Начал я смотреть и обалдел: для этого чувака я делал исследование, и именно про это исследование он и говорил! Результаты оказались совсем не те, о которых он вещал. Он подогнал данные, причем данные сами по себе ничего не определяющие (ширина зрачка), чтобы получить то, что ему требовалось. Иными словами, всё, что этот чел говорил, буквально всё, – была выдумка и неправда. «Тебе какая разница?», говорили мне. Ну ладно, теперь-то чего уж.

Важнее другое:

Во время исследований настолько часто, насколько возможно, я сталкивался с вопросом «Почему ». Впрочем, чаще всего этот вопрос задавал себе сам. Вот мы видим, что люди больше внимания уделили первому варианту, чем второму. Разница существенная, настолько, что можно спокойно принимать решение. Но почему так произошло? Некоторые считают, что этот вопрос — слабое место нейромаркетинга. На самом деле, это слабое место чего угодно.

Если вам задали такой вопрос, а вы не решаетесь на него отвечать, вас могут начать подозревать в некомпетентности. Но, как правило, мы всегда «знаем», как на него ответить. Вы погружаетесь в пучину гипотез, которые вы можете, но никогда не проверите, в объяснения, которые вы никогда не сможете и не собираетесь проверять, и это всё не имеет никакого значения.

Теперь я понимаю, что вопрос «почему» все более уходит в историю . Никто не никогда не узнает и не будет даже стараться узнать, почему первый вариант оказался более привлекательным, чем второй. Почему одна обложка журнала привела к невиданным продажам, почему один клип шоумена оказался таким безумно популярным, почему смена упаковки товара привела его к «гибели» – ответа нет, и всем плевать.

Почему если дует восточный ветер, то помидоры начинают продаваться на 20% больше (или меньше, не в этом суть). Мы просто видим паттерн, или его нам подсказывают алгоритмы, а вот «почему» – с большой вероятностью, мы никогда не узнаем. Почему определенные цветовые паттерны крыш означают повышенную преступность, и по аэрофотосъемке можно понять опасные районы города, наркоманию, ожирение, подростковую беременность, число абортов, заболевания и прочее? По паттернам цветов крыш, твоюмать. Почему – не знаем, и заниматься некому, и не интересно никому, и времени нет. Ответы порождают нам алгоритмы и нейронные сети, а как они приходят к ответам – мы понимаем лишь отчасти, и если они говорят «продавай сейчас помидоры», то они никогда не ответят на вопрос «почему».

Любопытно, что даже если мы вдруг гипотетически получим ответ на вопрос «почему», раскроем действительно реальные причины, ничего не изменится. В одном случае мы одобрительно скажем: «Ну надо же», а в другом: «И что теперь делать с этим?» Это как если бы вы узнали реальные причины дружбы двенадцатого герцога Альбы с Жан Жаком Руссо – как это поможет вам жить сегодня, и, особенно, завтра?

Казалось бы, еще лет тридцать назад мы шли к тому, что узнавали о мире все больше, и «почему» был одним из главных вопросов познания. Сегодня мы узнаем о мире на порядок больше, но узнаем больше «что» и «как», а вопрос «почему» задаем все реже, потому что некому, некогда и вроде как незачем на него отвечать.

Сегодня есть (или будет в ближайшее время) уже достаточно эффективных решений, построенных на алгоритмах, которые могут предсказывать популярность продаж товара или сервиса без предварительных оценок человеком. Всякий и любой опыт, накопленный в нейромаркетинге, все больше становится практически неприменимым и теоретически бесполезным. Возможно, мне и не удалось передать свое понимание и ощущение, почему нейромаркетингу капут, но универсальный ответ на это вынесен в название статьи. в конце концов.

Да какой нейромаркетинг – эпоха, когда бизнесу надо было продавать нам что-то, соблазнять, и угадывать наши желания, похоже приходит к концу быстрее , чем нам кажется. Но это уже другая история.

На выходных исследовали рекламные ролики, и использовали несколько методов, в том числе ай-трекинг. Помимо роликов, которые надо было исследовать, я взял два известных ролика в качестве образцов. Выбрал я их потому, что они заработали огромное число просмотров и «расшаривания» в YouTube. Кроме того, они просто классные и всегда вызывают неподдельные и чистые эмоции. Черт, да я посмотрел их за пару дней раз наверное 70, и каждый раз, каждый раз! они на меня действовали – заставляли улыбаться или умиляться, роняя слезинку.

Есть интересное видео, рассказывающее про то, как строится история про щенка:

Но, кроме таких и подобных описаний, есть ли что-то, что можно измерить? Ай-трекинг выдает приличное количество переменных: количество фиксаций, количество фиксаций в секунду, длительность фиксаций, отношение фиксаций к саккадам, скорость фиксаций, длина фиксаций, угловая скорость фиксаций, и прочее. Должна же найтись какая-то переменная, которая показала бы отличия гениального ролика от «обычного»?

Данные я обрабатывал, используя IBM Watson Analytics, что позволило легко находить связи и ассоциации, причем в замысловатых взаимодействий разных переменных. И хотя анализ еще далек от завершения, одну вещь уже удалось отловить. Ничего простого не обнаружилось: было бы, конечно, здорово найти, что средняя длительность фиксаций или длина саккад у хорошего ролика отличается от обычного, и это бы могло стать таким простым и суровым критерием оценки.

Найденная связь – скорость перемещения взгляда (path velocity ) – длительность всех отрезков между последовательными фиксациями, разделенная на общее время в секундах, измеряемая в пикселях в секунду (px/s). Следует заметить, что значение скорости, конечно, связано с размером монитора, расстоянием между ним и глазами, частотой ай-трекера и проч. То есть это не универсальная какая-то скорость, по которой можно судить любые другие ролики.

Итак, именно в данном случае, если эта скорость ниже 469,85 пикселей в секунду, то с большой вероятностью – это Puppy Love от Budweiser. А если выше этой скорости – The Force. 29% точности может показаться незначительными, но вероятность случайного угадывания равна 10% (для каждого из 10 роликов), так что вероятность предсказания выше случайного в 3 раза.

Есть несколько возможных и применимых в данной ситуации объяснений: 1) скорость может быть обусловлена возбуждением или 2) с предсказуемостью ситуации (Holmqvist et al ., 2011).

Физиологическое возбуждение — чем оно ниже, тем ниже скорость, и наоборот.

Предсказуемость ситуации: предвосхитительные саккады не так быстры, как реактивные – и в ситуации, когда сюжет предсказуем раз за разом, скорость может быть низкой, а когда сюжет меняется неожиданным образом, зрителю нужно реагировать быстро для восстановления понимания и восприятия ситуации.

На основе этих возможных объяснений можно сделать такие предварительные выводы – строить историю по классическим канонам, не стесняясь того, что могут назвать клише, и использовать проверенные «слезоточивые» методы. Такая история становится понятной, предсказуемой, но как видим, отнюдь не теряет своей прелести. Либо строить историю с неожиданными поворотами – ведь смотрите, как был ошеломлен мальчик (а вместе с ним и мы), когда после всех его попыток он смог покорить Силу и завести машину!

Holmqvist, K., Nyström, N., Andersson, R., Dewhurst, R., Jarodzka, H., & Van de Weijer, J. (Eds.) (2011). Eye tracking: a comprehensive guide to methods and measures , Oxford, UK: Oxford University Press.

Сейчас на coursera идет курс по нейромаркетингу, который меня естественным образом заинтересовал. Томас Рамсой (Thomas Zoëga Ramsøy), ведущий курса, прошелся по вычислительной нейробиологии (computational neuroscience). В частности, по программе, которая определяет салиентность (saliency – заметность) элементов визуального стимула. Салиентность объекта – это целый ряд его характеристик, которые делают его выделяющимся на фоне других. То может быть плотность, контраст, размер и прочее. Можно сделать объект салиентным и гарантировать, что на него обратят внимание. И вот такие программы эмулируют внимание человека, и создают saliency maps -тепловые карты внимания, аналогичные тем, что получаются методом ай-трекинга. Программа NeuroVision, про которую он говорил, сделана компанией, к которой он имеет прямое отношение. К слову сказать, таких программ сейчас уже довольно много, и я изучал несколько таких еще пару лет назад.

Например, ниже две карты одной рекламы – одна, сделанная программой (слева), и другая, сотворенную вниманием 15 людей (справа). Я сделал это еще в 2012 году:

Считается, что точность их соответствия – около 80-85%. Анализ одной картинки может стоить, в зависимости от программы – от нескольких долларов до вполне приличных сотен. С одной стороны, теоретической, это круто и неплохо, а с другой стороны, практической, давайте посмотрим, как далеко ушел прогресс.

Вот одна из картинок, которая была проанализирована:

Вот как программа сначала оценивает характеристики картинки:
А вот как программа обрабатывает картинку:

Мне сразу показалось это неправильным, потому что, проанализировав сотни картинок, «пропущенных через глаза» реальных людей, у меня тоже, видимо, образовалось интуитивное представление о салиентности. Оно, в большинстве случаев, ошибочное, но не настолько же! На днях представился случай поставить эту картинку в исследование, и вот как увидели эту же картинку 10 человек, 5 мужчин и 5 женщин:

Разница существенная. С практической точки зрения, сегодня полагаться на такую программу я бы не стал. Если на кону стоит важная задача – дизайн упаковки, которую напечатают миллионным тиражом, или реклама, которую развесят на несколько месяцев тысячами плакатов, или дизайн помещения, то верить результатам программы было бы неразумно. А зачем тогда вообще? Если анализу нельзя особо доверять, то и задачу, которую он решает, не стоит анализировать.

Интересно, что математические модели, которые анализируют изображения можно учить, учить и учить, скармливая им реальные результаты и давая обратную связь попыток, и делать это пока точность не достигнет результатов, схожих с результатами людей. Вопрос, на мой взгляд, исключительно организационный – потребуется множество ресурсов, чтобы это осуществить. Но главное – это можно сделать, и не видно каких-то неосуществимых задач.

Давайте пофантазируем, что это сделано – после нескольких лет работы большой команды, которая делала по сотне исследований с ай-трекером каждый день и кормила ненасытную модель, мы получили алгоритм, который с 99% точностью имитирует зрительное внимание человека.

Теперь компьютер может создавать дизайны всего – квартиры, рекламы, гаджета, одежды – так, чтобы добиться поставленной цели. И это лишь ничтожный пустяк. Компьютер теперь понимает эволюционные программы, вшитые в нас, которые и управляют нашим вниманием. Через понимание зрительного внимания он может предполагать о нас невероятно много: насколько мы голодны, и чего именно нам не хватает, когда у нас был секс, и на какой стадии менструального цикла мы находимся, есть ли у нс дети и сколько им лет, каковы шансы принятия практически любого нашего решения в любой ситуации. Посредством кроссмодальности машина будет знать, нравится ли нам запах чего-то, или музыка, которую мы слышим, ткань пальто, которое мы трогаем, и массу чего еще. «Понимание» зрительного внимания – один из ключей к пониманию работы нашего мозга. Без преувеличения можно сказать, что компьютер будет знать о нас на порядки больше, чем мы сами. Фактически, еще до того, как мы захотели совершить какой-то поведенческий акт, машина уже, с большой вероятностью, понимает, что это будет, то есть раньше, чем это станет сознательной мыслью в нашем мозге. Выбор поведения, будь то покупка товара или выбор партнера для совместной жизни будет в виде альтернатив с подсчитанным вероятностным исходом, представленных машиной. Но для каких целей и кем именно будут считаться эти вероятности?

Если это будет опираться на древние эволюционные программы, то грубо говоря, целями станут выживание и размножение, причем не обязательно индивидуального организма. Если программа говорит «сделай так», то у нас нет ни малейшего шанса проверить, во благо лично нам она это советует, либо во благо вида: ведь программа должна быть связана с другими людьми (в идеале, со всеми) и должна корректировать свои вычисления. Все наши неосознаваемые процессы программа отслеживает, а то, что приходит к нам в сознание, она видит заранее.

Компьютер станет нашим богом, которому ведомы наши чаяния и предположения, а его мотивы и алгоритмы будут так же скрыты от нас, как неизвестны нам причины наших поступков сегодня. Религия, с этой точки зрения, выглядит как интуитивное предвосхищение полного и безусловного рабства и покорности перед кем-то, кто знает, что нам следует делать. Делать без объяснений и сопротивления, без надежды на понимание, соглашаясь на выбор, который сделан ради неведомых нам целей. Смартфон, который мы держим в руках уже сегодня — наш маленький, но быстро взрослеющий растущий божок, которого мы сами создали.

Объем сознания – ничтожная лужа, в сравнении с морем неосознаваемых процессов, происходящих в нашем мозге. Если бы у нас не было сознания, мы бы не парились по всем этим вопросам, а мирно кушали бы, спаривались и спали. Зачем оно появилось и что нам с ним делать – вот вопрос, на который мы должны ответить, пока компьютеры могут моделировать наше поведение лишь на 80%, и наш молодой бог не подрос…

Nagata, K. (2014). Looking for something special? Gaze-tracking tech knows the answer. The Japan Times , Oct. 8, 2014.

АЙ-трекинга - процесс определения точки, на которую направляется взгляд или движения глаз относительно головы. Ай-трекер - это устройство для определения позиций глаз и их движения. Ай-трекинг используется во многих отраслях, таких как психология, когнитивная лингвистика и другие.

Применение ай-трекинга в маркетинге

Или замечает потребитель продукт или бренд?

Как часто и как долго в поле зрения потребителя попадает продукт или бренд?

Не слишком отвлекает имеется графика от главных объектов телевизионного ролика?

Какова общая эмоциональная реакция на телевизионный ролик - считает потребитель ролик приятным или отталкивающим?

Будет ли этот ролик эффективным с определенной целевой аудиторией - и если да, то с какой?

Увидел потребитель логотип?

Или сразу потребитель увидел главную систему навигации по сайту?

Обратил внимание потребитель на главную информацию на странице?

Или потребитель внимательно рассмотрел наполнение страницы, или просто пробежал по ней глазами?

Как пользователи взаимодействуют с сайтом?

Когда потребитель уже готов сделать покупку, именно упаковка продает ему продукт, отделяя его от конкурентов. Используя технологию ай-трекинга, можно протестировать реальную упаковку и выкладку товаров или симуляцию. Специальное программное обеспечение позволяет потребителю рассмотреть симулированной полку с товарами, выбрать упаковку с полки и покрутить ее, чтобы рассмотреть со всех сторон. Анализ включает исследование того, как просматривает полку, какие упаковки он замечает, когда и как долго он на них смотрит и как именно потребитель смотрит на ключевую упаковку. Таким образом, технология ай-трекинга в этом случае может быть полезной для улучшения оформление витрины, оптимизации размещения товаров на ней. Также можно изучить, насколько удачной является упаковка конкретного товара по сравнению с упаковками конкурентов. Для привлечения внимания важна не только сама упаковка товара, но и то, как она воспринимается в окружении своих аналогов на реальной полке магазина. Используя технологию ай-трекинга, можно определить, насколько эффективным был брендинг спортивной площадки при спонсировании спортивного события или сцены при спонсировании концерта. Технология ай-трекинга может существенно повысить эффективность юзабилити-тестирования. Таким образом, исследователь можливиться посмотреть на сайт глазами пользователя. Можно установить, где конкретно пользователь искал необходимую ему информацию, какие элементы сайта пользователь не заметил, а которые вызвали у него растерянность. Измерения траектории движения взгляда и точек фиксации взгляда вместе с измерением умственной активности быстро освещают те зоны юзабильности, которые могут привести к экономическим потерям для клиента.

Технология ай-трекинга

Одни из первых моделей ай-трекеров требовали фиксации головы респондента, как показано на рисунке ниже. Такая технология позволяла полностью избежать искажений показаний из-за движения головы.

Другим типом технологии является ай-трекер, закрепленный на голове респондента. Устройство легкий и не создает неудобств, не стесняет движений. Принцип действия заключается в том, что две камеры направлены на глаза респондента, в то время как третья камера направлена ​​на исследуемый объект, воспроизводя то же, что видит респондент в конкретный момент. Технология такого типа открывает больше возможностей, ведь респондент не должен сидеть движения. Устройство показано на рисунке ниже.

Следующим поколением ай-трекеров стали устройства вмонтированы в монитор. На изображении ниже показано ай-трекер, который визуально не отличается от 17-дюймового ЖК-монитора. Очевидным преимуществом такого устройства является то, что он полностью поддерживает принцип plug & play, то есть его можно подключить к любому компьютеру или ноутбуку, на котором установлено соответствующее программное обеспечение.

Еще одним типом ай-трекеров является независимое устройство, которое может быть использовано для разноплановых исследований: как с использованием мониторов, проекционных экранов, так и с реальными объектами, такими как полка с выкладкой товаров, один товар, печатное издание и т.д.. Такой тип устройства показано на рисунке ниже.

Некоторые производители устройств для ай-трекинга предлагают комплексные решения. Ниже приведена схема портативной ай-трекинг лаборатории для проведения юзабилити-тестирования. К преимуществам такой лаборатории относятся: быстрота применения - необходимо всего 15 минут, чтобы полностью настроить оборудование; устройства фиксируют не только движение глаз, но и звуки, которые произносит респондент, записывают все движения мышью и нажатия клавиш, регистрируют все внешние раздражители, которые могли бы отвлечь респондента. Исследователь наблюдает за всеми процессами в реальном времени с экрана своего ноутбука и имеет возможность провести глубокий анализ, изучая записи.

Купить контактные линзы biofinity на сайте lensgo.ru.