Искусственный интеллект дает много возможностей для автоматизации рутинных операций в оценке кандидатов. Одна из таких технологий — видеоинтервью с применением искусственного интеллекта. За рубежом данную технологию предоставляют множество компаний[1]; в научной литературе за последние 5 лет вышел целый ряд публикации, посвящённых этой теме[2]. Мы гордимся тем, что в России система автоматизированного видеоинтервью была разработана нами, компанией «ЭКОПСИ». Мы назвали ее Echo. В данной статье мы опишем работу Echo на примере конкурса «Лидеры России», а также расскажем, как она может быть использована в других компаниях.

Что такое видеоинтервью

Видеоинтервью — это видеозапись ответов кандидата на вопросы, которые важны компании для найма на конкретную должность. Вопросы посвящены прошлым достижениям кандидата, его опыту и ожиданиям. Рекрутер просматривает видео и оценивает, в какой мере кандидат соответствует культуре компании и самым базовым требованиям к должности. Видеоинтервью также проверяет мотивацию кандидата: если он ответил на вопросы, значит, уже проявил минимальные усилия для получения работы. После успешного прохождения видеоинтервью кандидат переходит к другим оценочным испытаниям — тестам, очному интервью, моделирующим упражнениям.

«Лидеры России» — всероссийский открытый конкурс для руководителей нового поколения. Основная задача — поиск наиболее перспективных и талантливых управленцев со всей страны. Финалисты выигрывают образовательный грант и возможность получить консультацию от топ-менеджеров крупных компаний и выдающихся государственных деятелей. Конкурс реализуется АНО «Россия — страна возможностей» при поддержке ведущих оценочных провайдеров. Впервые был проведен в 2018 году, за три сезона в «Лидерах России» приняли участие около 600 тысяч человек. Подробнее о проведении двух первых сезонов вы можете прочитать в статье «Как оценивали лидеров России».

Учитывая, что в начале каждого сезона конкурса подается порядка 200 000 заявок, а до финала доходит 300 человек, мы получаем очень резкую воронку отбора при очень сильном желании участников победить (см. рис. 1).

В конкурсе «Лидеры России» используется модель воронки: участники сначала проходят дистанционные оценочные испытания. Они записывают видеоинтервью и проходят ряд тестов, затем участвуют в двух этапах очных оценок: в полуфинале в рамках федерального округа и в общероссийском финале.

Опыт первых двух сезонов показал, что в рамках дистанционного этапа необходимо решить две задачи:

1. Минимизировать возможность участников получать высокие результаты за счет научения отвечать на похожие тесты или использования других способов обмана. Конкурс — это оценочная процедура с высокими ставками, поэтому участники пытаются любыми способами получить высокие результаты. На дистанционной части, когда участников не контролируют, риск обмана и социальной желательности особенно велик.

2. Снизить «резкость» воронки отбора. На дистанционном этапе происходит достаточно резкое сужение воронки: на каждом тесте отсеивается 50–70% участников. При этом тесты максимально эффективны при отсеве 20–30% участников (в задаче «барьерометрии»).

На данный момент видеоинтервью в рамках конкурса является мотивационным испытанием, отсев по его результатам не проводится: если участники записали ответы на вопросы, уделили этому время, продумали текст, то они достаточно мотивированы для участия в конкурсе и допускаются к следующему этапу — тестированию. Но если полностью автоматизировать этот инструмент и применить технологии искусственного интеллекта, видеоинтервью станет полноценным оценочным инструментом с возможностью отсеивать уже на первом этапе до 30% участников. В таком случае на следующие этапы пройдет меньше участников, воронка станет более плавной, «сгладится», а использование алгоритмов машинного обучения защитит оценку от обмана.

Разработка модели

Для разработки алгоритмов технологии Echo консультанты «ЭКОПСИ» проанализировали огромный массив информации: 180 000 трехминутных видео, которые записывали участники первого и второго сезона конкурса. Видеофайлы не содержали фамилии и имена участников, только их идентификационные номера.  Каждый участник в этих видео отвечал на два вопроса:

1. Какова цель вашего участия в конкурсе?

2. Ваше главное профессиональное достижение?

Участник мог записать видео в личном кабинете на сайте конкурса или загрузить ранее записанное видео со своего устройства.

В каждой записи мы распознавали с помощью специальных сервисов пять групп признаков:

• речь — произносимые участником слова;

• просодические переменные — уровень интонационно-выразительного разнообразия речи и ее скорость;

• темы — совокупности слов, которые наиболее часто встречаются вместе;

• тональность — эмоциональная окрашенность речи;

• мимические действия — например, моргание, улыбка, поднятие бровей, которые дальше объединялись в эмоции.

После этого мы сопоставили полученные данные с тем, насколько успешно каждый участник проходил все последующие этапы отбора — различные тесты и очные оценочные процедуры. Это позволило выявить те особенности речи, голоса и эмоций, которые отличают успешных участников от неуспешных.

В итоговую модель вошло 6 200 признаков, которые находятся в сложной нелинейной взаимосвязи друг с другом. Основная доля признаков приходится на речь участников и связанные с ней параметры, у эмоций меньший вес. Это связано с тем, что качество записи аудио на современных устройствах выше, чем качество записи видео. Поэтому на части видеозаписей, на которых была обучена модель, не удалось полноценно распознать эмоции.

Точность модели Echo позволяет отсеивать до 30% участников с самыми низкими баллами по видеоинтервью. При таком отсеве процент ошибки (участник был отсеян, хотя на самом деле получил бы высокие оценки в конкурсе) близок к нулю.

Раскрытие «чёрной коробки»

Главная проблема ИИ — непрозрачность оценки (из-за чего ИИ часто называют «черной коробкой», black-box). Алгоритмы машинного обучения работают крайне сложно, из-за чего их практически невозможно проинтерпретировать и объяснить людям, почему машина предлагает то или иное решение. В HR эта проблема особенно выражена, так как технологии непосредственно связаны с людьми, влияют на людей и учитывают их мнение в процессе.  Первоначальная модель Echo, разработанная в рамках анализа видео из «Лидеров России», также была «чёрной коробкой». По её результатам выдавался один итоговый балл, отражающий прогноз успешности участника в конкурсе. Чтобы сделать результаты понятными для участников, мы решили попробовать их проанализировать и проинтерпретировать. Аналитики «ЭКОПСИ» взяли все 6 200 признаков, которые вошли в модель, и обработали их с помощью специальных алгоритмов. В результате итоговый балл разделился на три составляющие:

1. уверенность презентации — насколько уверенно участник презентует свою точку зрения;

2. логичность изложения — в какой мере рассказ участника последователен и логичен;

3. мотивация и вовлеченность — насколько участник заинтересован в участии в конкурсе.

Каждый участник «Лидеров России 2020» получил отчет, в котором был не только итоговый балл, как в отчете участников второго сезона, но и баллы по трем составляющим.

Технология Echo разрабатывалась на видео, снятых в рамках первых двух сезонов «Лидеров России». В третьем сезоне конкурса Echo прошло боевую обкатку — участников знакомили с новой технологией. Но решения, влияющие на дальнейшее участие в конкурсе по итогам оценки Echo, не принимались. В данный момент рассматривается вопрос о формате использования Echo в следующих сезонах «Лидеров России».

Как Echo можно использовать в бизнесе

Мы описали пример использования Echo в рамках конкурса «Лидеры России», но как эту технологию могут использовать компании?  Echo может быть интересен тем организациям, в которых проводится массовый подбор — банки, торговые сети, производственные компании. Внедрение технологии Echo для оценки кандидатов по трехминутному видеоинтервью значительно сократит сроки подбора, сэкономит деньги и сохранит при этом качество, снизив субъективность рекрутера. В результате компания получит технологию, с помощью которой можно автоматически отсеивать до 30% кандидатов.

Для внедрения автоматизированного видеоинтервью в компании необходимо соблюдение двух условий:

• Видеоинтервью 700 или более кандидатов

• Решение рекрутера по ним (продвигать на следующий этап воронки или нет)

Перспективы технологии Echo

Echo —перспективная технология, основанная на возможностях искусственного интеллекта. К ее самым очевидным преимуществам относятся:

• Высокая точность. С помощью Echo можно отсеивать до 30% кандидатов, при этом ошибка будет близкой к нулю. Это больше, чем у всех тестовых методик.

• Снижение рисков фальсификации. Взаимосвязи между ответами на видеоинтервью и конечной оценкой кандидата при использовании ИИ настолько нелинейны, что человек не в состоянии предсказать и подстроиться под них, «сфабриковать» свое поведение на видео, перестроить речь.

• Скорость. Кандидат оценивается за 2–10 минут (в зависимости от длительности интервью).

Но Echo имеет и ряд ограничений:

• Необходимость настройки. Для точности работы Echo нужна выборка и данные о том, кого рекрутер оценил как хорошего кандидата, кто успешен в организации.

• Зависимость от данных. Echo автоматизирует те закономерности, которые есть в данных. Например, если рекрутеры на регулярной основе отдают предпочтение мужчинам определенного возраста, Echo, как и любой другой ИИ, автоматизирует эти дискриминативные паттерны. У нас есть выход: проверять систему подбора клиентов на эти паттерны и выравнивать результаты Echo относительно определенных дискриминированных групп.

• Барьер пользователя. Неготовность людей принимать оценку машиной. Кандидатам приходится достаточно подробно рассказывать о технологии Echo, прежде чем они начинают доверять подобной оценке.

Все эти барьеры преодолимы, и с развитием технологии их влияние будет снижаться. В то время как преимущества в виде точности, скорости и снижения рисков фальсификации будут лишь увеличивать экономический эффект от внедрения Echo. 

Скачать полный выпуск HRTimes №35 "Искусственный интеллект в HR"

[1] Hirevue, Knockri, Aspiring Minds

[2] Nguyen, & Gatica-Perez, 2016; Rupasinghe, Gunawardena, Shujan, Atukorale, 2016