Искусственный интеллект (ИИ) может существенно повысить точность и таких привычных всем инструментов, как личностные опросники и тесты. При этом внешне опросники не меняются — человек все так же отвечает на вопросы или решает задания. Но для обработки результатов применяются сложные механизмы, основанные на машинном обучении. За рубежом только появляются тесты, которые используют ИИ, например, Plum и AssessFirst. В России первой использовать искусственный интеллект в опросниках и тестах стала компания «ЭКОПСИ». Мы работали над данной технологией в течение двух лет. Разработанный опросник получил название delta.ai. Греческая дельта в математике используется как символ разности, в наших терминах это разность между сотрудниками с высокой и низкой эффективностью, которую мы понимаем, оценивая компетенции.

Личностные опросники и обман

Личностные опросники — крайне популярный инструмент оценки: их использует около 50% российских и зарубежных компаний (Church, & Rotolo, 2013; ЭКОПСИ. 2016). Однако стандартные личностные опросники менее точны в оценке компетенций, чем другие инструменты оценки (см. табл. 1).

Таблица 1. Сравнение точности различных инструментов в оценке компетенций

У относительно невысокой точности опросников в оценке компетенций есть несколько причин:

1. Люди склонны давать социально-желательные ответы. Согласно исследованиям, 30% людей фальсифицируют результаты опросников, применяемых в HR (Griffith & Converse, 2012). Кандидаты описывают себя в неправдоподобно позитивном ключе — как исключительно ответственных, кооперативных и обучаемых людей. Это приводит к искусственному завышению результатов: до 40 (из 100) процентилей прироста (Viswesvaran, Ones, 1999). В результате снижается валидность опросников и, что важнее, падает точность кадровых решений. На последующие этапы воронки отбора попадают менее подходящие кандидаты, которые смогли обмануть опросник.

2. Люди склонны самообманываться в ответах на опросники. Человек описывает свое поведение так, как он сам видит его, из-за этого он может ошибаться в оценке своих действий. Это происходит неосознанно, в отличие от целенаправленных действий, когда люди дают социально-желательные ответы.

3. Личностные опросники оценивают склонности, но не само поведение. Это связано с тем, что изначально они были разработаны для исследовательского контекста, а не для оценки компетенций. В 2000-х годах с развитием компетентностного подхода провайдеры тестов стали настраивать свои опросники для оценки компетенций (Bartram, 2005; Hogan, 2007; Savile Consulting, 2012). Но используемый ими подход нельзя назвать удачным. Многое додумывалось и домысливалось. Так, например, консультанты действовали из допущения, что если человек обладает высоким баллом по шкале «Экстраверсия», он также обладает развитой компетенцией «Построение отношений». Хотя связь склонностей, измеряемых опросниками, и поведения — нелинейна и не всегда очевидна (Blacksmith, & Yang, 2015; Converse, & Oswald, 2014). У человека, который в опроснике описывает себя как настойчивого, что традиционно связывается консультантами с компетенцией «Ориентация на результат», эта компетенция на самом деле может быть не развита.

Принципы работы опросника нового поколения

Опросник delta.ai работает принципиально по-другому. Консультанты «ЭКОПСИ» проанализировали с помощью искусственного интеллекта данные 15 000 сотрудников. Все они прошли опросник, измеряющий их компетенции, а также их оценили руководители и коллеги. На основе этих данных была построена математическая модель, позволяющая прогнозировать реальные оценки по компетенциям на основе ответов в опроснике.

Для иллюстрации принципа работы delta.ai представим, что человек видит на экране четыре утверждения и выбирает одно, описывающее его лучше всего (см. рис.1).

Рисунок 1. Пример вопроса из личностного опросника

Представим, что человек выбирает первое утверждение «Я учитываю мнение коллег в принятии решений» как описывающее его лучше всего. В стандартном личностном опроснике он получит за это дополнительный балл к какой-то из личностных характеристик. В данном случае это «Доброжелательность». Чтобы получить из балла по «Доброжелательности» оценку по компетенциям, эксперты, разрабатывающие опросник, выносят свое суждение: более доброжелательные люди внимательнее относятся к клиенту и лучше проявляют в себе лидерские качества. Так высокий балл по «Доброжелательности» превращается в высокие оценки по компетенциям «Клиентоориентированность» и «Лидерство» (см. рис. 2). Как показывают данные, если оценка по компетенциям была получена таким способом, она не позволяет точно прогнозировать эффективность сотрудника; другими словами, ключевое свойство компетенций (нужны для эффективной работы) теряются при таком методе оценки.

Рисунок 2. Алгоритм выставления оценки по компетенции в стандартном личностном опроснике.

Delta.ai работает по принципиально другой технологии: она учитывает не только то, какое описание человек выбрал для себя как лучшее, но и с какими другими утверждениями он их сравнивал. Дальше его ответы сопоставляются с обширной базой данных, и алгоритмы искусственного интеллекта подбирают наиболее подходящий ему паттерн ответов: буквально находят людей, которые описали себя в опроснике также. Формируется группа людей, которые отвечали на вопросы схожим образом, и начинается новое сопоставление: искусственный интеллект анализирует, как людей с такими паттернами ответов руководители оценивали по компетенциям, и достраивает модель потенциальной оценки тех, кто еще через непосредственную оценку руководителем в реальной ситуации не проходил (см. рис. 3).  Данная технология интересна еще и тем, что паттерны неочевидны, их невозможно угадать. Тем самым снимается социальная желательность ответов. 

Рисунок 3. Алгоритм выставления оценки по компетенции в delta.ai

Преимущества использования ИИ в опросниках

Описанные механизмы решают проблемы традиционных опросников:

• delta.ai защищен от социальной желательности. Связь между утверждениями и оценками по компетенциям нелинейна и неочевидна, поэтому человеку будет намного сложнее обмануть delta.ai, чем другие опросники.

• delta.ai оценивает именно компетенции, а не склонности и установки. В опроснике нет лишнего шага с оценкой склонностей, а затем их экспертным связыванием с компетенциями.

• Алгоритм delta.ai позволяет анализировать все ответы сотрудника для оценки всех компетенций. За 10-15 минут прохождения опросника могут быть оценены все значимые качества сотрудника.

• В основе delta.ai лежит универсальная модель компетенций, разработанная консультантами «ЭКОПСИ» на основе больших данных. Благодаря этому опросник легко настраивается для оценки только тех компетенций, которые значимы для каждой конкретной компании.

В итоге валидность delta.ai превышает валидность традиционных личностных опросников и в оценке компетенций, и в прогнозе результативности (см. табл. 2).

Таблица 2. Сравнение валидности традиционных личностных опросников и delta.ai

Оцениваемые компетенции

Delta.ai оценивает 33 компетенции, которые объединяются в 9 мета-компетенций.

Модель оценки основана на DCM (Data-based Competence Map) — универсальной модели компетенций, разработанной консультантами «ЭКОПСИ» на основе данных 80 000 сотрудников российских компаний. Оцениваемые компетенции покрывают 93% компетенций, содержащихся с современных моделях. [1]

История проекта компании «Кронштадт». DEEP и delta.ai для создания модели компетенций и оценки по ней

Рассказывает Елена Василевская, начальник управления по обучению, развитию и внутренним коммуникациям компании «Кронштадт».

«Кронштадт» — российская высокотехнологичная компания, которая занимается разработкой и производством наукоемкой продукции и решений, необходимых для создания, освоения и безопасной эксплуатации сложных технических средств в воздухе, на море и на суше.

В 2018 году компания «Кронштадт» решила создать модель компетенций. Необходимость этого процесса зрела уже давно: здесь довольно хорошо выстроена работа по развитию персонала, но не было единых критериев «качественного» поведения сотрудников. Необходимо было обозначить наш персональный «код ДНК», сформировать критерии оценки, которые также стали бы основой для принятия более взвешенных кадровых решений и привнесли больше индивидуального подхода в вопросах развития персонала.

Первоначально компания планировала разработку компетенций традиционным экспертным способом, и мы до сих пор считаем этот подход рабочим. Однако в результате сравнения с DEEP (разработка модели компетенций на основе анализа данных) выбор был сделан в пользу последнего: разработка модели компетенций с помощью DEEP реализуется на основе онлайн-опроса, что существенно экономит время и обеспечивает удобство для участников и высокую точность результатов.

Проект занял несколько месяцев. Технология позволяет укладываться в еще более сжатые сроки, но ограничением стала загрузка наших сотрудников в период проведения исследования и их невозможность оперативно принять участие в опросе.

В результате мы получили простую и понятную модель компетенций, сформированную на «нашем языке», пригодную для использования здесь и сейчас. Она оказалась близка и лично мне, и сотрудникам компании в целом.

Спустя год мы вновь обратились к консультантам «ЭКОПСИ».  Нам было необходимо сформировать кадровый резерв и оценивать сотрудников при входе в проекты. Консультанты предложили нам использовать delta.ai — особым образом сконструированные личностные опросники, которые обрабатываются с помощью искусственного интеллекта.  Поскольку мы не были достаточно хорошо знакомы с инструментом, то помимо интереса были сомнения в том, что предложенный способ нам подойдет. Но аргументы экспертов и сама технологичность подхода нас вполне убедили.  В основу оценки легла разработанная до этого модель компетенций.

Мы оценили более 50 сотрудников на входе в проект «Лидер Кронштадта» - этот проект направлен на развитие управленческих навыков технических руководителей среднего звена. Нам было важно сделать замер до входа в проект и по окончанию модульной программы, чтобы оценить изменения. На основании результатов оценки мы подготовили индивидуальные планы развития. В ближайшее время мы займемся формированием кадрового резерва на ряд ключевых позиций в конструкторском бюро, и оценка по модели компетенций станет одним из инструментов отбора.

Компании, которые захотят реализовать подобные проекты, могут столкнуться с сопротивлением сотрудников. Мы прошли через это: у сотрудников возникали сомнения в части используемой технологии и ожидаемого результата, ведь подобная форма активности являлась совсем новой и не привычной для коллектива. Поэтому крайне важным этапом подобного проекта должны быть усилия, направленные на подготовку почвы для оценки. Нужно не жалеть времени на то, чтобы рассказывать о проекте до его старта, говорить языком пользы именно для сотрудников, а не для компании в целом. Сотрудники должны иметь возможность задать вопросы, а HR на них ответить, тогда все участники процесса смогут вовлечься в активность. У нас в компании опросы проходили люди высокоинтеллектуальных технических профессий, привыкшие критически мыслить и ничего не принимать на веру, но даже их вопросы нам удалось отработать, иногда мы подключали экспертов «ЭКОПСИ» и совместными усилиями снимали возражения.

Используя модель компетенций, разработанную на основе метода DEEP и оценивая по ней сотрудников с помощью технологии delta.ai мы смогли повысить объективность оценки, сделать ее более массовой, а также упростили процесс оценки сотрудников в других регионах.

Скачать полный выпуск HRTimes №35 "Искусственный интеллект в HR"

[1] Подробнее об универсальной модели компетенций вы можете прочитать в инфографике «Реальный профиль эффективного сотрудника: результаты исследования компетенций в России», HRT №35

Литература:

• Bartram, D. (2005). The Great Eight Competencies: A Criterion-Centric Approach to Validation. Journal of Applied Psychology, 90(6), 1185–1203.

• Blacksmith, & Yang, R. (2015). Nonlinear Relationships of Narrow Personality and Narrow Leadership Criterion Constructs. Hogan Assessment Research.

• Church, A. H., & Rotolo, C. T. (2013). How are top companies assessing their high-potentials and senior executives? A talent management benchmark study. Consulting Psychology Journal: Practice and Research, 65(3), 199.

• Converse, P. D., & Oswald, F. L. (2014). Thinking ahead: Assuming linear versus nonlinear personality-criterion relationships in personnel selection. Human Performance, 27(1), 61–79.

• Darr, W., & Catano, V. M. (2008). Multisource Assessments of Behavioral Competencies and Selection Interview Performance. International Journal of Selection and Assessment, 16(1), 68–72.

• Griffith, R. L., & Converse, P. D. (2012). The rules of evidence and the prevalence of applicant faking. In M. Ziegler, C. MacCann, & R. D. Roberts (Eds.), New perspectives on faking in personality assessment (p. 34–52). Oxford University Press.

• Hagan, C. M., Konopaske, R., Bernardin, H. J., & Tyler, C. L. (2006). Predicting assessment center performance with 360‐degree, top‐down, and customer‐based competency assessments. Human Resource Management, 45(3), 357–390.

• Hogan Assessment Systems (2007). Hogan Personality Inventory Manual.  

• Salgado, J. F., Anderson, N., & Tauriz, G. (2015). The validity of ipsative and quasi‐ipsative forced‐choice personality inventories for different occupational groups: A comprehensive meta‐analysis. Journal of Occupational and Organizational Psychology, 88(4), 797–834.

• Saville Consulting (2012). Wave Professional Styles Handbook.

• SHL (2009). Supplement to the OPQ32 Technical Manual. 

• Viswesvaran, C., & Ones, D. S. (1999). Meta-analyses of fakability estimates: Implications for personality measurement. Educational and Psychological Measurement, 59(2), 197–210.

• ЭКОПСИ Консалтинг (2016). Оценка потенциала в России. Результаты исследования.