В 1982 году исследователи Сакетт и Дрейер (Sackett, Dreher) пришли к удивительному открытию про центры оценки. В статье с заголовком «Тревожащие эмпирические открытия» они написали, что оценка по отдельным упражнениям имеет более высокую валидность, чем оценки по компетенциям. Эта идея непроста и нуждается в пояснении. Поэтому начнем с определений.

Центры оценки (ЦО) — комплексный инструмент прогноза потенциальной успешности сотрудников. Применяется в формировании кадрового резерва и пулов высокопотенциальных сотрудников, рекрутменте, процессах развития и обучения. В основе классического ЦО два компонента. Первый — это упражнения, моделирующие работу сотрудников. В них специально обученные специалисты по оценке (и иногда менеджеры) наблюдают за поведением участников. Второй компонент — критерии, по которым наблюдатели выставляют свои оценки. Самый используемый критерий — компетенции, каждая оценивается в нескольких упражнениях; одного участника оценивает несколько наблюдателей.

Sackett и Dreher открыли, что оценки по разным компетенциям внутри одного упражнения коррелируют друг с другом сильнее, чем оценки по одной компетенций в разных упражнениях. Иными словами, поведение в ЦО специфично ситуации (упражнению), но не универсальным паттернам поведения — компетенциям. Данное явление получило название «эффект упражнения» (англ. exercise effect).

С этого момента началась дискуссия про валидность центров оценки, которая продолжается и сейчас. В ходе обсуждения были предложены способы повышения валидности именно компетенций — калибровочные тренинги, специальные подходы к разработке упражнений, моделирование компетенций на основе данных. Но появилась также радикальная альтернатива традиционному компетентностному подходу, научный обзор которого мы представим в данной статье, — Task-Based Assessment Center.

Принципы Оценки по управленческим ролям

Для сравнения приведем основные допущения классического центра оценки, который будем называть Assessment Based in Competencies (ABC) (1):

• Существуют устойчивые паттерны поведения, статистически связанные с успехом в конкретной профессиональной деятельности.

• Эти паттерны поведения схожи в проявлении у различных людей в разных ситуациях.

• Их можно корректно описать языком компетенции.

• Компетенции можно с достаточной точностью оценить в моделирующих упражнениях.

• Можно моделировать компетенции как текущего, так и другого (например, более высокого) уровня должности — и таким образом оценивать потенциал.

• Оценка в моделирующих упражнениях позволяет предсказать частоту и успешность проявления этих же видов поведения в работе; следовательно, и предсказать вероятность успеха в работе в той части, которая зависит от человека, а не от среды и окружения.

Подход ABC используется всеми крупными российскими организациями и, уверены, читатели узнали в нем свои системы оценки. Его популярность объясняется тем, что мы привыкли думать о других людях в терминах качеств. В HR такими качествами являются компетенции. Второе преимущество ABC состоит в его универсальности: компетенции предлагают единые требования для всех сотрудников, которые можно использовать в подборе, адаптации, оценке, развитии, премировании.

Оценка по управленческим ролям — это принципиально иной взгляд на то, как должна быть устроена оценка персонала. Данный подход предлагает оценивать человека по уровню его эффективности в решении типовых блоков задач (ТЗ) для каждой должности/группы должностей. Нет необходимости описывать, какие именно деловые и личностные качества нужны, чтобы успешно решать конкретные ТЗ. Систематический успех — это успех. А систематическая неудача — это неудача. Оценивается в первую очередь результат решения задачи. По сути, в Оценке по управленческим ролям упражнения, пусть в измененном виде, становятся критериями оценки. Это влияет на другие части ЦО — шкалу оценки, фокус обратной связи.

Таблица 1. Сравнение точности различных инструментов в оценке компетенций

Основания для появления Оценка по управленческим ролям 

Исследователи начали проявлять интерес к Оценке по управленческим ролям в конце 1980-х гг. Основной вопрос, который их интересовал, — какой вклад вносят упражнения и компетенции в оценку наблюдателя. Для ответа было разработано два дизайна (способа) исследования.

В первом дизайне исследователи выделяли компоненты ЦО и проверяли их вклад в оценку наблюдателя. Чем более продвинутые статистические методы использовали исследователи, тем больше компонентов ЦО они смогли выделить и тем, соответственно, более точно оценили вклад каждого компонента. Например, в одном из первых исследований (2000 г.) Артур (Arthur) и его коллеги выделили всего два компонента — упражнения и компетенции, и у последних был намного больший вклад (27% против 6,8%).

В более современном исследовании (2013 г.) Путка и Хоффман (Putka, Hoffman) с помощью методов байесовской статистики выделили 15 компонентов ЦО. В результате они определили, что компетенции имеют вклад в 1,1%, а упражнения — 35,2%.

Мы считаем это исследование наиболее показательным также потому, что Путка и Хоффман не придерживаются какого-либо подхода (Оценка по управленческим ролям или ABC). Результаты схожих исследований подчеркивают тенденцию: чем современнее исследование, и чем более продвинутые статистические инструменты, тем больше вклад упражнений (см. табл. 2).

Таблица 2. Вклад упражнений и компетенций в валидность центра оценки

Второй дизайн исследований, который указал на правомерность Оценки по управленческим ролям, более прост, — это корреляции компетенций внутри и между разными упражнениями. В основе ABC допущение, что замеры по одной компетенции имеют высокую связь друг с другом. Но современные исследования показывают обратное: замеры по одной компетенции внутри разных упражнений имеют меньшую связь, чем замеры по разным компетенциям внутри одного упражнения (см. табл. 3).

Таблица 3. Корреляции компетенций внутри и между разными упражнениями

Эти исследования можно интерпретировать так: когда наблюдатели видят конкретного человека, они мыслят о нем в терминах ситуации (насколько он эффективно решает задачу), а не в терминах компетенций.

Вывод, к которому приходят исследователи центра оценки: компетенции имеют намного меньший вклад в оценку наблюдателя, чем упражнения. В центре оценки поведение «собирается» в упражнения, а не в компетенции. Иными словами, человек может быть эффективен в определенной ситуации (совершать действия, которые считаются в ней эффективными), но почему он это делает, за счет каких «внутренних качеств», нам неизвестно.

Во многом это доказывает следующие тезис: компетенции — искусственный конструкт. Мы, представители HR и оценки, придумали его для более удобного нам способа думать о другом человеке. Но на самом деле мы только отдалились от изначальной задачи центра оценки: измерения и прогноза поведения. 

Точность метода 

Под точностью мы имеем в виду критериальную валидность. Критериальная валидность — связь (корреляция) результата оценки с внешним критерием. В качестве внешнего критерия в большинстве исследований используется результативность, измеренная руководителем. 

Самое наглядное исследование опубликовал Джексон (Jackson) в 2011 году. На выборке в 100 руководителей он показал, что точность Оценки по управленческим ролям находится на уровне 0,52. Этот показатель немного выше или как минимум сопоставим с точностью ABC.

Метааналитическое исследование Хоффмана (Hoffman, 2015) показало, что Оценка по управленческим ролям требует специфичного подхода к разработке. Недостаточно взять стандартные упражнения из ABC, провести по ним ЦО и выставить оценки за упражнения. В таком случае точность ЦО будет даже ниже обычного ABC рейтинга, потому что инструмент — упражнения — не соответствует задаче и методике оценки.

Таблица 4. Точность двух форматов ЦО (корреляция с результативностью)

Используются данные исследований: Arthur et al., 2003; Hoffman et al., 2015; Jackson & Englert, 2011.

Преимущества  метода 

Для сравнения назовем основные научно-доказанные недостатки компетентностного подхода (помимо уже описанной проблемы низкой конструктной валидности в поведенческой оценке:

1. Скорость устаревания. Задачи и требования к людям в последнее время быстро и сравнительно непредсказуемо меняются. Срок жизни (годности) моделей компетенций для АВС сократился до 3 лет (Sleezer et al., 2014). Вместе с тем, актуализация модели компетенций — проект длительностью 2–4 месяца.

2. Размытие понятия. В компетенции включаются самые разные явления — навыки и знания, личностные и мотивационные особенности, ценностные установки, интеллектуальные способности. Часть из них — это легко развиваемые паттерны поведения, другая часть — очень трудно развиваемые. Например, компетенция «Адаптивность» развивается в 3,5 раза дольше, чем более конкретная «Планирование и организация» (Gibbons et al., 2006).

3. Слабая применимость в практиках развития. Этот недостаток является следствием предыдущей проблемы: из-за того, что часть компетенций трудно развиваемые, результаты оценки сложно связать с развитием и обучением. Часто получается даже так: оцениваются наиболее универсальные и поэтому сложно развиваемые компетенции, а развиваются, наоборот, более «навыковые». Эта пропасть непреодолима в компетентностном подходе.

4. Низкая степень принятия результатов участниками оценки (Rupp et al., 2008). Нет очевидности, почему оценки такие, если оценщик не приводит конкретные микро-примеры поведения в заданиях (что трудоемко, и как правило оценщиками не делается). Нет «несомненности» результатов оценки.

Оценка по управленческим ролям решает эти проблемы:

1. Относительная простота разработки. Для оценки достаточно выделить блоки типовых задач (ТЗ) должности, успех решения которых можно оценить посредством наблюдения. ТЗ, как правило, вполне очевидны (например, для эксперта-наблюдателя в АВС есть всего три типовых задачи — наблюдение и оценка в АЦ, написание отчета, обратная связь). При изменении типовых задач можно перейти к оценке новых ТЗ без этапа их разработки.

2. Более цельное содержание. ТЗ состоит из операций, которые можно наблюдать в поведении. Соответственно, все ТЗ находятся на примерно одинаковом уровне «развиваемости».

3. Связь с развитием. Любую ТЗ можно осмыслить как технологию (набор из алгоритма и принципов), которую можно передать в рамках обучения.

4. Большее принятие участниками, поскольку речь идет не об их качествах, а о действиях в определенной ситуации.

Ограничения метода

Главное ограничение метода Оценки по управленческим ролям — сложность внедрения. Представители HR и руководители привыкли осмысливать и оценивать предпосылки успеха в психологических терминах. Оценка по управленческим ролям не удовлетворяет психологического любопытства, он бихевиористки рассматривает человека. Поэтому Оценка по управленческим ролям требует большего времени на внедрение. Особенно это справедливо для организаций, которые давно используют компетентностный подход. Если же в данный момент систематизации нет или есть недовольство компетенциями, TBAC является логичной и понятной альтернативой (для управленцев — успешность в задачах понятнее, чем компетенции). 

Другие особенности оценки по управленческим ролям ограничивают область его применения:

• Оценка по управленческим ролям требует четких ТЗ для оценки, что можно встретить на уровне линейных и средних менеджеров, но практически никогда на уровне топ-менеджеров. Работа менеджеров высшего звена связана с большим количеством неопределенности и поэтому требует скорее компетентностного или психологического подхода (например, индивидуального ассессмента).

• Оценка по управленческим ролям оценивает потенциал к работе на конкретной (в том числе новой) должности и в меньшей степени потенциал «в целом» (как способность развиваться и обучаться). По исследованиям, оценка по упражнениям не коррелирует с личностными чертами и интеллектом (Hoffman, 2011; Merkulova, 2013; Lance, 2007). В то время как ABC, наоборот, коррелирует. В связи с этим метод оценка по управленческим ролям следует использовать в оценке на конкретные должности, функционал которых понятен, например, при формировании кадрового резерва. ABC, наоборот, более эффективен при формировании пулов высокопотенциальных сотрудников.

Практика Оценки по управленческим ролям 

В настоящий момент Оценка по управленческим ролям используется преимущественно в Великобритании и Новой Зеландии, но также есть проекты в США и Южной Корее (Heo & Shin, 2008). Согласно исследованиям, представителям восточных культур сложнее описывать свои представления об управленческой деятельности (Yoon, 2009), поэтому подход «от задачи» (а не от компетенций) для них проще в использовании.

В России также недавно был проведен первый крупный проект, в котором использовался данный метод. В финале конкурса «Лидеры России: Политика» оценка происходила по задачам, с которыми сталкиваются политические деятели в своей работе.

Решение об использовании Оценки по управленческим ролям было продиктовано несколькими причинами:

1. Некоторые конкурсанты участвовали не только в «Лидеры России: Политика», но и в базовом конкурсе «Лидеры России». Их опыт в оценочных мероприятиях мог дать им незаслуженное преимущество перед теми, кто участвовал впервые.

2. Большая фейс-валидность результатов. Подход "Оценка по управленческим ролям" позволил привлечь к оцениванию не только экспертов-оценщиков, но и самих участников. Например, в одном из заданий моделировалось представление кандидатом своей предвыборной программы. Участники (неконкурировавшие между собой) отдавали свои голоса за конкретного кандидата, опираясь не на заданный список компетенций, а на совокупность значимых для них критериев выбора.

Финал прошел успешно. Эксперты-оценщики и сами участники отметили, что обновленная процедура оценки проходит интереснее и лучше «проявляет человека», чем уже ставшая привычной оценка по компетенциям.

В следующей статье мы опишем наш подход к Оценке по управленческим ролям — принципы разработки критериев (задач), принципы оценки и предоставления обратной связи.

(1) В англоязычной литературе используется термин «dimension-based assessment center» (DBAC). Это связано тем, что зарубежные оценщики измеряют не только компетенции, но и знания, навыки, ценности. Мы будем использовать термин ABC, потому что в системах оценки большинства российских организаций основным критерием оценки являются компетенции.