Предлагаем вам общий взгляд на возможности использования искусственного интеллекта в HR-среде. Подробности о конкретных продуктах и решениях описаны в отдельных статьях, здесь мы в первую очередь обозначим, как искусственный интеллект изменил подход к тому или иному HR-процессу.

Как работает сейчас

Давайте посмотрим, как выглядели раньше и порой выглядят сейчас различные HR-процессы без интеграции искусственного интеллекта. Чтобы сделать этот рассказ более структурированным, возьмем за основу схему цикла жизни сотрудника в компании. Подходы к описанию этого цикла могут отличаться, поэтому сразу оговоримся, какую схему используем мы.

В компании всего семь основных элементов цикла жизни сотрудника (плюс один дополнительный):

• подбор

• компенсации

• постановка целей и оценка эффективности

• оценка

• обучение и развитие

• карьера или Talent Management

• увольнение

(Корпоративная культура и вовлеченность являются отдельным элементом, так как это не совсем процесс, а фон, на котором существуют все процессы.)

Представим себе жизнь сотрудника в компании, где в HR-процессах не задействован искусственный интеллект. На каждом этапе работы человек сталкивается с большим количеством субъективных или не очень обоснованных решений.

Подбор. Основной инструмент оценки при приёме на работу — неструктурированное интервью, которое проводит HR-специалист или потенциальный руководитель. Нельзя с точностью сказать, как интервьюер принимает решения, но они однозначно страдают от субъективизма. Например, мужчины ставят более высокие оценки другим мужчинам (Koch, D'Mello, & Sackett, 2015). А кандидаты с привлекательной внешностью имеют в два раза выше шанс получить работу (Hirevue, 2018). Все мы люди со своими суждениями и стереотипами.

Компенсации. Размер зарплаты формируется на основании общих идей и представлений о справедливости, очень популярна фраза — «в рынке». Что это за рынок? Имеет ли он отношение к шкалам оценки должностей в данной компании или нет? Даже в случае использования стандартизированного подхода возникает много лазеек: когда пользуешься общими шкалами и оценкой по рынку, появляется много свободы, и отдельные руководители изобретают способы применять это в свою пользу. Кроме того, на размер компенсации также влияют предрассудки. Например, женщины зарабатывают на 20% меньше мужчин на аналогичных должностях (Hegewisch & Liepmann, 2010). Даже в такой важной сфере, как грейд и зарплата, сотрудник сталкивается с субъективными и несовершенными данными и решениями.

Постановка целей и оценка их достижения. Руководители определяют цели нового года в зависимости от прошлого. Какой-либо системности практически никогда не встречается. Если в прошлом году сотрудник отработал хорошо, выполнил план — на следующий год цели поднимут. Вероятно, достичь целевых показателей вновь удастся не всем, поэтому на третий год цели опять понизят. Таким образом запускаются «качели планирования», колеблющиеся от перевыполнения к недовыполнению.   Результат — кризис систем управления результативностью: подразделения, которые имеют более высокий процент достижения целей, не приносят большую прибыль (CEB, 2012).

Оценка. Сотрудника оценивает руководитель, и свои оценки он никогда особо не объясняет. Например, оценка по ценностям происходит лишь на основании наблюдений руководителя, и это полный субъективизм. При этом исследования показывают, что руководители хорошо оценивают, чего достигли подчиненные, и плохо оценивают, как именно.

Обучение. Система обучения существует уже много лет. Но до сих пор основным инструментом измерения эффективности обучения являются анкеты обратной связи, их используют 91% компаний (Surgue & Rivera, 2005). Если тренер был веселым и не особо мучил — сотрудники ставят высокие оценки. Был нудным и «грузил» — поставят низкие. Компании вкладывают огромные деньги в обучение, а на выходе получают только оценку, довольны сотрудники или нет (то же исследование показало, что влияние на бизнес-результат считают только 8% компаний). Одна IT-компания провела обучение, а потом оценила эффективность сотрудников. Оказалось, что большая часть программ обучения неэффективна, один особенно популярный тренинг негативно влиял на результативность: те, кто его проходили, в следующем квартале ухудшали свои показатели.

Карьера людей — Talent Management. До сих пор большинство компаний отбирают людей для продвижения из тех, кого предлагают руководители. Инструменты, которые используются для оценки, отличают совсем ничего не стоящих людей от тех, кого в целом можно было бы взять на работу, и не могут достоверно показывать эффективность сотрудника на новой должности (исключение составляет, пожалуй, только PIF – Potential in Focus – тест оценки потенциала).

Увольнение. Наименее регламентированный процесс во всех компаниях, меньше всего затронут субъективными решениями. Чаще сотрудник либо сам увольняется, либо его увольняют, когда он совершил очень грубое нарушение.

В управлении культурой и вовлечённостью основная часть компаний пока сосредоточена на инструментах многолетней давности — опросах, в которых сотрудники отвечают в формате «нравится/не нравится», «готов/не готов». Участники опросов не заинтересованы в части вопросов, из-за чего снижается качество их ответов.

Как видно, весь цикл работы с сотрудником крайне субъективен. Системы, основанные на искусственном интеллекте, могут существенно повысить эффективность каждого процесса.

Искусственный интеллект — это система, которая научена принимать какие-то решения без вовлечения человека. От субъективности одного-двух-трех людей мы переходим к более объективному принятию решений. Когда мы учим систему, мы также передаем ей часть своих предубеждений, но так как система учится на предубеждениях многих людей, вероятность фактического субъективизма ничтожно мала. Например, если Маша любит блондинов и оценивает их высоко, Катя любит брюнетов и их оценивает высоко, а Оля любит и ценит рыжих, то когда мы будем интегрировать оценки многих людей в систему искусственного интеллекта, цвет волос перестанет играть роль. Именно в этом основное преимущество систем искусственного интеллекта: меньше субъективности конкретного мероприятия, действия, решения. Другая важная особенность искусственного интеллекта — высокая скорость обработки огромного массива информации, способность быстро сопоставлять факты и выявлять взаимосвязи. Это можно сравнить со сборкой сложного пазла. Человеку требуется не один день, чтобы собрать сложную картину, в то время как машина делает это за секунды.

Если добавить искусственный интеллект

Давайте теперь посмотрим, как изменятся HR-процессы, если добавить в них элементы искусственного интеллекта. Фокус в том, что не нужно внедрять что-то сложное, громоздкое и дорогое. Порой очень простые решения становятся революционными. В некоторых процессах мы также расскажем об инструментах, которые есть заграницей.

Подбор на основе искусственного интеллекта

Подбор — один из самых трудоемких процессов во всем цикле работы с сотрудником: на одну вакансию нам надо рассмотреть десяток человек, выбрать двух-трех, со всеми провести интервью, дать обратную связь. И все это помноженное на субъективность рекрутера. При этом в рекрутменте самое большое количество рутинных задач, которые могут быть автоматизированы с искусственным интеллектом. Особенно это касается массового подбора. 

Что есть в мире. Подбор персонала с использованием ИИ.

Стартапы по типу Textio оценивают описание вакансий по ряду критериев: привлекательность для кандидатов, отсутствие дискриминации по полу или расе, уровень сложности и длина текста. На основе оценки выдаются рекомендации по улучшению вакансии.

Отдельный большой пласт технологий посвящен поиску кандидатов и оценке уровня их соответствия требованиям к квалификации. Множество стартапов ищут в социальных сетях и профессиональных сообществах «пассивных» кандидатов, которые могут быть эффективны на определенных позициях. Самые известные стартапы: Blendoor, Ideal, Harver, HiringSolved, Headstart.

Чат-боты, основанные на искусственном интеллекте, способны вести диалог с кандидатом и далее выставлять оценку его потенциальной эффективности. Важно, что чат-боты с искусственным интеллектом в отличие от обычных не требуют прямого программирования правил: каким образом необходимо отвечать на вопросы человека. Наоборот, искусственный интеллект способен проинтерпретировать даже непрямой ответ соискателя. За рубежом чат-боты разрабатывают компании Mya Systems, Paradox, Text Recruit. В России — Робот Вера и Яндекс.Таланты.

Близкой к теме подбора можно выделить работу в области адаптации новых сотрудников. Чат-боты в этой сфере выполняют функцию более «человечной» базы знаний. Только что пришедший сотрудник может спросить бота про график, структуру компании, льготы и прочие вопросы, важные в первые месяцы работы. Примеры стартапов: Leena.ai и Talla.ai.

В арсенале «ЭКОПСИ» есть два инструмента, помогающие существенно ускорить процесс и снизить субъективизм рекрутера.

Echo

Уже сейчас вместо очного собеседования активно используется видеоинтервью (вариация — запись ответа на некий вопрос на видео), но его смотрит и выносит о кандидате свое суждение все тот же субъективный рекрутер. В результате минусы процесса те же, что и при очной встрече, из преимуществ — только экономия ресурсов на логистике. При этом добавляется еще одно субъективное суждение рекрутера о том, что именно и как должен говорить кандидат.

Что мы сделали. Взяли больше 180 000 видеоинтервью, провели распознавание речи, голоса, сложности текста, мимики, а затем сопоставили с данными по каждому человеку о том, насколько успешно он проходил интеллектуальные тесты, тест оценки потенциала, сложную оценочную процедуру (продвинутый ассессмент-центр). После чего выявили в первоначальных видео те паттерны, которые соответствуют успешным или неуспешным кандидатам, и составили комплексную модель, показавшую, насколько данный человек способен пройти сложные оценочные инструменты. Все это удалось выявить по трехминутному ролику. Сейчас мы можем проводить сотни тысяч видеоинтервью, анализируя их с помощью искусственного интеллекта, и с невероятной точностью предсказывать эффективность людей.

Про этот инструмент подробнее вы прочитаете в отдельной статье.

delta.ai

Этот инструмент выглядит более традиционным. Уже довольно давно многие компании используют для оценки на входе личностные опросники и психологические тесты. Их самое слабое место — социально-желательные ответы. Любой разумный человек знает: если его спрашивают, ставит ли он перед собой высокие цели — он должен отвечать «да», ответственно ли он подходит к работе — тем более нужно соглашаться. Ведь именно таких ответов ждет от кандидата компания. Но люди могут не только врать, но и ошибаться на свой счет. По сути, все опросники — это способ понять, соотносятся ли представления человека о самом себе с представлением компании о том, кто ей нужен на той или иной должности.

Врут не только сотрудники: компании и консультанты тоже лукавят, пытаясь интерпретировать ответы. Например, если выявили аналитические способности — додумывают, что кандидат умный, если выявили экстраверта — предполагают, что у такого сотрудника будет все хорошо с коммуникацией. Это тоже субъективные мнения и домыслы.

Этот процесс преобразится, если подключить к нему системы на основе искусственного интеллекта. Для начала спросим у коллег и руководителя, как реально себя ведет тот или иной человек, что является его сильными и слабыми сторонами. Такие перекрестные опросы проводятся для множества сотрудников. Затем оцениваемый проходит специально сконструированный опросник. В результате машина анализирует пересечения ответов и фактического поведения, выявляя паттерны. Оказалось, что паттерны совсем неочевидны, а значит, угадать их почти невозможно. Например, ответственность выявляется совсем не теми вопросами, о которых можно было бы подумать. Значит, будет сложно подстроить свои ответы, и ликвидируется социальная желательность. Таким образом на основе искусственного интеллекта был создан алгоритм, который позволил из более или менее традиционного опроса сделать работающий инструмент. В результате надежность оценки выросла больше, чем в два раза.

Данному решению мы также посвятили отдельную статью в этом выпуске журнала. 

Формирование зарплат на основе искусственного интеллекта

В сфере C&B происходят самые большие технологические прорывы. Компании всегда пытались разобраться с этим HR-процессом. Всегда был рынок, некие должности, полномочия, но все понимали, что параметров много, за всем не уследить, поэтому стали вводить упрощения, например, систему грейдов. Затем систему грейдов сопоставляли с рынком, одновременно понимая, что отличия в зарплате для одной и той же должности могут составлять 30–40% вверх и вниз. Но все с этим мирились, шли на компромиссы. С использованием искусственного интеллекта все меняется.

Системы искусственного интеллекта способны понять, какая закономерность существует в организации системы зарплат, и формализовать ее. Происходит это так. Из разных источников (оценки руководителя; взаимной оценки сотрудниками должностей по важности, сложности, цене ошибки; данных об образовании, профессиональной сертификации, переквалификации, пройденных тренингов; информации о результативности сотрудников и много другого) собирается огромный массив информации, который обрабатывается искусственным интеллектом и превращается в достаточно четкую и понятную систему оплаты труда.

Мы уже реализовали такой проект, где предъявили топ-менеджменту схему, показывающую, какие сотрудники в организации существенно переплачены (им можно сократить зарплаты), а какие существенно недоплачены (велик риск их ухода). В результате практически без потерь тех людей, которых было жалко потерять, выстроена система, которая обеспечила, с одной стороны, повышение вовлеченности сотрудников, а с другой — снижение ФОТ на 10%.

Важно отметить, что система также учитывает подразделение, где работает сотрудник, а значит и «сложность» рынка труда для него, регион работы сотрудников, опять же из-за нюансов кадровой ситуации. Даже сложно представить, сколько потребовалось бы времени людям, чтобы проанализировать такие данные. Скорее всего, они бы устаревали еще в средине проекта. Это маленький шаг для искусственного интеллекта, но огромный шаг для всего HR-сообщества. Вместо старой неповоротливой системы оплаты труда мы получили точный и эффективный инструмент. Подробнее о нем вы сможете прочитать в отдельной статье в этом выпуске журнала HRTimes.

Постановка целей и оценка эффективности на основе искусственного интеллекта

Формирование планов - Objective²

Этот инструмент используют на Западе, но у нас он мало распространен. Чтобы сотрудник эффективно работал со своими планами, он должен понимать, почему и как они сформированы, какие факторы могут повлиять на выполнение. Сейчас в большинстве случаев постановка целей и формирование планов происходит по наитию. При этом почти всегда можно собрать данные за несколько лет, проанализировать их и найти параметры, которые реально влияют на объем и качество работы. Можно с их учетом построить модель и сделать прозрачные, понятные сотрудникам планы на следующий год. В нашей практике есть истории, когда организация размещала на внутреннем портале инструмент планирования, с помощью которого каждый сотрудник мог понять, как от тех или иных параметров зависит его план. Абсолютная прозрачность, и, как следствие, эффективность и вовлеченность.

DEEP

Одна из основных проблем оценки по компетенциям — руководители оценивают непонятно что непонятно зачем. 70% менеджеров не верят в связь компетенций с реальной эффективностью, и они абсолютно правы: 2/3 компетенций не соотносятся с эффективностью. Это приводит к тому, что такое важное решение, как оценка сотрудников по компетенциям, проводится спустя рукава или вообще саботируется.

Путем анализа данных с помощью искусственного интеллекта можно найти то поведение, которое реально связано с эффективностью в конкретной компании и сформировать действительно работающую модель компетенций. Этот продукт мы называем DEEP, и он позволяет сформировать модель компетенций, которая стоит не на песке, а на твердом основании из данных. С помощью DEEP нам удалось сформировать универсальную модель компетенций для российских компаний. Мы подготовили инфографику о том, какими компетенциями должен обладать рядовой сотрудник и руководитель российской компании, чтобы быть эффективным.

Оценка сотрудников на основе искусственного интеллекта

Что есть в мире. Оценка с использованием ИИ.

Практически вся геймифицированная оценка сейчас реализуется на основе искусственного интеллекта. Участник совершает за одну игровую сессию в головоломках, аркадах, стратегиях большое количество действий, которое может быть использовано для прогноза его эффективности в работе. Анализ такой неструктурированной информации происходит с технологиями машинного обучения. В 2012–2015 годах в США произошел бум стартапов в области геймифицированной оценки, но до России волна геймификации пока не дошла. Самые яркие зарубежные стартапы в этой области — Pymetrics, Arctic Shores, Scoutable, Knack.

На данный момент в сфере оценки мы предлагаем использовать три инструмента, о которых уже написали выше.

Автоматизированная оценка видеоинтервью с использованием платформы Echo — машина «отсматривает» видеообращение кандидата (внешнего или внутреннего), далее ставит оценку по компетенциям и прогнозирует его результативность. Есть схожие технологии, посвященные анализу голоса, текста, социальных сетей.

Второй инструмент delta.ai — особым образом сформированные опросники. По сути, оценка сотрудников проводится для целей внутреннего подбора, поэтому этот инструмент идеально ложится в оценочные процессы.

И третий инструмент, который также существенно влияет на качество и эффективность оценочных процедур — DEEP — модель компетенций, созданная на основе HR-аналитики. От качества того, что лежит в основе оценки, во многом зависит ее результат и польза. Если в основу заложена «битая» модель компетенций, то и результаты получатся малоприменимые. Но стоит сформировать надежную базу, как вся остальная конструкция станет более устойчивой и полезной компании.

Оценка эффективности обучения на основе искусственного интеллекта

Что есть в мире. Обучение с использованием ИИ.

В развитии и обучении можно выделить два класса технологий искусственного интеллекта. Первые анализируют результативность сотрудника, отзывы коллег о нем, результаты тестов и выстраивают индивидуальные программы развития. Спустя время замер результативности и опрос коллег повторяются, а программа развития корректируется.

Второй класс технологий способствует формированию у сотрудников навыков, которые повысят его эффективность. Обычно список навыков берется из программы развития. Каждый день на телефон сотрудника приходит уведомление со списком действий, которые он должен сегодня совершить. В конце дня сотрудник подтверждает, какие действия он совершил, и на следующий день ему приходит новый список.

На данный момент системы искусственного интеллекта используются прежде всего для оценки эффективности обучения. Традиционно для оценки эффективности обучения применяется модель Д. Кирпатрика[1] и считается, что на каждом последующем уровне оценивать эффективность обучения сложнее. Но интересный момент заключается в том, что с появлением искусственного интеллекта оценивать последний уровень на порядок проще, чем любой другой. Есть лишь одно условие: нужно достаточное количество людей — десятки, а лучше сотни и тысячи, чтобы выявлять закономерности было легче, и они были более точные.

Что может влиять на результативность сотрудника? Стаж работы, возраст, пол, оценки по компетенциям, в том числе по обучаемости. Обучение — лишь один из факторов. Внести все данные в модель и сравнить эффективность людей, прошедших и не прошедших обучение, довольно просто. Искусственный интеллект может изолировать влияние обучения (или даже отдельного модуля, что особенно актуально при нынешней тенденции к микрообучению) на эффективность. Если связь обучения и эффективности позитивная — все хорошо. Если система говорит, что мы изолировали фактор влияния обучения, но ничего не нашли — скорее всего, этого влияния и нет. А бывает и так, что есть обучение, которое отрицательно влияет на эффективность — такое точно надо убирать.

У нас есть клиент, который снизил количество пунктов в стандарте продаж с 8 до 2. Количество обучения уменьшили в 3 раза, и ничего отрицательного не произошло, эффективность сотрудников не снизилась. А вот суммы были сэкономлены значительные.

Карьера (Talent Management) на основе искусственного интеллекта

Здесь ситуация похожа на обучение. Мы также можем изолировать разные факторы и понять, что в компании реально является фактором успеха и способствует продвижению по карьерной лестнице.

Бывают совершенно неожиданные открытия. В ходе проекта у одного из наших клиентов выяснилось, что вероятность получить продвижение по карьере у мужчин в три раза больше, чем у женщин. Это происходит уже на уровне линейных менеджеров. В организации 80% женщин, а среди топ-менеджмента — 80% мужчин. Специфическая система отсева в середине приводит к такой картине.

Также в ходе анализа мы можем понять, какие инструменты оценки лучше работают на продвижение в конкретной организации и дальше честно говорить, что будем использовать именно их. Уходит в прошлое подход: копировать поведение сотрудников-образцов по какому-либо критерию и искать таких же для продвижения. Сейчас мы говорим иначе: в компании есть люди, которые сделали карьеру и которые еще не сделали. Давайте сравним их и выявим, чем они отличаются.

Например, у нас есть тест социального интеллекта, где используются кейсы с вариантами ответа. Мы знаем, как на него отвечают топ-менеджеры и как отвечают линейные руководители. Далее ответы новых участников опроса система искусственного интеллекта сопоставляет с построенной моделью и выявляет тех, кто отвечает, как топ-менеджер. Большинство ответов сами по себе ничего не значат, без контекста они не работают, а начинают значить только тогда, когда человек каким-то определенным образом ответил и на другие вопросы, потому что важны взаимосвязи. Именно искусственный интеллект способен быстро выстроить эти сложные цепочки.

Чем дальше, тем больше будет заметна эта тенденция во всех сферах. Мы будем все меньше полагаться на мнение экспертов, даже очень хороших, а будем смотреть данные. В идеале это должно способствовать продвижению действительно достойных кандидатов.

Увольнение

Это пока единственный пункт, где у «ЭКОПСИ» нет продуктов, и на то есть ряд причин. На рынке много предложений в этой сфере, все они так или иначе пытаются предсказать вероятность увольнения сотрудника. К сожалению, эти продукты привлекательны, но непонятно, что делать с полученными в ходе их использования данными. Например, мы отследили, что по каким-то параметрам сотрудник скоро уволится. Что нам с этим делать? Мы придем к нему и скажем: «Нам машина сказала, что ты скоро уволишься». На что может последовать примерно такая реакция: «Хм, а может машина права, и мне правда пора сменить компанию?»

Камень преткновения в том, что мы можем выявить людей в зоне риска, но не можем понять, почему они могут уволиться. Один из наших клиентов настроил такую систему, получил результат и дальше стал разбираться, в чем дело. Оказалось, что руководители переставали отправлять на обучение тех, чья работа им не нравится. Система выявила этот фактор. И что бы вы сделали дальше? Пришли к руководителям и сказали им об «открытии»? Но они и так знают, что хотят уволить этих людей.

На самом деле, полезнее настраивать системы, которые помогут учитывать вероятность увольнения в задавании тех или иных вопросов сотруднику. Например, мы знаем, что на опросы вовлеченности чаще отвечают лояльные сотрудники, чем не лояльные. Соответственно, если мы хотим получать правдивые ответы, мы должны гораздо больше спрашивать у потенциально нелояльных, чем лояльных. Если это удается, то такие ответы можно включить в модель и затем отследить корреляции увольнения и ответов на вопросы, что даст богатую почву для анализа и последующих действий.

Управление культурой и вовлеченностью на основе систем искусственного интеллекта

Будущее за более богатыми данными. И получить их несложно, просто нужно задавать больше открытых вопросов, изменив привычный опрос вовлеченности. Вместо: «Говорил ли с тобой руководитель о твоем прогрессе в работе?» — спросить: «О чем и когда вы говорили с руководителем?» После этого современные системы искусственного интеллекта могут достаточно качественно провести анализ и проинтерпретировать ответы на каждый из таких вопросов. Анализ текстов на основе математического моделирования — освоенная нами технология. Как вести такой опрос современно и технологично, масса вариантов: чат-бот, система голосового интервью и так далее. Все они упрощают процесс для сотрудника: не надо тратить много времени на прохождение опроса, что повышает вовлеченность и качество заполнения.

Вариация этой технологии — искусственный интеллект может анализировать переписку в почте и корпоративных мессенджерах и выделять наименее вовлеченных и удовлетворенных сотрудников.

Второй момент, который мы можем изучить с помощью искусственного интеллекта из сферы культуры компании — формирование команд и изучение того, насколько подразделение замкнуто: какие роли люди выполняют по отношению к друг другу, какие роли хотят выполнять, а какие нет, какие взаимоотношения существуют между сотрудниками. Проводя исследование BOND, которое строится на системе ONA (Organizational Network Analysis — организационный сетевой анализ), мы спрашиваем каждого сотрудника, с кем он чаще всего общается, в какой роли, нужно ли для работы общаться с этими людьми больше или меньше. Это очень быстрый опрос, который позволяет понять, какие подразделения замкнуты, а какие работают вовне. С какими подразделениями хотят общаться, а с какими нет. В организации на десять тысяч человек одно такое исследование дает сотни тысяч точек данных. Понятно, что для интерпретации этого объема без искусственного интеллекта не обойтись. Но в итоге мы получаем более полную информацию из тех данных, которые раньше оставались в тени. Результаты такого опроса можно использовать прежде всего для управления культурой и вовлеченностью сотрудников, а также для выявления потенциальных неформальных лидеров, которых можно продвигать в организации (это уже больше относится к блоку Talent Management).

Что самое главное хочется донести в этом обзорном материале? Во-первых, не бойтесь словосочетания «искусственный интеллект» — это совсем не страшно. Он нас не поработит: речь идет о существенной помощи человеческому мозгу. Во-вторых, уже сейчас существует масса инструментов, способных упростить жизнь компаний, предоставить богатую почву для размышлений и выявить то, что раньше было скрыто. В-третьих, большинство инструментов легко реализуются, занимают немного времени, а инвестиции в них очень быстро окупаются. Вам остается только решиться и попробовать.

Литература:

[1] Модель Д. Киркпатрика предлагает оценивать обучение на 4 уровнях:

1)       реакция — какова реакция обучаемого на обучение (понравилось/не понравилось);

2)       научение — что обучаемый усвоил (материал, уровень знаний, измеряемый тестами);

3)       поведение — как изменилось поведение участников обучения на рабочем месте;

4)       результаты — насколько увеличилась эффективность.