Оценка обучения проводится для того, чтобы понять, как повысить его эффективность, какими способами можно его улучшить.
В связи с этим предлагается ответить на следующие восемь вопросов:
· В какой мере содержание тренинга соответствует потребностям участников?
· Является ли выбор преподавателя оптимальным?
· Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?
· Являются ли условия для проведения обучения удовлетворительными?
· Устраивает ли участников расписание занятий?
· Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?
· Была ли координация программы удовлетворительной?
· Что еще может быть сделано для улучшения программы?
Оценка обучения имеет четыре уровня:
1. Реакция (Reaction)
2. Научение (Learning)
3. Поведение (Behavior)
4. Результаты (Results)
Оценка на первом уровне - реакция определяет, как участники программы реагируют на нее. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам. Во-первых, люди делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга. Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки). Поведение - н а этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий:
· Желание участников изменить поведение.
· Наличие у участников знаний о том, что и как делать.
· Наличие соответствующего социально-психологического климата.
· Поощрение участников за изменение поведения.
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Киркпатрик настаивает на том, что результаты не следует измерять в деньгах. Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
· если возможно, использовать контрольную группу (не проходившую обучение),
· проводить оценку через некоторое время, чтобы результаты стали заметны,
· по возможности, проводить оценку до и после программы,
Модель Киркпатрика
1) реакции. Участники тренинга положительно реагируют на тренинг непосредственно после его завершения;
участники тренинга положительно реагируют на его завершение 🙂
2) знания. Участники выучили материал тренинга;
3) поведения. Участники применяют на работе то, что они изучили на тренинге;
4) ROE. Тренинг имеет положительные результаты для организации;
Критика модели Киркпатрика:
Существует несколько доводов, критикующих модель Киркпатрика. Во-первых, последние исследования, совершенные Элвудом Холтоном и Джорджем Аллигером, бросают тень сомнения на иерархический аспект модели. Их исследования показали, что корреляции между уровнями иерархии Киркпатрика либо малы, либо несущественны. Во-вторых, когда с тренинговой программой что-то не так (низкий трансфер), модель не определяет причину проблемы и что с ней делать. В-третьих, модель не учитывает другие переменные, такие как мотивация участников, само-эффективность или условия организации. В-четвертых, модель не обладает высокой степенью точности. Например, второй уровень, «знания», не определяет – декларативные это знания или процедурные. Также, сложно измерить первый уровень, «реакции»: участники могут тренинг ненавидеть, получать от него удовольствие, он им может нравиться, показаться приятным, скучным, интересным. Но самый главный аргумент, заключается в том, что по модели Киркпатрика, оценка любого тренинга должна основываться на одних и тех же переменных. Современный взгляд на оценку эффективности тренинга предполагает, что методы оценки должны выбираться исходя из целей оценки.
Четырехуровневая модель оценки Киркпатрика
Пожалуй, самая известная модель оценки учебного процесса –
модель Дональда Киркпартика
Четырехуровневая модель оценки, которая впервые была представлена в серии статей в 1959 в the
Journal of American Society of Training Directors
(теперь известный как T+D Magazine). Данная серия была позднее скомпилирована и опубликована в виде статьи
Techniques for Evaluating Training Programs в книге под редакцией Киркпатрика Evaluating Training Programs в 1975 году.
Тем не менее, четыре уровня модели Киркпатрика стали популярными только после выхода его книги Evaluating Training Programs в 1994 году. В наше время эти четыре уровня стали краеуголным камнем индустрии обучения.
В то время как большинство специалистов рассматривают эти четыре критерия оценки процесса обучения как «уровни», сам «Киркпатрик никогда не использовал данный термин, обычно он называл их шагами (Craig, 1996). Добавлю, что он не называл это моделью, но использовал для обозначения слова такие как «техники для проведения оценки» “techniques for conducting the evaluation” (Craig, 1996, p294).
Данные четыре шага состоят из:
Концепция Киркпатрика весьма важна, поскольку это отличный инструмент для планирования, оценки, диагностики проблем, особенно если мы внесем в нее незначительные улучшения, показанные ниже.
Не только для тренинга
Некоторые специалисты ошибочно предполагают, что модель Киркпатрика может применяться для тренинга (здесь имеется ввиду процессы формального обучения: тренинги, семинары – прим. Э.Б.), но модель может бы использована в работе с другими учебными процессами. К примеру, профессия Human Resource Development (HRD) связана не только с развитием процессов формального обучения, таких как тренинг, но также других форма, таких как неформальное обучение, развитие, наставничестве и воспитание (Nadler, 1984). В руководстве, изданном одним из основателей Human Resource Development (HRD) Leonard Nadler (1984), используется четырехуровневая модель Киркпатрика, как главная модель оценки учебного процесса.
Сам Киркпатрик писал: «Эти цели (ссылаясь на свою статью) будут относиться к обучению в классе (in-house classroom programs). Многие процедуры и принципы применяются ко всем видам учебной активност, таким как анализ эффективности деятельности, участие во внешних программах, программированное обучение, чтение специально подобранной литературы» (Craig, 1996, p294).
Развитие четырехуровневой модели
В силу «возраста» модели, а также с появлением новых, современных технологий, модель Киркпатрика часто критикуется за то, что она слишком устарела и проста. Но тем не менее, и спустя пять десятилетий после ее презентации, не нашлось адекватной модели, способной заменить модель Киркпатрика. И я уверен, причина, почему замены моделей не происходит, в том, что Киркпатрик был в основном прав, но он допустил несколько небольших ошибок:
Мотивация, а не обратная связь (Motivation, Not Reaction)
Когда обучаемый двигается в потоке учебного процесса, как например e-learning курс, эпизод неформального обучения или получая помощь от наставника в выполнении своей рабочей деятельности, он должен принимать решение, на что в первую очередь обращать свое внимание. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка. В дополнение, исследование оценки Обратной связи обычно показывают, что это не валидный инструмент оценки успешности (см. последнюю часть статьи Критика)
Это отличается от слов Киркпатрика (1996), который писал, что Обратная связь – это то, насколько обучаемые оценивают отдельный учебный процесс. Тем не менее, чем меньшее значение имеет учебный материал для учащегося, тем больше усилий нужно приложить для разработки и презентации данного материала. Следовательно, если учебный материал не имеет отношения к потребностям самого обучаемого, тогда учебный материал должен «цеплять» обучаемого навороченным дизайном, юмором, играми и т.д… Это не означает, что дизайн, юмор или игры неважны; тем не менее, их использование в учебном процессе гораздо больше, чем просто делать процесс веселым, они помогают и продвигают учебный процесс. И если учебный материал построен на основе ясных целей и дизайна, тогда это помогает учащемуся преодолеть разрыв между существующей и требуемой деятельностями. Следовательно, они (дизайн, юмор, игры) должны мотивировать к обучению – если это не происходит, значит что то пошло наперекосяк в процессе планирования и создания учебного процесса! Если вы вдруг поймаете себя на мысли, что пытаетесь зацепить обучаемых с помощью всяких заманух (дизайн, юмор, игры), вам, видимо, стоит пересмотреть цели вашего учебного процесса.
Деятельность, а не поведение (Performance, Not Behavior)
Деятельность (performance) лучше поведения (behavior), поскольку деятельность имеет два аспекта: поведение является средством и следствием поведения являются результаты. И собственно эти результаты нас интересуют больше всего Gilbert noted (1998).
Обратите это в Лучшую Модель
Модель, где два наиболее важных пункта – результаты и поведение находятся в конце, является перевернутой с ног на голову, поскольку важность пунктов отпечатывается в голове людей в порядке их расположения. Таким образом мы разворачиваем модель в обратную сторону и добавляем вышесказанное и получаем:
Данная модель становится инструментом как планирования, так и оценки =диагностики проблем (Chyung, 2008):
Цели (планирование) | Уровень оценки |
| Каковы цели нашей компании для развития бизнеса? | Результаты Почувствован ли ожидаемый эффект? |
| Что наши обучаемые должны уметь выполнять, чтобы достичь этих целей? | Деятельность Были ли перенесены обучаемыми полученные навыки в работу? |
| Какие новые навыки, знания и ресурсы требуются обучаемым, чтобы они смоглы выполнять деятельность? | Обучение Осваивали ли обучаемые необходимые навыки и/или ресурсы? |
| Что обучаемым требуется для того, чтобы осознанно учиться и выполнять деятельность? | Мотивация Они мотивированы учиться и выполнять работу? |
Исправленная модель может теперь быть использована для планирования (левая колонка) и оценки (правая колонка). В дополнение, это может быть использовано для диагностики проблемных зон процесса обучения. К примеру, вы знаете, что работники получили необходимые навыки в процессе обучения, но не применяют их в процессе работы, тогда становятся очевидными следующие проблемные зоны (в данном примере это ячейка Деятельность или ячейка слева от нее):
Диаграмма ниже показывает, как приведенные процессы исправленной модели сочетаются друг с другом
Организация
1. Результаты
Суммирующая оценка
Деятельность
2. Рабочая среда
Формирующая оценка
Учебная среда
3. Обучение
Формирующая оценка
Люди
4. Мотивация
Формирующая оценка
Как показывает вышеприведенная диаграмма, Оценка Результатов наиболее интересна руководству бизнеса, в то время как остальные три уровня оценки (деятельность, обучение и мотивация) являются основными для проектировщика обучения в компании для планирования и оценки учебных процессов; и конечно Оценка Результатов также важна для него, поскольку является поставщиком целей развития бизнеса.
Уровень первый – Результаты
Результаты или влияние
Несмотря на то, что обычно наиболее труден и трудозатратен, чем другие три уровня, это дает информацию, которая имеет огромную ценность: она доказывает ценность процессов обучения и выполнения деятельности. Тем не менее, использование модели Цели/Планирование/Оценка должно упростить и облегчить процесс, и вы будете иметь ясную картину того, что вы стараетесь достичь. То есть. Когда вы что-то начинаете планировать, у вас больше возможностей понять, как оценивать это.
Мотивация, Обучение и Деятельность в большей степени вопрос «мягких» единиц измерения (так называемые нефинансовые метрики); тем не менее, лица, принимающие решения, которые утверждают учебные процессы, предпочитают результаты (возврат инвестиций или влияние). Jack Phillips (1996), который вероятно знает лучше других четырехуровневую модель Киркпатрика , пишет, что ценность информации становится значительно выше, если мы идем от мотивации к результатам.
Вышеприведенное не означает, что другие три уровня бесполезны, в самом деле, выгода от их использования заключается в локализации проблем в учебном процессе:
Замечу о разнице между «информацией» и «возвратом средств». Измерения Мотивации, Обучения и Деятельности дает вам информацию для улучшения и оценки учебного процесса, который в бОльшей степени принадлежит проектировщикам обучения в компании; в то время как измерение Результатов дает вам показатель возврата инвестиций в учебный процесс, который больше связан с руководителями бизнеса.
Измерение Результатов может быть выполнено в подходе сбалансированных показателей (balanced scorecard) (Kaplan, Norton, 2001), которые показывают влияние или возврат инвестиций с четырех позиций:
Уровень второй - Деятельность
Данная оценка включает в себя тестирование способностей обучаемого включать приобретенные в процессе обучения навыки в работу. Эта оценка может быть выполнена формально (тестирование) или неформально (наблюдение). Она определяется тем, как отвечают на вопрос: Используют ли работники вновь приобретенные навыки в процессе работы?
Очень важно измерять деятельность, поскольку базовая цель корпоративного обучения улучшать результаты через передачу работникам новых знаний и навыков с тем, чтобы затем они применяли их в работе. Измерение деятельности должно быть постольку, поскольку работники делают свою работу; в измерении должен принимать обычно тот специалист, кто тесно связан с обучаемым: супервайзер, тренированный наблюдатель или интервьюер.
Уровень третий – Обучение
Это показатель того, насколько глубоко обучаемые усваивают знания, развивают навыки и изменяют установки и отношение как результат участия в учебном процессе. Оценка обучения обычно требует пост тестирования с целью установить, какие навыки были усвоены обучаемыми в течение процесса, какими навыками обучаемые уже обладают.
Измерение выходов учебного процесса важно с точки зрения валидизации цели обучения. Измерение обучения обычно сфокусировано на следующих вопросах:
Ассессмент обучаемых создается с целью убедиться в способности обучаемого выполнять деятельность. Есть два аспекта этого процесса: собственно сбор информации и данных (тестирование обучаемых) и оценка данной информации (о чем эти данные сообщают?). Данный ассессмент не следует путать с оценкой обучения (evaluation ). Ассессмент показывает прогресс и индивидуальные достижения обучаемых, в то время как Оценка обучения (evaluation ) в целом об оценке программ обучения (Tovey, 1997, p88).
Уровень четвертый – Мотивация
Оценка на этом уровне измеряет показатель, как обучаемые воспринимают и реагируют на процессы обучения и деятельности. Этот уровень измеряется с помощью опросника установок (attitude questionnaires – мотивационных опросников), предлагаемого после многих учебных занятий. Обучаемые чаще всего прекрасно осознают, что им необходимо, чтобы выполнить задание. Если учебный процесс не удовлетворил их потребности, то нужно определиться: или это ошибка педагогического проектировщика (специалиста, конструирующего учебный процесс в компании), или обучаемые не оценили преимуществ процесса.
Когда обучаемый приступает к изучению учебного материала, неважно, что это: eLearning, mLearning, аудиторные занятия или обучение через социальные медиа, он должен принять решение, на что, в первую очередь, он обращает внимание в этом материале. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка.
Критика
Есть три проблемных допущения модели Киркпатрика: 1) уровни не расположены в порядке возрастания (нет иерархии уровней); 2) уровни не связаны причинно между собой; 3) уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989).
Единственная часть четырехуровневой модели Киркпатрика, которая не выдержала проверку временем, - Обратная связь (первый уровень). К примеру, школа Тренер XXI века имеет одни из самых низких показателей по первому уровню – уровню обратной связи, но отвечает за высокие показатели деятельности (четвертый уровень), которыми измеряют продуктивность своих выпускников. И это не единичный случай: от исследования к исследованию результаты показывают очень низкую корреляцию между Обратной связью и тем, насколько хорошо работники выполняют деятельность после прохождения обучения (Boehle, 2006).
Гораздо важнее, чем измерение обратной связи, как мы установили, является подготовка обучаемых к учебному процессу через беседы с руководителем о необходимости участия в обучения с последующим их сопровождением с тем, чтобы убедиться в усвоении навыков, переданных в процессе обучения (Wick, et al. 2006), и это еще одна из причин, почему «Обратную связь» надо поменять на «Мотивацию».
Четырехуровневая модель Киркпатрика применяется только после окончания учебного процесса. В то время как цель оценки должна заключаться в сопровождении всего учебного процесса, начиная с начальной стадии – стадии, предваряющей учебный процесс.
На самом деле, эта критика не является точной. К примеру, The ASTD Training & Development Handbook (1996), изданная Robert Craig, включает главу Киркпатрика с простым названием «Оценка». В этой главе Киркпатрик обсуждает контрольные группы, а также методы «до и после» (такие как пре- и посттестирование). Он продолжает обсуждать, что четвертый уровень должен включать пост-тренинг оценку три или более месяца спустя после окончания учебного процесса с тем, чтобы проконтролировать, как обучаемые стали применять навыки, полученные в ходе обучения. Далее Киркпатрик замечает, что Оценка должна быть включена во все стадии учебного процесса не только в течение каждой сессии или модуля, но и после каждого предмета или темы.
Модель четырех уровней работает только для аудиторного обучения, но не для других форм обучения
Как было замечено в части «Не только для тренинга» (см. выше), Киркпатрик писал о возможности использования модели четырех уровней для других типов обучения и HR, которая помогает обеспечить обслуживание процессы и формального, и неформального обучения, и где модель Киркпатрика выступает одной из основных моделей оценки. И может быть, настоящей причиной того, что адвокаты неформального обучения не видят пользы от применения модели Киркпатрика в том, что четыре уровня «были изобретены не под них».
Четыре уровня оценки имеют малое отношение для других подразделений компании и направлений бизнеса
Одна из лучших книг по обучению и развитию The Six Disciplines of Breakthrough Learning , написанная Wick, Pollock, Jefferson, Flanagan (2006). Они, видимо, выдвигают самую обоснованную, критику, что я видел: «К сожалению, эта модель не имеет широкого распространения среди менеджеров бизнес направлений, кто непосредственно связан с результатами обучения. Поэтому, когда руководители департаментов обучения пишут или говорят в терминах уровней оценки модели Киркпатрика со своими коллегами в бизнесе, то это это вместо прояснения чаще запутывает обсуждение и требует дополнительных усилий для выстраивания понимания между бизнесом и функцией обучения».
И вполне возможно, что данная критика направлена по сути не против самой модели Киркпатрика , но против тех из нас, кто выстраивает коммуникации с бизнесом. Мы говорим бизнесу: первый уровень показывает, насколько счастливы обучаемые от обучения, на втором уровне они успешно прошли тест и т.д. по всей модели. Кроме того, согласно исследованиям, которые я видел, результаты обучения используются редко (как раз то, что ценится бизнесом больше всего). Все другие уровни оценки могут быть полезны только в процессе проектирования учебного процесса, поскольку они помогают нам понять, какой тип оценки применить в какой проблемной ситуации. Тем не менее, за этими рамками, эти уровни никому не интересны. Большая часть менеджмента интересует лишь влияние обучения и ответ на вопрос: те ресурсы, что мы потратили на обучение работников, дают вклад в развитие и процветание нашего бизнеса?
Без оценки эффективности процесса обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. Потенциал наиболее распространенной модели оценки - Д. Киркпатрика пока, к сожалению, не полностью используется практиками. А с особенностями ее последней версии большинство наших HR-менеджеров вовсе не знакомо.
В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами». Он предложил краткую формулу для описания цикла обучения: реакция - обучение - поведение - результаты . Разделение процесса обучения на этапы помогло объяснить, как обеспечить применение новых навыков на рабочем месте, без чего нельзя достичь желаемых результатов. Кроме того, практики получили инструменты для оценки эффективности каждого из этапов обучения. В 1959 году Д. Киркпатрик написал цикл статей для ASTD Journal*, в которых четко сформулировал критерии для всех четырех уровней оценки (таблица ).
Четыре уровня оценки обучения Д. Киркпатрика
|
Уровни |
Что оценивается |
Ключевые вопросы |
|
Уровень 1: |
Как участники реагируют на обучающее событие | Понравился ли участникам процесс обучения? Что они планируют делать с новыми знаниями и навыками? |
|
Уровень 2: |
Насколько участники усвоили знания, навыки и сформировали необходимые отношения по завершении обучающего мероприятия | Какие навыки, знания, установки изменились после обучения? Насколько значительны эти изменения? |
|
Уровень 3: |
Как участники применяют на рабочем месте то, что они узнали во время обучения | Изменили ли участники свое поведение на рабочем месте после обучения? |
|
Уровень 4: |
В какой степени по итогам обучения достигнуты намеченные результаты | Оказывают ли изменения в поведении участников положительное влияние на организацию? |
Первые статьи Киркпатрика стимулировали дальнейшие исследования в области оценки эффективности обучения (в основном на уровнях 1 и 2). В 1970-е годы четыре уровня Киркпатрика уже широко использовались многими организациями во всем мире, со временем они были оформлены в целостную модель оценки (Four Levels TM Evaluation Model) и приняты в качестве стандарта для оценки профессионального обучения. На протяжении 1980-х было разработано множество различных оценочных методов и инструментов, но внимание практиков по-прежнему концентрировалось на уровнях 1 и 2.
Только в 2005 году Дональд Киркпатрик предложил инструментарий для оценки уровня 3 (поведение), который описал в книге «От обучения к поведению» (Transferring Learning to Behavior) - в соавторстве с сыном Джимом (Dr. James D. Kirkpatrick). Обеспечение эффективного применения результатов обучения в реальной деятельности (перенос знаний и навыков) и сегодня продолжает оставаться одной из самых важных задач для многих обучающих организаций.
|
Изменения последних лет:
|
В 2006 году, в третьем издании книги «Оценка тренинговых программ» (Evaluating Training Programs), Киркпатрик значительно расширил сферу применения модели, базирующейся на четырех уровнях. Теперь основной акцент в ней делается на уровне 4 (результаты), поэтому модель может использоваться для оценки эффективности как программ обучения, так и процесса управления изменениями, и кроме того - для демонстрации ценности для бизнеса функции обучения в целом . Что важно, был пересмотрен алгоритм работы с моделью: сейчас предлагается начинать оценку «сверху» - с уровня 4, после чего последовательно продвигаться «вниз» - к менее сложным уровням (рис. 1 ). По мнению автора, это позволит сосредоточить усилия специалистов по обучению на достижении запланированных бизнес-результатов и поддержке необходимого поведения.
Нажмите на изображение для увеличения
Рис. 1. Измененная модель Киркпатрка: «Конец - это начало»
В 2007 году Дональд и Джим Киркпатрики развили свои идеи в работе «Применение четырех уровней» (Implementing the Four Levels), в которой предложили практикам принципиально новый подход: формирование «цепочки доказательств» (chain of evidence) для руководителей. Этот алгоритм позволяет специалистам по обучению собрать убедительные свидетельства, помогающие показать топ-менеджерам, какая ценность создается для бизнеса.
Алгоритм «цепочка доказательств»:
- концентрирует внимание руководителей на уровнях 3 и 4, где речь идет о влиянии обучения на достижение запланированных результатов и создании ценности для бизнеса;
- помогает использовать модель четырех уровней для измерения полученного результата , причем - на всех этапах, начиная с момента возникновения инициативы по обучению.
В этом его принципиальное отличие от традиционного подхода, в большей степени оценивающего эффективность процесса обучения (поскольку он сфокусирован на уровнях 1 и 2, внимание менеджеров в основном сосредоточено на затратах на обучение ).
По мнению разработчиков новой концепции, для того чтобы гарантировать результаты, необходимо еще до начала обучения определить:
- ожидаемые результаты;
- ключевые показатели;
- методы измерения и оценки.
И это еще не все изменения! Авторы добавили в модель еще один - пятый уровень оценки (уровень 5: «Рентабельность инвестиций»). Оценка эффективности обучения на этом уровне позволяет получить ответ на ключевой для бизнеса вопрос: «А стоило ли тратить деньги на обучение»?
|
Сильные стороны модели Киркпатрика (с точки зрения экспертов):
Ограничения модели:
|
Модель Киркпатрика успешно работает уже более 50 лет. Но существенные изменения в методах управления и организации бизнеса потребовали переосмысления роли функции обучения в организации. В то же время, как отмечают Киркпатрики, многие специалисты по обучению до сих пор не готовы принять на себя ответственность за все, что выходит за рамки подготовки и реализации учебных программ (особенно за результаты, которые прошедшие обучение люди демонстрируют на рабочих местах).
Продолжая творчески развивать свой подход, Джим Киркпатрик - теперь уже в соавторстве с женой Венди (Wendy Kayser Kirkpatrick) написал книгу Training on Trial: How Workplace Learning Must Reinvent Itself to Remain Relevant. Фактически это «руководство по изменениям» для корпоративных тренеров и специалистов тренинговых компаний. Эксперты настоятельно рекомендуют практикам в условиях кризиса:
- переосмыслить свою роль;
- активно расширять сферы своей компетентности за счет приобретения опыта работы в бизнес-подразделениях;
- усиливать свое влияние за пределами учебных аудиторий - предлагать решения, которые приносят ощутимые (измеримые) бизнес-результаты.
Но пока изменения «в головах» внутренних и внешних тренеров происходят очень медленно: многие из них все еще пытаются доказать свою незаменимость, используя показатели «уровень посещаемости» и «данные об оценках» (уровень 1), а также «результаты тестирования» (уровень 2). При этом бенчмаркинговые исследования убедительно демонстрируют: тот, кто начинает с уровня 1, очень редко доходит до самых высоких уровней оценки.
Авторы убеждены: подобное упорство специалистов по обучению наглядно иллюстрирует живучесть мифа о том, что само по себе участие в обучающем мероприятии автоматически способствует улучшению бизнес-результатов (уровень 4). Но сегодня стейкхолдеры расценивают подобную «наивность» как свидетельство неадекватности, что буквально провоцирует их задаться вопросами: «Сколько стоит это удовольствие? Какую пользу приносит?».
Джим и Венди Киркпатрики считают, что ситуация с репутацией функции обучения в глазах менеджеров очень серьезна. Чтобы исправить положение, специалистам по обучению уже недостаточно «просто» разрабатывать новые программы и методы обучения - сегодня они должны изменить принципы своей работы, научиться создавать реальные ценности для бизнеса и убедительно демонстрировать важность этих ценностей .
Авторы предлагают новый принцип, который поможет в корне пересмотреть подход к планированию и разработке обучающих программ: «Конец - это начало!» В качестве исходного пункта они советуют тренерам обсудить с руководителями:
1) ожидания бизнес-лидеров;
2) их понимание успеха (как желаемый результат «будет выглядеть»);
3) какие наблюдаемые и измеримые показатели успеха будут использоваться для оценки результата (уровень 4).
Итогом работы на этом этапе должны стать наборы HR-метрик, на основе которых рассчитывается новый показатель: возврат на ожидания - return on expectations, ROE (по аналогии с ROI - возврат на инвестиции). Затем специалисты по обучению должны обсудить с руководителями среднего звена, какое именно поведение критически важно для того, чтобы добиться намеченных результатов (уровень 3). Только после этого они могут приступить к проектированию учебных мероприятий (уровни 1 и 2), которые обеспечат формирование критически важных сценариев поведения сотрудника, необходимых для повышения его эффективности на рабочем месте.
Лишь на этой основе можно обеспечить:
- эффективное применение новых навыков и закрепление изменений в поведении на рабочем месте (уровень 3);
- достижение бизнес-целей (уровень 4);
- реализацию задач в области управления талантами (уровень 4).
Таким образом, метрики уровня 4 становятся краеугольным камнем в определении объема ответственности всех заинтересованных сторон. В свою очередь, четкое разграничение сфер ответственности является базовым условием для успешной реализации модели бизнес-партнерства.
Еще одно усовершенствование Д. Киркпатрика - разработка новой «Модели достижения целей». Особое место в ней занимают «драйверы» (или «усилители»). Драйверами выступают все процессы и системы (рис. 2 ), которые:
- усиливают действия (поведение);
- контролируют процедуры (мониторинг);
- вознаграждают демонстрацию критически важного поведения на рабочем месте.
Рис. 2. Драйверы («усилители») - поощряют или препятствуют закреплению новых поведенческих моделей
Эффективное выполнение рабочих задач обеспечивает совместное воздействие процесса оценки поведения (уровень 3) и драйверов. Без этой поддержки успешно применяется на практике всего около 15% новых знаний, навыков и установок, что снижает ценность обучения для бизнеса.
Новая «Модель достижения целей» Киркпатрика также позволяет специалистам выйти за рамки собственно обучения. Она помогает людям разрабатывать планы достижения целей, предусматривающие конкретные мероприятия/ действия (и измерение эффективности на всех четырех уровнях). Поэтапное планирование, ясное представление о конечных целях/ результатах, тщательный мониторинг выполнения мероприятий плана и объективная оценка каждого этапа процесса повышают вероятность достижения успеха.
Кроме того, модель Киркпатрика предоставляет консультантам в области обучения и провайдерам консалтинговых услуг методологию и инструментарий для того, чтобы они могли убедительно продемонстрировать своим клиентам, какие результаты получатся при реализации предлагаемых программ обучения и развития.
Новые разработки семьи Киркпатриков дают эйчарам эффективные инструменты, позволяющие им действительно стать бизнес-партнерами, наглядно продемонстрировать силу бизнес-партнерства тренеров, линейных руководителей и топ-менеджеров. (Опросник Д. Киркпатрика «Бизнес-партнерство» см. в приложении ).
|
Приложение Опросник «Бизнес-партнерство» (Kirkpatrick SM) Шкала оценки:
Интерпретация результатов Чтобы оценить, насколько хорошо отвечающее за обучение подразделение (специалист) соответствует интересам бизнеса, используйте шкалу:
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Среди специалистов в области обучения и менеджеров широко распространен упрощенный взгляд на обучение. Этот подход породил ряд мифов, устойчиво циркулирующих среди менеджеров: Миф 1: «Каждый, кто когда-нибудь чему-нибудь учился, является экспертом в области обучения». На самом деле: Обучающее мероприятие/тренинг - это поведенческое и когнитивное событие, которое может быть структурировано и исследовано эмпирически. Существует специальная научная дисциплина, достижения которой должны использоваться для оптимизации плана обучающих программ. Разработаны методы и процедуры, правильное и последовательное применение которых способствует повышению эффективности обучения. Миф 2: «Эксперты могут определить потребности в обучении». На самом деле: Личного опыта экспертов не всегда достаточно; чтобы понять истинные потребности в обучении, необходимо собрать данные из многих источников. Эксперты в определенной предметной области не обязательно понимают суть и особенности процесса обучения. Привлекать экспертов в предметных областях очень важно, однако они должны работать в партнерстве со специалистами по обучению. Миф 3: «Реакция на обучение = обучение». На самом деле: Если слушателям весело, это не означает, что они чему-то научатся. «Инструментальность» обучения слабо связана с его эффективностью, но оказывает влияние на мотивацию обучаемых. Простые методы измерения результатов обучения недостаточны для оценки качества подготовки. Миф 4: «Обучение непосредственно (само по себе) ведет к изменению поведения». На самом деле: Перенос навыков на рабочее место - очень сложный процесс, на который влияет множество факторов, например: поддержка руководителя и коллег, культура обучения в компании, возможности для применения новых знаний/навыков на практике и т. п. Даже если слушатели демонстрируют хорошие результаты обучения после завершения учебной программы, это не означает, что они смогут успешно применить новые знания и навыки на своем рабочем месте. |
Зачем оценивать обучение?
В статье «Методы оценки тренинговых программ» (Techniques for Evaluating Training Programs) Дон Киркпатрик писал: «Я бы рекомендовал директорам по обучению проявлять инициативу в оценке учебных программ - до того, как придет день расплаты». Что удивительно, так это дата написания статьи в ASTD Journal - ноябрь 1959 года! За прошедшие полвека тезис о том, что процесс обучения, затраты на него и результаты должны оцениваться, казалось бы, стал банальностью. Но, несмотря на это, поэтапная оценка обучения, к сожалению, так и не изменила «модус вивенди» корпоративных тренеров.
- усовершенствование учебных программ;
- повышение эффективности подготовки сотрудников;
- демонстрация ценности функции обучения для топ-менеджеров.
Традиционно усилия специалистов по обучению были сфокусированы на наиболее очевидных результатах: эмоциональной реакции участников после завершения тренинговой программы. К сожалению, многие из сложившихся практик не соответствуют требованиям и нуждаются в усовершенствовании.
|
Чтобы проанализировать мнение участников о программе обучения (Уровень 1: «Реакция»), тренеры разработали множество инструментов. Их называют по-разному: «анкеты комментариев», «анкеты реакции», «листы улыбок» или «листы счастья» и т. п. Какой же должна быть форма, которая позволит получить максимум информации и в то же время потребует минимум ресурсов? Предлагаем несколько советов.
Можно начинать с отрицательных или положительных отзывов - это не принципиально.
Почему обязательно следует разрабатывать специальную форму? Во-первых , речь идет о клиентах (не имеет значения, внутренних или внешних), поэтому важно, чтобы они остались довольны программой. Некоторые коллеги, руководители или будущие участники учебных программ, наверное, спросят у тех, кто уже прошел обучение: «Что вы думаете об этом курсе?» Трудно представить себе. Какой урон будет нанесен функции обучения, если люди будут давать негативные отзывы о приобретенном опыте: «Только зря потерял время!», «Ничего, что пригодилось бы в работе» или «Откажитесь от этого, если сможете»… Во-вторых , скорее всего, негативно окрашенные слухи дойдут до кого-то из топ-менеджеров. Последствия этого могут стать трагическими для отдела обучения: скорее всего, руководитель не станет утруждать себя анализом общего мнения о курсе, а сделает вывод о его неэффективности (со всеми вытекающими последствиями). Поэтому поинтересоваться мнением участников важно в первую очередь для самих тренеров! Фрагмент из книги «Четыре ступеньки к успешному тренингу», Дональд Л. Кирпатрик и Джеймс Д. Кирпатрик, М. - Эйч Ар Медиа, 2008. |
С усложнением условий ведения бизнеса (рост конкуренции, увеличение роли человеческого фактора, финансовый кризис и т. д.) предприятия все больше стремятся к сокращению расходов и финансированию мероприятий, которые дают прогнозируемые результаты и наивысшую отдачу. В конечном итоге:
- Топ-менеджеры требуют оценить эффективность обучения на более высоких уровнях - Уровень 3: «Поведение» и Уровень 4: «Результаты».
- Многие компании отказываются от учебных программ, ценность которых не может быть обоснована с финансовой точки зрения (и, к сожалению, «до улучшения ситуации» увольняют специалистов по обучению персонала).
Это говорит о том, что сегодня в серьезной опасности оказались уже не отдельные тренеры/ тренинговые компании - во многих случаях под сомнение ставится необходимость самой функции обучения! Разрабатывая «стратегию спасения», Киркпатрики предлагают тренерам срочно изменять свое представление о мире бизнеса и осваивать в организации новые роли. Важнейшие условия изменения:
- выявлять потребности бизнеса;
- достигать практических (!), не просто выдающихся (!), но превосходящих ожидания (!) результатов;
- оценивать (в цифрах) свой вклад в достижение успеха и развитие компании и убедительно демонстрировать его всем ключевым заинтересованным сторонам.
Самое главное для тренеров - научиться действовать в «проектной рамке», как это принято в других функциях: предоставлять экономическое обоснование для получения средств (инвестиций) на проекты, заблаговременно планировать и бюджетировать их реализацию.
__________
* ASTD Journal
- журнал Американской ассоциации обучения и развития (American Society for Training & Development, ASTD)
Статья предоставлена нашему порталу
редакцией журнала
Когда тренинг эффективен?
Сотрудникам HR -департамента и руководителям большинства компаний уже не надо объяснять важность и значимость обучения персонала .
Трудности теперь возникают на этапе оценки реальной эффективности корпоративных бизнес тренингов .
Главная цель бизнес-тренингов: улучшение бизнес-показателей организации путем совершенствования навыков, умений и поведения ее сотрудников.
Кроме того, наличие у работодателя программы обучения персонала, является важным факторов при поиске кандидатом нового места работы. Так как если кандидат собирается повышать свою квалификацию в области продажи услуг, например, то лучше же сделать это за счет работодателя?
Но как менеджерам по персоналу определить, действительно ли имеющиеся программы тренингов и профессионального развития являются эффективными. И в самом ли деле позволяют достичь целей организации? Дональд Киркпатрик (Donald Kirkpatrick) еще в начале 60-х прошлого века представил четырехуровневую модель для оценки качества программ обучения, тренингов, семинаров.
На первом уровне измеряется эмоциональная реакция участников бизнес тренинга на программу обучения.
Казалось бы, оценка программы тренинга на этом уровне не имеет особой важности, так как позитивная реакция участников тренинга еще не будет гарантировать успешного освоения новых навыков и умений.
Но отрицательная реакция участников может свести к минимуму мотивацию персонала к развитию.
Киркпатрик подымает значимость оценки этого уровня, так как дальнейшая работа по улучшению программ тренингов становится практически бессмысленной, если на этом этапе не удалось заинтересовать сотрудников.
Следствием этого будет усложнение оценки результатов работы бизнес тренера, и на следующих уровнях потребует значительно больших усилий и ресурсов HR.
На первом уровне будет достаточно дать анкеты участникам бизнес тренинга в конце обучения, затем собрать и обработать.
На втором уровне
модели Киркпатрика оцениваются результаты пройденного участниками тренинга.
Заказчику обучения, HR, необходимо понять в какой мере участникам тренинга удалось усвоить именно те навыки и умения, ради которых и проводили данный курс и готовили программу обучения.
Для оценки этого уровня можно применять специально разработанные тесты и задания по определению степени развития этих самых навыков, лучше предварительно оцифровав их (например по шкале от 1 до 10).
Затем сравнивать результаты участников до начала тренингов и после их завершения согласно выбранной шкале.
Было до тренинга: +2, а после него стало +5.
что ж, значит было за что бороться HR, и что-то получил "продажник" на самом деле!
Следует помнить и о методе простого наблюдения за поведением участников во время выполнения заданий и проведения бизнес игр со стороны тренера.
Затем это наблюдение финиширует описанием в отчете кратких характеристик участников.
Но, новые знания сотрудника практически не несут никакой ценности для компании без умения и желания их использовать. А вот с этим порой много сложнее.
Почему, так как само по себе таящееся знание в голове сейлз менеджера не влияет на эффективность его продаж.
Поэтому важно чтобы произошло «осознание», то есть была усвоена ни только информация, полученная непосредственно от тренера, но и был бы получен собственный опыт по завершению тренинга.
Разрешить эту проблему может только третий уровень модели Киркпатрика.
Вполне
возможно привлечение и клиентов к оценке эффективности тренинга.
Например, оценивая тренинг продаж можно использовать анкеты клиента или произвести анализ изменений характера записей в книге жалоб и предложений в случае прохождения тренинга направленного на повышение клиентоориентированности услуг.
На четвертом уровне
модели Киркпатрика оценивается воздействие обучения на бизнес-результаты организации.Это расчетный уровень, требующий предварительного расчета перед тренингом, например расчета рентабельности продаж для всего отдела продаж
(сейлзменов - продажников
). А затем тот же расчет по той же методике, но уже после программы обучения.
Этот этап и метод важен для топ менеджмента, так как именно на этом уровне производится конечная оценка эффективности вложений в мероприятия по обучению.
Измерение изменений результатов деятельности компании производится как по качественным показателям (изменение имиджа компании, узнаваемости бренда, улучшение психологического климата и др.), так и по количественным (снижение на Н% текучести кадров, увеличения на Р% объема продаж и др.). Оценка на таком уровне самая сложная и высокая по стоимости.
Модель Киркпатрика уже долгое время используется многими HR менеджерами для оценки и улучшения программ обучения и профессионального развития.
Она позволяет учесть интересы трех ключевых заинтересованных групп. Топ менеджерам компаний модель помогает принимать решения: «Стоит ли тренинг инвестированных в него затрат средств и ресурсов? Или следует направить в следующий раз их на другие цели?». Сотрудник сможет выяснить, как обучение повлияет на эффективность его работы или окажет влияние на карьеру. Бизнес тренер же сможет оценить реальную эффективность своих тренингов и работы выразив результат в полученной прибыли заказчика.
Загрузка...
