Что оценивается на третьем шаге модели дональда киркпатрика
Оценка эффективности обучения. Модель Дональда Киркпатрик
То, что произошло с американцем Дональдом Кирпатриком, бывает довольно редко. Полвека назад он предложил концептуальный подход к оценке тренинговых программ, который стал классическим. Любой специалист по оценке сегодня просто обязан знать четыре уровня оценки «по Киркпатрику».
Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, однако его модель оценки тренингов остается одной из базовых, а его книги – наиболее цитируемыми. Классик и ныне здравствует, хотя уже отошел от активного бизнеса. Он сделал блестящую карьеру; написал несколько книг, ставших бестселлерами и принесших ему мировую известность; был президентом одного из самых авторитетных профессиональных объединений тренеров и консультантов в мире – American Research and Development Society (ARSD). Сегодня Дональд Киркпатрик продолжает заниматься общественной работой и поддерживает контакты с профессиональным сообществом. Он продолжает публиковать статьи и выступать с лекциями и семинарами на крупнейших форумах.
Итак, что же предложил Киркпатрик.
Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов :
Почему нужно проводить оценку? Автор указывает три основных причины :
Отметим, что все вопросы кроме первого и последнего сформулированы автором как закрытые (предполагающие ответы «да» или «нет»). С точки зрения формулирования вопросов задания для проведения оценки такая форма вопросов хороша далеко не всегда. Однако мы придерживаемся авторского текста.
Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга – изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты «листами для улыбки» (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что
Четыре уровня Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным» (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора:
Реакция
Научение
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).
Поведение
Результаты
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров.
По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:
Как построена книга Киркпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc.
Книга разделена на две неравные части. Первая – описание 4-уровневой модели, теория (примерно 70 страниц). Вторая часть (около 200 страниц) – подробный разбор нескольких конкретных случаев (case studies) и примеры инструментов, используемых для проведения оценки на разных уровнях.
Модель оценки эффективности обучения Дональда Киркпатрика
В 1954 году была создана одна из самых ныне известных моделей, подходящих как для оценки эффективности тренинга, так и для оценки эффективности процесса обучения вообще. Ее автором стал почетный профессор университета штата Висконсин (США) Дональд Киркпатрик. Он предложил разделять процесс обучения на четыре уровня, которые впоследствии и оценивать. Таким образом, по его мнению, можно будет обеспечить применение полученных в процессе обучения новых навыков непосредственно на рабочем месте и, следовательно, добиться максимальных показателей от данного обучения.
Рассмотрим, что же это за уровни, и что нуждается в оценке на каждом из них.
ПЕРВЫЙ УРОВЕНЬ — «РЕАКЦИЯ»
На данном этапе важно выяснить, как участвующие в обучении реагируют непосредственно на само обучение — нравится ли оно им, и для чего они будут использовать полученные навыки и знания.
Для оценки эффективности первого уровня могут быть использованы такие инструменты как листы реагирования (анкеты комментариев, листы улыбок, анкеты реакции), интервью,
Листы реагирования
Главной задачей является составить их так, чтобы получить максимум полезной информации. Рекомендуется составлять от 8 до 15 вопросов для участников обучения, которые должны быть как открытые, так и со шкалами (например «пятибалльная шкала» или «десятибалльная шкала»), необходимыми для наиболее точной оценки мнений всех участников тренинга. Рядом с каждым вопросом нужно обязательно оставить место для комментариев. Целесообразно разместить в листах реагирования вопросы, позволяющие получить такую информацию, как: эффективен ли тренер и используемые им методы, соответствуют ли и насколько задачи курса целям деятельности, доступен ли был предоставленный материал, каким образом можно улучшить программу и т. д.
Желательно, чтобы анкеты были анонимными. Считается, что в таком случае ответы будут более откровенными.
Интервью
Интервью проводится после обучения с каждым из участников курса так же, как и в случае с анкетами, для получения обратной связи.
могут быть использованы в случае проведения пилотных проектов. Первый раз мнения участников рекомендуется собирать через неделю после окончания проекта, второй раз — через 90 дней после проекта.
Результат оценивания первого уровня может быть выражен в ответах на такие вопросы:
Таким образом, как участники реагируют на курс, такова и есть его оценка. Реакция участников тренинга, по мнению Д. Киркпатрика, является достаточно важным критерием успешности и эффективности всего курса обучения.
ВТОРОЙ УРОВЕНЬ — «ОБУЧЕНИЕ»
Этот уровень предполагает оценку того, в какой мере усвоили участники новую информацию, сформировали ли они необходимые отношения, изменились ли и насколько их знания, установки под конец процесса обучения.
Для количественного измерения прогресса в обучении используются специально разработанные опросники, задания и тесты.
Инструментами, необходимыми для оценки второго уровня модели, являются: тест на знание изученного материала, лист проверки умений, составление плана действий, обучение других сотрудников.
Лист проверки умений
Лист проверки умений заполняет наблюдатель, который в ходе беседы с участником курса определяет его умения использовать полученные во время обучения навыки. В первой колонке листа выставляется оценка умения, во второй вносятся комментарии. Умения оцениваются следующим образом:
1 — неправильное использование умения;
2 — верное использование умения;
3 — экспертное использование умения.
Составление плана действий
Для составления плана действий участникам тренинга предлагается дать ответы на вопросы такого плана:
Еще один инструмент оценки — это обучение других сотрудников.
Его можно организовать в виде проведения различных презентаций для коллег из других подразделений, помощи в обучении и адаптации новых сотрудников, обучения группы в парах.
По мнению Д. Киркпатрика, если процесс обучения был эффективным, то должны произойти видимые изменения, т. е. улучшатся знания, усовершенствуются навыки и изменятся установки.
ТРЕТИЙ УРОВЕНЬ — «ПОВЕДЕНИЕ»
В данном случае нужно определить, изменилось ли в результате обучения поведение его участников, применяют ли они из полученных навыков и знаний на своем рабочем месте.
Инструменты оценки, использующиеся для третьего уровня следующие:
В обзорном тесте можно использовать следующие вопросы: были ли получены новые знания; насколько улучшилось в результате обучения поведение на работе; через сколько смогли применять обучение в своей работе; если же до сих пор не получилось, то почему и т. д.
Д. Киркпатрик обращает внимание, что если изменения в поведении участников после обучения не произошли, то это абсолютно не означает, что тренинг был не эффективен. Бывают такие случаи, когда не были созданы необходимые условия, и, следовательно, даже при позитивной реакции на тренинг поведение участников не изменилось. Поэтому при оценивании очень важно проверять наличие следующих условий:
ЧЕТВЕРТЫЙ УРОВЕНЬ — «РЕЗУЛЬТАТЫ»
Оценка того, в какой степени были достигнуты намеченные заранее результаты, и есть основная цель данного уровня, т.е. это оценка экономической эффективности обучения. Также важно отметить, принесли ли положительное влияние на саму организацию изменения в поведении участников обучения.
Оценить четвертый уровень модели достаточно непросто, так как тут нужно определить, как изменились организации. Т. е. нужно правильно выбрать показатели, которые будут измеряться как до, так и после проведения обучения.
Д. Киркпатрик отмечает, что к результатам будут относиться изменения, произошедшие в связи с прохождением обучения участниками (например, увеличение продаж, улучшение качества, увеличение производительности и т. д. ).
Проведение оценки необходимо осуществлять до, во время и после процесса обучения, а также через некоторое время, когда результаты станут более заметными.
В 1970 годы модель оценки эффективности обучения Д. Киркпатрика была уже достаточно известна и принята в качестве стандарта для проведения оценки непосредственно профессионального обучения.
Долгие годы автор модели проводил различные исследования, разрабатывая новые инструменты и оценочные методы, которые относились в основном к 1 и 2 уровням. И только в 2005 году им был предложен инструментарий, необходимый для оценки 3 уровня модели. Задача обеспечения наиболее эффективного применения полученных за счет обучения знаний и навыков в реальной деятельности до сих пор достаточно актуальна для различных обучающих организаций.
В 2006 году Киркпатрик выпустил уже третье издание своей книги «Оценка тренинговых программ», в которой основное внимание уделено 4 уровню модели, а также значительно расширена сфера применения непосредственно самой модели. Автор предложил использовать свою модель не только для оценки эффективности программ обучения, но и для процесса, связанного с управлением изменениями, а также для того, чтобы можно было продемонстрировать ценность обучения бизнесу.
Алгоритм работы с самой моделью тоже поменялся. В книге Д. Киркпатрика предлагается проводить оценку, начиная с 4 уровня и заканчивая 1. Так, по его мнению, специалисты, отвечающие за обучение, будут уделять должное внимание не только самому процессу обучения, но и поддержке нужного поведения, достижению запланированных
По мнению авторов, для того, чтобы получить гарантированные результаты, прежде чем начинать обучение, нужно определить ожидаемые результаты, ключевые показатели и методы, с помощью которых будет осуществляться измерение и оценка.
ПЯТЫЙ УРОВЕНЬ — ROI
Также известен 5 уровень модели, разработанный Джеком Филипсом, благодаря которому должно стать ясно, стоило ли вкладывать деньги в обучение. Его показатель — ROI («возврат на инвестиции») позволяет перевести результаты оценки четвертого уровня в материальный эквивалент, далее полученная сумма прибыли сравнивается с затратами на курс обучения. Коэффициент ROI показывает процентное соотношение прибыли от курса обучения к сумме затрат на него.
Таким образом, модель Джека Филипса предоставляет возможность оправдать затраты на обучение, провести оценку курса обучения как и показывает прямую зависимость увеличения продуктивности компании от обучения ее сотрудников, т.е. сделать обучение экономически эффективным.
Несмотря на то, что модели Дональда Киркпатрика уже более 50 лет, еще достаточно многие менеджеры и специалисты по обучению считают, что учащийся, получивший знания, уже является экспертом и может легко их применять. Но, как показывают практика и результаты оценки эффективности обучения по модели Д. Киркпатрика, это далеко не так. Использование данной модели позволит совершенствовать в дальнейшем учебные программы, а также повысить эффективность подготовки сотрудников.
Статья является собственностью профессионального портала для тренеров http://trenerskaya.ru/. При перепечатывании статьи ссылка на сайт обязательна.
Вам понравилась статья?
Нажмите на кнопки социальных сетей и поделитесь ею с друзьями и коллегами!
Рекомендуем уникальные тренерские методички лучших упражнений для тренингов:
Это упражнение позволяет участникам тренинга отработать умение уверенно общаться в любой ситуации, даже когда у них не так» (не так одет, не так причесан, не так себя чувствует). В процессе упражнения участники опытным путем понимают, что все барьеры, препятствующие общению, только в голове говорящего. Если вы «ОК», то внешние признаки для собеседника отходят на второй план. Поэтому, если убрать лишние мысли, ненужные жесты,— уверенность станет естественным состоянием.
В упражнении есть некоторая доля вызова. Если некоторые участники чувствовали себя во время упражнения неуверенно,— они увидят проблему и их мотивация на изменение значительно повысится.
В разработке описано проведение упражнения в рамках тренинга уверенности, для которого оно идеально подходит. Также упражнение удачно подходит для тренингов стрессоустойчивости, тренингов трудоустройства и тренингов знакомств.
Это классическое А, значит, оно отлично снимает первичное напряжение и недоверие в тренинговой группе, способствует установлению теплых, доверительных отношений между участниками тренинга.
Упражнение «Слепой и Поводырь» отлично подводит участников тренинга к исследованию и обсуждению темы доверия к другим людям. Помогает участникам тренинга увеличить уровень доверия в своей жизни, начать больше доверять людям, увидеть, что в жизни мы часто изначально «не доверяем».
Упражнение «Слепой и Поводырь» дает возможность каждому участнику тренинга лучше узнать самого себя: насколько он доверяет окружающим, легко или сложно ему положиться на другого человека, каков он во взаимодействии с другими, каким его воспринимают другие люди.
Упражнение для тренинга рекомендовано профессиональным тренером Д.Швецовым, автором книги «Укрепление личности».
Качественное целевое упражнение для тренингов личностного роста, профориентации, целеполагания или тренингов открытия своего дела. Упражнение в короткие сроки помогает решить один из наиболее волнующих вопросов : «Как выбрать работу (дело, профессию), заниматься которой было бы не только прибыльно, но и приятно, интересно? Как найти свое призвание?». Конкретная технология, подробно описанная в данном упражнении для тренинга, поможет участникам поверить, что сочетание «любимая работа» очень даже возможно.
Эксклюзивные рекомендации профессионалов! Это не просто упражнение для тренинга, это уникальная тренерская методичка, включающая подробную инструкцию проведения упражнения, разбор сложных ситуаций и возражений, рекомендации, советы и подсказки тренеров-экспертов. Такого вы не найдете больше нигде!
Объем тренерской методички упражнения: 8 страниц.
Бонусы! Упражнение содержит подробный блок теории и аудио-запись «живого» упражнения!
Уровни оценки эффективности обучения Дональда Киркпатрика
Как измерить эффективность обучения? Ответ на этот вопрос был дан еще в 1954 году, когда Дональдом Киркпатриком была создана модель оценки эффективности тренинга. До сих пор эта модель остается одной из самой известных и используемых. Как объясняет ее создатель, это потому что она понятна и проста.
Модель Киркпатрика позволяет управлять эффективностью любых обучающих мероприятий, бизнес-мероприятий по моделированию, таких как сессии фасилитации или деловые игры, а также всего обучающего процесса.
Кто такой Киркпатрик и в чем суть модели – разберемся.
Дональд Киркпатрик – ученый, американский профессор университета штата Висконсин. Свою модель четырех уровней он представил, защищая кандидатскую диссертацию об эффективности управления программами.
Цикл обучения исследователь разделил на четыре уровня: реакция – обучение – поведение – результаты. Суть модели оценки – в разделении учебного процесса на 4 уровня, каждый из которых требует своей оценки и своего подхода к оцениванию.
Это, по мнению автора модели, позволит применять полученные навыки на рабочем месте, добиваясь максимальных показателей от обучения. О том, что все это значит – узнаем дальше.
Первый уровень – «Реакция»
Чем выше уровень достигнут – тем выше качество обучения, его возможность и, что важно, его результаты. При низком качестве первого уровня невозможен второй и последующие.
На каждом уровне своя оценка. Первый уровень – начальный. На этом уровне важно выяснить реакцию участников на обучение.
Основное, что нужно оценить на первом уровне – как участники реагируют на обучение. Ключевой вопрос: понравилось ли участникам обучение?
Реакция может быть разной, участник, к примеру, может определить, нравится ли ему обучение или как будут использоваться полученные знания. Чтобы сделать оценку, используют:
Листы реагирования
Листы реагирования составляются таким образом, чтобы получить как можно больше полезной информации. Обычно они включают в себя по 8 – 15 вопросов. Вопросы для наилучшего результата должны быть нескольких типов: открытые и со шкалой. Шкала позволит сравнивать реакцию разных участников. Каждый вопрос желательно снабдить местом для комментария.
Спрашивать можно о своих впечатлениях от мероприятия или процесса, о тренере – эффективен ли тренер и его методы, о задачах – насколько они соответствуют целям организации, о доступности материала и о пожеланиях по улучшению программы.
Такое анкетирование лучше всего проводить анонимно – это поможет собрать более открытое и развернутое мнение.
Интервью
С каждым участником курса кроме анкетирования проводят интервью – это помогает получить более развернутую картину обратной связи.
Фокус-группы
Фокус-группы проводятся «для разведки», чтобы проверить эффективность пилотных проектов. После проведения мероприятий участникам нужно дать неделю, после чего собрать их для обмена мнениями. Через 90 дней после проведения их собирают с той же целью второй раз.
Основные вопросы, помогающие оценить первый уровень курса:
Оценка первого уровня – это реакция на курс, которая, по мнению автора модели, играет немаловажную роль в результативности курса или фасилитации.
Второй уровень – «Обучение»
На втором уровне оценивается эффективность усвоения знаний и изменений, происходящих с участниками. Оценка проводится в конце курса.
Этот уровень предполагает оценку того, в какой мере участники усвоили новую информацию. Оценка выявляет, как изменились их знания и какие установки выработались под конец процесса обучения, а также насколько значительны эти изменения. Для этого используются проверочные задания, опросники, тесты.
Основные инструменты оценки второго уровня модели:
Тестирование
Для тестирования уровня полученных знаний может использоваться любой тип теста:
Лист проверки умений
Лист проверки умений заполняется лицом, собирающим данные. В ходе беседы с участником курса он выявляет уровень его умений и навыков, заполняет в листе оценку от 1 до 3 и свои комментарии.
Оценка ставится согласно критериям:
1 – неспособность применить умение.
2 – правильное применение умения.
3 – экспертное применение умения.
Составление плана действий
Умение составить план применения полученных знаний – один из показателей уровня курса. Для составления такого плана участникам предлагаются вопросы:
Обучение других сотрудников
Тренинг, мастер-класс, деловая игра или фасилитация по запуску проекта, любой процесс управления изменениями – все это прибавляет навыков и обогащает человека новыми знаниями, которые важно использовать. Для этого полученные знания нужно закреплять. Обучение других – отличный способ закрепления полученного опыта и инструмент оценки второго уровня модели.
Чтобы сделать оценку эффективности курса с помощью этого метода, участникам предлагают провести презентации для коллег или помочь своим сотрудникам адаптироваться. Участник курса может посетить групповое обучение в парах.
Д. Киркпатрик считает, что эффективность процесса обучения всегда проявляется в видимых изменениях после обучения. В случае удачного обучения участник меняет установки, подходы, навыки, и это заметно. Это будет заметно и по поведению.
Третий уровень – «Поведение»
Эффективность третьего уровня можно определить путем выявления различий в поведении «до» и «после» обучающих мероприятий. Если обучение прошло успешно – поведение участника на рабочем месте станет другим.
Часто управление эффективностью обучения сосредотачивается только на первых двух уровнях и останавливается, не дойдя до третьего. Но это значит, что в итоге обучение не оставило после себя значимого следа.
В рамках оценивания эффективности третьего уровня обучения необходимо оценить, как участники применяют полученные знания и навыки на своем рабочем месте.
Ключевым будет вопрос: изменили ли участники обучения свое поведение после курса?
Для оценки используются следующие инструменты:
Обзорное тестирование может содержать вопросы о том, получил ли участник новые знания, какова степень улучшений, как быстро смог участник применить полученные знания в работе и если еще не применяет, то по какой причине.
Д. Киркпатрик обращает наше внимание на то, что отсутствие изменений еще не значит, что обучение прошло неудачно. Бывают случаи, и их важно определить, что изменения на рабочем месте не наступили, потому что там не были созданы благоприятные для этого условия.
Оценивание будет недостаточным, если не будет включать вопросы участникам:
Четвертый уровень – «Результаты»
Цель уровня – оценка достижения намеченных результатов. Речь идет об экономической эффективности обучения. Измерять нужно бизнес-показатели организации. Оценка четвертого уровня требует предварительных замеров показателей, и, соответственно предварительного определения норм. Если это фасилитация по запуску проекта, то можно сравнивать ситуацию «до», или подобную ситуацию без применения фасилитации.
Кроме того, оценка результатов проводится и во время мероприятия, а также через какое-то время, когда результаты можно будет определить.
Необходимо оценить, какова степень достижения экономических и других результатов. Ключевым в оценке четвертого уровня будет вопрос: повлияли ли положительно на организацию результаты мероприятия?
В начальном варианте модель ограничивалась четырьмя уровнями. В таком виде модель появилась во многих организациях в качестве стандарта оценивания уровня корпоративного обучения. Автор модели постоянно проводил исследования в этом направлении, выпустил несколько книг, и со временем изменил алгоритм работы с моделью. Он предложил использовать модель в обратном порядке, начать с четвертого уровня и закончить первым.
Таким образом он сделал упор на прогнозирование результатов и на бизнес-ожидания. При таком подходе специалисты, отвечающие за обучение, будут уделять больше внимания достижению ожидаемых результатов, тогда как раньше основное внимание было сфокусировано на процессе.
Прежде чем начинать обучение, которое бы гарантировало результаты, необходимо составить измеримые цели, определить ожидаемые показатели и понимание способа, которым будет определяться оценка.
Пятый уровень – ROI
Разработка пятого уровня модели оценки обучения принадлежит Джеку Филипсу.
Его модель предполагает определение оценки с точки зрения возврата средств, вложенных в обучение или управление изменениями. Модель Джека Филипса дает ответ на вопрос, стоило ли вкладывать деньги в те или иные мероприятия.
В основе модели лежит показатель ROI («возврат на инвестиции»). Он переводит результаты оценки четвертого уровня в измеряемые величины, которые можно перевести в прибыль. Сумма прибыли сравнивается с затратами на мероприятия. ROI – это коэффициент, показывающий процентное соотношение полученной прибыли к вложенным затратам.
Модель Джека Филипса может показать прямую зависимость роста продуктивности сотрудников от вложенных в обучение средств. Это позволяет оправдать затраты на обучение, объяснить вложения и выгоду от них, сделать обучение экономически эффективным.
Модель Дональда Киркпатрика существует уже более 50 лет. Она четко показывает, что обучение не всегда дает результаты. Модель объясняет, по какой причине и на каком звене обучение было неэффективным. Однако многие специалисты по обучению приравнивают факт обучения к экспертному уровню участника курса. Использование модели Киркпатрика позволяет найти объяснения многим вопросам, связанным с обучением.