以下心得都是个人通过学习后实践验证,或者直接从实践中总结而来,视野有限难免偏颇,还请大家多多交流~
这一篇也主要说的是培训项目、学习活动的评估,而非培训体系的评估。体系评估将另行起文。
本文大约 4500字,建议阅读时间 9 分钟。
我们经常会被问到这样的问题:你如何知道你做的培训是有效的?
——这就是培训评估的事儿了。
说起培训评估,无数培训经理又爱又恨。
爱,是因为终于到我们工作成果验收和工作价值展现的的时候了。
恨,是因为培训评估这件事实在不好做。评估什么?怎么评估?
很多时候,我们会通过收集一系列培训实施数据,并对此进行汇总分析,我们往往对此称之为“培训评估”。
这种数据的收集,最简单最普遍的就是收集学员的满意度了~
每人一份评估问卷,培训结束后填写一下,对讲师的态度、授课技巧、场地服务情况、课件精美度、学习活动与实际工作关联性等进行打分,并且再写几句“你觉得本次印象最深的地方是什么”“你对本次学习有什么建议”之类的表达内容,搞定~接下来只要收好大家填写的,然后汇总一下就OK了~
有时候觉得这样不够充分,就会把满意度表进行设计一下打分项,作出创意性的或者导向性的打分来。
貌似发表收表算数据也算比较辛苦,但其实还是蛮省心的
这样的满意度数据收集出来后,我们会对得分地方进行改进,比如气氛控制,比如场地服务
慢慢积累下来,我们对各种得分项都很擅长准备了。
于是出现了动辄90多分的培训满意度评分结果。
出现多了,已经足以令管理者们对这个数据丧失信心,甚至他们愈发以为培训是花架子。
接下来我们发现,我们可以让学员们写自我学习评价报告、学习心得,作为学习活动的评估成果。
但是管理者和参训部门依然不满意,他们希望给看到更实际的效果。
于是我们开始采用横向评估、纵向评估,横向比较参训和未参训者的绩效数据,纵向比较参训学员参训前和参训后的变化。
以上这些经过综合演绎之后,被发展出来了知名的柯氏四级评估法,大致的结构是:
Level 1 反应评估(Reaction) :评估被培训者的满意程度;
Level 2.学习评估(Learning): 测定被培训者的学习获得程度;
Level 3.行为评估(Behavior) :考察被培训者的知识运用程度;
Level 4.成果评估(Result):计算培训创出的经济效益。
也有人在这个基础上发展了第五级即Level 5.投资报酬率评估(ROI)。
不过柯氏四级的应用情况如何?
我曾在2013年的一次业界活动上遇到了柯氏四级中国官方机构的代表,课间休息环节我满怀欣喜向其请教柯氏四级的第三级和第四级有没有实际效果的应用案例,但是各种原因,我并没有得到回答。
在一些企业自行摸索下,对柯氏四级的行为层和绩效层的应用做了很多探索,甚至一定程度上解决了“你怎么证明学员的行为转变和绩效改进和你的培训的关联度?”的挑战。(当然不是完全解决,更多只能从逻辑上做一些分析和解释,比如“排除了公司政策和直属领导管理手段的影响,只剩下培训这一个原因”之类的)
(多说一下,究其原因,就像我在《1.2 培训工作的价值和意义—为什么要做培训》中所分析的,“根据《组织能力的杨三角》的作者杨国安老师的看法,组织能力的三个支柱是员工能力、员工治理方式、员工思维模式。IBM公司也有类似的看法,他们认为组织能力的基础是员工工作能力、员工工作意愿、组织工作环境,也就是公司的组织效能结果,需要员工在其主观意愿下发挥其工作能力,这些发挥的途径和边界会受到组织工作环境(包括机制、文化、氛围)的限制。”——也就是说我们的学习动作和绩效结果的关联本身就是间接的,证明间接事物间的关系程度,本身确实是比较困难的事情)
虽然对员工绩效和业务结果的关注,导致公司的管理者和业务部门对培训价值和影响的期待往往落在业务和绩效改变上,我们通过柯氏四级的思路也一定程度上回答了这一期待,但是我们培训经理们自己心里要明白,仅仅评估这些就够了吗?
其实我们更应该给予管理者和业务部门看到的是培训价值和影响,而不是简单的结果统计。
就像我在《1.2 培训工作的价值和意义—为什么要做培训》所阐述的,“培训不在于组织学习活动,而在于管理问题/业务问题的诊断发现、内部经验的萃取传承、人员梯队的建设培养”,另外根据我近期进一步汇总,可能还要加上“通过学习活动的开展,让亲身体验公司组织活动的参与者们对企业文化有更深体会,加强企业文化凝聚力和影响力”。
这也是我坚持的设计培训活动时必须持续关注的目的。
以终为始,我们的眼光不能只放在培训学习效果的评估上,而更应该放眼到整个培训项目的整体目标是否实现上。
——如果你的培训有效果,效果是什么?
——如果你的培训没达到效果,你还可以做什么?
所以要进行的不仅仅是数据的简单收集,更应该进行的是全面的复盘工作。通过复盘,我们看一下最初的目标实现么了,过程中的数据反馈了什么,我们还有哪些需要做的。
阅读过我之前文章的朋友可能还记得我的《3.4 培训不就是搞课程吗?当然不是》里面举过的案例:(为了照顾还没有阅读过的朋友我完整放一下案例,已经阅读过的朋友可以直接跳到案例的结尾)
这里举一个例子(基于我遇到的实际情况,有少量虚拟),便于大家理解:
公司网站业务部门(网站开发和维护)提出要求学习两门业界知名架构讲师的课程(每个课程3天,讲师甲的课程偏向于在开发的基础上了解架构的知识,讲师乙的课程偏向于系统性讲解架构的各种知识),两门都学。
整个需求经部门培训管理员到了我手中,我先问了一下“学员都在那里”,得到了“广州深圳各有一半”的答复后,我设计了两个培训方案:
A方案:广州开一门、深圳开一门,两期都是所有学员都参加。好处是学习内容都会比较完整,坏处是所有人都会有一次差旅,差旅成本是比较高的。
B方案:采用讲师乙的课程,广州深圳各一期,两地学员分别就近参加,好处是差旅成本比较OK,坏处是可能无法学习到不同的知识相互印证。
(这里说明一下,这两个方案其实哪个我都不会采用,仅仅是用来和业务部门沟通时表达诚意的敲门砖)
然后我让部门培训管理员带着方案找业务部门去问“我这边能够想到两种方案,各有优劣势,需要再和您详细了解一下我们做这次培训究竟想解决哪些情况,我们好更好的提供配合”。
业务部门比较容易接受了我们的沟通邀请,大家详细聊过之后发现,网站业务部门之所以产生要上这两门,直接原因是看到这两门课程的机构的推广函、觉得还不错,真实原因是网站业务的架构方面遇到了一些压力,细分为两方面:
(1)部门现有的架构师(大概20人,广州为主,深圳少量)都是在开发人员的基础上自行摸索成长起来的,大家的水平、短板和对架构的理解都不一致,项目配合时难度比较大不说,项目转手时后续维护难度也比较大。
(2)部门现有架构师严重不足,新招聘的难度很大,架构师的薪资要求都不低,部门成本很有压力。
在了解了以上需求后并且知道了部门现有开发人员中技术还不错的大约100人(广深各一半)之后,考虑到部门培训管理员有了较强的培训实施能力和培训专业意识但是培训引导能力还需要进一步提高的客观情况,我给出了如下的培训项目设计:
【培训项目目的】
引导架构师们建立相对统一架构知识体系,解决个体差异引起的障碍,并且选拔优秀的高潜力开发人员作为后备架构师,作为梯队储备减低招聘成本的同时降低架构师短缺的压力。
【培训项目实施】
第一阶段:针对开发人员开展,广深各一期,每期2天,重点是对开发人员进行架构知识的基本学习,使其对架构有入门的认知,潜在目的是选拔日常业务和本次学习中潜力较大的苗子,作为后备架构师进行引导培养和工作分配(所以要求部门主管必须参加以便发现这些苗子,虽然不一定全程参加)。对讲师的要求是授课经验足,能够良好地对无架构知识基础的开发人员进行讲解和引导。——这一阶段的目的不仅仅在于传播知识,更在于要确定公司内是否有好苗子存在。
第二阶段:针对架构师们和后备架构师们开展,广州一期,为期2天,重点是对架构知识的系统梳理和构建,实现拥有相近的沟通语言和理解水平。
第三阶段:培训完成后,部门在日常学习沙龙中设置“架构交流”专场,以公司内部案例为依托,进行架构知识的交流与分享,相关内容和录音等上传公司在线学习平台并开设讨论专区,便于后续学习和更多人的参与。
在后续的资源匹配的实际过程中,我们广泛邀请了与我们公司合作比较好的多家培训公司提供培训讲师和培训大纲来进行对比,最终第一阶段讲师丁脱颖而出最适合对架构基础低的开发人员进行讲授,第二阶段仍是讲师乙最为契合需求。
那么这个培训项目最后应当如何评估呢?
应当关注以下方面:
(1)第一阶段的学习,评估重点在于要确定是否在公司内有架构师的好苗子。
如果没有,我们就只能安排招聘动作;如果有,是谁,在哪个项目组,目前水平如何。这些是这个阶段的重点目标。至于学员们是否学习到了知识和技术,不是不评价,但是却是次要重点了。
因此这个阶段进行评估的重点调研结果不是参训学员,反而是部门主管和授课讲师,通过他们的判断来实现筛选的目的。
(2)第二阶段的学习,评估的重点在于架构师们是否建立了对架构知识的系统认知,是否拥有相近的沟通语言和理解水平。
所以这个阶段评估的重点对象是学员们,考察方式要关注结果,可以让他们独立绘制架构知识的思维导图,并撰写配套说明,因此衡量本阶段的重点目标是否达到。也可以采用其他方式,能衡量重点目标是否达成就可以。
(3)第三阶段的学习,评估的重点是两个维度:
知识提取:提炼了多少架构知识案例和知识点,有多少问题被讨论了,有多少针对当前业务的建议和意见,这些建议和意见有哪些可以直接应用、有哪些需要整理后应用。
学习传播:有多少人参与了,有多少人是反复参与,每次活动参与的人数是上升还是下降等等。
(4)以上三个阶段的学习活动中,还要注意收集各种学习过程数据、学习测验数据、讲师和部门内专家对当前业务状态和学习情况的评估等。
依此来评估出参训的部门当前的架构水平是怎么样的,针对当期业务而言缺陷在什么地方,未来改进的方向在哪里。——这些也是非常珍贵的评估结果。以上结果能够输出到什么程度,也是评估这一系列培训是否有效果的重要指标。
(5)以上三个阶段的各场次学习活动中,现场学员的反应是什么的?
——反应仅仅是表面结果,好的结果可以拿出去作为评估呈现数据来鼓舞士气。
但是这些反应背后的原因,才是培训经理们自己闭门研究的指标。研究清楚有利于促进我们改进活动实施手法,吸引更多目标群体参与学习活动。
这样的评估,就跳出了“培训仅仅是学习”这一局限性,回归了“培训是管理的一部分”这一本质。
评估完了就结束了么?
当然不。
评估完不仅仅是我们自己看的,更需要对其他管理环节和业务环节产生积极意义。
所以我们要把与其他单位相关的评估结果呈现给他们以推动他们启动相应安排。
适合优化业务流程的优化业务流程,适合改善作业环境的改善作业环境,适合人员激励管理的激励管理,这样就不仅仅把学习的知识促进在业务中的应用,更把整个活动的价值和意义发挥到应有水平,真正实现培训成果的转化。
【一句话总结】
培训评估不仅针对学习层面的反应,更应该针对项目最初的设计目标实现了多少。
↓↓↓↓ 以上都是我个人的总结,视野限制会有一些不完善的地方,欢迎大家关注我的账号并留言,也欢迎大家转发这篇文章给你的朋友们,让我们一起交流企业培训管理心得,共同进步,让大家的培训管理工作产生更多价值,让大家越来越轻松、越来越有成就感~