本文是我参与公司数字素养评价模型产品（一款面向中小学校的数据产品）建设的过程中，为了验证我负责建构的产品数据指标体系是否能够实施，我使用产品的埋点数据只做了本demo，作为汇报材料向产品业务线总监进行汇报。
一、 确定数字化教学实施的观测维度
数字化教学实施维度包括了”利用数字技术资源支撑教学活动组织与管理“、”利用数字技术资源优化教学流程“和”利用数字技术资源开展个别化指导“三个二级指标。通过对数字技术支撑教学的实际情况进行分析，我们将”利用数字技术资源支持教学活动组织与管理“的实际行为归纳成”课堂讲授“、”师生互动“、”支持学生活动“和”课堂管理“四个方面，将”利用数字技术资源优化教学“归纳成”实时评测反馈“一个方面，将”利用数字技术资源开展个别化指导“归纳为”针对性指导“一个方面，并且将这些方面作为三级指标的名称。进一步地，我们将三级指标与“频率”、“多样性”和“层次性”三个维度进行匹配，用以生成各个三级指标对应的观测维度，详见表1。通过行为的不同性质，可以将埋点分为不同的类别，从而形成从不同侧面衡量的多样性或者层次性的维度。比如在师生互动方面，可以根据使用的互动活动本身的类型进行分类，从而用于计算“互动方式多样性”，也可以使用互动活动所面向的对象的类别进行分类，从而用于计算“互动范围多样性”，而这两个维度的计算方法都是多样性，区别仅在于对行为的分类方式。这一指标构建的思路同样适用于层次性。
表1 指标和观测维度的对应关系
| 二级指标 | 三级指标 | 观测维度 |
|---|---|---|
| 利用数字技术资源支持教学活动组织与管理 | 课堂讲授 | 1. 发生频率 2.讲授活动多样性 |
| 利用数字技术资源支持教学活动组织与管理 | 师生互动 | 1.发生频率 2.互动方式多样性 3.互动范围多样性 4.互动反馈性 |
| 利用数字技术资源支持教学活动组织与管理 | 支持学生活动 | 1.发生频率 2.学生活动多样性 |
| 利用数字技术资源支持教学活动组织与管理 | 课堂管理 | 1.课堂管理发生频率 2.管理活动多样性 |
| 利用数字技术资源优化教学流程 | 实时评测反馈 | 1.发生频率 2.测评方式多样性 |
| 利用数字技术资源开展个别化指导 | 针对性指导 | 1.发生频率 2.指导方式多样性 3.指导对象精准性 |
二、观测维度和指标得分的计算方法
埋点数据能够记录的是教师操作数字化教育产品所产生的操作的记录，，记录中包含了教师的身份信息（包括教师ID和对应的学校ID），埋点的标识信息（包括module ID和event ID），以及操作发生的额时间，因此使用埋点数据来反映教师的数字素养时，可以通过计数，对教师在某段时间内在埋点对应的功能点上操作的次数进行统计。
我们认为，根据埋点数据，可以衍生出频率、多样性和层次性三个维度来对教师数字化应用的各个具体的指标进行刻画。其中频率反映的是教师在每次授课中进行某种教学行为的平均次数，多样性是对教师采用的数字化应用的操作的类别的多样程度的刻画，层次性是指基于某种对数字化应用的操作难度的排序计算出的总体操作难度的水平高低。
频率的计算方法如下：
表示的是一段时间内（至少一个月）教师使用智课上课的总次数；
表示的是某个教学活动在一段时间内发生的总次数。
代表了不同活动的总数。
多样性参考的是生物学中用来衡量物种多样性的多样性指数。我们选取了香农指数多样性的计算公式如下：
其中，某段时间内教师发起某种教学活动的比率为某种教学活动的次数占教学活动总次数的比率，计算公式如下：
层次性的计算公式如下：
其中代表了不同层次的行为被赋予的等级，等级越高，数值越高，并且满足
，且
，而
代表了某等级的行为发生次数在所有行为发生次数中的总比率，其计算公式为：
层次性数值的特点是，其最大值对应着最高等级数，会受到最高等级数的制约。
在获得了某个三级指标所包含的频率、多样性或层次性的指标值之后，我们相当于获得了三级指标在三个独立的维度上的值。设一个三级指标存在着（
）个不同的维度，对于该三级指标，存在着一个向量
，我们可以使用范数来计算该向量的长度，作为三级指标的大小。
范数的计算公式如下：
其中为实数，大于或等于1。比较常用的是欧几里得范数，即
时的范数，公式如下：
总之，只要一批教师的数据是基于同样的埋点数据，按照同样的埋点与三级指标的对应关系、同样的多样性的分类方式，以及同样的层次性的赋分方式进行组织的，则按照上述计算方式得出的教师数字素养应用能力的分数在这一批教师中是可比的。
三、 处理数字化教学实施相关埋点数据
根据形成的三级指标，我们对智慧课堂产品中的埋点进行了梳理，将埋点与三级维度进行对应，最终梳理出了智慧课堂的PC端和安卓端共83个埋点，并将相关的信息整理成了清单，用于方便从数据库中查询数据。为了形成教学实施模块的demo，我们选取了青岛西海岸新区使用情况最好的珠江路小学的教师在2022年-2023年秋季学期的埋点数据，计算教师在数字化教学实施方面的应用行为的得分情况。
在获取数据的过程中发现，智慧课堂安卓端的数据无法获取，可能的原因是安卓端数据是冷备份表，不常用的埋点没有数据，也可能是智慧课堂提供的埋点的Module ID和Event ID不对。总之，在去掉了安卓端的埋点和一些没有数据的埋点，以及与学科关系紧密的埋点（如语音测评在这种常用在英语和语文课堂的功能到的埋点）之后，剩下20个埋点存在数据。同时我们还获取了珠江路小学教师在2022年-2023年秋季学期的授课次数，并将授课次数记录的教师名单和埋点数据记录的教师名单进行关联，保留了既有授课次数记录也有埋点数据记录的教师，同136人。
实际获取到的埋点数据仅涵盖了课堂讲授和师生互动两个三级指标。现有的课堂讲授相关的埋点可以分为“基于资源的讲授”、“基于工具的讲授”、“基于数据报告的讲授”和“其他”四个类别，共12个埋点。师生互动的埋点按照互动方式可以分成“点评式互动”、“讨论式互动”、”作答式互动“、”表扬式互动“和“其他”五个类别，按照互动范围的多样性可以分为教师”与个人的互动“、”与小组的互动“和”与全体的互动“，按照互动的反馈性可以分为”无反馈互动“、”结果反馈型互动“和”过程反馈型互动“。总之，我们结合频率和多样性，能够形成关于课堂讲授的两个维度（讲授活动发生的频率和讲授活动多样性），从频率、多样性和层次性三个维度出发，能够形成关于师生互动的四个指标（互动发生频率、互动方式多样性、互动范围多样性和互动反馈性）。
四、计算结果
（一）根据多样性或层次性对埋点分类与赋权
我们首先按照计算各维度的需要，分别对课堂讲授和师生互动相关的埋点进行了多种形式的分类，每种分类用于计算不同的多样性或者层次性相关指标，具体的分类情况见表2。在“分类方式”一列中，我们用“ModuleID_EventID”的方式来表示埋点，并将同一类别的埋点放在其所对应的类别之后。讲授互动多样性、互动方式多样性和互动范围多样性的计算使用的是多样性的计算公式，而互动反馈性的计算使用的是层次性计算公式。在计算互动反馈性时，“无反馈互动”对应的赋分为1，“结果型反馈互动”对应的赋分为2，“过程型反馈互动”对应的赋分为3。据此，我们可以分别计算出每个教师不同类别行为发生的次数，并进一步计算出所有相关维度分数。
表2 用于计算多样性或层次性对埋点分类结果
（二）指标与观测维度的正交关系验证
我们构建的教师数字化应用能力测量模型的基本思路是将频率、多样性和层次性，以及它们构成的指标作为相互垂直的向量，从而通过计算向量大小的方式计算出指标和观测维度的分数。因此，为了验证观测维度之间以及指标之间是否满足正交性，我们需要验证以下假设：
- 如果教师的某三级指标对应的发生频率不为0，则教师在该三级指标下的频率、多样性和层次性的得分不存在显著的相关性；
- 只要教师在任意两个三级指标上的得分有一个不为0，则教师在这两个三级指标上的得分不存在显著的相关性。
这两个假设的成立，保证了三级指标下的各个维度的独立性和三级维度之间的独立性，进而保证了我们可以将它们看成相互垂直的向量，并根据范数计算出其合成向量的大小。需要注意到此处的前提条件是三级指标对应的频率不为0，因为当频率为0的时候，其多样性或频率也必然为0，在此情况下讨论观测维度或者指标的相关性没有实际意义。
我们剔除了互动发生频率和讲授发生频率为0的教师数据，使用余下的51个非0的教师数据验证上述假设。如图2所示，我们生成了指标与观测维度的积差相关系数矩阵图，记录了教师的指标与观测维度得分两两之间的积差相关系数。
图2 数字化教学实施相关指标与维度的相关系数
可以看到，三级指标“课堂讲授”下的“讲授活动发生的频率”和“讲授活动多样性”之间的积差相关系数为0.2；三级指标“师生互动”下的“互动发生频率”和“互动方式多样性”、“互动范围多样性”以及“互动反馈性”之间的相关系数分别为-0.014、-0.026和-0.16，“互动方式多样性”和“互动范围多样性”以及“互动反馈性”之间的相关系数分别是0.45和0.28，“互动范围多样性”和“互动反馈性”的相关性为0.31。所有三级指标下的观测维度之间的相关系数的绝对值均低于0.5，基本上意味着观测维度之间的相关性很弱或者没有相关性，这一结果支持了假设1。同样可以看到，三级指标“课堂讲授”与“师生互动”之间的相关系数为-0.15（低于0.5），基本上意味着三级指标之间的相关性很弱或者没有相关性，这一结果支持了假设2。
综上所述，虽然我们可以看到，并不是上述所有的相关系数都接近于零，但是所有的相关系数都较小，确实反映了频率、多样性和层次性之间的正交关系。以“课堂讲授”和“师生互动”的散点图为例，如图3所示，我们很难从这样的散点图中发现两个得分存在着某种趋势，点的分布比较松散。
（三）指标与观测维度的计算结果
表3是我们计算出的课堂讲授和师生互动相关维度的描述性统计结果。其中，“课堂讲授得分”计算的是通过欧几里得范数计算的“讲授活动发生的频率”和“讲授活动多样性”构成的向量的大小，用来代表教师在课堂讲授方面的数字素养应用能力的综合得分，“师生互动得分”也是通过欧几里得范数计算的“互动发生频率”、“互动方式多样性”、“互动范围多样性”和“互动反馈性”构成的向量的大小，用来表示教师在师生互动方面的数字素养应用能力的综合得分。“课堂组织与管理得分”是通过欧几里得范数计算的“课堂讲授得分”和“师生互动得分”构成的向量的大小，用来表示教师在课堂组织与管理方面的综合得分。本demo之所以仅使用“课堂讲授”和“师生互动”两个三级指标计算二级指标“课堂组织与管理”，是因为未获取到“支持学生活动”和“课堂管理”相关的数据，所以在计算时默认为0，同样因为没有获取到三级指标“实时测评反馈”和“针对性指导”的相关数据，所以在计算时默认为0，带入到范数公式时0值并不会对数值造成影响。
表3 课堂讲授和师生互动相关维度的描述性统计
所有维度或指标的最小值是0，频率为0表示的是教师在每堂课上几乎不进行相关活动；多样性为0意味着没有进行任何活动，或进行的活动仅有一种类型，即行为是确定的；层次性为0意味着没有进行任何活动，只要其进行了任何活动，教师在层次性上的得分就不会低于1。就最大值而言，理论上频率的最大值上不封顶，而理论上多样性的最大值为
互动发生频率、互动方式多样性、互动范围多样性以及互动反馈性的中位数均为0，可能意味着绝大多数的教师未使用数字化工具进行师生互动。通过查看数据可发现，有84位教师没有进行任何互动操作。而教师进行讲授活动的情况相对较高，讲授活动发生频率的中位数为0.918，平均数为1.291，说明大部分教师还是能够每次授课都进行讲授活动的。所以相对而言，教师在教学中主要以开展讲授为主，互动为辅。
为了解教师们在各指数上的分布情况，我们绘制了全部指数和维度得分的直方图，如图3所示。可以看出，所有的直方图都呈现非正态分布，课堂讲授相关的分数分布较为连续，而师生互动相关的分数较为分散，且师生互动存在大量的0值，这与前面的分析结果相吻合。总体而言，任何维度或者指标上得分高的教师人数都较少，大部分教师的得分较低。
图3 课堂讲授和师生互动相关维度和指数得分的直方图
我们计算出的课堂讲授得分和师生互动得分也均呈现出左偏的趋势，也就是说，能够在频率、多样性或层次性多个方面都表现突出的教师比重较低，大多数教师数字化课堂讲授和师生互动处于低频率、低多样性和低层次性的状态。
为了更清楚地了解教师在课堂讲授和师生互动方面的数字化实践情况，我们分别对不同类型的数字化课堂讲授行为发生的次数以及不同类型的数字化师生互动行为发生的次数（详见表4）进行了统计。在课堂讲授行为中，发生较多的是“基于资源的讲授”（平均值为108.132）和“基于工具的讲授”（平均值为44.750）行为，发生次数较少的是“基于数据报告的讲授“（平均值为2.603）和”其他“（平均值为0.206）行为，且至少75%的教师没有进行”基于数据报告的讲授“和”其他“行为，而教师进行”基于资源的讲授“行为的数量的中位数在76.5，进行”基于工具的讲授“行为的中位数为12，说明大多数教师基于资源开展讲授，其次是基于工具开展讲授，几乎很少基于数据报告或者其他方式进行讲授。因此，教师可以通过适当增加基于工具的讲授行为和基于数据报告的讲授行为来提高自己讲授方式的多样性，从而提高课堂讲授方面的数字素养应用能力。
在师生互动行为中，四种互动方式发生次数的平均值最大的是“表扬式互动”行为（平均值为7.191），与之平均值相近的是“点评式互动”行为（平均值为7.118），“作答式互动”行为（平均值为1.397）和“讨论式互动”行为（平均值为0.853）都较少。其次，教师进行“与个人互动”行为（平均值为15.353）要比进行“与全体互动”行为（平均值3.934）更普遍，且几乎不进行“与小组互动”行为（平均值为0.007）。最后，教师较多地进行“结果型反馈互动”（平均值为7.191）与“过程型反馈互动”，互动反馈的整体表现较积极。教师可以通过更多地进行作答式互动和讨论式互动来提高互动方式多样性，通过更多地进行与小组的互动和适当提高与全体的互动来提高互动范围多样性，通过更多开展过程型反馈互动提高互动反馈性，进而提升师生互动方面的数字化应用能力。
表4 数字化师生互动行为发生次数的描述性统计
通过分析教师在各类行为发生次数的分布情况，我们可以为提高教师的数字化教学实施的应用能力提供针对性的指导建议。同样的分析思路不仅适用于教师群体，也适用于教师个体，不同的是在对教师个体分析的时候所观察的统计值不再是平均值，而是教师一段时间的行为总次数。
五、结论
通过以上分析，我们发现基于频率、多样性和层次性的教师数字素养指标体系构建思路，不仅可以生成相互独立的观测维度，为衡量同一三级指标下的不同方面的教师行为表现提供了丰富的信息，同时能够基于频率、多样性和层次性衍生出不同教学行为的相关观测维度，使得这一方法贯穿不同的教学场景，让整个评价模型具有扩展性。
