2022年10月11日下午，第二期新时代教育评价高端人才培养研修班第17次线上学习如期进行，本次培训特邀国内顶尖的教育统计与测评专家北京师范大学刘红云教授做《教育评价中的抽样设计和质量控制》的专题讲座。
专家介绍
刘红云，北京师范大学心理学部教授，博士生导师。中国教育学会教育统计与测量分会副理事长、常务理事；中国教育技术协会教育测量与评价专业委员会会长；教育部质量监测中心组建核心成员；普通高中、义务教育课程标准修订测试工作组的核心成员。专业领域主要包括心理与教育测评理论方法及其应用、高级统计方法进展及其应用等。主持参与多项国家自然科学基金和全国教育科学规划等国家级、省部级项目。荣获北京市第13届哲社优秀成果特等奖等多个奖项。在测量与数据分析领域发表论文百余篇，其中包括Psychological Methods，Structural Equation Modeling，Behavior Research Method，Multivariate Behavioral Research ，Psychometrika 等国际顶级期刊，主编测评和数据分析领域的教材和专著10余部。
刘教授的讲座内容丰富、专业性强，涉及很多专业性的统计知识，充分考虑到学员的研学水平和评价应用的需要，结合教育测评中实践，通过大量的实例分别从抽样设计的基本概念、教育测评中的抽样设计、两阶段分层pps抽样实施、加权和误差估计四个方面介绍抽样设计的核心知识和关注的问题，并结合抽样的过程介绍了教育评价中质量控制的相关议题及其重要性。
第一部分，刘教授为学员们梳理了抽样设计涉及到的专业术语，首先从与普查的对比中给出抽样调查的定义、特点及其应用场景，接着对抽样单元、总体、抽样框、样本、抽样误差、概念抽样和非概率抽样等基础概念进行了讲解，着重强调教育测评中常用概率抽样，刘教授同时用通俗易懂的实例对这些概念加以说明，为接下的课程内容打好坚实的基础。
第二部分，刘教授介绍了教育评价中经常用到的抽样设计，以及抽样过程中受到的影响因素。进行抽样设计是要多方面考虑的，要坚持三个基本原则：代表性、可操作性、经济性，在展示的国内外大型教育调查中的抽样方法和误差控制中，总结介绍常用的抽样方法分别是分层两阶段抽样、分层三阶段抽样。两种抽样模型在我国教育质量评价中都有广泛的应用，区别主要体现在两点：一是样本量不变时阶段越多误差越大、二是阶段越多操作性越好。接下来刘教授着重介绍了抽样设计中的误差控制，这也是抽样的核心部分，在抽样设计时要对抽样的误差进行估算，这部分涉及到了专业的统计知识，刘教授通过简单的实例分别介绍两种模型的误差控制，帮助学员理解抽样的影响因素，并能初步计算样本设计表，在可操作性和经济适用中不断权衡，找到最优的抽样设计。
第三部分，在了解分层两阶段抽样的基础上，以一个实例分十二步详细展示两阶段PPS抽样（学生人数成比例概率抽样方法）具体的做法，也为下一部分权重和标准误的计算打基础。同时刘教授也介绍了两阶段、三阶段抽样模型相应的抽样工具和软件，并展示了带了标注详细说明的R语言程序实现，帮助学员在理解的基础上快速掌握抽样工具的使用。
第四部分，刘教授介绍在完成抽样后，也有可能出现概率不一样的情况，概率不等权重也是不一样的，教育研究抽样调查中常需要对数据进行加权，并采用恰当的方法估计标准误差，在复杂的抽样中抽样误差是不能简单计算的，要考虑多方面因素，需要用其他的方法来估计误差。随后刘教授结合实例详细讲解了加权和抽样误差估计的基本思想和几种常用的具体方法。
最后一部分，刘教授在结合前面几部分讲解抽样的过程中强调质量控制的基础上，总结教育评价中质量控制相关议题及其重要性。并带领学员们就抽样质量保证、抽样误差控制、培训过程检视和数据采集过程等几个重要环节的质量控制进行梳理，同时强调在质量评估中每一个环节都很重要，所有的质量控制都是保障教育评估报告中数据准确的前提。
教育质量评估作为一种科学的评价手段，能够客观、全面掌握教育质量现状以及学生的综合素质，为教育决策提供可靠信息、依据和建议，为优化教育管理，改进教育教学工作提供重要参考，是提高教育质量的抓手，是引导社会舆论树立科学教育质量观的有效媒介。我们评价班的学员在各类评估实践中除了要认真履行职责，了解政策、熟悉规则外，还得掌握科学的抽样设计方法，今天刘教授3个小时的抽样设计讲座内容丰富、专业性强，具有很强的针对性和指导性，我们将以此次讲座为契机，在评价实践中进一步加强理解，融会贯通、学以致用。