美国课后服务循证质量评估的经验及其启示

摘      要  美国课后服务项目评估以促进青少年正向成长为价值导向，通过规范评估流程、强化问责认证、实施循证教育建立了质量保障机制。质量评估以持续改进为基本理念，以评估模型建构将概念具体化，在形成对评估质量维度的基本共识基础上开发多样化的评估测量工具，实现对课后服务项目的循证评估。其中，APT评估工具在项目质量评估中通过注重顶层设计、质量标准建构、测量精度把控、反馈循证效果等具体操作实现质量评估。借鉴美国循证质量评估的有益经验将对提升我国中小学课后服务的质量建设具有积极意义。

关 键 词  课后服务  循证评估  评估工具

引用格式  王嘉铭，江宝宜，王梦瑶.美国课后服务循证质量评估的经验及其启示[J].教学与管理，2023（31）：70-76.

20世纪末，美国国会首次提出“综合改革验证模式”，将实验控制与标准化测验作为评价教育改革成效检验的重要指标参考。相继颁布的《不让一个孩子掉队法案》（NCLB）和《每一位学生成功法案》（ESSA）都强化了循证研究产生的有说服力的显性证据对教育改革和实践的指导作用，并通过法律将学生学习成就、政府财政拨款、学校质量改进等与之挂钩，形成强有力的问责评估机制。课后服务作为K12教育的重要延伸，已经纳入美国循证教育的质量评估范畴，国内学者已经注意到美国课外教育质量在保障机制建设上的具体做法[1]，以及开展循证评估需要经历的大致流程[2]，但对于如何有效开展和实施具体的课后服务项目评估，以及运用何种测量工具开展评估尚缺少实质探讨。随着“双减”政策深入实施，课后服务的高质量发展也迫切需要解决质量评估的现实问题，因此有必要从宏观和微观的角度深入研究课后服务的循证评估问题。

一、美国课后服务循证质量评估的价值意蕴

1.促进正向成长

美国中小学课后服务从解决美国妇女参与社会工作后引起的青少年放学后监管难题入手，旨在解决美国青少年普遍面临的肥胖问题、学业问题和风险行为等社会问题的同时，促进青少年积极健康成长。课后服务项目作为教育的延伸手段，其根本目的在于创设有利于少年儿童自我意识成熟的内外部环境，发挥家庭、学校、社会育人的合力，缩小因教育差距导致的种族和阶层不公。当前，对于正向成长教育的探讨分为理论假设与实证检验两种观点。理论层面，埃里克森发展心理学提出的自我实现的观点认为，信任、自主性、主动性、勤奋、同一性、亲密等属性是促进青少年健康成长的关键，也有学者将正向发展归结为“5C”，即胜任力（competencies）、自信心（confidence）、关联性（connection）、品性（character）、仁爱（compassion）等[3]。实践层面，社区项目实践者和课后服务研究者通过大量的学校课后服务项目、青年俱乐部、青年发展项目或非学校课内或校外项目实践，提出基于“致力于学习，积极向上的价值观，社会能力（包括规划能力以及人际和文化交往能力），积极的身份认同，利用时间的承诺，以及自主和责任”在内的促进教育福祉的质量发展观[4]。美国社区青少年项目委员会将基于社区的课后服务项目发展描述为促进青少年正向成长的四个方面：生理发育、智力发展、心理和情绪发展，社会发展等。理论和实践的双重研究表明，促进青少年正向成长不仅取决于其个体发展的生理和心理因素，也取决于社区服务项目是否能提供促进正向发展的外部氛围，包括身心安全感建构、正向支持的关系、平等交往的机会、符合社会规范的价值导向、充分学习的机会，以及家庭、学校、社会共同体建设等。因此，能在客观上满足个体发展需要与兼顾课后服务发展良性外部环境的课后服务项目成为课后服务质量评估的首选要素。

2.强化问责认证

在总结NCLB教育改革经验的基础上，ESSA弱化了对考试成绩和毕业率的片面关注，通过强调全面问责的重要性，从学业成绩以外更广阔的角度看待学生和学校的成功，将教育政策实施的一致性、教育过程中的投入与参与、教育产生的实际效果等作为评估的参考指标[5]。此外，ESSA规定各州要建立系统的评估方法，使所有学生有平等的机会，为上大学和职业生涯做好准备。21世纪社区学习中心项目（21st Century Community Learning Centers，21st CCLC）明确提出项目改进和提供学术有效性证据的双重评估建议，包括课后服务项目需求的数据，拓展高质量课外服务学习机会的数据，以及满足学术标准要求达成度的数据[6]。美国分权教育体系的特殊性决定市场机制参与课后服务项目运作的程度更高、范围更广，包括基金会、社区和学校等多重利益相关者也迫切需要了解课后服务项目的运行状况和对学生正向成长的激励作用。为此，非营利组织、专业行会、基金会和高校，以及准政府机构纷纷提出基于共同参考标准的认证体系，从而实现对课后服务项目的认证评估。20世纪末，美国课后学校联合会（National After-school Association，NAA）开始研制学校照护服务质量标准，此后30个州陆续出台课后服务质量标准，并研制特定的测评工具用于课后服务质量评估[7]。作为面向社会的外部评价，基于对课后服务质量标准和评估流程的管理，认证成为对教育行政问责的有益补充，也具有相当的公信力。问责和认证在促进课后服务质量建设的整体理念上都秉持“质量改进”的思想，旨在根据学校循证教学的策略和因地制宜的举措实现课后服务的持续改善。

3.实施循证教育

基于科学研究指导改进教育实践是美国当前教育改革的重要指导性原则。2001年以来，联邦政府颁布的《不让一个孩子掉队法案》（No Child Left Behind Act，NCLB）和联邦K-12助学金项目倡导教育从业者使用“基于科学的研究”来指导教育改进。2003年的循证教育指导手册对于强证据的教育实践需要以随机对照实验和两次以上的实验检验作为验证，弱证据的教育实践需要以有限的随机对照实验和实验组和对照组在学业成就，人口统计和其他特征上较为接近的变化为验证[8]。2015年，《每个孩子成功法案》（The Every Student Succeeds Act，ESSA）再次确立地方教育行政机构要以循证方式进行教育评估。ESSA法案循证教育框架将循证教育定义为“在提高学生成绩或其他相关结果方面具有统计学上的显著效果，或者基于高质量的提高学生学习结果或其他相关结果的积极的评估活动、策略或实验结果验证的理论”[9]。对于证据的可靠性又细分为基于设计良好、有效实施的实验研究强证据，对标实验变量的因果关系解释；基于设计良好和有效实施的准实验研究基本证据，对标一定程度的学习成果改善；基于设计良好和有效实施的相关研究期望数据等，对标大样本受教育对象广义上的有效性。为促进循证教育结果的有效传播，美国教育部还通过设立教育科学研究院作为专门从事循证教育元研究的机构，该机构按照循证研究标准定期发布对有效循证教育干预的评级报告，从而促进循证研究对教育实践的持续改进和反馈政策制定。

二、美国课后服务循证质量评估的特征

高质量的课后服务评估需要对质量标准进行科学界定，并通过定性和定量的评估工具收集循证数据。由于课后服务质量大多涉及活动参与程度，参与状态、兴趣与关注点、脱离活动或分散注意力的行为以及与他人的积极互动等显性指标点的直接观察，因此学校观察评估既可以用于学校基于质量改进的项目自评，也可以用于参与外部行业认证，并将评估结果与质量问责关联，及时向社会反馈项目整体质量，从而为管理者和实践者从主客观方面提供有效的后续决策依据[10]。

1.围绕“持续改进”开展评估

持续改进作为一种教育质量改进的理念对美国课后服务项目具有明确的指导意义。一是持续改进是一个渐进变革的协同创新过程，需要不断尝试和共同努力。二是持续改进需要以评促改，基于问题导向，通过实证调研指导改进，在改进中不断强化组织纠错学习。三是注重先行先试，坚持改革由小规模试点向大规模应用逐渐过渡[11]。持续改进的理念反应了教育质量问责由强化外部质量标准适应向内部质量保障机制生成的逻辑转变，从强调学业成绩提升的单一维度向促进青少年健康成长、学业提升和就业准备的积极正向发展观的转变。

学校课后服务项目需要通过基于具体情境进行评估、改进和再评估，逐渐实现由量变向质变的转化。从持续改进的根本目的看，需要满足项目自评的质量改进与第三方评估的监测认证，前者是通过评估工具测量一定标准下的质量表现，后者是通过认证机构的评价实现质量认可的合法性授权。其中，观察评估工具的使用主要测量学生参与课后服务活动的质量和成效，从而吸引家长优先选择特定课后服务项目。服务项目的质量评估主要取决于教师的教、学生的学、服务开展的内容以及学生获得的学习体验。服务项目的成效评估包括学生参与课后活动后获得的技能提升以及在身心发展、学业提升和职业准备方面获得的长期影响。为确保课后服务项目形成持续改进的机制，项目评估需要明确项目负责人的权责、运用评估工具开展评价反馈、常态化进行专业发展培训、形成利益相关者多元参与的评估模式。

2.围绕“逻辑模型”优化评估

质量评估需要建立目标导向的愿景，基于课后服务的具体情境，形成一套有效测量学习过程和学习成果的实施方案，这一方案将明确评估的过程、策略或实践活动，以及最终评估的呈现方式，因此也被称为评估的“逻辑模型或评估框架”[11]。研究表明，成功的课后服务项目取决于高素质教职员工、人际沟通技能提升和稳定的资源投入、良好的师生沟通等因素[12]。因此，有学者提出“质量—参与—技能—迁移”逻辑模型（The Quality， Engagement，Skills，Transfer model，QuEST）（见图1）[13]，该模型将高质量课后服务评估归结为彼此关联的整体，包括学习内容和学习体验的质量，激发学生学习和动机的学习机会，反复学习对技能和认知的提升（过程性目标），以及最终在学校教育中表现的学习成就（结果性目标）。具体而言，建构逻辑模型有助于将评估落地实施，形成便于操作化的执行方案。一是理清项目的目标，明确评估目的。评估目标设定包括参与课后服务所获得的知、情、意、行方面的短期提升，以及在家庭、学校、社会成长的各个方面所获得的长效影响。二是开展评估的情景分析，识别与项目目标关联的条件要素和因果关系。评估情景分析旨在梳理项目开展的资源投入、主题活动和受益对象的特征，为选择评估重点和测量工具提供思路。三是规划课后服务项目评估的中观和微观策略，以及具体对标评估指标点，确保评估具有可操作性。具体指标点的测量需要考虑观察评估形成性评价的适用性，重点对青少年活动参与、人际关系、师生关系、教学策略、教学活动、教学内容与结构等不便于进行问卷量表调查的指标进行实地观察。

3.围绕“质量认证”推进评估

质量认证是课后服务机构获得外部质量评价的捷径，获得项目认证将为参与课后服务的教师提供更好的专业发展机会，也为项目发展获得更多的物力资源支持。认证需要兼顾内部评估和外部评估，过程评估和结果评估，并通过改进问题提升质量从而完成认证。内部评估是针对一定质量标准或评估工具开展的项目自评，需要对标认证标准客观收集质量数据，反馈真实问题。外部评估是由评估教练、评估专家或认证代表等对课后服务项目进行的实地考察和现场交流，验证自评数据的准确性。

课后服务的评估认证一般由非政府组织的第三方机构开展，其中美国认证委员会（Council on America，COA）作为独立的、非营利性的全国性认证组织，专注于青少年发展项目的评估认证。其通过与美国课后学校联合会等专业行会合作发布课后服务质量标准，并将循证评估工具应用于项目评估。评估事项分为行政管理、服务管理和服务技术管理三类分项标准，既可用于对同伴人际关系、师生关系、活动参与、家庭与社会衔接等服务通用指标点的评估，也可用于对艺术、健康、学业等特色课后服务项目的指标点评估。为此，美国课后学校联合会（NAA）、国家校外时间研究所（National Institute on Out-of-School Time，NIOST）、纽约州放学后网络（The New York State After-school Network，NYSAN）等分别开发了基于质量标准的评估工具，便于课后服务项目开展自评和他评。相关研究表明，美国共有十项课后服务评估观察工具得到实践广泛认可，包括课后项目实践评估工具（Assessing After-school Program Practices Tool，APT）、社区组织资源促进学习观察工具（Communities Organizing Resources to Advance Learning Observation Tool，CORAL）、校外时间观察工具（Out-of-School Time Observation Tool，OST）、项目观察工具（Program Observation Tool，POT）、项目质量观察量表（Program Quality Observation Scale，PQO）、项目质量自评工具（Program Quality Self-Assessment Tool，QSA）、实践评定量表（Promising Practices Rating Scale，PPRS）、质量保障系统（Quality Assurance System，QAS）、学龄保育环境评定量表（School-Age Care Environment Rating Scale，SACERS）、青少年项目质量评估（Youth Program Quality Assessment，YPQA）[14]。这些工具根据可比较的、基于研究导向的指标点定义具体的质量评估，相关课后服务项目可以根据服务的定位和需求，选择相对应的评估工具，并在评估专业人员的指导下完成自评与认证。总体而言，认证作为确保课后服务质量的重要手段，由行业协会和第三方机构确定总体评估认证框架和标准，再由基金会、社会组织和行业协会参与不同地域、不同形式的认证评估，最终地方教育主管部门认可质量评估结果，并向社会和公众发布信息。