人工智能教育应用的伦理风险及其应对研究

摘要：人工智能教育应用的伦理议题主要包括教育大数据引发的隐私安全问题、智能机器对人类教师职业造成的威胁、个性化学习算法存在的伦理冲突、教育领域数字鸿沟带来的伦理危机、智能教育发展对社会美德的冲击等多方面的伦理问题。究其成因，与技术主体的职业素养“失守”、伦理自主性受限，用户技术崇拜、能动性丧失以及社会层面的监管不力、伦理规范缺失等关联密切。人工智能教育应用要构建伦理规范体系，完善问责体制，健全算法审查及数据监管机制以及建构以人为本的伦理共识。

关键词：人工智能;智能教育;伦理;算法近年来，各国纷纷将发展人工智能作为提升国家竞争力、维护国家安全的重要战略。我国也制定了多项人工智能发展战略，快速推进人工智能技术与社会经济各个领域的深度融合。教育是人工智能应用的一个重要领域，人工智能教育的发展潜力，吸引了大批互联网企业、科技公司入局，产生了多种智能教育应用形式和大量的应用案例。与此同时，人工智能教育应用由于缺乏有效的技术标准与“强制性”法律手段加以规约，引发的伦理争议严重制约了行业发展。

一、文献综述

Holmes等[1]学者在2018年人工智能教育应用（AIED）研讨会上指出，目前有关研究、开发和部署在本质上仍是在道德真空的环境下进行的，几乎还未形成任何方针、政策、法规来解决在教育领域应用“AI”所引发的特定伦理问题，提出了建构人工智能教育应用伦理规制的现实需求。苏明等（2019）[2]基于马克思主义技术批判和人的全面发展理论，对人工智能教育应用进行价值审视、公平性审视、人性审视、责任审视和终极目标的审视，提出要警惕人工智能可能产生的异化作用，促进人工智能教育应用的良性发展。Morley等（2020）[3]梳理了人工智能伦理争论的演变，认为如今围绕人工智能的道德辩论主要集中在人工智能的伦理原则是“什么”上，并提出人们的伦理风险意识和缓解相关风险的能力明显脱节，应在AI产品设计开发的各个方面应用道德规范。Berendt等（2020）[4]认为，人工智能的教育应用不仅会影响数据保护和隐私，还会影响公民的基本权力。鉴于AI的全球影响力，应该在跨国级别对其进行监管，由联合国等全球组织来承担这一角色。

围绕教育公平和人类教师能否被代替议题，Hilbert（2016）[5]认为人工智能可能是一种破坏性的技术，会加剧现有的不平等和分歧，导致新的数字鸿沟。刘盾等（2019）[6]从哲学与伦理的视角，对人工智能对教育的冲击与颠覆展开分析，指出人工智能的教育应用可能导致人与教育分离、科技依赖、职业危机等伦理问题。Cope等（2020）[7]通过分析机器智能的本质及其教育应用的局限性和潜力，认为人工智能的工作原理和作用始终与人类智慧有很大不同，它将永远不会“代替”教师的角色。Tan（2020）[8]探讨了数字教师能否在精神教育中替代人类教师的问题，认为数字教师能作为“人工智能伙伴”在传播知识和技能方面发挥作用，但在作为学生的道德精神指导者和行为榜样方面则无能为力。

在具体应用层面，Floridi等（2018）[9]认为利用AIDA数据分析技术对发展适应性学习有重要作用，但在数据收集、使用，算法设计、应用的过程中都可能会面临伦理难题。Annabel Latham等（2019）[10]为研究人工智能教育应用伦理提供了受众视角。何亿宁等（2019）[11]对人工智能课程与伦理道德教育的融合进行了探讨，指出应当适当地加入道德教育的元素，均衡其固有的技术性偏向。Perrotta等（2020）[12]质疑机器学习能否用于教育，通过对智能辅导系统和“深度学习”算法预测教育表现案例的分析，认为用此类算法处理教育数据有诸多不合理性。

人工智能应用于教育存在一定的伦理风险已成共识，不过多数对人工智能教育应用伦理问题的讨论包含在以智能教育发展或具体的教育应用场景分析为主题的研究之中，总体上还停留在抽象价值的提取和共识构建阶段。全面、系统地审视人工智能教育应用的伦理问题，有助于促进其高质量发展。

二、人工智能教育应用伦理风险

（一）过度资源依赖潜藏伦理危机

1.教育目标发生偏移。纵观技术的发展历程，科学技术的进步实现了人对自然的有效控制，然而人在肯定技术价值、消费技术所带来的物质资料的过程中，却失去了批判精神和否定意识[13]，人工智能教育应用亦是如此。教育对人工智能技术的一味追逐，可能导致教育教学的核心发生偏移。一方面，多元化的教学资源，满足了学生的个性化学习需求，但使得传统的教师和学生的二元关系，变成了教师、产品、学生的三元关系，进一步拉开了师生之间的心理距离。另一方面，人被量化、标签化的现象普遍存在，用数据来描述人的特性，有将教育标准片面化、教育过程流水线化的嫌疑。过度追求数据层面人的成长，会出现技术对教育的控制和垄断。

·教育基本理论·人工智能教育应用的伦理风险及其应对研究2.理性工具化的泥淖。技术体现了主导性的思考和行为模式，是控制和支配的工具。[14]技术的发展造就了一个自成体系的机器世界，人们也就越来越根据实证科学的思维方式来调整自己的行为与价值理念，理性越来越工具化了。[15]人工智能为教育带来了诸多变化和美好预期。然而，人工智能让机器越来越像人，教育却让人变得越来越像机器，这样的教育最终结果是让学生被迫记住一大堆对付考试要用的东西，却逐渐丧失了学习能力、创新能力。[16]学生不再运用大脑（以及认知、感知和注意）理解教学内容，这与教育的本质和追求背道而驰。从教育者采用智能应用开始，技术就在“筹谋”反客为主之道，由服务者变成控制者，从技术融入教育，到教育者过度依赖技术，理性越来越工具化，最终落入被技术掌控的“泥淖”。

（二）教育大数据引发信息安全问题

大数据、深度学习等关键信息技术的突破和成熟，引发了第三次人工智能浪潮。与大数据技术相关的在数据采集、存储和使用中面临的隐私泄露、信息安全问题，与深度学习算法有关的算法黑箱、歧视问题等，也顺延到了人工智能应用的各个领域，教育应用也不例外。

1.隐私边界更加模糊。大数据时代，隐私的边界越发模糊，各类数据都可能被挖掘、预测甚至监控，人在网络空间越发“透明”。2019年初，西南地区十余所中小学试水智能校服，在网络上引发了对此类智能产品是否侵犯未成年人隐私权的热议。这些敏感数据的收集、存储、使用、监管等全然由智能教育科技公司自主进行，因而外界对“收集敏感数据如何使用”“监测设备是否会影响使用者的身心健康”等问题的质疑之声也未断绝。随着在线教育用户规模的快速增长，各类教育App过度收集用户信息的现象屡禁不止，教育平台泄露用户信息的事件时有发生，引发了社会对个人隐私和智能教育应用的担忧。

2.数据安全难以保障。大数据、机器学习、深度学习等技术的协同探索，为用户“个性化学习”提供了实现的可能。但是，数据收集标准不统一、处理规范不完善带来严重影响了人工智能教育应用的有序发展。因服务器安全措施不到位、防火墙漏洞等导致用户信息泄露的事件时有发生。人工智能技术给非法入侵者提供了“过墙梯”的资源，对用户的数据安全造成严重威胁。

（三）个性化学习算法潜存伦理风险

算法是人工智能的“灵魂”，但由于算法本身的复杂性以及技术公司的排他性商业政策等，“算法黑箱”普遍存在且很难被打破。此外，数据的中立性、客观性难以保证，算法存在诸多固有偏见，可能导致一系列的负面影响。

1.算法的不透明性忽视了人的知情权。以深度学习和神经网络为代表的人工智能，是数据驱动的不确定性智能。其不确定性主要体现在算法并不能完全为其主导者和设计者所左右。[17]人工智能教育应用中的个性化推荐算法可以描述成一个未知的“黑箱”，算法以用户的各方面数据为基础发挥作用，为用户量身定制个性化学习服务。用户却几乎无从获悉算法的设计者、持有者[18]，对推荐个性化学习内容的生成方式更是一无所知。利用不可解释的个性化学习推荐算法，对海量的教育数据进行分析，最终生成的结果是否合理，能否用于指导学生的成长发展，争议颇多。即便数据透明，对人的隐私保护、知情同意、信息安全是否一定是正向影响，也很难确定。

2.个性化推荐算法限制了人的选择权。机器学习算法是基于社会整体“大数据集”而形成“规则集”并应用于具体场景的过程，暗含着以整体特征推断个体行为的逻辑。[19]算法本身并非是绝对客观、无情感偏向的，算法的设计无一例外都是为了实现一定的目的，其中或明或暗地渗透着主导者的意图与能动性。推荐算法自主运行输出个性化学习方案这一过程，在某种意义上，收束了用户的自主选择权，可能对用户的成长发展产生负面的影响。如今，个性化学习、个性化辅导、个性化学习计划定制已成智能教育的“标配”。然而，利用智能教育应用的推荐算法生成的个性化学习课程，是用户需要的“因材施教”的“良境”，还是选择受限的“信息茧房”的“困境”，尚难定论。

（四）数字鸿沟困境与教师职业威胁

1.数字鸿沟的困境。有学者指出，以慕课为代表的在线教育确实为部分弱势群体、教育贫困群体带来了获取优质资源的契机，但它从接触率到有效使用率都偏向在经济条件、设备基础、知识储备等方面更具优势的群体，这可能会助长而不是削弱已有的教育不公平问题。[20]此外，人工智能教育应用一直被寄望于对特殊人群有所帮助，对其生理缺陷有所“补足”，但实际上这些人群几乎被排除在人工智能教育应用的用户之外。这与其媒介使用情况、智能设备持有率、特殊用途教育应用的市场有限性等外部条件不无关系，无形之中扩大了“数字鸿沟”。

2.对教师职业的威胁。人工智能终将迈入新的发展阶段，智能机器带来的职业威胁并非妄言。如今，人工智能教育应用已经远超了普雷希和斯金纳时代教学机器的意义，它不仅涉及教学环节中的某种工具或具体技术问题，而且包含了对人类教育任务的根本挑战。虽然现阶段的人工智能教师还不能完全发挥人类教师的作用，它在智能问答、信息储备、处理重复工作等方面所具有的优势，尚不能均衡它在情绪感知、精神引领方面的乏力。但随着智能程度的提升，两者之间势必将暴露出更多的伦理冲突。

三、人工智能教育应用伦理风险根源剖析

（一）技术主体的失范

由于应用开发者，即技术主体的伦理行为有个体型技术主体的伦理行为和组织型技术主体的伦理行为，所以可以将技术主体的行为失范分为个体型技术主体的行为失范和组织型技术主体的行为失范。[21]

1.职业素养“失守”。古人讲“三不朽”：立德、立功、立言。即便此后更高形式的机器智能能达到立功和立言的结果，立德也永远不会被取代。[22]然而事实证明，经济因素、政治因素、社会因素等外在条件能轻易越过技术主体的职业道德“屏障”，导致伦理失范行为。技术“中性”论认为，技术本身无所谓善恶，它无非是中性的工具和手段，技术产生什么影响，服务于什么目的，不是技术本身所固有的，而取决于人用技术来做什么。[23]所以，技术实施者自身的道德素养“失守”，以经济等原因作为智能应用开发的首要考虑因素，是导致此类伦理问题的主要原因。

2.伦理自主性受限。伦理自主性是指技术主体在开展技术活动的过程中，能动地进行行为判断和道德选择，并自主承担相应的伦理后果的特性。技术主体这个角色本身有一定的矛盾性。他一方面受雇于企业，是技术活动的实施者、企业利益的生产者和企业发展的获益者。需要遵循相应的企业规范，完成上级管理者分配的工作任务，参与以公司利益为主导的技术开发等。另一方面，技术主体作为社会公民，有遵守社会道德规范。其在实施技术行为的过程中有坚持伦理自主性，甚至在冲突发生时与企业利益进行协商的必要。在现实生活中，当技术主体的伦理自主性被上级管理者或更高层面的利益所抑制，技术主体应有的职责操守往往会做出退让和妥协。人工智能发展到现在，其与教育融合引发的伦理问题虽然有部分可以用传统的伦理原则来审视，但更多的问题是全新的，需要新的行业规范从根本上提升技术行为实施者的伦理意识和道德素养。