人工智能防欺凌系统应用的法律风险及其预防

摘 要 实践中的校园欺凌具有明显的隐蔽性，为提前发现和及时制止欺凌行为，基于人工智能的防欺凌系统应运而生。涉及防校园欺凌的人工智能包括决策式人工智能和生成式人工智能。校内外基于人工智能的监控系统侧重于分析与判断欺凌行为，当前需要的是决策式人工智能。而目前大规模的网络欺凌涉及AI换脸、AI造谣等深度伪造技术的生成式人工智能，所以人工智能防网络欺凌系统是基于人工智能的攻防对抗。人工智能在中小学校园应用也面临一系列法律风险，因此应继续健全防范未成年人个人信息数据、隐私数据泄露的法律制度，保障未成年人隐私权益不受侵犯。

关  键  词 人工智能防欺凌系统；人工智能；校园欺凌；数据安全

引用格式 孙倩.人工智能防欺凌系统应用的法律风险及其预防[J].教学与管理，2025（05）：11-14+19.

近年来，虽然在不断深入和推广青少年法治教育，但中小学校校园欺凌、校园暴力事件频频发生，且屡禁不止[1]。根据中国人民大学中国调查与数据中心（NSRC）设计与实施的中国教育追踪调查（CEPS）（自2013年追踪到2018年）显示，从小学到高中，有75.3%的学生遭受过至少一种形式的校园欺凌，其中只有五分之一的受害者选择了向家长或学校倾诉[2]。2017年联合国教科文组织发布的《校园暴力和欺凌全球数据报告》显示，有32.5%的学生遭受过校园欺凌，其中30%的受害者选择保持沉默，59%的学生在看到他人被欺凌时也选择了沉默[3]。这些被欺凌者的共同特征是语言表达能力较弱，不会反抗或不敢反抗，容易被威胁、恐吓，缺少倾诉的对象。所以，单从欺凌加害者和受害者出发，加强管理和教育引导是不够的，还需要外部力量干预，只有提前发现和当场制止，才能有效保护学生的身心安全，避免事态严重化，及时化解诱发校园欺凌案件的风险。

一、人工智能防欺凌系统在校园欺凌事件中的应用

为防控校园欺凌，2018年，教育部颁发《教育信息化2.0行动计划》，强调智能化教学环境的建设[4]。目前我国已有部分中小学试点使用“智慧校园”系统，对校园开展智能化、智慧化监控。目前中小学校采用的AI防欺凌系统有两大类，即视频AI行为分析预警系统和AI语言识别终端。

1.人工智能在防控校园欺凌方面的优势

相对于中小学校动用大量的人力、物力去预防和控制校园欺凌，利用人工智能监测欺凌行为有多方面的优势。

首先，人工智能能够预先判断和发现欺凌行为，并及时制止。一方面，中小学生之间的打闹、推搡、吵架等行为不能一概认定为欺凌行为；另一方面，中小学生之间的欺凌行为非常隐蔽，因此单靠人力是远远无法防控校园欺凌的。实践中，中小学师资力量有限，还承担着繁重的教学任务，不可能分出足够的人力去盯着所有的学生。然而，基于人工智能的视频监控基本可以实现24小时不间断监控，并且通过算法、数据分析、统计分析，预先判断欺凌行为，并及时发出警示语音，通知安保人员。这样既能够防控欺凌行为，对于欺凌者也是一种震慑。

其次，以人工智能判断欺凌行为具有客观性，有利于减少家校纠纷。因为人工智能防校园欺凌系统的决策过程基于算法和数据分析，相对于中小学教师和学校管理者的主观判断更客观和公正，并且有视频证据或音频证据为佐证，更容易令欺凌者的家长接受。同时人工智能的应用也减少了人为因素的干扰，降低了欺凌行为判断错误风险和学校及教师处理欺凌行为不公正的隐患，进而纾解了很多家校纠纷，有利于家校协作。

再次，节省人力成本。在嘈杂的中小学校园及其周边布置的人工智能防校园欺凌系统能够全天候工作，并在欺凌行为发生时迅速发出警报，大大节省了人力的使用。

最后，更好地防范社会风险。一方面，人工智能防校园欺凌系统能够快速地处理大量的欺凌行为数据，形成行为分析报告，为学校德育工作者有针对性地做好学生德育和心理健康教育提供素材。另一方面，人工智能在欺凌行为的社会效果评估和社会风险判断方面发挥着重要作用，能分级分类处理不同的欺凌行为，预防欺凌行为产生严重后果。

2.人工智能防欺凌系统应用的几个重点领域

涉及防校园欺凌的人工智能包括决策式人工智能和生成式人工智能。校内外基于人工智能的监控系统侧重于分析与判断欺凌行为，而当前需要的是决策式人工智能。目前大规模的网络欺凌涉及AI换脸、AI造谣等深度伪造技术的生成式人工智能，所以人工智能防网络欺凌系统是基于人工智能的攻防对抗。

一是针对各种欺凌行为特质制定应用人工智能的方案。根据目前的调查和研究，校园欺凌行为主要表现为显性的欺凌和隐性的欺凌。显性的欺凌主要表现为重复的暴力攻击行为，如拳打脚踢，及言语欺凌，如起外号、嘲讽、辱骂、恐吓、与性有关的不当评论等。隐性的欺凌主要表现为人身侮辱，如故意向别人吐痰、故意绊倒或推搡、抢夺或故意毁坏某人物品、作侮辱性手势、在其身体或衣服上画侮辱性图案等行为，还有设置社交障碍，如故意忽视、集体孤立排斥、不让其他同学与某人做朋友、故意经常当众令某人难堪、撒播谣言等行为，以及强迫提供侮辱性服务，如擦屁股、擦鞋等行为，甚至性骚扰等[5]。根据各种欺凌行为的特质，可以采用视频监控、音频监控的形式，以欺凌中特定的语言触发预警系统，健全智能监控系统。

二是针对遭受欺凌对象的特征制定应用人工智能的方案。根据调查，遭受欺凌的孩子多集中在几个群体，如家庭经济条件很差的孩子、经历家庭暴力的孩子、在郊区就读的孩子、寄宿生、留守儿童、单亲家庭孩子[6]。根据受欺凌对象的特征，建立校医院到各级医院的未成年人伤情、病情强制报告制度，出现类似伤情即自动触发公检法的预警系统。同时着力构建中小学智慧校园系统，通过监控这些特殊群体孩子的校园卡消费状况，开发预警系统，对超出该学生日常生活水平的大额消费或支取行为进行预警。

三是针对欺凌行为发生场所制定应用人工智能的方案。根据调查，中小学校园内的宿舍、教室、厕所、走廊楼梯、操场为欺凌行为高发地[7]，某些特定的学校，比如打工者子弟学校、收费比较高的民办学校是欺凌行为高发的场所；校外来说，上下学路上、校车、少年宫等与学校相关的场所，学生居住的小区或街道、补习班，以及很少有人去的偏僻角落等学校和社区监管的真空地带都是校外欺凌的多发地[8]。另外，新兴的民宿、日租房等也是违法犯罪、校园欺凌的多发地。学校的宿舍、教室、厕所、走廊楼梯、操场等场所，可以安装视频监控、音频监控。对打工者子弟学校和民办学校则进行重点监控。对于校外与学校相关的场所，可以动用人工智能做到监控全覆盖。对于其他学校和社区监管的真空地带，则需要提前通过学校内外的人工智能预警系统进行排查，因为绝大多数的校园欺凌都是持续的，并且有预谋的。而对于学校附近的民宿、日租房，则需要监管部门加强监管，严禁这些场所向未成年人开放。同时优化人工智能防欺凌系统，将民宿、日租房等关键词纳入预警系统。

四是针对网络欺凌制定应用人工智能的方案。随着社交网站的盛行，网络欺凌成为越来越严重的社会问题。很多未成年人涉及或参与网上欺凌，而欺凌者在线虐待、骚扰、歧视、威吓、羞辱和折磨对方的行为很容易逃脱法律的制裁。人工智能与网络欺凌的融合，使网络欺凌的危害被无限放大，基于AI的深度伪造欺诈、造谣、诽谤，以及钓鱼邮件、AI数据“投毒”等已经不再只是网络欺凌，而是关系到网络安全的重大问题。

在当前人工智能时代的网络环境下，对网络欺凌的治理需要上升到网络安全的视角，探求多主体、多层次的合作治理，将网络服务提供者、用户、政府都纳入其中，构建多元参与、互动协作的风险治理共同体[9]。一方面，从网络从业者的角度，加强网络服务商的社会责任，推进AI与网络安全融合创新。整合现有的可以检测欺凌内容的AI系统，基于网络欺凌数据统计，研发网络AI防欺凌系统，将防欺凌系统与网络安防系统挂钩，实时分析学生在社交网络上的发言，以侦测包含欺凌内容的信息，同时向学生管理者发出警告，保障校方能够及时介入、处理。另一方面，从政府的角度，除了采取行政规则和刑事规则的路径外，还需要考虑如何与网络服务商合作，共同抵制网络欺凌，维护网络安全。比如，在审核专利环节设置AI伦理师，审核此项AI专利技术在伦理、法律方面的合规性。再比如，设置研发项目基金，鼓励网络服务商、高校、教育部门参与研发基于人工智能的防网络欺凌系统，指导各级各类学校建立、使用校内网域的社交网站。

二、人工智能防欺凌系统应用面临的法律风险

人工智能防欺凌系统的应用涉及的风险包括数据保护、个人信息安全、隐私防护。

1.个人信息数据、隐私数据的安全风险

在广大中小学应用人工智能防欺凌系统，实现了智能视频、智能音频全覆盖，以及人脸识别、行为分析技术的广泛应用，会产生大量的未成年人的人脸信息、生物信息，这些信息一旦泄露，会滋生一系列犯罪。更为严重的，会为违法犯罪行为大开方便之门。比如，从校园的智能监控系统获取的未成年人人脸信息、生物信息，可以帮助犯罪集团锁定拐卖的对象。再比如，在宿舍、厕所等隐私区域大规模地安装智能音频监控，会造成未成年人隐私的大规模泄露。因为人工智能防欺凌系统每天会产生大量的声音、图像、行为数据，这些数据在联网的状态下是通过采集、处理被上传到云端，通过“云存储”保存起来。

一是“云存储”运营服务商的数据安全义务及责任并不明确，数据泄露风险极高。“云存储”是借助网络，运用应用软件，为用户提供数据存储及访问功能的软硬件相结合的数据集合系统[10]。这种数据集合系统往往由专业的第三方运营机构负责运营和管理，即云运营服务商。实践中，服务商是通过与用户订立合同的形式为用户提供数据的云端存储服务，一般是由服务商事先制定统一格式的合同范本。“云存储”服务涉及多元化的存储模式，包括公共云、私有云和混合云几种类型。“公共云”的云存储空间是面向社会所有用户的。中小学人工智能防欺凌系统产生的数据涉及未成年人的信息，只能存储到“私有云”空间。而订立“私有云”存储合同的双方当事人均为相对单一的法律主体，他们往往以云运营服务商提供的合同为基础，在此合同的基础上，用户和云运营服务商就某些条款进行协商，虽然有民法典格式条款的保护，但云运营服务商往往因其在技术能力、信息占有度等方面的优势而占据强势地位，导致最终的协商结果无法体现用户的真实意思和保障用户的合法权益[11]。而一旦建立起相应的“云存储”服务合同，用户的数据上传到云端虚拟服务器后，用户即丧失对数据的绝对控制权[12]。目前在司法规制云运营服务的法律框架下，云运营服务商很容易利用格式条款及专业术语规避自身的数据安全义务及责任。考虑到未成年人的图像、行为、生物信息数据背后巨大的黑色产业链及经济利益，云运营服务商如果参与其中，那么问题就不仅仅是信息泄露，很可能会同国际人口贩卖利益链打通，后果不堪设想。

二是数据的用户主体不明确，极易引发家校纠纷。人工智能防欺凌系统产生的数据的所有权主体并不明确，所以与云运营服务商订立“云存储”合同的用户具体是指哪一个法律主体，是使用防欺凌系统的学校，还是被监控的未成年学生及其监护人，存在一定争议。因为人工智能防欺凌系统产生的数据涉及大量的未成年人，如果未经未成年人监护人的同意而擅自处理，会引发侵权纠纷及家校纠纷。

三是一旦数据上传云端就会加剧数据泄露风险。2016年11月颁布的《中华人民共和国网络安全法》第37条规定：“关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的个人信息和重要数据应当在境内存储”，但同时指出确需出境的，需经过国家互联网信息办公室的安全评估。2022年中华人民共和国国家互联网信息办公室发布的《数据出境安全评估办法》第4条、第19条规定的需要评估的重要数据和个人信息无法涵盖未成年人的个人信息和数据，导致未成年人个人信息和数据出境不需要安全评估。

另外，《中华人民共和国网络安全法》第66条仅规定对关键信息基础设施运营者“在境外存储网络数据，或者向境外提供网络数据的”行为进行严格处罚，这一规定仅局限于“在境外存储”和“向境外提供”，忽视了“在境内通过云端存储到境外”这一行为，导致云运营服务商通过“云存储”将中国公民个人信息保存在境外虚拟终端的行为无法受到监管。也没有法律规定云运营服务商对于存储于境外的个人信息的安全保障义务。

近年来数据“云存储”发展势头日益迅猛，多数主权国家出于对本国国内市场及国家安全的保护，纷纷加高壁垒，筑起边界围墙，将数据作为一国私有财产封锁在本地服务器上。但我国相关境外“云存储”的法律规范仍停留在原则性规定层面，对于存储在境外的“云数据”未有针对性的监管规范，导致通过“云存储”保存在境外虚拟终端的中国公民的个人信息缺乏相应的安全保障。

因此，需要从国家层面进一步完善数据的存储、保护等相关法律规范，将未成年人数据保护作为未成年人网络保护中必不可少的一部分，在网络安全方面着重考量。