生成式AI规范赋能科学研究的欧盟借鉴

摘要：欧盟委员会发布的《科研领域负责任使用生成式人工智能指南》针对研究人员、研究机构及研究资助机构等不同主体提出建议，为科研实践提供明确的操作指导。该指南对我国生成式人工智能的科研应用有较好的借鉴价值，因此本文提出以下启示：应尽快制订适用于科学研究场景的专门规范或指南；强化科研数据保护机制，提升网络安全水平；完善组织架构，确保生成式人工智能应用的有效监管。

关键词：生成式人工智能；科学研究；应用规范；应用指南

中图分类号：G434  文献标识码：A  论文编号：1674-2117（2024）23-0000-04

引言

生成式人工智能，作为一种颠覆性的技术，正在对经济社会的发展产生深远的影响。[1]它通过模拟人类的思维和创造力，能够自动生成新的信息、产品和服务，从而推动经济社会的全面变革。科学研究是推动经济社会发展的关键因素，它通过探索未知、创新技术、培养人才和促进国际合作，为社会进步提供动力。高校作为科学研究的高地，不仅在学术领域具有重要地位，而且在推动社会进步和经济发展中也起着关键作用。因此，如何更加科学、规范地推动生成式人工智能赋能高校科学研究是世界各国正面临的一个重要的现实问题。

为解决生成式人工智能为科学研究带来的关键机遇和挑战，2024年3月20日，欧盟委员会与欧洲研究区国家和利益相关者共同提出《科研领域负责任使用生成式人工智能指南》（Living Guidelines on the Responsible Use of Generative Ai in Research）（简称《指南》），以指导欧洲研究界负责任地使用生成式人工智能。该指南为我国在人工智能赋能行动中推动生成式人工智能科学、规范赋能科学研究提供了重要参考。

《指南》的主要内容

在具体内容上，《指南》分别针对研究人员、研究机构和研究资助机构科学合理地使用生成式人工智能提出了建议。

1.对科学研究人员的建议

《指南》对科学研究人员主要提出以下六点建议：①科研人员对科研成果负最终责任。科研人员需对由人工智能工具生成或在其支持下生成的内容的完整性负责；对使用生成式人工智能所产生的结果应保持批判的态度，并意识到这些工具的局限性，如偏差、幻觉和不准确性；明确人工智能系统既不是作者，也不是共同作者；不能在科学研究过程中使用生成式人工智能创建的捏造材料，如伪造、篡改或操纵原始研究数据。②透明地使用生成式人工智能。科研人员应详细说明在研究过程中主要使用了哪些生成式人工智能工具；应披露或讨论所使用的生成式人工智能工具的局限性，包括生成内容中可能存在的偏差，以及可能的缓解措施。③在与人工智能工具共享敏感或受保护信息时，要特别注意隐私、保密及知识产权相关的问题。科研人员应保护未发表或敏感的作品，不要将其上传到在线人工智能系统中，除非能保证这些数据不会被重复使用；不应向在线生成式人工智能系统提供第三方的个人数据，除非得到数据主体（个人）的同意；应了解有关隐私、保密和知识产权的技术和道德影响。④尊重适用的国家、欧盟和国际立法。科研人员在使用生成式人工智能的输出结果时，要避免剽窃的可能，尊重他人的著作权；有责任妥善处理生成式人工智能输出的任何个人数据，并遵守欧盟数据保护规则。⑤不断学习生成式人工智能工具的正确使用方法。生成式人工智能工具发展迅速，不断有新的使用方法涌现，科研人员要及时了解最佳实践，并与其他利益相关者分享。⑥避免在可能影响他人的敏感活动中大量使用生成式人工智能工具。避免使用生成式人工智能工具，导致不公平待遇或潜在的评估风险；保护科研人员未发表的原创作品，使其免于暴露或被纳入人工智能模型。

2.对科研机构的建议

《指南》对科研机构主要提出以下四点建议：①促进、指导和支持研究人员在研究活动中负责任地使用生成式人工智能工具。生成式人工智能工具的使用不仅涉及对技术能力的掌握，还涉及对相关伦理和法律要求的深刻理解。科研机构应提供和促进关于使用生成式人工智能工具的培训，确保生成式人工智能工具的使用符合道德和法律要求。②监督组织内生成式人工智能系统的开发和使用情况。科研机构应重视机构内使用生成式人工智能工具的研究活动和流程，以便为生成式人工智能的使用提供进一步指导，确定培训需求。同时，还应分析生成式人工智能技术和工具的局限性，并向科研人员提供反馈和建议。③将生成式人工智能相关指南纳入研究实践和伦理的一般研究指南中。科研机构可以生成式人工智能相关指南为基础，制订生成式人工智能的使用相关规定，并向科研人员和利益相关者征求意见；应尽可能以生成式人工智能相关指南为指导。④在可能和必要的情况下，对生成式人工智能工具施行本地托管或基于云的管理。本地托管或云管理能够防止数据泄露和未授权访问，这是保护敏感信息不被滥用的关键措施。这种管理策略不仅符合数据保护法规，而且对提升研究可信度及科研机构责任感至关重要。科研人员可将其科学数据保存到能保障数据安全的工具中，科研机构应确保这些系统达到相应的网络安全水平。

3.对科研资助组织的建议

《指南》对科研资助组织提出以下四点建议：①促进和支持在研究中负责任地使用生成式人工智能。科研资助组织设计的资助工具应开放、易于接受，并支持科研人员负责任、合乎道德地使用生成式人工智能技术；应要求受资助的研究机构和受资助者，鼓励科研人员和研究机构遵守现有的法律、研究标准，合乎道德和负责任地使用生成式人工智能技术。②审查生成式人工智能在其内部流程中的使用情况。科研资助组织对其在活动中使用生成式人工智能产生的影响负全部责任。科研资助组织应以透明的方式使用生成式人工智能，特别是在与评估和评价管理有关的活动中，并且不损害内容的保密性和过程的公平性；在选择生成式人工智能工具时，应审查该工具是否符合质量、透明度、完整性、数据保护、保密性和尊重知识产权的标准。

③要求项目申请者在使用生成式人工智能方面保持透明性。科研项目申请者应声明在申报过程中是否使用了生成式人工智能工具，并说明该工具在研究活动中的作用。④监督并推动生成式人工智能的发展。科研资助组织应加强对在科研中负责任地使用生成式人工智能的培训和教育计划的资助。

《指南》的借鉴价值

通过分析笔者认为，《指南》对推动生成式人工智能技术在我国高校科学研究中合理规范使用的启示和借鉴主要有以下几点。

1.细化现有相关政策，聚焦高校场景研制针对性规范或指南

我国面对形势的变化，颁布了《生成式人工智能服务管理暂行办法》《人工智能伦理治理标准化指南（2023版）》《新一代人工智能伦理规范》等一系列聚焦新一代人工智能伦理规范的制度文件，为新一代人工智能技术的合理规范应用提供了重要的政策保障。但是，现有的制度文件具有广泛通用性，针对性聚焦高校科研领域的相关文件仍相对缺失。因此，急需在现有文件制度的基础上，研究制订针对高校科学研究领域合理使用新一代人工智能技术的规范或指南。在制订过程中，可汲取欧盟《指南》的精髓，并强化国际合作，为我国规范构建提供较好的参考与启示。

高校科学研究应重点聚焦以下几方面研制相关规范或指南，明确人工智能在科研中的地位和作用，推动新一代人工智能技术在高校科学研究中的合理使用。①注重人工智能伦理准则。高校应制订关于人工智能伦理的准则，确保科研人员在使用人工智能时遵循道德和法律规范，其中主要包括保护个人隐私、数据安全、避免歧视和偏见等方面的规定。②加强数据管理和共享。高校应制订关于数据管理和共享的政策，确保科研人员在使用人工智能时能够有效地管理和共享数据，其中主要包括数据收集、存储、处理和共享的规定，以及数据隐私和安全性的保护措施。③建立人工智能研究评估和监督机制。高校应建立评估和监督机制，对人工智能研究进行定期评估和监督，以确保研究的质量和可靠性，主要包括同行评审、研究伦理审查委员会等机构，对研究过程和结果进行监督和评估。④加强人工智能培训和教育。高校应制订人工智能培训和教育计划，为科研人员提供必要的技能和知识，以更好地应用人工智能技术，其中主要包括人工智能课程、研讨会、工作坊等形式，帮助科研人员了解和应用最新的人工智能技术和方法。⑤加强合作与交流。高校应积极通过共享资源、合作研究项目、学术交流等方式实现与其他高校、研究机构和企业建立合作与伙伴关系，促进人工智能技术的共享和传播，共同推动人工智能在科学研究中的应用。

2.注重科研数据保护，加强网络安全升级

近年来，以大数据、人工智能等为代表的信息技术的发展，推动了第四代科学研究范式即数据密集型科学（Data-intensive Science）的发展，引导科学研究由传统的假设驱动向数据驱动转变。[2]科学研究范式的转变意味着高校科学研究数据密集型特征越来越明显。此外，高校拥有人才、学科及研究条件的优势，通过执行科技创新系统的任务，成为科学创新与基础研究基地、国家关键技术攻坚基地和高技术产业化的孵化基地。高校科学研究在国家创新体系中占据重要地位，它们不仅是国家创新体系的重要组成部分，也是科技创新和理论创新的重要承担者。面对激烈的国际竞争，国内高校也逐渐成为网络攻击的重要领域。因此，加强高校科学研究数据安全，也是落实国家战略的重要任务。

在高等教育数字化改革深度推进的背景下，为进一步加强网络安全，高校应重点加强和改进以下几方面：①强化网络意识形态安全教育。随着信息网络化的不断发展，高校网络意识形态安全教育也面临着诸多挑战，高校要以深化价值引领、扩展内容空间、融合新兴技术和拓宽实践路径为抓手，协同推进高校网络意识形态安全教育，筑牢高校网络意识形态安全防线。[3]

②本地化部署和运行人工智能相关模型，把握数据主权。高校在与企业进行合作共建时，应始终坚持主导地位，明确责任，落实人工智能相关模型的本地部署和运行，把握数据主动权，确保数据安全，这也是国外人工智能在高校应用的主流形势。[4]③优化高校数据治理架构，引导全员参与数据治理。高校应立足学校数据治理需要，进一步优化组织架构，形成涵盖决策管理层、组织协调层、执行落实层、生成维护层的组织架构，并明确各层责任主体及主要职责，规范、引导全员深度参与学校数据治理。④加大经费投入，强化基础设施和人才保障。高校应进一步加大网络安全经费投入，对现有基础设施进行定期升级维护，同时加大网络安全人才引进，不断夯实高校网络安全基本保障。

3.加强组织机构建设，落实生成式人工智能应用监管

生成式人工智能为经济社会各领域的发展带来了颠覆性技术创新，也必然引发相应的制度创新，其中就包括组织机构变革。加强组织机构建设，落实生成式人工智能应用监管，是确保人工智能技术健康发展的重要措施。其中包括建立完善的组织机构、明确职责分工、加强人员培训、完善制度建设、加强技术研发和创新投入以及建立风险评估机制等。

面对生成式人工智能技术的深度应用，相关组织已逐渐建立，如中国网络空间安全协会人工智能安全治理专业委员会、人工智能伦理与治理工作委员会等，并已发挥重要作用。笔者认为，在现有工作的基础上，为推动生成式人工智能技术在高校科学研究及其他领域的深度应用，在国家及社会层面应进一步建立健全现有组织的职能，充分发挥对人工智能合理应用的监管。该类机构应是一个独立的、国际性和跨学科的科学组织，从准确性、偏差、安全性等方面对生成式人工智能工具及其使用进行评估；在人员构成上，应至少包括但不限于计算机科学、行为科学、心理学、人权、隐私、法律、伦理学、科学和哲学方面的专家；在主要职责上，应为科学实践和社会中使用的生成式人工智能工具制订质量标准和认证程序，至少涵盖准确性和真实性，适当和准确的来源信用，歧视性和仇恨性内容，训练数据、训练设置和算法的细节，以及机器学习的验证等；独立的跨学科科学机构应开发和部署各种方法，以评估生成式人工智能是否促进公平，以及生成式人工智能开发者可采取哪些措施来促进公平和公平使用。[5]此外，在高校内部及相关项目资助机构，还应进一步健全现有机构职能或增设新的职能机构，以加强生成式人工智能技术在高校科研及教学等领域应用情况的全面监管。

结束语

生成式人工智能赋能高校科学研究是推动落实人工智能赋能行动的重要任务。本研究在介绍分析欧盟《科研领域负责任使用生成式人工智能指南》的基础上，聚焦高校科学研究场域，对如何推动生成式人工智能更合理、规范地赋能高校科学研究提出了几点建议，以期为未来发展提供有价值的参考。

参考文献：

[1]郑世林，姚守宇，王春峰.ChatGPT新一代人工智能技术发展的经济和社会影响[J].产业经济评论，2023（03）：5-21.

[2]TOLLE M K，TANSLEY S W D， Hey J G A. The fourth paradigm： data-intensive scientific discovery[J].Proceedings of the IEEE，2011，99（08）：1334-1337．

[3]蒋燕玲.强化高校网络意识形态安全教育论析[J].中国高等教育，2021（06）：34-36.

[4]苗逢春.生成式人工智能及其教育应用的基本争议和对策[J].开放教育研究，2024，30（01）：4-15.

[5]Claudi L B， Eva A M D， Robert R， etal. Living guidelines for generative AI—why scientists must oversee its use[J].Nature，2023（622）：693-696.

基金项目：国家社会科学基金“十四五”规划2021年度教育学青年课题“支撑教育高质量发展的国家教育管理信息化体系研究”（课题编号：CCA210253）。