新加坡人工智能犯罪生态治理的实践与探索

An Ecological Approach to AI Crime in Singapore

技术天然具有两面性特征，类ChatGPT生成式人工智能在给人们带来便利和美好憧憬的同时，也蕴含着犯罪风险。帕加洛在《法律与人工智能高级导论》中指出，“人工智能可能具有特定形式的犯罪人格，考虑到人工智能的灵活性，可塑造机器人和人工智能系统，以从事输入、输出和逻辑操作的连接为特征的活动……人工智能犯罪新场景的唯一限制是人类的想象力”。智能时代呼吁治理观念与治理技术革新，人工智能技术发展不可一味追求进步，同时要在背后注入伦理和责任要素，加强全生命周期安全治理，保障公共安全与个体权益。新加坡从构建安全可信的人工智能生态视角出发，统合众治、德治、法治与技治综合应对。

一、生成式人工智能犯罪风险评估

新加坡在《国家人工智能战略》中提出，其目标是“站在可扩展、有影响力的人工智能解决方案开发和部署的前沿”，巩固新加坡作为“开发、测试、部署和扩展人工智能解决方案的全球中心”的地位。调查显示，目前近40%新加坡人已在日常工作中使用生成式人工智能。新加坡网络安全局基于“准备－参与－持续－影响”网络威胁框架，对以 ChatGPT为代表的生成式人工智能技术引致的犯罪风险进行分类分级。在评估框架中：①犯罪准备指向侦测、部署两阶段，如选择潜在受害者、实施社会工程、感染或建立恶意网站等；②犯罪参与指向传送、渗透两阶段，旨在接触目标、进攻突防；③犯罪持续强调横向移动与长期驻留；④犯罪影响涵盖加密破解、数据修改、服务中断、物理影响等多方面。

（一）犯罪学习辅助

ChatGPT是每个人绝佳的学习辅助工具——包括网络犯罪新手和有抱负的黑客。虽然用户无法直接指示ChatGPT发起攻击或实施扫描，但只要用户能够清楚表达需求，ChatGPT就可为特定活动提供合适的工具建议，这意味着ChatGPT可协助实施大量恶意网络活动。例如，即使没有计算机专业背景的人员也可快速学习如何使用渗透工具进行端口扫描、漏洞筛选，ChatGPT还可帮助制定未经授权入侵系统的方案。此外，研究人员已证明ChatGPT可提供清晰简洁的指令操作进行工业流设备操作与控制，通过黑客远程“投毒”，造成生产线关闭甚至是断网断电。

（二）网络钓鱼输出

ChatGPT是一位出色的“文学作家”，可用于编写令人信服的网络钓鱼信息。由于模型在训练时采用大量报告与文本，ChatGPT可输出具有一定精准度、模仿特定组织和个人语言表达方式的内容。虽然ChatGPT安全防护机制可识别恶意请求，网络犯罪分子无法直接命令其发送钓鱼邮件，但仍可让其协助准备社会工程计划相关的邮件与方案。

“如此安全”（SoSafe）团队研究发现，ChatGPT等生成式人工智能工具可将钓鱼邮件制作效率提升40%，且精心定制编写的邮件难以被技术监测过滤或被人为识破。在评估近1500次模拟网络钓鱼攻击后，团队发现78%调查对象点击了人工智能编写的邮件，20%点击了邮件中的欺诈性链接等恶意元素。

（三）恶意代码生成

ChatGPT可为不同类型恶意网络活动编写代码。有网络安全企业监测发现，ChatGPT制作的代码程序在暗网上引发热潮，可生成能将敏感数据复制到远程位置的数据窃取程序、用于勒索攻击的漏洞扫描脚本和加密程序等，甚至协助网络犯罪分子在受感染系统中改变数字位置或身份，提升获取系统访问权限的持久性。此外，经研究验证发现，ChatGPT可用于程序代码变形，若被整合到恶意软件中，可使传统安全机制更难检测到变形的恶意软件。

（四）代码审查提速

ChatGPT具备代码审查能力，既能快速分析代码中的潜在错误，又能提出关于如何优化或利用的建议。基于此，网络犯罪分子在借助ChatGPT检测被攻击系统的特定弱点、明确下一步攻击方向的同时，也可对恶意软件进行审查优化、故障排除，不再需要冒着被举报的风险在暗网论坛寻求帮助。

（五）总结

新加坡网络安全局表示，尽管分析只是触及ChatGPT真实能力的表面，但仍可得出结论——ChatGPT的主要优势是为每个人提供了生产力工具和分析工具，包括网络犯罪分子。ChatGPT不仅可用于教育提升，还可完成网络威胁框架内一系列恶意活动，帮助犯罪新手克服技术门槛、为有经验的黑客提供建议与帮助，换言之，ChatGPT是加速恶意网络活动、缩短网络攻击窗口的重要工具。

《新加坡网络全景报告》指出，ChatGPT等生成式人工智能技术因能增强网络攻击、诈骗等犯罪活动的“生产力”，正在成为对网络犯罪分子有强吸引力的滥用目标。

生成式人工智能对网络安全主要带来三方面影响，即人类脆弱性增加、网络基础设施脆弱性提升以及数字应用扩张。在沙特举行的国际网络安全论坛上，全球最大石油公司沙特阿美公司负责人表示，生成式人工智能等新技术引入增大能源行业面临的网络攻击威胁、导致能源供应大规模中断，在全面引入生成式人工智能技术前，有必要对潜在威胁和安全漏洞进行深入分析。在2023年欧洲黑帽大会上，“虚拟绑架”攻击新趋势引发关注，被称为迄今为止最可怕的人工智能恶意应用，网络犯罪分子将网络入侵、从社交媒体或暗网搜集的情报以及生成式人工智能语音克隆软件结合起来，制造目标被绑架的伪造证据，迫使亲属支付赎金。

2023年11月，全球首份人工智能国际性声明《布莱切利宣言》强调：“我们尤须关注前沿的人工智能系统所带来的安全风险，即那些能够执行各种任务的高能力通用人工智能模型，包括基础模型，以及可能表现出与当今最先进模型相匹配或超过现有能力的相关特定狭窄定义的人工智能。重大风险可能来自潜在的故意滥用，或与按照人类意图行事相关的控制问题。造成此类问题的部分原因是人类尚未完全理解人工智能的这些能力，因此难以预测。我们尤其关注网络安全和生物技术等领域的此类风险，以及前沿人工智能系统可能放大虚假信息等风险的领域。无论是否有意，这些人工智能模型所具备最重要的能力可能导致严重甚至灾难性后果。鉴于人工智能发展迅速且充满未知数，技术投资不断加速，我们申明，加深对这些潜在风险的理解，以及加深对应对这些风险的行动的理解，尤为紧迫。”

二、生成式人工智能犯罪应对的现实困境

一方面，在生成式人工智能犯罪语境下，如果治理只着眼于技术被滥用后的侵害结果而抛开技术滥用本身不谈，那么，其既未实现《新加坡网络安全战略》中提出的保护企业和公民在线安全、提高数字生态系统韧性的目的，也违背了充分评价的执法司法原则。

从实践走向技术哲学层面，涉及对“技术异化”与“技术中立”的反思。德国哲学家马尔库塞在1964年出版的专著《工业社会的单一维度》中提出“科技异化”理论，尽管科技发展为社会带来巨大的生产力和效率提升，但在现代社会中，这些技术往往被反过来用于支配人类。换言之，科技不再是为满足人的需求，而是成为一种“反我”力量，控制和束缚个体。在此理论框架下，犯罪分子利用类ChatGPT生成式人工智能等最新科技成果实施犯罪活动正是科技异化的生动体现——犯罪分子将ChatGPT作为一种强化对他人控制和侵犯的手段和力量，使犯罪活动更具隐匿性、破坏力，不仅不为人类谋福祉，还造成技术对人类的反噬。而美国哲学家兰登·温纳在具有国际影响力的《技术有政治性吗？》一文中提出“技术中立”理论，技术本身是中性的，技术的影响取决于社会的使用和设计选择。基于此，生成式人工智能犯罪问题是“科技之发达与人性之复杂相结合的产物”。这不禁使人反思，如何恰当地进行生成式人工智能安全治理，更好地防范后续犯罪行为及危害结果发生。

另一方面，生成式人工智能犯罪在形态上的进化拓展了犯罪的危害性，在手段上的进化强化了犯罪的隐蔽性、掩藏源头犯罪行为，这也决定了生成式人工智能犯罪治理需要采取有别于传统犯罪治理的新思路、新方法，以免陷入犯罪越打越多、打而不绝的窠臼。

网络犯罪的演化与社会信息化、数字化、智能化同步，各类网络犯罪分子利用ChatGPT等生成式人工智能工具进行犯罪学习辅助、网络钓鱼、代码生成与优化等活动，汇聚更多资源实现扩张，形成相互勾连、互生互利的网络犯罪生态，建成以核心犯罪为中心的违法犯罪聚合体。在此意义上，生成式人工智能应用构成了犯罪的基础设施，生成式人工智能犯罪行为多表现为预备或帮助性质行为，属于“外围”犯罪，具备微犯罪性、独立性，与网络攻击、诈骗等黑灰产业交叉、融合、共生，构成犯罪“合流”（Crime Convergence）。新加坡社会及家庭发展部国务部长指出，打击诈骗等网络犯罪是一项集体努力，犯罪发生后，仅仅下游执法是永远不够的；生态系统中的所有主体，包括行业企业、网络平台、金融机构等利益相关者都要发挥各自作用防范上游犯罪；需要留意人工智能、深度伪造等技术，政府机构、研究机构、技术前沿市场参与者加强合作，持续监测相关犯罪风险并研究应对方案。

三、生成式人工智能犯罪治理的理念与路径

生成式人工智能犯罪问题的复杂性决定了其防治手段的复合性。新加坡在网络安全领域一向主张“预防常胜于治疗”的理念，《新加坡人工智能治理方法》则从生态视角（An Ecosystem Approach）出发，明确目标是构建一个安全可信的人工智能生态。在生态学中，生态系统是由要素及其要素间能量流动、物质循环、信息传递所构成的一个相对稳定的、自维持的整体，并不是各要素的简单叠加，而是在各要素相互联系与相互作用的基础上形成的具有整体功能和稳定性的复杂系统。生态治理则涵盖多元主体共同行使治理权力、共同承担相应责任的过程，注重通过协调多元主体的行动，平衡社会、环境和经济利益，实现可持续发展的目标。新加坡要求政府、业界、公众等多元主体同向而行、共同发力，统合众治、德治、法治与技治综合应对，以生态治理应对人工智能犯罪生态化。

（一）“众治”为人工智能安全生态提供多元力量

构建生成式人工智能安全生态需要多元主体加入，不同主体地位、作用各不相同。根据《新加坡网络安全战略》指引，政府提升对私营部门的监管激励，提升技术安全与韧性，确保公民和企业得到有效保护；在硬性监管之外，政府还与私营部门中可信任的合作伙伴共同探索新的协作模式，利用其专业知识和技能，高效开发针对性安全解决方案或开展专项安全项目，确保新加坡政府走在生成式人工智能等技术的最前沿，不断适应新的行业发展情况，并及早识别潜在安全风险。值得关注的是，新加坡警察自2017年起成立公私部门网络犯罪利益相关者联盟（APPACT），涵盖社交媒体公司、金融机构、互联网服务提供商、电信运营商、网络安全公司和加密货币企业等各行各业的合作伙伴。新加坡警察定期与联盟合作伙伴进行沟通和讨论，获取网络违法犯罪线索和最新发展趋势咨询，共同研究制定新型网络犯罪治理对策。

认识到生成式人工智能技术带来的诸多安全风险是国际性的，新加坡积极参与人工智能安全治理国际合作，与美国国家标准与技术研究院共同推进人工智能安全标准制定，与以色列、韩国和英国等签署关于人工智能技术发展与安全合作的谅解备忘录。在首届全球人工智能安全峰会上，新加坡作为与会国签署《布莱切利宣言》，总理李显龙介绍了新加坡基于风险的人工智能治理理念，强调多方利益相关者参与人工智能安全对话和合作的重要性。

根据《新加坡网络安全战略》指引，行业企业在公平合理范围内承担促进技术、产品和服务安全韧性发展的责任，一是优化开发方法，遵循安全设计原则，力求在获取业务利润与确保消费者和数字生态系统的安全性之间取得平衡；二是提升企业基础设施网络安全水平，有效应对网络攻击，防止用户数据被盗和丢失；三是加强上游管控，强化信息内容治理、禁止虚假广告，保护用户免受虚假、诈骗信息侵害等。聚焦于生成式人工智能技术领域，前沿技术开发者如何定义风险阈值、进行有效的模型风险评估、对具体风险缓解措施提出预先承诺、健全治理和问责机制等均是国际社会关注的热点问题。

个人可通过选择安全可信的生成式人工智能产品和服务、学习保护自己和社区免受数字威胁的安全技能等举措，为降低人工智能生态风险发挥作用。新加坡将人工智能、网络安全纳入社会安全教育体系，进一步推动新型网络犯罪治理融入社会治理体系。2017年以来，新加坡持续推进“人工智能新加坡”（AI Singapore）项目，重点提升全民人工智能素养，将新加坡发展定位为“智慧国”（Smart Nation）。2021年，新加坡网络安全局启动“宁愿多一点网络安全，也勿后悔”（Better Cyber Safe than Sorry）活动，鼓励公众形成良好的网络安全习惯。