人工智能犯罪的样态解构与治理应对

Projecting AI Crime： A Review of Future Threats and Solutions

当前，ChatGPT已成为人工智能无限潜力的象征——变革生产方式、优化生产决策、重新定义人机协作界限。这种影响作用于犯罪，催生了网络犯罪变异升级。与传统犯罪不同，网络犯罪具有高度可复制性。一旦开发，网络技术可共享、复制、出售甚至外包，实现犯罪技术市场化或提供“犯罪即服务”。从犯罪工具到犯罪目标等要素，类ChatGPT人工智能对网络犯罪的影响是全链条、全领域的，值得加强研究、积极应对。欧洲警察署创新实验室组织欧洲技术与安全专家开展研讨，发布《ChatGPT：大型语言模型对执法的影响》，初探网络犯罪者滥用ChatGPT的可能性，并为执法部门提出简要建议。本文以欧洲警察署报告为中心展开，结合犯罪经济学理论与人工智能犯罪及治理最新动态进行研讨。

一、ChatGPT本质解析与安全保护

作为基于GPT-3、GPT-3.5、GPT-4等大型语言模型的应用，ChatGPT本质上是一种自回归语言模型，借助深度学习和神经网络，理解输入与输出之间关联，生成符合上下文语义的合理响应。鉴于ChatGPT可访问海量信息、响应用户提示生成各种答案，开发者引入一系列安全功能，防止用户恶意利用。审查端点用于内容过滤、安全检查以及监控防范不当行为，可评估输入是否包含色情、仇恨、暴力等内容以及模型是否被用于实施欺诈、政治竞选或游说、具有高人身伤害风险的活动（如开发武器、运营管理关键基础设施、宣扬自残行为）、具有高经济损失风险的活动（如传销、赌博）等《使用政策》（Usage policies）中禁止的行为。然而，欧洲警察署指出，研究人员和犯罪者可通过要求ChatGPT以代码形式给出答案、替换提示词并更改背景、创建虚构案例等变通方案规避ChatGPT创建者设置的安全和审查功能。目前最为强大的变通方案是越狱指令集，可引导模型响应任何提示。

二、ChatGPT犯罪样态

人工智能时代的到来再次给网络犯罪提供代际跃升机会。“犯罪即服务”是一种网络犯罪模式，指在网络犯罪生态中技术人员利用互联网和数字技术，向其他网络犯罪分子提供犯罪工具、资源和服务的行为。英国计算机科学家考德威尔指出，“人工智能可被用作犯罪工具，利用其能力促进针对现实世界目标的行动，如预测个人或机构的行为、发现并利用漏洞；生成用于勒索或玷污声誉的虚假内容；执行人类犯罪者无法或不愿自己完成的活动等。人工智能系统也可成为犯罪活动目标，规避对犯罪构成障碍的保护系统；逃避对已犯罪行的侦查或起诉；使受信任系统或关键系统出现故障，制造破坏或损害公众信任。”

（一）ChatGPT作为犯罪工具

犯罪经济学家加里·贝克认为，犯罪行为是一种理性选择，犯罪者会衡量行为带来的成本与效益。生成式人工智能所具备的自适应性和学习能力，使攻击者能以更低成本实施更复杂的犯罪行为，智能化、自动化也放大了犯罪威胁与收益。

欧洲警察署指出，ChatGPT擅长为用户提供随时可用的信息，以响应各种提示。若潜在犯罪者对特定犯罪领域一无所知，ChatGPT可通过提供关键信息，推动犯罪预备提速升级。换言之，ChatGPT可在潜在犯罪者先验知识匮乏的情况下协助了解恐怖主义、网络犯罪、儿童性虐待等诸多犯罪领域。诚然，相关信息可在网上查询获取，但潜在犯罪者借助ChatGPT可更容易地了解并实施特定犯罪活动。

1.社会工程——网络诈骗、网络钓鱼的终点在何方？

社会工程是一种利用心理学和人类行为特征，获取敏感信息、操纵目标心理的技术，攻击者通过多种方式引导受攻击者思维向攻击者期望的方向发展。社会工程利用的是人性弱点，而人性是永恒存在的，这使其成为长久有效的攻击方式。犯罪经济学强调犯罪活动与供求关系之间的联系，ChatGPT根据上下文响应信息并可选用特定写作风格的特点，可帮助犯罪者更巧妙地操纵受害者心理，提升网络诈骗、网络钓鱼等基于社会工程原理的犯罪活动的成功率、利润率。

欧洲警察署指出，一直以来，犯罪者需自行创建诈骗方案，在批量生产情况下，目标受众通常能根据明显拼写错误、不准确内容识别骗局。然而，ChatGPT可根据用户提示起草高度真实文本，轻松调整钓鱼邮件的行文背景，涵盖投资诈骗、商务电邮诈骗、冒充老板诈骗等诸多形式。此外，犯罪者可利用ChatGPT营造虚假社交媒体参与情况，为各类网络骗局披上合理合法的外衣。

荷兰格罗宁根大学研究者发现，使用人工智能技术开发社交机器人可帮助犯罪者欺骗、操纵受害者。社交机器人本质上是通过生成内容与互联网用户交互、模拟人类行为的算法，向受害者发送链接请求，为控制受害者计算机创造机会。

2.虚假信息——大规模渗透与深度伪造的完美帮凶？

欧洲警察署指出，ChatGPT具备高效、规模化生产看似真实可信文本的能力，这使其成为宣传渗透、虚假信息的理想选择——允许用户以较少努力生成传播反映特定叙事的消息。ChatGPT可用于代表特定参与者开展网络宣传，宣扬捍卫某些已被揭示为虚假信息的观点。此外，犯罪者可利用ChatGPT搜集更多可能促进恐怖活动的信息，例如恐怖主义融资或匿名文件共享。

欧洲警察署强调，虽然ChatGPT拒绝为其认为明显具有恶意的提示提供答案，但犯罪者可采取相应措施规避限制。类ChatGPT应用不仅会促进虚假信息、仇恨言论、恐怖主义内容传播，还会导致公众产生错误信任度，机器生成内容相较于人类撰写的内容可能具有更高的客观性。

ChatGPT可为虚假或误导性信息传播提供便利，即使没有“误用”，因为ChatGPT一个已知缺陷，即为编造虚假信息，包括可能对个人造成诽谤的信息。2023年4月，乔治华盛顿大学教授乔纳森发表《被ChatGPT诽谤：我自己对人工智能的奇异体验》，讲述被ChatGPT诬陷实施性骚扰的经历，“为何人工智能会编造虚假新闻并发布虚假声明？可能是人工智能及算法的偏见、缺陷不亚于对其进行编程的人类”。

综上，类ChatGPT生成式人工智能生成的文本，结合用户画像、定向推送和定位，可将文本针对特定受众专门定制、满足其偏好，提高虚假信息的数量、质量和影响力，加剧“过滤气泡”和两极分化扩散。深度伪造作为虚假信息传播高级形式，借助人工智能创建的视频、图像、语音，模糊真实与虚假的界限，对社会信任带来极大挑战，同时也推动网络犯罪产业规模和复杂度进一步提升。

2023年6月，詹妮弗在司法委员会作证讲述个人经历，她在外接到电话，听到女儿抽泣着说：“妈妈，这里有坏人，帮帮我！”一个男人接过电话说：“听着，你的女儿在我手里，你若报警，我就把她的胃装满毒品，把她送到墨西哥，你再也见不到她了！”背景音中女儿拼命恳求。绑架者勒索100万美元，詹妮弗心急如焚，最后在另一位母亲帮助下，给丈夫拨通电话，发现女儿安全躺在家里的床上。但詹妮弗遭到巨大心理创伤——“他们是如何得到她的声音的？他们是如何让她哭泣的？她的抽泣是她独有的！我们是否被网络跟踪？听到孩子带着恐惧和痛苦的恳求，知道他们受到伤害，而你无助绝望，这是每个父母最糟糕的噩梦……难道这就是我们正在创造的未来——滥用人工智能却没有后果或惩戒？”

针对人工智能语音克隆犯罪激增现状，美国警方发布《人工智能语音克隆警报》，指出“人工智能语音克隆是一个在特定人录音的大型数据集上训练人工智能模型的过程。模型学习模仿声音、语气和语调，可生成听起来像该人的新语音”。2023年5月，迈克菲公司发布《全球人工智能网络安全报告》，指出：（1）在7000名受调查者中，十分之一表示曾收到人工智能语音克隆消息，其中77%表示因此遭受金钱损失；（2）克隆需要原件，犯罪者可轻松获取原始语音文件，53%成年人表示每周至少一次在网上或录音中分享语音数据，这些数据可能受到黑客攻击、盗窃；（3）测试发现只需三秒音频就足以生成与原始音频匹配度高达85%的克隆品，同时可轻松复制美国、英国、印度、澳大利亚等世界各地口音。

塔伊斯·费尔南达等学者指出，要关注人工智能深度伪造“说谎者红利”，骗子利用深度伪造视频抹黑真实视频，称视频被操纵，引发公众对原视频真实性怀疑。公众越意识到可用人工智能修改视频的可能性，就越会怀疑原视频的真实性，“这种红利的流动与教育公众了解深度伪造危险性的成功程度成正比”。

3.恶意代码——勒索软件量产，网络攻击平民化？

犯罪经济学认为，犯罪是一种回应经济环境变化的现象，网络犯罪者也在适应不断升级的网络安全技术并寻求利用新漏洞、新弱点。ChatGPT可快速创建代码及迭代版本，规避传统安全监测，对网络安全威胁发挥“放大”作用。同时，人工智能带来的网络攻击“平民化”凸显，即使是没有技术背景的犯罪者也可通过人工智能学习攻击技巧、代码和战术，这在整体上推进犯罪资源共享、技术专长整合、攻击链条优化，带来更“高效”的网络犯罪产品和服务。

欧洲警察署指出，在生成拟人化语言之外，ChatGPT还能产出多种不同编程语言代码。使用当前版本的ChatGPT已可为各种恶意活动创建基本工具。尽管这些工具只是基本工具，如网络钓鱼页面或恶意VBA脚本，但为网络犯罪提供开端。这种类型的自动代码生成对于那些对编码和开发知之甚少的犯罪者特别有用。至关重要的是，只有当模型意识到自身在做什么，防止ChatGPT提供潜在恶意代码的保护措施才会发挥效能；若将提示分解为单独步骤，则可轻松规避保护措施。

欧洲警察署强调，虽然当前ChatGPT生成的网络犯罪工具仍非常简单，但鉴于技术进步，犯罪者对ChatGPT的积极利用将会带来相当严峻的犯罪形势。GPT-4模型更善于理解代码上下文背景、更正错误消息以及修复编程错误。对于技术基础匮乏的潜在犯罪者来说，GPT-4是一种宝贵的资源。同时，更高级的犯罪者可利用GPT-4的改进功能将复杂的网络犯罪手法迭代完善甚至是自动化。

如今，利用ChatGPT生成恶意软件已不仅是理论上的可能性，绕过安全防护措施的恶意利用受到广泛关注，甚至在暗网论坛中成为热门话题。

2023年1月，检查点研究团队（CHECK POINT RESEARCH）发布研究博客《OPWNAI：网络犯罪者开始使用CHATGPT》，分析了主要暗网黑客社区内容，列举2022年12月犯罪者使用ChatGPT创建信息窃取程序、加密工具、勒索软件、暗网市场脚本等恶意工具的真实示例，如一名黑客展示利用ChatGPT创建代码，实现通过第三方API获取门罗币、比特币等最新加密货币价格，可成为暗网市场支付系统的组成部分。

4.开发者的阴暗面——秘密数据爬取与大规模隐私侵犯？

欧洲警察署在报告中深刻发问：大型语言模型服务未来将如何处理用户数据是存在不确定性的，对话是否会被存储？是否会将敏感个人信息泄露给未经授权的第三方？如今，现实执法司法案例已给出初步回答。

2023年6月，美国的ChatGPT集体诉讼从利益、风险等角度揭开OpenAI公司的阴暗面——诉讼书指出，OpenAI公司“将短期财务利益置于人类利益之上……在秘密的情况下对互联网进行大规模爬取，侵犯个人财产权和隐私权。这些爬取行为没有得到用户个人同意，也没有遵守网站使用条款以及加利福尼亚和其他州和联邦的法律。爬取的个人信息被用于构建人工智能产品，并通过商业模式出售访问权限，从中谋取经济利益”。理性选择理论（Rational Choice Theory）认为，犯罪行为是个体基于风险和收益的理性决策。将OpenAI公司定位为“微软的数据搜集公司，向微软提供数百万个人的ChatGPT用户和非用户数据……产品在利用被盗数据进行培训的基础上，才达到今天的复杂程度”，ChatGPT在一定意义上可能构成非法数据爬取与盗窃的犯罪工具。

2023年6月，“OpenAI公司集体诉讼第一案”在美国加州北部地区巡回法院发起，指控OpenAI公司和微软公司“在开发、营销和运营人工智能产品时，非法收集、使用和分享数以亿计的互联网用户的个人信息，包括儿童信息，侵犯原告的财产权、隐私权和其他法律权利，并给社会带来潜在的灾难性风险”，违反《电子通信隐私法》《计算机欺诈和滥用法》《加利福尼亚侵犯隐私法》《加利福尼亚不正当竞争法》《伊利诺伊州生物识别信息隐私法》《伊利诺伊州消费者欺诈和欺骗性商业行为法》等法律法规。起诉书指出，被告在超出合理授权范围下从ChatGPT用户和集成ChatGPT插件的平台中非法收集并利用来自全球数百万消费者的个人数据，包括：（1）用户在产品中输入的所有内容；（2）用户注册时输入的账号信息；（3）名称；（4）联系方式；（5）登录凭证；（6）电子邮件；（7）付费用户的支付信息；（8）交易记录；（9）从用户设备和浏览器中提取的识别数据，如互联网协议地址和位置，包括用户的地理位置；（10）社交媒体信息；（11）聊天日志数据；（12）使用资料；（13）分析；（14）缓存数据；（15）点击数据；（16）输入搜索数据以及其他在线活动数据等，以继续开发训练大型语言模型和深度语言算法。起诉书强调，“作为对大规模隐私侵犯的加剧，OpenAI公司未提供有效程序供个人请求删除个人信息或训练数据。相反，OpenAI公司只提供一个电子邮箱地址，消费者可通过邮箱联系删除。但这个选项是虚假的——无论个人是否在技术上可以请求ChatGPT删除数据，彻底删除是不可能的。因为ChatGPT是基于个人输入数据、个人信息、其他用户数据和非用户数据进行训练的，这些数据无法彻底从人工智能系统中提取出来，正如一个人无法忘记在六年级学过的数学”。此外，以喜剧演员莎拉·西尔弗曼为代表的文艺创作者也发起诉讼，指控OpenAI公司和Meta公司使用非法的“影子图书馆”（Shadow Libraries）训练模型。