艾尔之光模拟器“短短十分钟，被骗430万元”“换脸冒充女明星带货，赚得盆满钵满”……近年来，随着人脸识别技术的广泛应用和人工智能技术的进步，一些不法分子开始利用“AI换脸”、AI拟声等技术实施盗窃、诈骗等犯罪，可谓“知人知面不知心”，让人防不胜防。

　　10月中旬，恰逢金融消保教育宣传月，多地金管局提示“AI换脸”骗局风险，称当前利用AI技术融合他人面孔和声音、制造逼真的合成图像来实施的新型网络诈骗，呈现手段愈发多样、门槛大幅降低、辨别难度加大等特点，常令消费者放松警惕，短时间内造成较大损失。

　　中港两地接近金融监管人士告诉21世纪经济报道记者，AI换脸金融诈骗是一个新的诈骗领域，目前的防范主要依靠警方打击，以及对用户的不断教育警示。

　　针对大众可能关注的热点问题，例如“AI换脸”是如何进行金融诈骗的？防范的难点是什么？如何防范？AI技术的监管边界在哪里？本文将进行详细解析。

　　据21世纪经济报道记者了解，“AI换脸”金融诈骗依赖于Deepfake（深度伪造）技术，不法分子主要以冒充被害人的亲戚朋友，领导同事等身份，以骗取被害人的信任而获得钱财。

　　今年8月，厦门金管局提示，目前“AI换脸”有三大新型骗局：冒充熟人诈骗钱款、冒充明星虚假宣传、盗开账户诈骗钱款。10月7日，国家金融监督管理总局北京监管局发布风险提示称，有不法分子非法获取个人信息，通过计算机算法仿真合成受骗者亲人、领导同事或公职人员的肖像面容与声音，冒充上述人员身份行骗；在获得受害者信任后使用事先准备好的套路话术向受害人发送银行卡转账、虚拟投资理财、刷单返利等诈骗信息，并利用视频通话，语音轰炸等手段进一步降低受害者的防备心，受害者往往在短时间内难以察觉异样，一旦听信诈骗分子的骗术并完成转账，对方便杳无音讯。

　　中国政法大学光明新闻传播学院助理教授张璐接受21世纪经济报道记者采访表示，与传统技术相比，“AI换脸”的破坏力不仅仅在于“伪造”，更在于“深度”，其可能产生不同于一般伪造技术的风险。

　　张璐指出，“AI换脸”不仅具有侵犯公民人身权利和财产权利的风险，而且可能导致假新闻泛滥，破坏社会稳定和国家安全、国际秩序。此外，还应警惕由深度伪造技术对社会信任体系的冲击，冲击了公众对“真实”本意的认知和共识，“眼见未必为实”的现实将挑战社会信任的基础，导致信息无序、伦理危机并加大交易成本，最终引发难以估量的后果。

　　那么，不法分子是如何筛选目标人物的？中国政法大学法与经济研究院副院长徐文鸣告诉21世纪经济报道记者，诈骗分子一般会先对公众在网络上发布的各类信息进行大数据分析，包括社交媒体上的个人数据、工作信息、人际关系等，研究他们的日常生活习惯、工作习惯、资产状况等，然后结合要实施的骗术通过AI技术对人群进行筛选，从而确定要实施诈骗的目标人群，锁定诈骗对象。

　　“10分钟被骗走430万！”就是一起典型的“AI换脸”冒充熟人诈骗线月，包头市公安局在官方网站表示，福州市某科技公司法人代表郭先生的“好友”通过微信视频联系他，声称自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，所以想要借用郭先生公司的账户走一下账。“好友”向郭先生要了银行卡号，称钱已转入郭先生的账户上，并将银行转账截图发给他。基于视频聊天信任的前提下，郭先生并未核实钱是否到账，而是陆续转给对方共计430万元，随后郭先生才发现被骗。

　　“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备”，郭先生说。

　　“除了AI技术令人真假难辨外，用户隐私泄露是‘AI换脸’金融诈骗的一个重要原因。”徐文鸣表示，“AI换脸”金融诈骗必须借助于用户的敏感个人信息，才能精确选择诈骗对象，并伪造被害人的亲属、朋友、领导等关系相近人员身份，从而骗取被害人的信任，可以说它是“AI换脸”金融诈骗的一个入口点。

　　他认为，在获取目标用户的声音和长相方面，诈骗分子常依赖于用户在社交媒体上公开的数据或通过非法手段获取的数据。例如诈骗分子可能会通过拨打骚扰电话并录音等方式来获得包含用户声音的音频文件，获取相关素材以进行声音合成。在外貌方面，许多用户会在社交媒体平台或其他公开渠道分享自己、朋友和亲人的照片、视频，社交媒体的广泛应用使得诈骗分子能够通过该渠道获取目标用户的相关数据。还存在一些企业合法收集用户信息后，非法买卖用户个人信息或者保管不当造成用户隐私信息泄露的情况，这也给诈骗分子实施诈骗提供了信息来源。

　　“犯罪分子用于实施‘AI换脸’的物料主要为照片，特别是身份证照片，同时结合人员姓名、身份证号来突破人脸识别验证系统。”公安部网络安全保卫局副局长李彤在8月10日公安部新闻发布会上称。

　　此外，诈骗分子也会尝试通过钓鱼网站或者发送恶意链接等方式来欺骗用户，获取用户的声音或照片。通过这些方式获取的相关数据都是目标用户的真实数据，且具有特定指向性，一旦诈骗分子获取了这些信息，他们就可以使用AI换脸技术制作虚假的音视频内容，获取受害者的信任，进而实施金融诈骗。

　　一位商业银行信息技术人士告诉21世纪经济报道记者，目前防范“AI换脸”金融诈骗的难点主要在三方面：一是人脸信息输入方是开放的，不能完全受控制；二是过于严格和安全的控制策略会严重影响服务体验，导致失去应用人脸的价值；三是人脸本身属于静态身份认证，AI换脸技术基本获取或模拟了人脸的大多数特征值，人脸识别的安全性相对有限。

　　徐文鸣强调，“AI换脸”金融诈骗防范的最大难点在于信息的真伪性难以分辨。利用“AI换脸”技术伪造的信息高度逼真，该技术的使用使得真实信息与虚假信息之间的界限变得模糊，公众难以确定某个图片、音频或视频内容是否线世纪经济报道记者了解，目前防范AI换脸金融诈骗风险目前主要靠公安严打、银行内部防范，以及提高用户提高反诈能力等多方合力解决。

　　据新华社报道，8月10日，公安部召开新闻发布会，表示将严打“AI换脸”诈骗犯罪。为防范和打击这类新型犯罪，公安机关还联合国家重点实验室等单位，开展人脸识别与活体检测技术安全测评，覆盖了境内用户量大、问题隐患突出的即时通讯、网络直播、网络社交、电商平台、金融支付等重点APP，及时发现人脸识别验证系统存在的风险隐患。同时，依托“净网”专项行动，公安部组织专项会战，破获“AI换脸”案件79起，抓获犯罪嫌疑人515名。

　　从银行内部来看，上述商业银行信息技术人士接受21世纪经济报道记者采访时表示，目前银行防范风险的措施主要有两方面：一是多因素认证，即将人脸识别作为多种身份认证因素之一，提升总体身份认证的破解难度，从而实现相对安全，比如附加短信验证等；二是辅助认证，将人脸识别应用于中低风险服务，比如APP登录、购买理财等不涉及资金或账户内的交易。

　　一是多方核实，确认身份。认真核实身份信息，对亲友熟人线上发来的消息，若包含转账汇款、提供个人信息、提供短信验证码等涉及重要决策或敏感信息的请求时，应保持高度警惕，通过主动更换渠道如电话、视频提问等方式多重确认对方身份。

　　“AI拟声、AI换脸包装作伪后的通话，虽能逼真地模仿原始人物的语言和行为，但仍充满破绽，例如眨眼频率过低、眼睛移动不协调、面部表情不自然、唇形不匹配、语句不连贯等。若在与亲友视频语音沟通中发现上述异常行为，应立即警觉。”厦门监管局提醒，在核实无误后确需转账的情况下，应尽量向银行账户转账，避免通过社交软件转账，有助于进一步核实对方身份、跟进转账信息，一旦发现风险，及时报警求助。

　　二是保护信息，拒绝诱惑。提高信息保护意识，特别警惕需要录入个人信息的非正规软件，如走路赚钱、刷单兼职App等。在开启“定位服务”、输入“身份证号”或是录入“人脸识别信息”“指纹识别信息”等个人生物信息时一定要慎之又慎；发现App过度、强制收集个人信息时及时向有关部门投诉举报。此外，妥善设置个人社交账户的浏览权限，不过度公开或分享涉及个人信息的动图、视频等，对不明平台发来的广告、中奖、交友等链接提高警惕，不随意填写个人信息，不轻易向陌生人开启手机屏幕共享。

　　三是相互提示，共同预防。对身边的亲友多加提醒，互相交流，共同应对新型AI骗局。对新兴AI技术不了解不敏感的中老年人往往成为AI换脸诈骗的潜在受害者，广大消费者在对身边的这类人群加强常规反诈提示的同时，也要注意揭示不法分子的新手段：视频电话眼见、耳听未必属实；勿与陌生人视频通话，个人信息切不可轻易对外提供，共同提高风险防范意识，保护个人信息安全。

　　徐文鸣认为，首先，要学会识别诈骗手段。用户应及时了解和学习AI换脸技术和金融诈骗的工作原理以及常见的诈骗伎俩，增强识别潜在受骗危险的能力。因为人脸合成的素材大多使用的是睁眼照片，所以“缺少眨眼”可以被视为是合成视频的特征之一，此外合成视频还可能存在语音和嘴唇运动不同步、情绪不符合、模糊的痕迹、画面停顿或变色等情况。

　　其次，在手机中安装国家反诈中心APP，利用软件进行防诈骗保护。第三，保护好个人信息。在社交媒体上谨慎分享个人隐私信息，在授权他人使用个人生物信息时需验证对方是否正规合法、是否建立了良好的数据存储和保密机制。最后，涉及财产处置时要保持高度警惕。一方面，谨慎添加陌生好友，在涉及转账交易等行为时多重验证并设置延期到账来预留处理时间，要注意核验对方身份，可通过见面、回拨电话、询问对方问题等多种方式。若对方是以视频通话方式联系的，应注意仔细观察视频中人物的神情样貌、面部细节，或要求对方做出指定动作。另一方面，要注重证据的收集和保存，可通过对通话进行录制、保留转账截图等方式，在发现风险时，及时报警求助。

　　上述防范方式方法看起来可能比较繁杂，近期最高人民检察院专门发布相关视频，提出了三点简单易行的防范方法：“电话回拨再确认，视频不可轻易信；私人问题记得问，答不上来不可信；眨眼能破AI面孔，关键时刻要常用。”

　　随着人工智能科技的进步，一方面高科技能够为用户和商家带来了便利和高效，例如人脸识别应用在支付等领域，提升了支付效率；另一方面，这类技术被不法分子掌握后，产生了新的诈骗手段。因此，作为双刃剑的AI技术，其监管边界值得思考。

　　徐文鸣称，AI技术的监管边界是一个复杂的问题，且会随着AI技术的发展而不断演化。AI技术具有许多优势和潜在的应用领域，利用好AI技术可以增强生产力和提高生产效率，如优化企业的决策、降低企业生产成本，应鼓励和支持AI技术成长成为有力的生产力工具。但同时需要谨慎使用AI技术，防范AI技术滥用给公众利益、国家安全带来的潜在危害。因此，AI技术的发展需要平衡创新促进和公众利益保护两方面考量，这就要求适当划分AI技术的监管边界。

　　事实上，监管已经开始重视这一问题。为了规范AI技术的应用，2023年7月10日，国务院公开发布通知表示，由国家互联网信息办公室联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局共同拟定的《生成式人工智能服务管理暂行办法》（下称“《办法》”）于2023年8月15日正式施行。

　　张璐对21世纪经济报道记者表示，这意味着，AI换脸中如果是利用生成式人工智能技术的，也受到《办法》的规范。《办法》第9条规定，提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。

　　此外，张璐指出，我国于2022年11月发布《互联网信息服务深度合成管理规定》，专门对利用深度合成服务做出规范。《规定》从信息呈现和信息传播两个维度提出要求。在信息呈现方面，提出深度合成服务提供者应当在可能导致公众混淆或者误认的深度合成信息内容中加入显式标识，以提示公众该内容的生成合成特性，保障公众知情权，降低虚假信息传播的风险，实现内容治理。在信息传播方面，通过有效技术保障措施在深度合成信息内容中添加隐式标识，实现深度合成内容安全溯源和技术应用安全可控，确保内容传播链条明确清晰。

　　海外方面，张璐告诉21世纪经济报道记者，针对深度合成技术带来的颠覆性风险挑战，目前多个国家和地区对于AI换脸的监管正在积极推进之中。美国曾推出立法提案，但是未被通过，一些州（比如加利福尼亚州、德克萨斯州、纽约州、弗吉尼亚州等）已经通过了管理其使用的法律，不过立法提案主要聚焦暴力、政治等领域，暂无财产领域。欧盟将深度合成涉及的个人数据保护问题纳入《通用数据保护条例》（GDPR）的规制框架，欧盟《数字服务法》（The Digital Services Act，DSA）于2022年11月生效，要求社交媒体对用户在其平台上发表的非法信息内容（包括深度伪造）等采取行动。德国、英国、新加坡、韩国等国将深度合成相关犯罪纳入刑法范畴，但尚未有国家出台规范深度合成服务的专门立法。

　　徐文鸣表示，在人工智能领域，欧盟开展了大量的相关立法工作，如《通用数据保护条例》这部在全球范围具有广泛影响力的法律，欧盟在人工智能方面的监管一直走在世界前列。欧盟委员会正在准备出台《人工智能法案》，预计该法案将于2024年正式生效。根据目前该项法案的内容，其要点之一在于将人工智能系统根据风险评估分为了四类：不可接受的风险、高风险、有限风险与轻微风险，并针对不同风险等级，采取不同程度的监管措施。目前我国的相关法律规定暂未对人工智能服务或技术进行详细的分类分级，在促进AI技术发展和防范AI技术滥用的监管平衡中，欧盟《人工智能法案》这一监管思路对于我国人工智能监管存在借鉴意义。