最近，“AI合成6只‘死螃蟹’视频骗取商家195元退款”“买家AI合成死螃蟹仅退款被拘8日”等话题登上热搜。

新华日报·交汇点记者注意到，随着AI技术的普及，基于AI生成内容的“深度伪造”特性，一些不法分子利用生成合成内容实施诈骗，引发社会广泛关注。

AI合成“死螃蟹”实施诈骗

12月10日，记者联系到苏州市相城区大闸蟹经销商高晶时，她和丈夫刘宇杰刚刚核对好今天的大闸蟹订单、处理好售后，最近生意不错，每天约有200份订单，其中线上平台占到一半以上。

高晶正是“AI合成‘死螃蟹’骗取商家退款”话题中的当事商家。11月17日，高晶根据客户订单，发出了一箱8只装大闸蟹，实发4公4母。第二天中午，广州的买家就收到了货，完成签收。“签收后10多分钟，我们就收到了平台发来的客户反馈，说8只螃蟹死了6只。”高晶说。

“我当时第一反应就感觉不太可能，因为我们做精挑，品质较高，再加上这阶段天气也比较冷，物流也就一晚上，死蟹确实会有，但比率不可能这么高。”收到反馈后，高晶按照流程让客户拍了照片。客户发来的照片上，6只大闸蟹腹部朝上躺在水池台面上，蟹脚异常上翘，不符合死蟹的生理特征。

于是，高晶让客户再拍一段视频，用手指逐个去拨动一下，买家也按照要求发来这样的视频。“当时看完第二段视频，以为视频也不好造假了，我就按照平台赔付要求，向买家赔付了195元。”

“不过，我心里还是觉得有点不对劲。”第二天，高晶开始跟家人复盘这个事情，重新检查买家发来的图片和视频。这次，高晶有了新的发现：“买家发来的第一张图片上死蟹为2公4母，而第二段视频却变成3公3母。”发现这个更大的疑点之后，高晶将其疑惑和买家再次提出，这时，买家就只显示信息已读，不再回复。随后，高晶将此事发在了网络上，在广州网友和自媒体博主的联动下，广州当地公安部门立即介入调查。

12月2日，高晶收到了警方的处理结果：此前线上购买螃蟹的买家利用手机合成制作收到6只“死螃蟹”的虚假视频，要求商家退款195元，实施诈骗。该当事人11月28日被公安机关查获。根据相关法规，决定给予该当事人行政拘留8日的处罚，并追缴违法所得人民币195元。

在采访中，刘宇杰说，今年是两人返乡创业的第二年，家里父母养殖大闸蟹，主要负责线下门店，他和妻子就负责起大闸蟹的线上销售。今年9月，大闸蟹开捕后，他们入驻电商平台，借助平台的流量和促销活动，再加上自己店铺的让利，生意一直不错。“希望我们这件事可以对造假者予以警示，同时各部门也需要形成合力，共同维护健康的市场环境。”

AI技术“双刃剑”效应凸显

“AI技术的‘双刃剑’效应已经开始凸显。”苏州市人工智能行业协会战略顾问兼研究员朱佳认为，伴随着技术的快速发展，AI在为人们日常工作、生活提供便捷性的同时，确实在安全治理层面带来了新的挑战，出现了利用深度伪造技术进行欺诈、利用虚拟形象进行不当营销等案例。

记者梳理发现，除了AI制作虚假视频，骗退款实施诈骗外，运用AI技术生成“名人”，进行直播带货；通过AI工具制造谣言，博取流量等，这些都是AI技术被用“歪”的表现。

更有甚者，用户在网上看到的专家讲座，很可能也是用AI生成的诈骗信息。北京大学国家发展研究院的李玲教授曾发布公开声明，声称网络上出现了大量假冒其身份推销医药书籍和治疗手段的虚假视频，大多为人工智能合成，她本人并未在任何平台上推销医药产品或书籍。随后李玲教授向警方报警。

“AI技术在赋能信息传播的同时，其内在的不透明性和放大效应也构成了新型的虚假信息风险源‌。”苏州大学传媒学院教授张梦晗近几年的研究重点指向生成式AI带来的社会风险，她举例说，此前有网民为博取流量，在搜集未经核实的网络信息后，利用AI生成“四川启动2.15万亿拆迁项目”虚假信息，四人因虚构事实被行政处罚，这表明追求真实客观的新闻报道领域也难逃AI造假带来的冲击，长此以往将动摇公众对新闻真实性的信任。

“这场AI造假不是单方面的狂欢。”苏州电子商务协会秘书长徐金龙说，对于商家而言，面对一些恶意“薅羊毛”用户，往往因为自证成本高，而选择吃下哑巴亏；而消费者如果遇到不法商家，如果没能够及时擦亮双眼，也会导致自身利益受损。“AI造假每得逞一次，都是对社会诚信的侵蚀，最终会让消费者信誉受损、平台收紧规则，这场投机没有赢家。” 

多方携手共筑安全防线

在AI合成“死螃蟹”这起事件中，高晶呼吁：“希望有关部门加强监管，也期待线上平台可以帮助商家甄别AI造假的情况，这样也会帮我们省去很多麻烦。”

“规范使用AI技术，没有单一角色能独善其身。”南京信息工程大学江北新区发展研究院院长丁宏认为，监管部门需要加强立法监督，对于AI造假行为进行严厉禁止，并追究直接使用者责任；平台也要加强审核责任，构建技术过滤校验防线，对可能产生危害后果的行为进行预警；商家与消费者需要诚信参与，各方携手共同构筑一道坚实的防线。

今年9月1日，《人工智能生成合成内容标识办法》（以下简称《标识办法》）开始施行，办法由国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局等四部门联合发布，重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题，推动由生成到传播各环节的全流程安全管理，力争打造可信赖的人工智能技术。

这给AI参与内容生产立了“规矩”。针对服务提供者，《标识办法》明确应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识，在提供生成合成内容下载、复制、导出等功能时，应当确保文件中含有满足要求的显式标识。针对互联网应用程序分发平台，《标识办法》提出在应用程序上架或者上线审核时，应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务，并核验其生成合成内容标识相关材料。针对用户，《标识办法》要求使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识。

“目前，部分电商平台开始取消‘仅退款’政策，降低欺诈成功率。”有10多年网购经验的消费者胡芳注意到，淘宝天猫在今年3月更新了“商品图片不失真”规则，明确认定了“商品材质或款式不符”“效果失真或夸大效果”等AI假图的典型场景，并通过上线识别模型，采取“源头拦截”“存量清理”和“标识提醒”等措施进行治理。

“除了平台识别外，也需要每一位消费者遵守规则、诚实守信，共同营造良好的网络生态，这对各方都有利。”胡芳说。

新华日报·交汇点记者 王俊杰 陈诚