AI换脸拟声难辨,如何防范消费诈骗?
发布时间:2025-12-4 23:35:00 信息来源:信息时报
在科技浪潮席卷之下,AI技术已在电商平台得到广泛应用。平时爱看直播的消费者或许没意识到自己刷到的明星或名人直播带货,可能从肖像到声音全是AI伪造的。近日,演员温峥嵘发文称,近期网络上频繁出现以盗播、AI换脸等方式,非法使用其个人形象售卖假冒伪劣产品的不法行为,并表示已报警处理。
“我该怎么证明我是我?”演员温峥嵘的无奈感慨迅速登上社交平台热搜。而温峥嵘的遭遇远非个案,抖音早前发布打击AI仿冒名人带货的数据:短短一个月,处置违规带货账号1.1万个,违规商品超过6700个。这些数字背后,是一条基于AI技术的黑灰产链条,正在悄然侵蚀网购消费者和电商商家的信任。
仿冒名人肖像、声音带货、伪造商品瑕疵图牟利等行为频发,严重侵害消费者与商家权益、扰乱市场秩序。对此,监管部门出台专项办法强化整治,多平台同步重拳出击清理违规内容与账号,多方联动筑牢防线,严厉遏制AI仿冒违法违规乱象蔓延。
案例
高学历教授被合成名人声音“带货”
今年10月,北京互联网法院发布系列涉人工智能侵权典型案例。其中,李女士是一名大学教授,在教育、育儿领域具有一定知名度和社会影响力。一次偶然机会,她在一家经营教育类图书的网络店铺中,发现有多个视频显示她正在宣传推介该公司销售的多本家庭教育类图书。
通过仔细观察,李女士发现那家网络店铺上的宣传图像是自己,声音也和自己非常相似,但李女士确定自己没有拍摄过这个推介图书的视频。通过对比发现,视频中她的图像是真实的,不过是她在其他场合公开演讲、授课的视频,可以理解为“偷换概念”。当中的关键是声音,这个虚假视频所用的声音和她的声音非常像,她怀疑这是利用AI合成的与她声音高度近似的声音。
李女士认为,涉案文化传媒公司未经许可利用自己的人格形象、专业背景和社会影响力吸引关注,增加交易机会,侵犯了自己的肖像权和声音权。李女士诉到法院,要求图书销售者对涉案视频的发布承担赔礼道歉、赔偿损失等侵权责任。
法院认为,在案证据表明被告某文化传媒公司未尽到其应有的审查注意义务,故应与视频发布者就侵权视频发布承担连带责任。最后判决:被告某文化传媒公司向原告李女士赔礼道歉,并赔偿其经济损失及维权合理支出费用12万元。目前该判决已生效。
法院方面介绍,近几年随着生成式人工智能技术的迅猛发展,名人声音被“克隆”冒用越来越真假难辨,造成声音侵权现象泛滥,消费者极易被误导。
抖音平台上千个账号冒充于东来
今年9月,抖音集团副总裁李亮在社交平台披露,今年抖音平台出现大量利用人工智能(AI)技术仿冒胖东来创始人于东来的语音和形象,进行违规营销带货的账号和内容。截至目前已封禁1000多个此类仿冒账号,并将相关线索移交给监管部门处理。该消息一度登上社交平台热搜,记者梳理资料发现,通过AI技术仿冒于东来语音的账号,在今年上半年频繁出现在抖音平台,当中大部分都是为了售卖违规商品,也有部分账号没有卖货,而是希望借助名人效应快速为账号“吸粉引流”。
有互联网大厂工作经验的AI技术人员告诉记者,如今AI技术发展迅速,不法分子造假也有自己的“套路”:他们只需要收集一些于东来公开的讲话视频和录音,就能通过技术手段,合成出以假乱真的声音和动态形象,让这个数字化“于东来”为他们站台,说出他们想让消费者听到的话。目前已有侵权获利企业受到相关部门调查处罚,福建泉州市的市场监管部门对其中一家涉事企业作出处罚决定:没收其全部违法所得,并处以15万元的罚款。
针对AI仿冒于东来的侵权行为,胖东来官方表示,公司在第三方网络平台发现多个账号未经授权,擅自利用AI技术生成于东来先生的声音,导致公众产生混淆和误解。胖东来方面严正表示,上述行为侵犯了于东来先生的人格权和公司的著作权,对企业品牌形象造成消极影响,公司对此予以严厉谴责。胖东来要求相关账号立即停止侵权,并声明将采取法律手段追究严重侵权者的责任,以维护自身合法权益。
AI伪造图片造成商家损失
AI造假泛滥,除了让不良商家得益,也给一些诚实守信的商家带来无妄之灾。
家住广东清远的潘女士在电商平台销售时令水果和当地农特产,近段时间,她收到部分顾客反馈,收到的商品出现问题,如水果有斑点、农产品发霉等。
当时,她给消费者做出退款处理。然而,她仔细了解情况发现,同一批次商品只有一个消费者称收到的商品有问题,该消费者收到商品后的时间也在正常的配送时间内。于是她查看该消费者的退款申请上提交的图片。她结合该商品属性和配送环境推断,商品不会出现图片上的瑕疵。她将图片给到AI技术人员鉴定,发现该照片是AI伪造图片。
潘女士告诉记者,今年开始,大部分电商平台全面取消仅退款,但对于一些单价低出货频次高的电商店铺,大家更愿意在顾客因商品质量问题投诉时,用“仅退款”处理,这样既节省时间成本也节约物流成本。有消费者或看准这一商家心理,用AI伪造图片获利。
“早前正值‘双11’电商大促,大家本来就忙,一些有凭证的退款申请,我们都会快速给消费者解决,当中可能有消费者借用AI‘浑水摸鱼’。”潘女士无奈表示。
实测
AI仿冒易购买且有“教程”
随着AI大模型算力的发展,AI换声/换脸已经逼真到让人难辨真假。AI仿冒名人声音用于带货领域,甚至被用于诈骗活动,对商家和消费者都造成巨大的困扰。
记者在采访消费者时了解到,相对于AI换脸的伪造视频,AI换声更具迷惑性,“大家对AI换脸略有所闻,但AI换声,对很多年长用户来说并不熟悉,容易信以为真。”消费者刘女士告诉记者,自己70多岁的妈妈就是被短视频上模仿AI声音视频欺骗,购买了高于市场价的保健商品。
AI仿冒声音在电商领域泛滥,或与容易获取有关。记者在手机应用商城看到一款名为“星某”的App,其号称可以自由定制AI聊天智能体,有多名不同类型的AI虚拟人物用作与用户聊天。用户可以直接和“赵丽颖”“杨紫”等“AI明星”进行语言聊天对话。有用户表示,如果该应用用于口语练习,那就是一个正向App;如果用户用于冒充他人的违规传播,那或将带来不良影响,给App开发者带来负面影响。
AI模仿音乐也非常容易购买,记者在第三方交易平台看到,AI换声的个性化定制工具不仅大量存在,且成交的价格很低,低至1.5元甚至0.99元均有交易,不少商家的店铺显示累计销量有数百单。当记者尝试下单购买时,有店铺可以直接下单,而部分店铺会询问你的购买用途,记者编造一个理由之后,也可以完成下单,整个过程基本没有太多障碍。
记者通过与商家聊天发现,以数元价格购买的AI换声应用,需要购买者自行制作,且AI音质并没有模仿知名人士。记者在另外一家标价100元制作AI音频的商家了解到,如果想要购买名人声音,需支付更高价格。记者提出要录制一位知名艺人的音频需求,商家标价为300元,并表示只需用户配合商家提出的简单要求即可制作完成,过程快捷简便。
有电商商家向记者反馈,有不法分子用AI给水果添加腐烂黑斑、给玩偶伪造开裂痕迹等,伪造商品瑕疵图骗取仅退款,水果品类因造假操作简单成重灾区。该灰产还形成教学产业链,有卖家售卖288元到788元不等的教程,传授规避平台规则的技巧,比如剪断防伪链后小额索赔,利用平台小额审核宽松的漏洞牟利。
整治
监管部门向AI技术滥用“亮剑”
今年以来,我国对于AI滥用现象出台了相关办法。《人工智能生成合成内容标识办法》(下称《标识办法》)于今年9月施行。《标识办法》强调,任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识,不得为他人实施上述恶意行为提供工具或者服务,不得通过不正当标识手段损害他人合法权益。
网信部门近日发布的公告可见,由于利用AI技术仿冒公众人物形象,在直播、短视频等环节发布营销信息,误导网民,涉嫌虚假宣传和网络侵权,“百货超市小店”“娜娜好物联盟”“环球护肤美妆甄选”等一批违法违规网络账号被严厉处置。目前已累计清理相关违规信息8700余条,处置仿冒公众人物账号1.1万余个。
平台严厉打击AI仿冒卖货
抖音
11月下旬,抖音电商在日常巡查中发现,部分达人在直播过程中采用AI造假、诱导站外交易、虚构商品材质等不当手段进行诈骗引流。抖音电商启动直播诈骗专项治理行动,集中整治相关违规行为。
微信
针对视频号使用规范,微信也在9月提出,严禁利用AI技术换脸冒充他人,包括社会知名人士等,侵犯他人合法权益;在金融、法律、医疗等专业领域直播,若未申请相应资质,不得使用AI改变面部形象。
淘宝
11月“双11”结束后,淘宝安全中心发布治理公告,宣布开展为期1个月的专项治理,重点打击未经授权利用AI等技术仿冒明星等公众人物形象进行直播带货的行为,此前该平台也曾开展专项行动,拦截下架千余件涉AI侵犯知名人士肖像权的违规商品。
声音
律师:AI仿冒违反多项法律
网经社电子商务研究中心特约研究员、上海汉盛律师事务所高级合伙人李旻从法律角度分析道,AI盗播的商家未经过他人同意,使用他人形象直播、带货,违反了民法典第一千零一十九条,侵犯了对方的肖像权。如果盗播带货时,还明确以他人的名义进行,则违反民法典第一千零一十四条和《中华人民共和国反不正当竞争法》第七条,侵犯了对方的姓名权,且存在不正当竞争行为。
商家:合规AI应用能节省成本
武汉电商经营者雷女士向记者表示,打击AI仿冒泛滥的同时,希望正向的AI应用场景能被保护。据了解,雷女士经营跨境电商业务,跨境电商店家想进入不同国家和地区市场,但制作多语言的产品介绍视频成本极高,需要聘请不同语言的模特和配音员。AI技术进步,让店家可以录制一个基础版本的中文介绍视频,然后利用AI换声技术,将中文配音无损地转换成地道的英语、日语、西班牙语等多种语言。AI换脸技术甚至可以微调口型,使其与新语言的发音更匹配。节约成本的同时,极大提升视频的真实感和本地化效果。雷女士向记者表示,自己的跨境网店近一年都在正规渠道购买AI应用,对比前一年节约成本接近一万元,“如果店铺规模大,节约的使用成本则更多。”
专家:科普AI诈骗需各方出力
记者在采访过程中了解到,平台能否检测出视频为AI生成成为一大挑战。中国信通院人工智能研究中心安全与元宇宙部主任石霖接受记者采访时指出,目前深度伪造技术与检测技术正在相互博弈,“它们就像杀毒与造毒一样,是长期攻防对抗的过程。现在来看,伪造的技术也确实越来越真实有效,我们从调研中发现,检测技术在一定程度上可能有一定滞后性,对于新的算法需要样本积累和过滤。”
“老年人只有先知道AI生成技术,才能有识别AI虚拟人物的意识,从而规避不法分子利用AI虚拟形象制造的骗局。”北京东方老年研修学院院长、北京市石景山区老年大学原校长杨文霞鼓励老年人勇于接触网络、保持终身学习。中国人民大学人口与健康学院教授唐丹认为,家庭仍是帮助老年人防范网络风险的第一道防线,但构建家庭防线需细水长流,子女就应当给老人保留自由探索的空间,并在日常交流中适时进行风险提示和技能科普。
公安部网络安全保卫局专家谭晓生在公开场合表示:“安全的具身智能是具身智能在生产、生活中普及的先决条件,这是具身智能产业所面临的一个挑战,需要学术界、产业界、监管方等共同努力,找到优雅、有效、可持续发展的解决方案 。”