仅上线一天,Sora 2 已成为对记者进行跟踪与深度伪造视频的新武器
OpenAI 的 Sora 2 刚推出就引发混乱:这款文本转视频工具迅速走红,但也暴露出版权与深度伪造风险。大量视频以熟悉角色为模板,甚至出现把 Altman 伪造成犯罪的 CCTV 镜头,引发公众对其滥用的担忧。
In This Article:
对记者的跟踪与伪造:泰勒·洛伦茨的遭遇
极短时间内,记者泰勒·洛伦茨(Taylor Lorenz)公开表示,一名“psychotic stalker”已开始用 Sora 2 为她制作 AI 视频,并据称运营着数百个针对她的账号。 她在推文中写道: “It is scary to think what AI is doing to feed my stalker’s delusions,” Lorenz wrote in a tweet. “This is a man who has hired photographers to surveil me, shows up at events I am at, impersonates my friends and family members online to gather info.”
Cameos:深度伪造的核心卖点与潜在滥用
Sora 2 的一个核心卖点是“Cameos”:可重复使用的角色,这些角色是从你上传的视频中合成的。你也可以在获得对方同意的情况下使用别人的 Cameos。 不过,Sora 2 的守卫机制并不可靠,部分用户已经演示出能够生成对他人具有挑逗性或露骨意味的视频。系统卡片中 OpenAI 承认,该 AI 应用在阻止用真实人物影像生成裸体或性内容的提示方面,失败率为 1.6%,也就是说,在数百万个提示里,仍有大量视频穿透。
现实案例与风控漏洞:普通人也可能被侵害
目前尚不清楚洛伦茨的跟踪者如何利用 Sora 深度伪造她的影像。OpenAI 声称应用会阻止上传包含脸部的照片。自从这类工具普及以来,对女性的性骚扰就屡见不鲜,去年歌手泰勒·斯威夫特也遭遇过 AI 生成的伪造裸照事件。 此外,个别跟踪者曾利用 AI 生成对被骚扰者的裸体图像,并创建模仿她外貌的聊天机器人;另一名骚扰者制作了近十几名受害者的色情 AI 视频并发送给她们的家人。OpenAI 似乎希望公众尽快习惯将现实人物的影像进行 spoof 的想法——这项技术由能将面部特征固化的“黑箱”算法实现,被视作“无害的乐趣”。
向前的路:需要更强的守门、法规与社会共识
要应对这场危机,技术改进之外还需要更清晰的法律与道德规范。应对策略包括:加强对上传身份的核验、限制敏感领域的深度伪造、对滥用者的法律追究,以及提升平台的透明度与问责性。本文作者为 Futurism 的科技与科学记者,关注人工智能的商业伦理、天体物理学与环境议题。