恶意行为者正在滥用生成式 AI 音乐工具来创作恐同、种族主义和宣传性歌曲，并发布指南指导其他人如何这样做。
据在线平台信任和安全运营管理服务ActiveFence称，自 3 月以来，“仇恨言论相关”社区中关于滥用人工智能音乐创作工具创作针对少数群体的攻击性歌曲的讨论激增。ActiveFence 研究人员在一份报告中表示，这些论坛和讨论板上分享的人工智能生成的歌曲旨在煽动对民族、性别、种族和宗教群体的仇恨，同时庆祝殉难、自残和恐怖主义行为。
仇恨和有害歌曲并非新鲜现象。但令人担心的是，随着易于使用的免费音乐生成工具的出现，这些歌曲将被那些以前没有手段或专业知识的人大规模制作——就像图像、语音、视频和文本生成器加速了错误信息、虚假信息和仇恨言论的传播一样。
ActiveFence 的一位发言人告诉 TechCrunch：“随着越来越多的用户学习如何生成这些歌曲并与他人分享，这些趋势正在加剧。”“威胁行为者正在迅速识别特定的漏洞，以不同的方式滥用这些平台并生成恶意内容。”
创作“仇恨”歌曲
Udio 和Suno等生成式 AI 音乐工具让用户可以为生成的歌曲添加自定义歌词。ActiveFence 称，平台上的安全措施会过滤掉常见的诽谤和贬义词，但用户已经找到了解决方法。
报告中引用的一个例子是，白人至上主义论坛的用户分享了少数族裔的拼音和冒犯性词汇，例如用“jooz”代替“犹太人”，用“say tan”代替“撒旦”，他们用这些词汇来绕过内容过滤器。一些用户建议在提及暴力行为时改变空格和拼写，例如用“mire ape”代替“my rape”。
TechCrunch 在 Udio 和 Suno 上测试了其中几种解决方法，这两款工具是创建和共享 AI 生成的音乐的较受欢迎的工具。Suno 允许所有音乐通过，而 Udio 会屏蔽一些（但不是全部）令人反感的同音词。
Udio 发言人通过电子邮件告诉 TechCrunch，该公司禁止使用其平台发表仇恨言论。Suno 没有回应我们的置评请求。
ActiveFence 在其调查的社区中发现了人工智能生成的歌曲的联系，这些歌曲重复了关于犹太人的阴谋论并主张大规模屠杀犹太人；包含与恐怖组织 ISIS 和基地组织相关的口号的歌曲；以及美化针对妇女的性暴力的歌曲。
歌曲的影响
ActiveFence 认为，歌曲（与文本不同）具有情感分量，这使得它们成为仇恨团体和政治战争中特别强大的力量。该公司以 70 年代末和 80 年代初在英国举行的一系列白人权力摇滚音乐会“反共产主义摇滚”为例，该音乐会催生了反犹太主义和种族主义“仇恨核心”音乐的子流派。
ActiveFence 发言人表示：“人工智能让有害内容更具吸引力——想象一下有人在向某个群体宣扬有害言论，然后想象有人创作一首押韵的歌曲，让每个人都能轻松唱出并记住它。它们加强了群体团结，向外围群体成员灌输思想，也被用来震惊和冒犯不相关的互联网用户。”
ActiveFence 呼吁音乐生成平台实施预防工具并进行更广泛的安全评估。“红队测试可能会暴露其中一些漏洞，可以通过模拟威胁行为者的行为来实现，”发言人说。“在这种情况下，更好地控制输入和输出可能也很有用，因为它将允许平台在内容与用户共享之前阻止内容。”
但随着用户发现新的绕过审核的方法，修复可能会很快出现。例如，ActiveFence 识别出的一些人工智能生成的恐怖主义宣传歌曲是使用阿拉伯语委婉语和音译创作的——音乐生成器无法检测到委婉语，大概是因为它们的过滤器对阿拉伯语不够强大。
如果人工智能生成的仇恨音乐能够效仿其他人工智能生成的媒体，那么它将广泛传播。《连线》杂志今年早些时候报道了一段人工智能制作的阿道夫·希特勒视频在被一名极右翼阴谋论影响者分享后，在 X 上获得了超过 1500 万次观看。
除其他专家外，联合国的一个咨询机构也表示担心，生成性人工智能可能会增强种族主义、反犹太主义、仇视伊斯兰教和仇外主义的内容。
“生成式人工智能服务让缺乏资源或创意和技术技能的用户能够创建引人入胜的内容并传播在全球创意市场上争夺关注的创意，”该发言人表示。“威胁行为者发现了这些新服务提供的创造潜力，正在努力绕过审核并避免被发现——他们已经成功了。”
本站全部资讯来源于实验室原创、合作机构投稿及网友汇集投稿，仅代表个人观点，不作为任何依据，转载联系作者并注明出处：https://www.lvsky.net/453.html
评论