研究人员发现 OpenAI 的 Whisper AI 工具有时会在医疗转录中生成伪造的句子。
OpenAI 开发了一款名为 Whisper 的人工智能转录工具，数千名临床医生和医疗系统都在使用它。研究人员发现，这款工具有时会产生不准确的转录结果，因此受到了严格审查。Whisper 是 Nabla 公司医疗转录工具的驱动工具，据报道，它已经转录了大约 700 万次医疗对话。虽然它准确地总结了许多医患交流，但康奈尔大学和华盛顿大学的研究人员发现，人工智能生成的句子完全是捏造的，有时甚至会添加不相关或无意义的短语。
这项研究于 6 月在巴西举行的计算机协会 FAccT 会议上公布，研究强调Whisper在大约 1% 的转录中出现错误，经常产生“幻觉”——在对话中对沉默做出虚假陈述。这些错误在失语症患者的音频样本中尤为常见，失语症是一种导致频繁停顿的语言障碍。在一个案例中，Whisper 插入了更典型的YouTube视频短语，例如“感谢您的观看！”
Nabla 意识到了这个问题，并表示正在努力寻找解决方案来缓解这些幻觉。作为回应，OpenAI 强调其致力于减少此类错误，特别是在医疗保健等高风险情况下。OpenAI发言人指出，Whisper 的使用政策不鼓励将其应用于关键决策环境，开源使用指南建议不要在高风险领域部署。
这项研究的结果强调了在医疗保健等敏感环境中应用人工智能工具的复杂性，因为在这些环境中，精确的沟通至关重要。由于 Whisper 被 40 个医疗保健系统使用，这个问题引发了更广泛的问题，即人工智能转录工具在医疗环境中的适用性以及在其部署过程中是否需要持续监督。
评论