人工智能领域，OpenAI 再次陷入困境。
一群前 OpenAI 员工与《纽约时报》的 Kevin Roose谈论了他们认为该组织内部存在严重安全缺陷的情况。他们——就像最近几个月离开 OpenAI 的其他人一样——声称该公司没有采取足够措施防止其人工智能系统变得具有潜在危险，并指责 OpenAI 采用强硬手段试图阻止员工发出警报。
该组织周二发表了一封公开信，呼吁包括 OpenAI 在内的领先人工智能公司提高透明度，并为举报人提供更多保护。信中写道：“只要政府对这些公司没有有效的监督，现任和前任员工就是少数可以让他们向公众负责的人。”
也许我有些悲观，但我预计前员工的呼吁不会被理会。很难想象这样的场景：人工智能公司不仅同意“支持公开批评的文化”（如签名者所建议的那样），而且还选择不执行不贬损条款或对选择直言不讳的现任员工进行报复。
想想看，OpenAI 的安全委员会是该公司最近为回应对其安全实践的最初批评而成立的，其成员包括公司所有内部人员——包括首席执行官山姆·奥特曼 (Sam Altman)。再想想看，奥特曼曾一度声称对 OpenAI 的限制性不贬低协议一无所知，但他本人 签署了建立这些协议的公司文件。
当然，OpenAI 的情况明天可能会有所好转——但我并不抱太大希望。即使他们真的有好转，我也很难相信。
OpenAI最近在其官方博客上重点介绍了一篇2023 年的研究论文《让我们一步一步验证》，其中 OpenAI 的科学家声称已经对该初创公司的通用生成式 AI 模型 GPT-4 进行了微调，以在解决数学问题方面取得超出预期的表现。该论文的合著者表示，这种方法可能会使生成式模型更不容易出轨——但他们指出了几个注意事项。
在论文中，合著者详细介绍了他们如何训练奖励模型来检测幻觉，即 GPT-4 弄错事实和/或数学问题答案的情况。（奖励模型是专门用于评估人工智能模型输出的模型，在本例中是 GPT-4 的数学相关输出。）每当 GPT-4 正确回答数学问题的一个步骤时，奖励模型就会“奖励”它，研究人员将这种方法称为“过程监督”。
研究人员表示，与之前的“奖励”模型技术相比，过程监督提高了 GPT-4 的数学问题准确性——至少在他们的基准测试中是如此。但他们承认，这并不完美；GPT-4 仍然会犯一些问题步骤错误。目前还不清楚研究人员探索的过程监督形式如何推广到数学领域之外。
本站全部资讯来源于实验室原创、合作机构投稿及网友汇集投稿，仅代表个人观点，不作为任何依据，转载联系作者并注明出处：https://www.lvsky.net/446.html
评论