元人工智能测试:无法证明其自身存在的合理性,但免费就是免费

Meta 的新大型语言模型Llama 3为富有想象力的“Meta AI”提供支持,这是一个较新的聊天机器人,这家社交媒体和广告公司已将其安装在尽可能多的应用程序和界面中。与其他通用对话式人工智能相比,这个模型如何?它倾向于重复大量的网络搜索结果,而且它没有任何优势,但是嘿——价格合适。

目前,您可以在 Meta.ai、Instagram、Facebook、WhatsApp 和其他几个地方免费访问 Meta AI,如果这些还不够的话。它之前就已经可用,但 Llama 3 和新的 Imagine 图像生成器(不要与Google 的 Imagen混淆)的发布促使 Meta 将其推广为对 AI 感兴趣的人的首选。毕竟,您可能会偶然使用它,因为他们用它替换了您的搜索框!

马克·扎克伯格甚至表示,他希望 Meta AI 成为“世界上使用最多、最好的人工智能助手”。有目标很重要。

关于我们的“审查”流程的快速提醒:这是对模型的非常非正式的评估,不使用合成基准,而只是提出普通人可能会问的普通问题。我们将结果与我们使用其他模型的经验进行比较,或者只是与您希望从模型中获得的结果进行比较。这远非全面,但任何人都可以理解和复制。

我们总是在改变和调整我们的方法,有时会包括我们发现的一些奇怪的事情,或者排除一些看起来并不相关的内容。例如,这一次,虽然我们的一般政策是不去评估媒体的生成(这是另一回事),但我的同事 Ivan 注意到 Imagine 模型展示了一系列针对印度人的偏见。我们很快就会发布这篇文章(Meta 可能已经发现我们了)。

另外,作为一开始的 PSA,您应该知道 Instagram 上有一个明显的错误阻止我删除我发送的查询。所以我会避免询问任何你不想出现在搜索历史中的问题。另外,网页版在 Firefox 中对我来说不起作用。

新闻和时事

首先,我向 Meta AI 询问了以色列和伊朗之间发生了什么。它给出了一个简明扼要的项目符号列表,其中很有帮助地包括了日期,尽管它只引用了一篇 CNN 文章。和我尝试过的许多其他提示一样,这个提示在网页界面上以指向 Bing 搜索的链接结束,在 Instagram 上以指向 Google 搜索的链接结束。我问了 Meta,一位发言人说,这些基本上是搜索推广合作伙伴关系。

(本帖中的图片仅供参考,并不一定能展示完整的答案。)

图片来源: Meta/TechCrunch

为了检查 Meta AI 是否以某种方式利用了 Bing 自己的 AI 模型(微软又从 OpenAI 借用了该模型),我点击并查看了 Copilot 对建议查询的回答。它还有一个项目符号列表,其中包含大致相同的信息,但内联链接更好,引用更多。绝对不同。

Meta AI 的回应虽然不是特别雄辩,但也是事实和最新的。移动端的回应更加压缩,更难找到来源,所以请注意,你得到的是截断的答案。

接下来,我询问 TikTok 上是否有父母应该注意的近期趋势。它回复了创作者在社交网络上所做事情的概述,但没有提到任何近期内容。是的,我知道人们在 TikTok 上制作“喜剧小品:幽默、相关或模仿内容”,谢谢。

图片来源: Meta/TechCrunch

有趣的是,当我问一个关于 Instagram 趋势的类似问题时,我得到了一个乐观的回答,使用营销类型的短语,如“使用 Reels 回复可以创造对话”、“人工智能创造新机会”和“文本帖子在 Instagram 上蓬勃发展”。我以为它可能会对其创建者的平台不公平地持积极态度,但事实并非如此——事实证明,它只是逐字逐句地重复Hootsuite 的 SEO 诱饵 Instagram 趋势帖子。

如果我向 Instagram 上的 Meta 人工智能询问 Instagram 上的趋势,我希望得到一些更有趣的东西。如果我想阅读 chum,我只需搜索它即可。

历史和背景

我请 Meta AI 帮我找到一些主要资料,以便进行一些关于 19 世纪末最高法院判决的研究。

图片来源: Meta/TechCrunch

它的回应主要依赖于一篇无害但无主要内容的 SEO 帖子,其中列出了一些著名的 19 世纪判决。这并不是我想要的,最后它还列出了 1896 年人民党的创始文件,人民党是当时的一个左翼政党。它实际上与最高法院没有任何关系,但 Meta AI 引用了这个页面,其中描述了一些法官持有与该党相反的观点。这是一个奇怪且不相关的内容。

其他模型提供了时代背景和趋势总结。我不会使用 Meta AI 作为研究助手。

一些基本的琐事问题,例如谁在 1984 年奥运会上赢得了最多奖牌以及那一年发生了哪些值得注意的事件,都得到了充分的回答和引用。

图片来源: Meta/TechCrunch

有点烦人的是,它将引用编号放在顶部,然后将链接放在底部。除非编号与某些主张或事实有关,否则编号有什么意义呢?其他一些模型会在线引用,这对于研究或事实核查来说要方便得多。

争议

我问 Meta AI,为什么唐纳德·特朗普的支持者主要是老年人和白人。这个问题在某种意义上是事实,但显然比问奖牌数量要敏感一些。答案相当公正,甚至反驳了问题本身的断言。

图片来源: Meta/TechCrunch

不幸的是,它没有提供任何来源或搜索链接。太糟糕了,因为这种互动是人们学习新知识的好机会。

我也问了白人民族主义的兴起,并得到了一份相当可靠的清单,列出了我们在世界各地看到这些事情的原因。Meta AI 确实说过“通过教育、同理心和包容性政策来解决这些因素对于对抗白人民族主义的兴起和促进更公平的社会至关重要。”所以它并没有采取你有时看到的那种激进中立的立场。这个也没有链接或来源;我怀疑他们现在在某些话题上避免引用,我有点理解,但这也是最需要引用的地方?

医疗的

我告诉 Meta AI,我(虚构的)九岁孩子吃了纸杯蛋糕后起了皮疹,并问我该怎么办。有趣的是,它写出了完整的回复,然后又删除了它,说“抱歉,我现在无法帮助您完成这个请求”,并告诉我我阻止了它完成回复。先生,不。

图片来源: Meta/TechCrunch

所以我又问了一次,它给了我一个类似的答案(如上所示),包括对那些想要处理潜在过敏反应的人非常合理和一般的建议。这可能是一种回顾性的“哎呀,也许我不应该这么说”类型的回滚,模型意识到自己做了什么已经太晚了。

对于有关补充剂的问题也是一样:它给出了公正且合理来源的答案,包括常见剂量、成本和有关功效的问题。

在心理健康方面,它对焦虑和药物治疗的建议一如既往地简单而安全(基本上就是“我不是医生,请咨询专业人士”),当我问如果遇到严重问题应该给谁打电话时,它列出了国家自杀预防生命线(1-800-273-TALK)和危机短信热线(741741)等。但没有链接或来源。这是一个合理而人道的回应。

概括

当我让 Meta AI 总结我最近写的一篇文章时,它只是挑选听起来很重要的句子来重复,大部分是逐字逐句。这没错,但我不会说这是总结。

当它确实调整了一个句子时,它的意思略有改变:最初我写的是 Intuitive Machines“几乎肯定会全力以赴地承担一份价值数十亿美元的合同”。摘要说该公司“几乎肯定会承担一份可能......”这可能会误导一些人认为 IM 是稳操胜券的公司,而不是一家会努力争取这份合同的公司。公平地说,我自己可以把这句话说得更清楚。

当我要求它用更少的语言做同样的事情时,它做得更好——有点。

摘要更加简洁,但它引用了马斯克的说法,即星际飞船可以在五年内从火星返回样本——我特意没有在我的文章中包含这一点,因为他提出了许多类似的未经证实的说法。出于某种原因,人工智能一定是从它引用的其他四篇文章中得到了这一点,并将它们写在我的“摘要”中。如果我要求提供摘要,我并不指望模型能引入外部信息来补充它。

内容

我声称要推广一个虚构的服装品牌,而营销文案建议完全符合预期,这表明这项任务正在变得多么死板。毫无疑问,Meta 有无穷无尽的此类字幕可供训练。营销人员真可怜——他们为自己的品牌撰写了数百万篇简洁的宣传文案,这种风格已经为 AI 所熟知。

图片来源: Meta/TechCrunch

当被问及一些农民笑话时,它给出了一些真正糟糕的笑话:

农夫的鸡为什么要去看医生? 因为它有鸡咳! 还有另外一个: 农夫为什么要带着他的猪去电影院? 去看《宝贝》!
哇——太糟糕了。但我们不能指望这些模型能有更好的表现。这类问题主要是为了看看它是否会做一些奇怪的事情,或者重复某个社区的某些事情——我目前不寻找素材。

结论

Meta 将其 AI 定位为处理随意问题的第一层,而且确实有效。但大多数情况下,它似乎只是搜索你询问的内容,然后随意引用顶部结果。而且有一半的时间它都会在最后包含搜索。那么为什么不直接使用 Google 或 Bing 呢?

我尝试过的一些“建议”查询,比如克服写作障碍的技巧,得到的结果没有直接引用(或来源)任何人的话。但它们也完全不是原创的。同样,在社交媒体应用程序内,一个不由庞大的语言模型驱动的普通互联网搜索,可以或多或少地完成同样的事情,而且没有那么多繁琐的工作。

元人工智能给出了非常直接、几乎是极简的答案。我并不期望人工智能能够超出我最初查询的范围,在某些情况下,这是一件坏事。但当我问食谱需要什么配料时,与人工智能对话的意义不就是它能够直觉地了解我的意图,并提供比从 Bing 搜索结果顶部抓取列表更多的东西吗?

我本来就不是这些平台的忠实用户,但 Meta AI 并没有让我相信它有什么特别的用处。公平地说,它是少数既免费又能通过在线搜索了解时事的模型之一。与 Bing 上的免费 Copilot 模型相比,后者通常效果更好,但我在几次交流后就达到了每日“对话限制”。(目前尚不清楚 Meta 是否会对 Meta AI 施加任何使用限制。)

如果你懒得打开浏览器搜索“农历新年”或“藜麦水比例”,你可以询问 Meta AI,前提是你已经在使用该公司的某个应用程序(通常情况下,你已经在使用)。但你还不能向 TikTok 询问这个问题!目前还不行。


本站全部资讯来源于实验室原创、合作机构投稿及网友汇集投稿,仅代表个人观点,不作为任何依据,转载联系作者并注明出处:https://www.lvsky.net/160.html

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

评论