麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究表明，大型语言模型 (LLM) 在熟悉的任务中表现出色，但在新的场景中却表现挣扎，突显出它们依赖于记忆而不是真正的推理能力。
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 最近的一项研究揭示了大型语言模型 (LLM) 的功能。研究发现，虽然 LLM 在熟悉的场景中表现出色，但它们在处理新任务时却举步维艰，这引发了人们对其真正的推理能力与对记忆的依赖的质疑。
研究人员将 LLM 在常见任务上的表现与偏离其训练数据的假设场景进行了比较。例如，像GPT-4这样的模型在使用十进制的算术方面表现出色，但在使用其他数字进制时却表现不佳，这表明缺乏通用的加法技能。这种模式在各种任务中都是一致的，包括空间推理和国际象棋，在这些任务中，模型的表现并不比在陌生环境中随机猜测更好。
主要作者吴兆峰强调了这些发现的重要性，并指出随着人工智能越来越融入社会，它必须可靠地处理各种场景。这项研究的见解旨在为未来更具适应性和更强大的法学硕士课程的发展提供参考。该团队计划扩大他们的研究范围，涵盖更复杂和多样化的任务，进一步探索人工智能的局限性并提高可解释性。
该研究得到了麻省理工学院 - IBM 沃森人工智能实验室、麻省理工学院智能探索项目和美国国家科学基金会的支持，并在计算语言学协会 (NAACL) 北美分会上进行了展示。
评论