GPT-4准确率大跳水，从97.6%降至2.4%

出品 | OSC开源社区（ID：oschina2013)

斯坦福大学和加州大学伯克利分校合作进行的一项 “How Is ChatGPT's Behavior Changing Over Time?” 研究表明，随着时间的推移，GPT-4 的响应能力非但没有提高，反而随着语言模型的进一步更新而变得更糟糕。

研究小组评估了 2023 年 3 月和 2023 年 6 月版本的 GPT-3.5 和 GPT-4 在四个不同任务上的表现，分别为：解决数学问题、回答敏感 / 危险问题、代码生成以及视觉推理。

他们使用了一个包含 500 个问题的数据集评估模型，测试模型必须确定给定的整数是否是素数。结果表明，GPT-4（2023 年 3 月版）在识别质数方面表现非常出色，正确回答了其中的 488 个问题，准确率达 97.6%。但 GPT-4 （2023 年 6 月版）在这些问题上的表现却非常糟糕，只答对了 12 个问题，准确率仅为 2.4%。

而与之相反，GPT-3.5（2023 年 6 月版）在这项任务中的表现则要比 GPT-3.5（2023 年 3 月版）好得多。

研究团队还使用了 "Chain-of-Thought"（思维链）来帮助模型进行推理，提出 “17077 是一个质数吗？一步一步地思考” 的问题。但最新版本的 GPT-4 不仅错误地回答了 "否"，还没有生成解题的中间步骤。

与 3 月份相比，GPT-4 在 6 月份不太愿意回答敏感问题。而且与 3 月份相比，GPT-4 和 GPT-3.5 在 6 月份生成代码时也出现了更多格式错误，质量明显下降。

对于 GPT-4，可直接执行的生成代码百分比从 3 月份的 52.0% 降至 6 月份的 10.0%；GPT-3.5 也从 22.0% 降至了 2.0%。两种模型的冗余度也有小幅增加，其中 GPT-4 增加了 20%。

视觉推理方面，GPT-4 和 GPT-3.5 的性能都略有提高。但对于 90% 以上的视觉推理查询，3 月份和 6 月份版本生成的结果完全相同。这些服务的总体性能也很低：GPT-4 为 27.4%，GPT-3.5 为 12.2%。且在某些特定问题上，GPT-4 在 6 月份表现要比在 3 月份差。

研究人员认为，这些结果表明，"相同" 的 LLM 服务的行为会在相对较短的时间内发生重大变化，凸显了对 LLM 质量进行持续监控的必要性。

“我们计划通过定期评估 GPT-3.5、GPT-4 和其他 LLM 在不同任务中的表现，在一项持续的长期研究中更新本文介绍的结果。对于依赖 LLM 服务作为其日常工作流程组成部分的用户或公司，我们建议他们对其应用程序进行类似的监控分析。”

更多详情可查看完整报告：https://arxiv.org/pdf/2307.09009.pdf

------

我们创建了一个高质量的技术交流群，与优秀的人在一起，自己也会优秀起来，赶紧点击加群，享受一起成长的快乐。另外，如果你最近想跳槽的话，年前我花了2周时间收集了一波大厂面经，节后准备跳槽的可以点击这里领取！

推荐阅读

• 整理了Spring I/O 2023 最前沿的超级干货，直接拿去！

• 腾讯出品的在线工具宝藏网站，功能一应俱全！
  

··································

你好，我是程序猿DD，10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来，给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来，多思考、少抱怨、勤动手，就很容易实现弯道超车！所以，不要问我现在干什么是否来得及。如果你看好一个事情，一定是坚持了才能看到希望，而不是看到希望才去坚持。相信我，只要坚持下来，你一定比现在更好！如果你还没什么方向，可以先关注我，这里会经常分享一些前沿资讯，帮你积累弯道超车的资本。