Karpathy：RLHF不是真正的强化学习；阿里开源数学模型和音频模型；Gemini 1.5 Flash降价 | AI头条...

整理 | 王启隆

出品 | AI 科技大本营（ID：rgznai100）

一分钟速览新闻点！

• Andrej Karpathy：RLHF 不是真正的强化学习

• 阿里开源数学解题模型 Qwen2-Math

• 阿里开源语音模型 Qwen2-Audio

• Gemini 1.5 Flash 模型价格大幅降低，支持超百种新语言

• 微软与 Palantir 合作，为美国国防和情报机构提供先进 AI 服务

• 谷歌收购 Prompt Poet，革新大型语言模型提示工程

• 华为 AI 消除功能目前仅支持部分新机型
  

• 马斯克：人工智能模型 Grok 2 测试版即将发布

• 谷歌之母、YouTube前CEO抗癌2年去世：库克等发文悼念

• 古尔曼：未来 3 年内苹果 Apple Intelligence 不会收费

• 谷歌开发乒乓球机器人，与人类对打胜率超四成
  

国内外 AI 要闻

Andrej Karpathy：RLHF 不是真正的强化学习

前特斯拉 AI 总监、知名人工智能研究者和工程师 Andrej Karpathy 近日在社交媒体上讨论了人类反馈强化学习（RLHF）在大语言模型（LLM）训练中的局限性和优势。他认为 RLHF 虽然被称为强化学习，但实际上只是勉强符合这一定义，并提出了真正的强化学习在 LLM 中实施的挑战。

阿里开源数学解题模型 Qwen2-Math

Qwen2-Math 是一系列基于 Qwen2 语言模型构建的数学解题模型，包括 1.5B、7B 和 72B 版本，旨在提升大模型在数学任务上的推理能力。该系列模型在多个数学基准评测中超越了现有开源和闭源模型，包括 GPT-4o。Qwen2-Math 通过精心设计的数学语料库预训练，并采用指令微调技术进一步优化。模型在英语和中文数学基准评测中表现优异，且已进行数据去污染处理以确保评估的准确性。目前模型主要支持英语，计划推出中英双语版本。

项目链接：https://github.com/QwenLM/Qwen2-Math

阿里开源语音模型 Qwen2-Audio

近日，阿里云开源音频语音模型 Qwen2-Audio，拥有 8.5B 参数。它在自动语音识别（ASR）、声音到文本转换（S2TT）和音频智能基准测试（AIR-Bench）上达到了最先进的水平（SoTA）。该模型使用了 370,000 小时的语音、140,000 小时的音乐和 10,000 小时的声音数据进行预训练。Qwen2-Audio 擅长语音聊天和音频分析，并且已经与 Transformer 模型集成。

模型通过简化预训练过程，使用自然语言提示，提高了指令遵循能力，并实现了两种音频交互模式：语音聊天和音频分析。Qwen2-Audio 在无需系统提示的情况下，智能理解音频内容并做出适当响应。

项目链接：https://huggingface.co/collections/Qwen/qwen2-audio-66b628d694096020e0c52ff6

Gemini 1.5 Flash 模型价格大幅降低，支持超百种新语言

近日，Google AI 团队宣布了对 Gemini 1.5 Flash 模型的重大更新，包括价格调整和新功能支持。现在，Gemini 1.5 Flash 的价格已降至约 70%，每百万次调用仅需 0.075 美元。此外，所有用户现在都可以使用模型调整功能，并且 API 新增了对 100 多种新语言的支持。

同时，Google AI Studio 现已向所有工作空间客户开放。Google AI 团队的 Logan Kilpatrick 表示，他们致力于降低智能技术的成本，让更多开发者能够轻松构建和使用先进的 AI 模型。他还提到，模型调整和使用调整后的模型都是免费的，并且对于多模态微调表示出了兴趣，尽管目前只提供文本微调。

微软与 Palantir 合作，为美国国防和情报机构提供先进 AI 服务

微软宣布与 Palantir 达成合作，旨在通过机密云环境向美国国防和情报机构提供包括 GPT-4 在内的先进 AI 模型和分析能力。此次合作将微软的 Azure OpenAI 服务与 Palantir 的 AI 平台（AIP）进行集成，以提供安全、高效的 AI 驱动解决方案，支持美国国防和情报任务。

微软美洲区总裁 Deb Cupp 强调，此次合作将加速美国政府安全、可靠和负责任地部署人工智能能力。Palantir，作为政府洞察力服务的领先企业，将利用微软政府云和机密云的功能，结合 Azure OpenAI 模型，进一步开发人工智能创新，以支持国家安全任务。

作为合作的一部分，Palantir 和微软将为国防和情报界提供新兵训练体验，使他们能够试用这项技术。

谷歌收购 Prompt Poet，革新大型语言模型提示工程

谷歌近期收购了由 Character.ai 开发的 Prompt Poet 工具，这是一款旨在简化大语言模型（LLM）提示工程的创新工具。Prompt Poet 以其低代码方法、模板灵活性、上下文管理以及提高效率等优势，从其他框架如 Langchain 中脱颖而出。该工具通过使用 YAML 和 Jinja2 支持复杂提示结构，无缝集成外部数据，减少了在工程字符串操作中花费的时间，使用户能够专注于创建最优的提示文本。

Anthropic 与 Caylent 合作，减半 AI 部署时间

领先的 AI 研究公司 Anthropic，与亚马逊网络服务（AWS）高级合作伙伴 Caylent 宣布建立战略合作伙伴关系，旨在大幅加速各行业企业 AI 解决方案的部署和优化，可能重塑企业 AI 格局。这一合作针对市场迫切需求，帮助企业将生成性 AI 能力整合到其运营中。许多企业在实施、性能优化和实现 AI 投资的实质性回报方面面临障碍。Caylent 和 Anthropic 的联合努力旨在直接解决这些挑战，利用 Caylent 的云专业知识和 Anthropic 的尖端 AI 模型。

华为 AI 消除功能目前仅支持部分新机型 

华为终端 BG CTO 李小龙今日在社交平台展示了华为 Pura 70 Ultra 的 AI 消除功能。该功能可以精准识别影响构图的部分并一键消除，处理后的照片看不出涂抹痕迹。有网友在评论区询问 AI 消除功能何时下放到 Mate 60 系列。华为终端客户服务回应称：“AI 消除功能目前仅 HUAWEI Pura 70 系列 / HUAWEI nova 12 Ultra 星耀版 / nova Flip 手机支持。其他机型后续支持情况，请关注华为官方消息。”华为终端客户服务还补充道：“当前您可使用图库图片编辑消除功能，轻松消除图片中多余内容。在图库中点击要编辑的图片，然后点击编辑 > 消除，进入功能页面操作即可。”

马斯克：人工智能模型 Grok 2 测试版即将发布

特斯拉 CEO 马斯克宣布旗下 xAI 公司的大语言模型 Grok 2 测试版即将发布，此模型在训练数据上有了显著改进，并计划在数周后推出。Grok 2 发布后，还将推出 Grok 3，马斯克表示 Grok 3 的水平将 「达到或超越」 尚未发布的 OpenAI GPT-5。Grok 的第一版于 2023 年 11 月推出，而 xAI 公司自成立以来已筹集 60 亿美元，估值达 240 亿美元。

谷歌之母、YouTube前CEO抗癌2年去世：库克等发文悼念

前 YouTube CEO、Google 早期员工 Susan Wojcicki 因肺癌并发症于 8 月 9 日去世，年仅 56 岁。她毕业于哈佛大学，在加州圣克鲁兹获得经济学硕士学位 ，在 UCLA 获得 MBA 学位。她参与了 Google 的创建，Google 就诞生于她家的车库，1999 年成为 Google 的第一位营销经理，2014-2023 年担任 YouTube CEO。在其任职期间，YouTube 对 Google 以及后来的 Alphabet 日益重要，2022 年 YouTube 的广告收入达到 292 亿美元，占 Alphabet 总收入的 10%。谷歌 CEO 桑达尔·皮查伊、首席科学家杰夫·迪恩、苹果CEO蒂姆·库克等等科技大佬们纷纷发文悼念，表达对她的敬意和哀悼。

古尔曼：未来 3 年内苹果 Apple Intelligence 不会收费

苹果公司计划将部分人工智能功能转变为付费服务，但至少三年内不会实施。目前苹果的 AI 功能还在发展阶段，若急于收费会被视为不明智的决定。苹果旨在通过将人工智能功能转化为订阅服务，减少对硬件销售的依赖，以应对硬件升级放缓的趋势。

谷歌开发乒乓球机器人，与人类对打胜率超四成

谷歌旗下DeepMind公司近日宣布，该公司研发团队开发出一款乒乓球机器人，可在比赛中达到人类业余乒乓球选手的水平。研发团队在预印本网站arXiv上发文介绍，这是首个在乒乓球比赛中达到人类业余选手水平的学习型机器人智能体，其主体为一个六轴机械臂，可通过底部滑轨前后左右移动。在与人类进行的29场比赛中，机器人赢得13场，胜率为45%。研究人员说，机器人输掉了所有与高级选手的比赛，但赢得了所有与初级选手的比赛以及55%与中级选手的比赛。（央视新闻）

大模型刷新一切，让我们有着诸多的迷茫，AI 这股热潮究竟会推着我们走向何方？面对时不时一夜变天，焦虑感油然而生，开发者怎么能够更快、更系统地拥抱大模型？《新程序员 007》以「大模型时代，开发者的成长指南」为核心，希望拨开层层迷雾，让开发者定下心地看到及拥抱未来。

读过本书的开发者这样感慨道：“让我惊喜的是，中国还有这种高质量、贴近开发者的杂志，我感到非常激动。最吸引我的是里面有很多人对 AI 的看法和经验和一些采访的内容，这些内容既真实又有价值。”

能学习到新知识、产生共鸣，解答久困于心的困惑，这是《新程序员》的核心价值。欢迎扫描下方二维码订阅纸书和电子书。