大模型日报2月22日_criticbench

为了使机器具有人类的想象力，深度生成模型取得了重大进展。这些模型能创造逼真的样本，尤其是扩散模型，在多个领域表现出色。扩散模型解决了其他模型的限制，如 VAEs 的后验分布对齐问题、GANs 的不稳定性、EBMs 的计算量大和 NFs 的网络约束问题。因此，扩散模型在计算机视觉、自然语言处理等方面备受关注。扩散模型由两个过程组成：前向过程和反向过程。前向过程把数据转化为简单的先验分布，而反向过程则逆转这一变化，用训练好的神经网络模拟微分方程来生成数据。与其他模型相比，扩散模型提供了更稳定的训练目标和更好的生成效果。

在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。现在，2024 年的第一个月已经过去，也许是时候盘点一番新年首月进展了。近日，AI 研究者 Sebastian Raschka 发布了一份报告，介绍了四篇与上述新阶段有关的重要论文。它们的研究主题简单总结起来是这样：

1. 权重平均和模型融合可将多个 LLM 组合成单个更好的模型，并且这个新模型还没有传统集成方法的典型缺陷，比如更高的资源需求。

1. 代理调优（proxy-tuning）技术可通过使用两个小型 LLM 来提升已有大型 LLM 的性能，这个过程无需改变大模型的权重。

1. 通过将多个小型模块组合起来创建混合专家模型，可让所得 LLM 的效果和效率媲美甚至超越更大型的对应模型。

1. 预训练一个小型的 1.1B 参数的 LLM 可降低开发和运营成本，并能为教育和研究应用带来新的可能性。

通过从头药物设计发现新型治疗化合物是药物研究领域的一项关键挑战。传统的药物发现方法通常资源密集且耗时，这促使科学家探索利用深度学习和强化学习技术力量的创新方法。在这里，美国查普曼大学（Chapman University）的研究人员开发了一种称为 drugAI 的新型药物设计方法，该方法利用编码器-解码器 Transformer 架构与通过蒙特卡罗树搜索（RL-MCTS）进行的强化学习来加快药物发现过程，同时确保生产具有药物样特性和对其靶标具有强结合亲和力的有效小分子。与两种现有的基准方法相比，drugAI 生成的化合物的有效性和药物相似性都有显著改善。此外，drugAI 确保生成的分子对其各自的靶标表现出强大的结合亲和力。

开源领域大模型，迎来了重磅新玩家。谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。本次发布包含两种权重规模的模型：Gemma 2B 和 Gemma 7B。每种规模都有预训练和指令微调版本。想使用的人可以通过 Kaggle、谷歌的 Colab Notebook 或通过 Google Cloud 访问。当然，Gemma 也第一时间上线了 HuggingFace和HuggingChat，每个人都能试一下它的生成能力。

英伟达最新财报出炉。连创“三高”：1. 2024财年Q4季度营收达221亿美元（净利122亿美元），比上一季度增长22%，比上一年增长265%。2. 扛把子的数据中心营收占据184亿美元，比第三季度增长27%，比上一年飙升409%。3. 2024财年全年营收也出来了：609亿美元（约合4384亿人民币），比去年多了126%。净利润则为297亿美元，约合2136亿人民币，相当于日进5.7个“小目标”。

Groq 是一家技术公司，由 Jonathan Ross 在 2016 年创立。Ross 曾是 Google 第一个张量处理单元（TPU）的创造者，他的创立理念源于一个观点：芯片设计应从软件定义网络（SDN）中吸取灵感。2024 年 2 月 13 日，Groq 在 ArtificialAnalysis.ai 最新的 LLM  基准测试中明显获胜，Groq 在延迟与吞吐量等关键性能指标上击败了八名参与者，Groq 处理吞吐量达到其他推理服务的 4 倍，同时收费还不到 Mistral 自己的 1/3。

三星移动部门负责人 TM Roh 近日透露了该公司未来在人工智能 (AI) 方面的计划，以及如何扩展其应用范围。Roh 表示，三星下一步计划是将 Galaxy AI 的应用范围扩展到更多设备和服务，包括可穿戴设备。他透露计划在“不久的将来”将 Galaxy AI 功能引入“部分”Galaxy 可穿戴设备。