大模型日报-20240204

大模型也有小偷？为保护你的参数，上交大给大模型制作「人类可读指纹」

https://mp.weixin.qq.com/s/wy2HKsG-HRk8p6pe5pW87A

大模型的预训练需要耗费巨量的计算资源和数据，因而预训练模型的参数也正成为各大机构重点保护的核心竞争力和资产。然而，不同于传统的软件知识产权保护可以通过比对源代码来确认是否存在代码盗用，对预训练模型参数盗用的判断存在以下两方面的新问题：1） 预训练模型的参数，尤其是千亿级别模型的参数，通常不会开源。2） 更重要的是，预训练模型的输出和参数都会随着 SFT、RLHF、continue pretraining 等下游处理步骤而变化。这使得无论是基于模型输出还是基于模型参数，都很难判断某一模型是否是基于另一现有模型微调得来。因此，对大模型参数的保护是一个尚缺乏有效解决方案的全新问题。为此，来自上海交通大学林洲汉老师的 Lumia 研究团队研发了一种人类可读的大模型指纹，这一方法可以在不需要公开模型参数的条件下，有效识别各个大模型之间的血统关系。

阿里全新Agent玩转手机：刷短视频自主点赞评论，还学会了跨应用操作

https://mp.weixin.qq.com/s/bt2VNschheVL413mSV5guw

会操纵手机的智能体，又迎来了全新升级！新的Agent打破了APP的界限，能够跨应用完成任务，成为了真·超级手机助手。比如根据指示，它可以自行搜索篮球比赛的结果，然后根据赛况在备忘录中撰写文稿。来自阿里的一篇最新论文，展示了全新手机操纵智能体框架Mobile-Agent，可以玩转10款应用，还能跨越APP完成用户交给的任务，而且即插即用无需训练。依托多模态大模型，整个操纵过程完全基于视觉能力实现，不再需要给APP编写XML操作文档。

代谢数据集上四项指标达94%~98%，西南交大团队开发多尺度图神经网络框架，助力药物研发

https://mp.weixin.qq.com/s/P3CXwUeuOdDDCEQKYIK5_w

药物研发过程中，了解分子与代谢路径之间的关系，对于合成新分子和优化药物代谢机制至关重要。西南交通大学杨燕/江永全团队开发了一种新型的多尺度图神经网络框架MSGNN，来将化合物与代谢路径联系起来。它包括特征编码器、子图编码器和全局特征处理器三部分，分别学习了原子特征、子结构特征和额外的全局分子特征，这三个尺度的特征可赋予模型更全面的信息。该框架在 KEGG 代谢路径数据集上的表现优于现有方法，Accuracy、Precision、Recall、F1分别达到98.17%、94.18%、94.43%、94.30%。并且，团队还采用了图增强策略将训练集中的数据量扩充了十倍，使模型训练更加充分。

A16Z 最新 AI 洞察｜2023 年是 AI 视频元年，2024 年还有这些难题需要解决

https://mp.weixin.qq.com/s/_WdPoPfptK8zch7C4dh1iQ

这是 A16Z 合伙人 Justine Moore 最新发布的 2024 年 AI 视频展望。Justine 提到，2023 年对于 AI 视频领域来说，是突破性的一年。2023 年初时，公开的文本转视频模型尚不存在。仅仅 12 个月后，数十种视频生成产品已被积极使用，全球有数百万用户通过文本或图像提示创建短片。这些产品仍然有相对的局限性——大多数生成的视频时长为 3～4 秒，输出的质量参差不齐，像角色一致性这样的问题还未得到解决。我们距离用单一文本提示（或甚至多个提示！）创造出皮克斯级别的短片还有很长的路要走。然而，过去一年在视频生成领域所见证的进步表明，我们正处于一场巨大变革的初期阶段，这与 A16Z 在图像生成领域所见到的相似。我们正在见证文本转视频模型的持续改进，以及像图像转视频和视频转视频这样的衍生技术正在获得动力。为了帮助理解这场创新的爆炸，A16Z 追踪了到目前为止最重要的发展、值得关注的公司，以及这个领域中剩余的基本问题。

比肩GPT-4，商汤日日新大幅升级4.0，多模态能力领先一步

https://mp.weixin.qq.com/s/Z7sx4a6B77gauPhotdwb2g

商汤的大模型体系「日日新 SenseNova」今天刚刚发布了 4.0 版，不论语言能力还是文生图能力都有全面升级，还自带低门槛的落地工具。新一代 SenseNova 不仅在大语言模型、文生图模型等方面进行了重大升级，部分垂直领域能力超越 GPT-4，还发布了全新多模态大模型，并面向数据分析、医疗等场景提供了全新版本，让大模型通用能力适配到了更多领域。

年龄两岁，教龄一年半：婴儿AI训练师登上Science

https://mp.weixin.qq.com/s/myOn710RfkNPBhjSaYuxlw

在公开采访中，图灵奖得主 Yann LeCun 多次提到，现在的 AI 模型和人类婴儿相比，学习效率实在是太低了。那么，如果让一个 AI 模型去学习婴儿头戴摄像头拍到的东西，它能学到什么？最近，Science 杂志上的一篇论文进行了初步尝试。研究发现，即使数据有限，AI 模型也能从 10 到 100 个例子中学到单词 - 视觉所指对象之间的映射，而且能够零样本地泛化到新的视觉数据集，并实现多模态对齐。这说明，利用当今的人工智能工具，从婴儿的视角进行真正的语言学习是可能的。

亚马逊推出人工智能购物助手 TRufusJ

https://www.theverge.com/2024/2/1/24058381/amazon-ai-shopping-assistant-rufus

亚马逊推出名为 Rufus 的人工智能购物助手，与该公司的柯基吉祥物同名。该聊天机器人接受了亚马逊产品库、客户评论以及网络信息的训练，使其能够回答有关产品的问题、进行比较、提供建议等。Rufus 仍处于测试阶段，只会出现在“特定客户“中，然后在未来几周内向更多用户推出。

2B参数性能超Mistral-7B：面壁智能多模态端侧模型开源

https://mp.weixin.qq.com/s/DiI_n75fmhEjUVN60qVJxQ

在大模型不断向着大体量方向前进的同时，最近一段时间，人们在优化和部署方面也取得了成果。2 月 1 日，面壁智能联合清华 NLP 实验室在北京正式发布了旗舰端侧大模型「面壁 MiniCPM」。新一代大模型被称为「性能小钢炮」，直接拥抱终端部署，同时也具有同量级最强的多模态能力。面壁智能本次提出的 MiniCPM 2B 参数量仅有 20 亿，使用 1T token 的精选数据训练。这是一个参数量上与 2018 年 BERT 同级的模型，面壁智能在其之上实现了极致的性能优化与成本控制，让该模型可以「越级打怪」。面壁智能联合创始人、CEO 李大海将新模型与业内知名开源大模型 Mistral-7B 进行了对比，在多项主流评测榜单上，MiniCPM 2B 的性能全面超越了后者。

Stutz分享在谷歌DeepMind的经历和反思：人工智能领域的发展速度令人难以置信

https://x.com/davidstutz92/status/1753112541835001899?s=20

我加入@GoogleDeepMind全职已经近2年了。大约一年前，在@NeurIPS 2022期间，事情以难以置信的速度开始改变。随着我们进入2024年，我想分享一些反思：

首先，人工智能领域的发展速度令人难以置信。并且它是在科技行业动荡的时期开始的。我发现这种组合既令人兴奋又相当令人畏惧。后者有时严重影响了我的动力。我没有找到完美的解决方案，但我注意到，定期与周围的人交谈极大地帮助了我。这虽然耗时，但帮助我忽略了噪音，专注于正确的项目，并更有动力。

其次，这也意味着研究项目的快速变化或进步以及对产品的更多关注。我必须学会如何总结正在进行的项目，并找出向前迈进时哪些项目是重要的。总结我们在不确定的真实性基础上的工作主要意味着在团队间协调人员，而合作者已经在继续前进。这是一个很好的领导机会，能看到我们的工作成果出现真的很棒。决定接下来要从事哪个项目也很有挑战性，因为它需要弄清楚未来哪些是重要的。幸运的是，我们的团队负责了SynthID。这是一个在负责任的AI领域的伟大的大规模项目。

然而，SynthID需要不同的工程和沟通技能。首先，我们在（健壮的）评估上投入了难以置信的努力——比我在博士期间习惯的多得多。这需要大量的工具，思考可重复性和文档记录。沟通也从更高层次的研究导向的谈话和会议，变成了更技术和工程重的讨论，有时专注于特定的代码更改。

最后，我更加重视社区，成为GDM奖学金导师，对学生和其他联系我的人更加容易接近，并且查看@londonai、@weights_biases和@StabilityAI在伦敦举办的一些与AI相关的活动。例如，在@NeurIPSConf期间，我安排了大量的一对一时间段，并在一周内遇到了很多了不起的人。

OpenBMB发布一系列边缘模型，包括接近Mistral 7B的2.4B基础模型

https://x.com/osanseviero/status/1753174397995626904?s=20

OpenBMB，UltraFeedback的创造者，悄然发布了一系列非常强大的边缘模型！

•接近Mistral 7B的2.4B基础模型

•在MT Bench上表现超越Llama 70B的2.4 DPO

•一个3B双语VLLM（+12B版本RLHF VLLM）

在https://huggingface.co/openbmb查看模型