微软开发者大会，Copilot Agents发布，掀起新一轮生产力革命！

把AI融入生产力工具的未来会是什么样？微软今天给出了蓝图。

今天凌晨，微软召开了Microsoft Build 2024 开发者大会，同前两天的Google I/O开发者大会一样，本次大会的核心词还是“AI”，其中最主要的内容是最新的Copilot，总的来说，这次的大会主要有三大看点。

 3.5研究测试：
hujiaoai.cn

4研究测试：
askmanyai.cn

Claude-3研究测试：
hiclaude3.com

Copilot+PC，原生支持底层AI开发，掀起全民定制AI的浪潮

在昨天微软新园区的的活动上，已经向我们提前剧透了Copilot+PC的概念和能力，这个可以参考我们前面的文章

https://mp.weixin.qq.com/s/MVQg0z9ZMfGLFXzFYP4-vA

Copilot+PC凭借强大的新型芯片，能够实现令人难以置信的 40+ TOPS（每秒万亿次操作）AI 算力,运行 AI 工作负载的能力被提升了 20 倍，效率提高了 100 倍，并提供了业界领先的 AI 加速。

这种硬件上的支持使得许多AI服务不再需要云端支持，而是转向本地运行，比如其中一种小模型Phi-Silica，专为Copilot+PC中的高性能神经处理单元（NPU）设计，为Copilot+PC中的各种AI服务提供支持。Phi-Silica参数量仅3.3B，每秒可以处理650个token的输入，输出每秒约27个token，功率消耗仅为1.5瓦。

DirectML，PyTorch等应用还在Windows上获得了原生的支持，获得了更多的底层优化，从而方便机器学习开发者可以在端侧运行自己的模型。

这种优势可能会从Mac中吸引一票粉丝。

Copilot升级，从Personal到Team再到Agents

微软还介绍了他们对Copilot本身的升级。现在Copilot不仅可以作为个人的助手，还新增了团队协作功能，而且Copilot Agents允许用户自定义Copilot的工作流。

简而言之，Team Copilot可以使Copilot成为团队的一员，在工作群里，它可以充当会议主持人，为会议实时地撰写笔记，并总结内容，团队成员也可以实时地向Copilot提问。

除此之外，Copilot还可以充当人类团队的领导者，它可以根据整体的任务目标，来为每个人创建和分配子任务、并跟踪截止日期和及时督促团队成员，确保每个项目顺利进行。

更进一步就是Copilot的Agents功能，用户可以在Copilot Studio自定义一个Copilot Agent，这个代理Agent就像一个随时待命的白领员工，它的能力由用户来定义，这就意味着，它不仅具有记忆、学习和推理能力，而且可以在后台自发执行任务，以实现长期运行的业务流程自动化。

写到这里，编者不禁开始脊背发凉，不知道该称呼Copilot Agent是“它”还是“他”，也不知道Copilot Agent的诞生是会提升人类的就业质量还是导致更多的白领失业。微软副总裁Charles Lamanna表示“它可以消除一些重复、琐碎的工作，例如数据输入等，这些也许都是没有人真正想做的事情”。

多模态小模型Phi-3-Vision

Microsoft Build 2024上的第三个看点就是新发布的多模态小模型Phi-3-Vision，它拥有4.2B参数，支持128K上下文长度。

Phi-3-vision能够直接在移动设备上使用。基于Phi-2的基础，Phi-3-vision不仅能够执行日常的视觉推理任务，还专门优化了图表分析功能。它可以分析图表中的信息并回答用户的提问。

在发布会现场，微软总裁纳德拉展示了一个令人印象深刻的 DEMO。他将一张图表交给 Phi-3-vision，内容是不同年龄段的人在工作中使用 AI 工具的情况。Phi-3-vision准确提取了图表中的各组数据，并对不同年龄层的结果进行了比较和分析，最终给出了一份详尽的报告。

微软还在官网上给出了Phi-3-vision的具体性能指标，可以看到在图表推理任务中，Phi-3-vision遥遥领先于其他对手，其中就包括GPT-4v Turbo。

但遗憾的是Phi-3-vision目前只支持基于图像的推理，无法生成图像。

活动彩蛋：OpenAI CEO 奥特曼亮相

微软作为OpenAI的最大投资方，OpenAI CEO 奥特曼也来到了活动现场以示支持。他和微软的CTO Kevin Scott同台，讨论了大模型的未来以及关于GPT-4o的发展方向。

虽然仅亮相短短9分钟，但也带来了一些信息。在模型开发方面，奥特曼透露，未来的GPT-4o将变得更快且更便宜。同时，他也兴奋地预告了下一个大型模型即将面世，为了支持这一工作，微软打造了一台如虎鲸般庞大的超级计算机。他说“这可能是自手机问世以来，甚至自互联网问世以来，我们所见过的最激动人心的时刻”。