逐步掌握最佳Ai Agents框架-AutoGen 八 开源模型_autogen 开源

前言

本篇文章，我们来探索下AutoGen使用其它LLM大模型。主要原因是AutoGen在使用chatgpt3.5/chatgpt 4等付费模型时，token开销比较大。如果我们的业务，社区里的开源模型就能搞定，那当然就开冲了。

接下来就让我们看下，来自Facebook的Llama2 7B。这个模型都有70亿+参数，表现优越。我们让AutoGen的模型替换成这两个模型，来看下运行效果。

LLM Studio

在之前的文章中，我们介绍了多款AI生态受欢迎的工具和服务。比如，Flowise AI这一无代码AI拖拽工具;PlayHT文本转语音工具。今天，我们来玩下LLM Studio, 可以帮助我们快速下载各种开源大模型并运行，并以http server的方式提供LLM服务。 它是一个一站式的解决方案，可以提供OpenA兼容的接口，这样能让我们将之前基于OpenAi的应用，快速切换到开源大模型，降低开发成本。

根据官网的介绍，LMStdio主打以下功能

• 在本地运行各种大语言模型（Hugging Face大把开源模型）   可以非常方便的让我们在开发阶段，调试不同的模型，看在项目中的效果，最终选择用户体验更好的大模型。
• LMStdio 集成了Chat Bot 功能，可以方便的加载不同的模型，聊天   同时，它还支持OpenAI兼容的API格式，暴露接口。
• 可以方便的从Hugging Face下载一些模型和文件，LMStdio也会经常给我们推一些热点或有趣的模型。

完成AutoGen系列后， 我会启一个AI工具或服务系列，欢迎大家评论留言，你喜欢的AI工具或服务，打个tag， 交流起来。

• 下载 LLM Studio

到LM Studio - Discover, download, and run local LLMs，下载LLM Studio。

• 在模型search 功能页搜索llama,facebook 开源的大模型， 并从结果中找到我们需要的进行下载

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/773441