无需本地部署！免费使用开源大模型API_groq云平台

之前，我给大家分享过几篇关于如何在本地部署开源大模型以及应用场景的文章。比如说，给本地大模型添加知识库、API的调用等等。

在这个过程中，有粉丝反馈自己不会部署，或者电脑配置不好，想知道还有没有办法使用这些开源大模型。今天就来分享一个免费且无门槛使用各种主流开源模型及其API的方法，让你不用在本地部署开源模型，也可以在各种第三方应用中调用这些模型，例如翻译插件、Dify的工作流、对话应用等等。这些场景下都可以用这个方法来省钱。

我们今天要用的平台名字叫Groq。

https://groq.com/

Groq是一个AI硬件的云平台，类似于国内的阿里云和微软的Azure这样的云计算平台，可以给不同的企业提供云服务器或云计算服务。Groq最大的特色就是它的计算速度非常快，而且运行成本非常低。如果和英伟达的GPU去做对比，它的推理速度是GPU的十倍以上，但运行成本计算成本仅仅是它的1/10不到。

直接给大家感受一下Groq的一个推理速度。这里我先找一篇文章，全选后复制给Groq，让他翻译成英文

用Llama3 70B版本作为演示，看一下它的输出速度。这里大家可以感受一下，大概就是3秒到4秒左右，就把一篇文章给我们翻译成英文，这个速度真的是非常的快。

整体的完成质量、速度都非常OK。然后我们再看右上角，它是有消耗跟速度的显示。我们的输入是1707个TOKEN，输出的话是1040个TOKEN。那么总共的用时是3.93秒，也就是它输出仅仅是花了4秒不到，就把这篇文章给我们翻译出来了。

我们再来演示一个案例，就是让它来撰写一篇文章，以《AI如何让半年的努力胜过十年的平庸》为主题，写一篇1000个字左右的文章，再来感受一下它的一个速度。那这次我们切换一个模型，比如说我把它改成Llama3 8B的80亿参数，它的速度就可以做到更快。我们来感受一下，已经完成了，几乎就是一刹那之间。

那么在Groq这个平台上，我们就可以直接免费地去使用这些开源的大模型。那除了在线直接使用，它还给我们提供了API的调用方式。这里我们可以在底部菜单点击这个Groq Cloud，它给我们提供了一个Playground还有一个API的调用接口，我们可以直接进去看一下。

首先是Playground，和其他的大模型平台的Playground也都类似。我们直接看右边，它支持的这些模型，谷歌的、Meta的、还有Mixtral的，它都是支持的。大家这边其实还可以看到，它还支持免费调用OpenAI的Whisper这个语言模型，就是把语音进行转录，这个也是可以免费使用的。

接下来，我们就来分享一下在第三方的应用当中去调用这些开源大模型的API。不管是说在浏览器的插件，还是在桌面的应用当中，或者说在第三方的云服务平台里面去用，像Dify的工作流里面去调用它里面的开源模型的API。

我们来看一下，在这里可以看到左侧菜单，它是有API KEY，也就是在这里我们可以去免费创建API KEY，并且在第三方当中调用。而且Groq这个平台的API接口，它和OpenAI的API接口是一样的。这也就意味着，只要是兼容OpenAI API接口的这种第三方应用，它也可以兼容Groq的API接口。

在这里，我们可以去创建一个API key。那么创建完成以后，我们就可以获得这样一个key。这个key在你创建的时候就要保存，因为当您把创建key的页面关闭之后，后面就没有办法再去复制了。这点大家稍微注意一下。

下面我们在dify中调用一下这个api key做一个简单测试

秒回复，真的是快啊

目前Groq平台它是没有收费的，但是略微做了一些限制。我们在这边创建好的API key它是有一个使用上限的，可以在设置里面的limits看一下。

这个数量对于个人用户来说，简直就是用不完。

这就是今天关于Groq平台的介绍，给我们提供了在线的免费的开源大模型，还给我们提供了免费的API接口供我们在第三方应用当中去调用它。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/882284