当前位置:   article > 正文

MacOS本地部署codellama,并关联VSCode插件Cody AI_codellama docker

codellama docker

Cody AI

打开 VSCode,导航到“Extension”选项卡并搜索“Cody”。,在搜索结果中找到“Cody AI”并安装“Pre Release Version”

然后,使用google账户或者github账户登录Cody:

选择您的使用目的:为个人项目

然后,授权 Cody 并复制您的 VSCode 扩展令牌

一旦获得授权,它将再次打开 VSCode:如果一切顺利,将会在左边栏看到以下可用指令:

默认情况下,Cody 使用 gpt-4,然后每月费用为 9 美元,这对于我们来说还是太贵了!因此,接下来安装Code-llama,使用本地、免费的模型替代GPT-4!

Ollama

Ollama是一个轻量级且可扩展的框架,通过提供命令行界面,可以帮助用户在本地电脑上运行、创建和管理大语言模型(LLMs),整体感觉和Docker很像。

官网:https://ollama.com/

如何使用呢?很简单,下载安装后,只需在CMD命令行窗口,执行下面的命令(比如我这里启动Google刚开源的codegemma模型),就可以启动快速下载和直接运行一个大模型。

ollama run codellama

ollama run codellama

运行后,就可以在命令行窗口进行交互了,但是整体还是不太方便,我们期待的是有个web页面可以进行交互,方便使用。

接下来,打开vscode,导航至 Cody 的“设置”

然后单击“Cody Extension Settings”:

向下滚动并找到“Cody > Autocomplete > Advanced: Provider”,然后选择“llama-code-13b”

现在,使用CodeLlama 7B的Copilot就设置好了!

本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号